ビット
シャノンは、情報の基本単位としてビット（二進数字）という概念を形式化しました。これは、はい/いいえという問いに対する答えです。彼は情報を数学的に定義しました。メッセージの情報量は、その確率の逆数の対数（底は2）であるというものです。驚きのあるメッセージほど、予測可能なものよりも多くの情報を含んでいます。このエレガントで抽象的かつ精密な定義が、後のすべての情報理論の基礎となりました。
シャノンエントロピー
シャノンエントロピー H = -Σ p(x) log₂ p(x) は、情報源の平均情報量を測定するものです。公平なコインの場合：H = 1ビット。偏ったコイン（表が70%）の場合：H ≈ 0.88ビットとなり、不確実性が減るため、1回ごとの情報量も減ります。エントロピーはまた、損失なしに情報源を表現するために必要な理論上の最小ビット数でもあります。これは可逆圧縮の限界を定めるものです。
チャネル容量
シャノンのチャネル容量の定理：すべてのチャネルには、帯域幅と信号対雑音比によって決定される最大情報レート C（ビット/秒）が存在します（C = B log₂(1 + S/N)、シャノン・ハートレーの定理）。容量以下であれば、通信は任意に信頼性を高めることが可能です。容量を超えると、エラーは不可避です。この定理は驚くべきものでした。エンジニアたちは、ノイズのあるチャネルではノイズに比例して信頼性が制限されると想定していたからです。シャノンは、適切な符号化を行えば、ノイズレベルに関係なく容量まで確実に伝送できることを証明しました。
奇妙な天才
シャノンはベル研究所の廊下でジャグリングや一輪車を楽しみ、火を吹くトランペットを作り、世界初のウェアラブルコンピュータ（ルーレット用）を発明し、Theseusという迷路を解く機械のネズミを設計しました。彼はMITを早期退職し、ストックオプションで莫大な資産を築き、晩年はガジェット遊びに費やしました。2001年にアルツハイマー病で亡くなりましたが、彼の数学にデジタル世界が完全に支えられていることを一般の人々はほとんど知りませんでした。
よくある質問
クロード・シャノンは何を発明しましたか？
シャノンは1948年に情報理論を発明しました。ビットを情報の単位として定義し、シャノンのチャネル容量定理（ノイズのあるチャネルでの最大信頼情報レート）を証明し、データ圧縮の数学的限界を定め、現代のすべてのデジタル通信とコンピューティングを支える分野を創設しました。
シャノンエントロピーとは何ですか？
シャノンエントロピー H = -Σ p(x) log₂ p(x) は、情報源の平均情報量（不確実性）を測定するものです。エントロピーが高いほど、不確実性が高く、シンボルあたりの情報量も多くなります。これは可逆データ圧縮の理論上の最小値を定めるもので、エントロピーを下回って圧縮すると必ず情報が失われます。
シャノン限界とは何ですか？
シャノン限界（またはシャノン容量） C = B log₂(1 + S/N) とは、帯域幅 B および信号対雑音比 S/N を持つチャネルにおいて、情報を確実に伝送できる最大レートです。これは理論上の絶対的な上限であり、どのような符号化方式を用いても確実にこれを超えることはできません。現代の通信工学は、大部分がこの限界に近づくための追求です。