The Bit
Shannonはビット（二進数字）という概念を情報の基本単位として形式化した — yes/no 質問への答えだ。彼は情報を数学的に定義した：メッセージの情報量は、その確率の逆数の対数（底は2）である。驚くべきメッセージは予想されたものより多くの情報を持つ。この定義 — 優雅で、抽象的で、正確 — がそれ以降のすべての情報理論の基礎となった。
Shannon Entropy
Shannon エントロピー H = -Σ p(x) log₂ p(x) は、情報源の平均情報量を測定する。フェアなコイン：H = 1ビット。バイアスのあるコイン（表70%）：H ≈ 0.88ビット — 不確実性が少なく、1回のフリップあたりの情報量が少ない。エントロピーは、情報源を損失なく表現するのに必要なビット数の理論的最小値でもある。ロスレス圧縮の限界を設定する。
Channel Capacity
Shannonのチャネル容量定理：すべてのチャネルには最大情報レート C（ビット/秒）があり、帯域幅と信号対雑音比によって決まる（C = B log₂(1 + S/N)、Shannon-Hartley定理）。容量以下では通信を任意に信頼性高くできる。容量を超えるとエラーは避けられない。この定理は衝撃的だった — エンジニアはノイズの多いチャネルが信頼性をノイズに比例して制限されると仮定していた。Shannonは正しいエンコーディングがあれば、ノイズレベルに関係なく容量まで信頼性高く伝送できることを証明した。
The Eccentric Genius
Shannonはbell Labs の廊下でジャグリングと一輪車をしながら通り、火を吐くトランペットを発明し、初のウェアラブルコンピュータ（ルーレット用）を作り、迷路を解く機械式ネズミ Theseus を設計した。彼はMITから早期に退職し、ストックオプションを通じて執拗に富を蓄積し、最後の数十年を雑貨で遊びながら過ごした。彼は2001年にアルツハイマー病で亡くなった。彼の数学に完全に依存しているデジタル世界の一般大衆には、ほぼ無名だった。
Frequently Asked Questions
Claude Shannonは何を発明したのか？
Shannonは1948年に情報理論を発明し、情報の単位としてビットを定義し、Shannon channel capacity theorem（ノイズのあるチャネルにおける最大信頼性情報伝送率）を証明し、データ圧縮の数学的限界を確立し、すべてのデジタル通信とコンピューティングの基盤となる分野を創設した。
Shannon エントロピーとは何か？
Shannon エントロピー H = -Σ p(x) log₂ p(x) は、情報源の平均情報量（不確実性）を測定する。エントロピーが高いほど不確実性が大きく、シンボルあたりの情報量が多くなる。ロスレス データ圧縮の理論的下限を設定する — 情報を失うことなく情報源をそのエントロピー以下に圧縮することはできない。
Shannon limitとは何か？
Shannon limit（またはShannon capacity）C = B log₂(1 + S/N)は、帯域幅 B と信号対雑音比 S/N を持つチャネルで信頼性高く情報を伝送できる最大レートである。これは厳密な理論的上限であり、どのエンコーディング方式もこれを確実に超えることはできない。現代の通信工学は、この限界に近づくための追求に大きく左右されている。
Geniuses.Clubの完全な記事を読む