The Bit
Shannon 将比特（二进制数字）形式化为信息的基本单位——一个是/否问题的答案。他用数学方式定义了信息：消息的信息含量是其概率倒数的对数（以 2 为底）。令人惊讶的消息比预期的消息包含更多信息。这个定义——优雅、抽象且精确——成为了所有后续信息论的基础。
Shannon Entropy
Shannon 熵 H = -Σ p(x) log₂ p(x) 衡量源的平均信息含量。对于公平硬币：H = 1 比特。对于偏斜硬币（70% 正面）：H ≈ 0.88 比特——不确定性较低，每次翻转的信息量较少。熵也是无损表示源所需的理论最少比特数。它为无损压缩设置了极限。
Channel Capacity
Shannon 的信道容量定理：每条信道都有一个最大信息速率 C（以每秒比特计），由其带宽和信噪比决定（C = B log₂(1 + S/N)，即 Shannon-Hartley 定理）。在容量以下，通信可以实现任意的可靠性。超过容量，错误是不可避免的。这个定理令人惊讶——工程师们曾认为噪声信道的可靠性会与噪声成正比地受限。Shannon 证明了用正确的编码，可以在任何噪声水平下可靠地传输到容量为止的数据。
The Eccentric Genius
Shannon 在贝尔实验室的走廊里玩杂技和独轮车，制造了一把喷火小号，发明了第一台可穿戴计算机（用于轮盘赌），设计了一只迷宫求解机械鼠 Theseus。他从麻省理工学院提前退休，通过股票期权变得异常富有，最后几十年沉迷于摆弄小工具。他在 2001 年死于阿尔茨海默病，大部分公众对他知之甚少，却不知道自己整个数字世界都建立在他的数学理论之上。
Frequently Asked Questions
Claude Shannon 发明了什么？
Shannon 在 1948 年发明了信息论，将比特定义为信息单位，证明了 Shannon 信道容量定理（噪声信道上的最大可靠信息传输速率），建立了数据压缩的数学极限，创立了支撑所有数字通信和计算的领域。
什么是 Shannon 熵？
Shannon 熵 H = -Σ p(x) log₂ p(x) 衡量源的平均信息含量（不确定性）。熵越高，不确定性越大，每个符号的信息量越多。它为无损数据压缩设置了理论最小值——在不丧失信息的前提下，无法将源压缩到其熵以下。
什么是 Shannon 极限？
Shannon 极限（或 Shannon 容量）C = B log₂(1 + S/N) 是在具有带宽 B 和信噪比 S/N 的信道上可靠传输信息的最大速率。这是一个硬的理论上限——任何编码方案都无法可靠地超过它。现代通信工程在很大程度上就是在努力接近这个极限。
在Geniuses.Club阅读全文