比特
香农将比特（二进制数字）的概念形式化为信息的基本单位——即对是/否问题的回答。他从数学上定义了信息：消息的信息内容是其概率倒数的对数（以2为底）。令人惊讶的消息比预期的消息包含更多的信息。这一定义——优雅、抽象且精确——成为了后来所有信息理论的基础。
香农熵
香农熵 H = -Σ p(x) log₂ p(x) 衡量的是信源的平均信息内容。对于公平硬币：H = 1比特。对于有偏硬币（正面概率70%）：H ≈ 0.88比特——不确定性减少，每次抛掷的信息量也减少。熵也是无损表示信源所需的理论最小比特数。它设定了无损压缩的极限。
信道容量
香农的信道容量定理：每个信道都有一个最大信息速率 C（以比特/秒为单位），由其带宽和信噪比决定（C = B log₂(1 + S/N)，即香农-哈特利定理）。在容量之下，通信可以达到任意可靠程度。超过容量，错误不可避免。这一定理令人震惊——工程师们此前认为有噪声信道会按比例限制可靠性。香农证明，只要有正确的编码，无论噪声水平如何，都可以以容量为限进行可靠传输。
古怪的天才
香农在贝尔实验室的走廊里玩杂耍和骑独轮车，制造了喷火小号，发明了第一台可穿戴计算机（用于轮盘赌），并设计了一只名为“忒修斯”的机械迷宫鼠。他从麻省理工学院提前退休，通过股票期权变得极其富有，并将最后的几十年时光花在玩弄小发明上。他于2001年死于阿尔茨海默病，而公众对他知之甚少，尽管他们所处的数字世界完全建立在他的数学之上。
常见问题
克劳德·香农发明了什么？
香农于1948年发明了信息理论，定义了作为信息单位的比特，证明了香农信道容量定理（在有噪声信道中的最大可靠信息速率），确立了数据压缩的数学极限，并创立了支撑所有数字通信和计算的基础学科。
什么是香农熵？
香农熵 H = -Σ p(x) log₂ p(x) 衡量的是信源的平均信息内容（不确定性）。更高的熵意味着更多的不确定性和每个符号更多的信息量。它设定了无损数据压缩的理论最小值——如果不损失信息，就不能将信源压缩到低于其熵的程度。
什么是香农极限？
香农极限（或称香农容量） C = B log₂(1 + S/N) 是在带宽为 B 且信噪比为 S/N 的信道中，信息能够可靠传输的最大速率。这是一个硬性的理论上限——没有任何编码方案能够可靠地超过它。现代通信工程在很大程度上就是为了不断接近这一极限。