The Bit
Shannon formalizó el concepto del bit (dígito binario) como la unidad básica de información — la respuesta a una pregunta sí/no. Definió la información matemáticamente: el contenido informativo de un mensaje es el logaritmo (base 2) de la inversa de su probabilidad. Los mensajes sorprendentes contienen más información que los esperados. Esta definición — elegante, abstracta y precisa — se convirtió en la base de toda teoría de la información posterior.
Shannon Entropy
La entropía de Shannon H = -Σ p(x) log₂ p(x) mide el contenido medio de información de una fuente. Para una moneda justa: H = 1 bit. Para una moneda sesgada (70% caras): H ≈ 0,88 bits — menos incertidumbre, menos información por lanzamiento. La entropía es también el número mínimo teórico de bits necesarios para representar una fuente sin pérdida. Establece el límite para compresión sin pérdida.
Channel Capacity
Teorema de capacidad del canal de Shannon: cada canal tiene una velocidad máxima de información C (en bits por segundo), determinada por su ancho de banda y relación señal-ruido (C = B log₂(1 + S/N), el teorema de Shannon-Hartley). Por debajo de la capacidad, la comunicación puede hacerse arbitrariamente confiable. Por encima de la capacidad, los errores son inevitables. Este teorema fue sorprendente — los ingenieros asumían que los canales ruidosos limitaban la confiabilidad en proporción al ruido. Shannon probó que puedes transmitir de forma confiable hasta la capacidad independientemente del nivel de ruido, con la codificación adecuada.
The Eccentric Genius
Shannon hacía malabares y andaba en monociclo por los pasillos de Bell Labs, construyó una trompeta lanzallamas, inventó la primera computadora portátil (para ruleta), y diseñó un ratón mecánico capaz de resolver laberintos llamado Theseus. Se jubiló temprano del MIT, se hizo obsesivamente rico gracias a opciones de acciones, y pasó sus últimas décadas jugando con aparatos. Murió de Alzheimer en 2001, prácticamente desconocido para el público cuyo mundo digital descansaba enteramente en sus matemáticas.
Frequently Asked Questions
¿Qué inventó Claude Shannon?
Shannon inventó la teoría de la información en 1948, definiendo el bit como la unidad de información, probando el teorema de capacidad del canal de Shannon (velocidad máxima de información confiable sobre un canal ruidoso), estableciendo los límites matemáticos de la compresión de datos, y fundando el campo que sostiene toda comunicación digital e informática.
¿Qué es la entropía de Shannon?
La entropía de Shannon H = -Σ p(x) log₂ p(x) mide el contenido medio de información (incertidumbre) de una fuente. Mayor entropía significa mayor incertidumbre y más información por símbolo. Establece el mínimo teórico para compresión de datos sin pérdida — no puedes comprimir una fuente por debajo de su entropía sin perder información.
¿Cuál es el límite de Shannon?
El límite de Shannon (o capacidad de Shannon) C = B log₂(1 + S/N) es la velocidad máxima a la que se puede transmitir información de forma confiable sobre un canal con ancho de banda B y relación señal-ruido S/N. Es un techo teórico duro — ningún esquema de codificación puede superarlo de forma confiable. La ingeniería de comunicaciones moderna es en gran medida la búsqueda de aproximarse a este límite.
Lee el artículo completo en Geniuses.Club