El bit
Shannon formalizó el concepto de bit (dígito binario) como la unidad básica de información: la respuesta a una pregunta de sí/no. Definió la información matemáticamente: el contenido informativo de un mensaje es el logaritmo (en base 2) del inverso de su probabilidad. Los mensajes sorprendentes contienen más información que los esperados. Esta definición, elegante, abstracta y precisa, se convirtió en el fundamento de toda la teoría de la información posterior.
Entropía de Shannon
La entropía de Shannon H = -Σ p(x) log₂ p(x) mide el contenido de información promedio de una fuente. Para una moneda justa: H = 1 bit. Para una moneda sesgada (70% cara): H ≈ 0,88 bits: menos incertidumbre, menos información por lanzamiento. La entropía es también el número mínimo teórico de bits necesarios para representar una fuente sin pérdidas. Establece el límite para la compresión sin pérdidas.
Capacidad del canal
Teorema de la capacidad de canal de Shannon: cada canal tiene una tasa de información máxima C (en bits por segundo), determinada por su ancho de banda y la relación señal-ruido (C = B log₂(1 + S/N), el teorema de Shannon-Hartley). Por debajo de la capacidad, la comunicación puede ser arbitrariamente fiable. Por encima de la capacidad, los errores son inevitables. Este teorema fue sorprendente: los ingenieros habían asumido que los canales ruidosos limitaban la fiabilidad en proporción al ruido. Shannon demostró que se puede transmitir de forma fiable hasta la capacidad independientemente del nivel de ruido, con la codificación adecuada.
Veinte preguntas, ocho minutos de reloj y un percentil medido frente a todos los que la han hecho. Sin registro.
Hacer la prueba de CI →El genio excéntrico
Shannon hacía malabares y montaba en monociclo por los pasillos de Bell Labs, construyó una trompeta lanzallamas, inventó el primer ordenador portátil (para la ruleta) y diseñó un ratón mecánico que resolvía laberintos llamado Theseus. Se jubiló prematuramente del MIT, se hizo inmensamente rico a través de opciones sobre acciones y pasó sus últimas décadas jugando con artilugios. Murió de Alzheimer en 2001, prácticamente desconocido para el público cuyo mundo digital descansaba enteramente en sus matemáticas.
Preguntas frecuentes
¿Qué inventó Claude Shannon?
Shannon inventó la teoría de la información en 1948, definió el bit como unidad de información, demostró el teorema de capacidad de canal de Shannon (tasa máxima de información fiable sobre un canal ruidoso), estableció los límites matemáticos de la compresión de datos y fundó el campo que sustenta toda la comunicación y computación digital.
¿Qué es la entropía de Shannon?
La entropía de Shannon H = -Σ p(x) log₂ p(x) mide el contenido de información promedio (incertidumbre) de una fuente. Una entropía más alta significa más incertidumbre y más información por símbolo. Establece el mínimo teórico para la compresión de datos sin pérdidas: no se puede comprimir una fuente por debajo de su entropía sin perder información.
¿Qué es el límite de Shannon?
El límite de Shannon (o capacidad de Shannon) C = B log₂(1 + S/N) es la tasa máxima a la que se puede transmitir información de forma fiable sobre un canal con ancho de banda B y relación señal-ruido S/N. Es un techo teórico estricto: ningún esquema de codificación puede superarlo de forma fiable. La ingeniería de comunicaciones moderna busca en gran medida acercarse a este límite.