Il Bit
Shannon formalizzò il concetto di bit (cifra binaria) come unità base dell'informazione — la risposta a una domanda sì/no. Definì l'informazione matematicamente: il contenuto informativo di un messaggio è il logaritmo (in base 2) dell'inverso della sua probabilità. I messaggi sorprendenti contengono più informazioni di quelli previsti. Questa definizione — elegante, astratta e precisa — divenne il fondamento di tutta la successiva teoria dell'informazione.
Entropia di Shannon
L'entropia di Shannon H = -Σ p(x) log₂ p(x) misura il contenuto informativo medio di una sorgente. Per una moneta equa: H = 1 bit. Per una moneta truccata (70% testa): H ≈ 0,88 bit — meno incertezza, meno informazione per lancio. L'entropia è anche il numero minimo teorico di bit necessari per rappresentare una sorgente senza perdita. Stabilisce il limite per la compressione senza perdita.
Capacità del canale
Il teorema della capacità di canale di Shannon: ogni canale ha una velocità massima di informazione C (in bit al secondo), determinata dalla sua larghezza di banda e dal rapporto segnale-rumore (C = B log₂(1 + S/N), il teorema di Shannon-Hartley). Sotto la capacità, la comunicazione può essere resa arbitrariamente affidabile. Sopra la capacità, gli errori sono inevitabili. Questo teorema fu sorprendente — gli ingegneri avevano presunto che i canali rumorosi limitassero l'affidabilità in proporzione al rumore. Shannon dimostrò che è possibile trasmettere in modo affidabile fino alla capacità indipendentemente dal livello di rumore, con la codifica corretta.
Venti domande, otto minuti di orologio e un percentile misurato su tutti quelli che l’hanno fatto. Senza registrazione.
Fai il test del QI →Il genio eccentrico
Shannon faceva giocoleria e andava in monociclo nei corridoi dei Bell Labs, costruì una tromba lanciafiamme, inventò il primo computer indossabile (per la roulette) e progettò un topo meccanico che risolveva labirinti chiamato Theseus. Andò in pensione presto dal MIT, divenne ossessivamente ricco tramite le stock option e trascorse i suoi ultimi decenni a giocare con i gadget. Morì di Alzheimer nel 2001, in gran parte sconosciuto al pubblico il cui mondo digitale poggiava interamente sulla sua matematica.
Domande frequenti
Cosa ha inventato Claude Shannon?
Shannon ha inventato la teoria dell'informazione nel 1948, definendo il bit come unità di informazione, dimostrando il teorema della capacità di canale di Shannon (velocità massima di informazione affidabile su un canale rumoroso), stabilendo i limiti matematici della compressione dati e fondando il campo che sostiene tutta la comunicazione digitale e l'informatica.
Cos'è l'entropia di Shannon?
L'entropia di Shannon H = -Σ p(x) log₂ p(x) misura il contenuto informativo medio (incertezza) di una sorgente. Un'entropia più alta significa più incertezza e più informazione per simbolo. Stabilisce il minimo teorico per la compressione dati senza perdita — non è possibile comprimere una sorgente al di sotto della sua entropia senza perdere informazioni.
Cos'è il limite di Shannon?
Il limite di Shannon (o capacità di Shannon) C = B log₂(1 + S/N) è la velocità massima alla quale le informazioni possono essere trasmesse in modo affidabile su un canale con larghezza di banda B e rapporto segnale-rumore S/N. È un rigido tetto teorico — nessuno schema di codifica può superarlo in modo affidabile. L'ingegneria delle comunicazioni moderna è in gran parte la ricerca di avvicinarsi a questo limite.