The Bit
Shannon ha formalizzato il concetto di bit (cifra binaria) come unità fondamentale di informazione — la risposta a una domanda sì/no. Ha definito l'informazione matematicamente: il contenuto informativo di un messaggio è il logaritmo (in base 2) dell'inverso della sua probabilità. I messaggi sorprendenti portano più informazione di quelli attesi. Questa definizione — elegante, astratta e precisa — divenne il fondamento di tutta la teoria dell'informazione successiva.
Shannon Entropy
L'entropia di Shannon H = -Σ p(x) log₂ p(x) misura il contenuto informativo medio di una sorgente. Per una moneta equa: H = 1 bit. Per una moneta sbilanciata (70% testa): H ≈ 0,88 bit — meno incertezza, meno informazione per lancio. L'entropia è anche il numero minimo teorico di bit necessari per rappresentare una sorgente senza perdita. Stabilisce il limite per la compressione senza perdita.
Channel Capacity
Il teorema di capacità di canale di Shannon: ogni canale ha un massimo tasso di informazione C (in bit al secondo), determinato dalla sua larghezza di banda e dal rapporto segnale-rumore (C = B log₂(1 + S/N), il teorema di Shannon-Hartley). Al di sotto della capacità, la comunicazione può essere resa arbitrariamente affidabile. Al di sopra della capacità, gli errori sono inevitabili. Questo teorema fu sorprendente — gli ingegneri avevano supposto che i canali rumorosi limitassero l'affidabilità in proporzione al rumore. Shannon provò che puoi trasmettere in modo affidabile fino alla capacità indipendentemente dal livello di rumore, con la giusta codifica.
The Eccentric Genius
Shannon giocolava e pedalava su un monociclo nei corridoi dei Bell Labs, costruì una tromba che sputa fuoco, inventò il primo computer indossabile (per la roulette), e progettò un topo meccanico che risolve labirinti chiamato Theseus. Si ritirò presto dal MIT, divenne ossessivamente ricco grazie alle stock option, e trascorse i suoi ultimi decenni giocando con gadget. Morì di Alzheimer nel 2001, largamente sconosciuto al pubblico il cui mondo digitale poggiava interamente sulla sua matematica.
Frequently Asked Questions
Cosa ha inventato Claude Shannon?
Shannon ha inventato la teoria dell'informazione nel 1948, definendo il bit come unità di informazione, provando il teorema di capacità di canale di Shannon (il massimo tasso di informazione affidabile su un canale rumoroso), stabilendo i limiti matematici della compressione dati, e fondando il campo che sottende tutte le comunicazioni digitali e l'informatica.
Cos'è l'entropia di Shannon?
L'entropia di Shannon H = -Σ p(x) log₂ p(x) misura il contenuto informativo medio (l'incertezza) di una sorgente. Un'entropia più alta significa più incertezza e più informazione per simbolo. Stabilisce il minimo teorico per la compressione dati senza perdita — non puoi comprimere una sorgente al di sotto della sua entropia senza perdere informazioni.
Cos'è il limite di Shannon?
Il limite di Shannon (o capacità di Shannon) C = B log₂(1 + S/N) è il massimo tasso al quale le informazioni possono essere trasmesse in modo affidabile su un canale con larghezza di banda B e rapporto segnale-rumore S/N. È un soffitto teorico duro — nessuno schema di codifica può superarlo in modo affidabile. L'ingegneria delle comunicazioni moderna è in gran parte la ricerca di avvicinarsi il più possibile a questo limite.
Leggi l'articolo completo su Geniuses.Club