The Bit
Shannon formalisa le concept du bit (chiffre binaire) comme unité basique d'information — la réponse à une question oui/non. Il définit l'information mathématiquement : le contenu informationnel d'un message est le logarithme (base 2) de l'inverse de sa probabilité. Les messages surprenants véhiculent plus d'information que les messages attendus. Cette définition — élégante, abstraite et précise — devint le fondement de toute la théorie de l'information subséquente.
Shannon Entropy
L'entropie de Shannon H = -Σ p(x) log₂ p(x) mesure le contenu informationnel moyen d'une source. Pour une pièce équitable : H = 1 bit. Pour une pièce biaisée (70 % face) : H ≈ 0,88 bits — moins d'incertitude, moins d'information par lancer. L'entropie est aussi le nombre minimal théorique de bits nécessaires pour représenter une source sans perte. Elle fixe la limite de la compression sans perte.
Channel Capacity
Le théorème de capacité de canal de Shannon : chaque canal possède un débit d'information maximal C (en bits par seconde), déterminé par sa largeur de bande et son rapport signal-sur-bruit (C = B log₂(1 + S/N), le théorème de Shannon-Hartley). En dessous de la capacité, la communication peut être rendue arbitrairement fiable. Au-delà, les erreurs sont inévitables. Ce théorème fut étonnant — les ingénieurs supposaient que les canaux bruits limitaient la fiabilité proportionnellement au bruit. Shannon prouva qu'on peut transmettre de manière fiable jusqu'à la capacité indépendamment du niveau de bruit, avec le bon codage.
The Eccentric Genius
Shannon jonglait et circulait à monocycle dans les couloirs des Bell Labs, construisit une trompette crachant des flammes, inventa le premier ordinateur portable (pour la roulette), et conçut une souris mécanique résolvant des labyrinthes appelée Theseus. Il prit une retraite précoce du MIT, devint obsessivement riche grâce aux stock-options, et passa ses dernières décennies à jouer avec des gadgets. Il mourut d'Alzheimer en 2001, largement inconnu du public dont le monde numérique reposait entièrement sur ses mathématiques.
Frequently Asked Questions
Qu'a inventé Claude Shannon ?
Shannon a inventé la théorie de l'information en 1948, en définissant le bit comme unité d'information, en prouvant le théorème de capacité de canal de Shannon (débit maximal d'information fiable sur un canal bruité), en établissant les limites mathématiques de la compression de données, et en fondant le domaine qui soutient toute communication et informatique numériques.
Qu'est-ce que l'entropie de Shannon ?
L'entropie de Shannon H = -Σ p(x) log₂ p(x) mesure le contenu informationnel moyen (l'incertitude) d'une source. Une entropie plus élevée signifie plus d'incertitude et plus d'information par symbole. Elle fixe le minimum théorique pour la compression de données sans perte — on ne peut pas compresser une source en dessous de son entropie sans perdre d'information.
Qu'est-ce que la limite de Shannon ?
La limite de Shannon (ou capacité de Shannon) C = B log₂(1 + S/N) est le débit maximal auquel l'information peut être transmise de manière fiable sur un canal de largeur de bande B et de rapport signal-sur-bruit S/N. C'est un plafond théorique rigoureux — aucun schéma de codage ne peut le dépasser de manière fiable. L'ingénierie moderne des communications est largement la quête de s'en rapprocher.
Lire l'article complet sur Geniuses.Club