Le bit
Shannon a formalisé le concept de bit (chiffre binaire) comme l'unité de base de l'information — la réponse à une question oui/non. Il a défini l'information mathématiquement : le contenu informationnel d'un message est le logarithme (en base 2) de l'inverse de sa probabilité. Les messages surprenants contiennent plus d'informations que ceux attendus. Cette définition — élégante, abstraite et précise — est devenue le socle de toute la théorie de l'information qui a suivi.
Entropie de Shannon
L'entropie de Shannon H = -Σ p(x) log₂ p(x) mesure le contenu informationnel moyen d'une source. Pour une pièce équitable : H = 1 bit. Pour une pièce biaisée (70 % pile) : H ≈ 0,88 bits — moins d'incertitude, moins d'information par lancer. L'entropie est également le nombre minimal théorique de bits nécessaires pour représenter une source sans perte. Elle définit la limite pour la compression sans perte.
Capacité de canal
Le théorème de capacité de canal de Shannon : chaque canal a un débit d'information maximal C (en bits par seconde), déterminé par sa largeur de bande et son rapport signal sur bruit (C = B log₂(1 + S/N), le théorème de Shannon-Hartley). En dessous de cette capacité, la communication peut être rendue arbitrairement fiable. Au-dessus, les erreurs sont inévitables. Ce théorème était stupéfiant — les ingénieurs supposaient que les canaux bruités limitaient la fiabilité en proportion du bruit. Shannon a prouvé qu'on peut transmettre de manière fiable jusqu'à la capacité, quel que soit le niveau de bruit, avec le bon codage.
Vingt questions, huit minutes au chronomètre et un centile mesuré face à tous ceux qui l’ont passé. Sans inscription.
Passer le test de QI →Le génie excentrique
Shannon jonglait et faisait du monocycle dans les couloirs des Bell Labs, a construit une trompette lance-flammes, a inventé le premier ordinateur portable (pour la roulette) et a conçu une souris mécanique résolveuse de labyrinthes appelée Theseus. Il a pris sa retraite prématurément du MIT, est devenu obsédant sa fortune grâce aux stock-options et a passé ses dernières décennies à jouer avec des gadgets. Il est mort de la maladie d'Alzheimer en 2001, largement inconnu du public dont le monde numérique reposait entièrement sur ses mathématiques.
Foire aux questions
Qu'est-ce que Claude Shannon a inventé ?
Shannon a inventé la théorie de l'information en 1948, définissant le bit comme unité d'information, prouvant le théorème de capacité de canal de Shannon (débit d'information fiable maximal sur un canal bruité), établissant les limites mathématiques de la compression de données et fondant le domaine qui sous-tend toute la communication et l'informatique numériques.
Qu'est-ce que l'entropie de Shannon ?
L'entropie de Shannon H = -Σ p(x) log₂ p(x) mesure le contenu informationnel moyen (incertitude) d'une source. Une entropie plus élevée signifie plus d'incertitude et plus d'information par symbole. Elle fixe le minimum théorique pour la compression de données sans perte — on ne peut pas compresser une source en dessous de son entropie sans perdre de l'information.
Qu'est-ce que la limite de Shannon ?
La limite de Shannon (ou capacité de Shannon) C = B log₂(1 + S/N) est le débit maximal auquel l'information peut être transmise de manière fiable sur un canal avec une largeur de bande B et un rapport signal sur bruit S/N. C'est un plafond théorique strict — aucun schéma de codage ne peut le dépasser de manière fiable. L'ingénierie des communications modernes est largement tournée vers la recherche de la proximité de cette limite.