Das Bit
Shannon formalisierte das Konzept des Bits (binäre Ziffer) als Basiseinheit der Information – die Antwort auf eine Ja/Nein-Frage. Er definierte Information mathematisch: Der Informationsgehalt einer Nachricht ist der Logarithmus (Basis 2) des Kehrwerts ihrer Wahrscheinlichkeit. Überraschende Nachrichten enthalten mehr Informationen als erwartete. Diese Definition – elegant, abstrakt und präzise – wurde zum Fundament aller nachfolgenden Informationstheorie.
Shannon-Entropie
Die Shannon-Entropie H = -Σ p(x) log₂ p(x) misst den durchschnittlichen Informationsgehalt einer Quelle. Bei einer fairen Münze: H = 1 Bit. Bei einer einseitigen Münze (70% Kopf): H ≈ 0,88 Bits – weniger Unsicherheit, weniger Information pro Wurf. Entropie ist auch die theoretische Mindestanzahl an Bits, die benötigt werden, um eine Quelle verlustfrei darzustellen. Sie setzt die Grenze für verlustfreie Kompression.
Kanalkapazität
Shannons Kanalkapazitätstheorem: Jeder Kanal hat eine maximale Informationsrate C (in Bits pro Sekunde), bestimmt durch seine Bandbreite und das Signal-Rausch-Verhältnis (C = B log₂(1 + S/N), das Shannon-Hartley-Theorem). Unterhalb der Kapazität kann Kommunikation beliebig zuverlässig gemacht werden. Oberhalb der Kapazität sind Fehler unvermeidlich. Dieses Theorem war verblüffend – Ingenieure hatten angenommen, verrauschte Kanäle begrenzten die Zuverlässigkeit im Verhältnis zum Rauschen. Shannon bewies, dass man mit der richtigen Codierung unabhängig vom Rauschpegel zuverlässig bis zur Kapazität übertragen kann.
Zwanzig Fragen, acht Minuten auf der Uhr und ein Perzentil, gemessen an allen bisherigen Teilnehmern. Ohne Anmeldung.
IQ-Test starten →Das exzentrische Genie
Shannon jonglierte und fuhr Einrad durch die Flure der Bell Labs, baute eine Flammenwerfer-Trompete, erfand den ersten tragbaren Computer (für Roulette) und entwarf eine mechanische Maus namens Theseus, die Labyrinthe lösen konnte. Er ging vorzeitig vom MIT in den Ruhestand, wurde durch Aktienoptionen obsessiv wohlhabend und verbrachte seine letzten Jahrzehnte mit dem Basteln an Geräten. Er starb 2001 an Alzheimer, weitgehend unbekannt der Öffentlichkeit, deren digitale Welt vollständig auf seiner Mathematik beruhte.
Häufig gestellte Fragen
Was hat Claude Shannon erfunden?
Shannon erfand 1948 die Informationstheorie, definierte das Bit als Informationseinheit, bewies das Shannon-Kanalkapazitätstheorem (maximale zuverlässige Informationsrate über einen verrauschten Kanal), legte die mathematischen Grenzen der Datenkompression fest und begründete das Fachgebiet, das alle digitale Kommunikation und Computertechnik untermauert.
Was ist Shannon-Entropie?
Die Shannon-Entropie H = -Σ p(x) log₂ p(x) misst den durchschnittlichen Informationsgehalt (Unsicherheit) einer Quelle. Eine höhere Entropie bedeutet mehr Unsicherheit und mehr Information pro Symbol. Sie setzt das theoretische Minimum für verlustfreie Datenkompression – man kann eine Quelle nicht unter ihre Entropie komprimieren, ohne Informationen zu verlieren.
Was ist das Shannon-Limit?
Das Shannon-Limit (oder die Shannon-Kapazität) C = B log₂(1 + S/N) ist die maximale Rate, mit der Informationen zuverlässig über einen Kanal mit Bandbreite B und Signal-Rausch-Verhältnis S/N übertragen werden können. Es ist eine harte theoretische Obergrenze – kein Codierungsverfahren kann sie zuverlässig überschreiten. Die moderne Kommunikationstechnik strebt weitgehend danach, sich diesem Limit zu nähern.