The Bit
Shannon formalisierte das Konzept des Bits (Binärziffer) als Grundeinheit der Information — die Antwort auf eine Ja-Nein-Frage. Er definierte Information mathematisch: Der Informationsgehalt einer Nachricht ist der Logarithmus (Basis 2) der Umkehrung ihrer Wahrscheinlichkeit. Überraschende Nachrichten enthalten mehr Information als erwartete. Diese Definition — elegant, abstrakt und präzise — wurde zur Grundlage aller nachfolgenden Informationstheorie.
Shannon Entropy
Shannon-Entropie H = -Σ p(x) log₂ p(x) misst den durchschnittlichen Informationsgehalt einer Quelle. Bei einer fairen Münze: H = 1 Bit. Bei einer verzerrten Münze (70 % Kopf): H ≈ 0,88 Bits — weniger Unsicherheit, weniger Information pro Wurf. Entropie ist auch die theoretische Mindestzahl von Bits, die zum verlustfreien Darstellen einer Quelle nötig ist. Sie setzt die Grenze für verlustfreie Kompression.
Channel Capacity
Shannons Kanalkapazitäts-Theorem: Jeder Kanal hat eine maximale Informationsrate C (in Bits pro Sekunde), bestimmt durch seine Bandbreite und sein Signal-Rausch-Verhältnis (C = B log₂(1 + S/N), das Shannon-Hartley-Theorem). Unterhalb dieser Kapazität kann Kommunikation beliebig zuverlässig gemacht werden. Oberhalb der Kapazität sind Fehler unvermeidlich. Dieses Theorem war überraschend — Ingenieure hatten angenommen, dass rauschende Kanäle die Zuverlässigkeit proportional zum Rauschen begrenzen. Shannon bewies, dass man bis zur Kapazität zuverlässig übertragen kann, unabhängig vom Rauschpegel, mit der richtigen Codierung.
The Eccentric Genius
Shannon jonglierte und fuhr auf einem Einrad durch die Flure der Bell Labs, baute eine flammenspritzende Trompete, erfand den ersten tragbaren Computer (für Roulette) und konstruierte eine Labyrinth-lösende mechanische Maus namens Theseus. Er ging früh von MIT in den Ruhestand, wurde durch Aktienoptionen obsessiv wohlhabend und verbrachte seine letzten Jahrzehnte mit Gadgets. Er starb 2001 an Alzheimer, der Öffentlichkeit weitgehend unbekannt, deren digitale Welt vollständig auf seiner Mathematik beruhte.
Frequently Asked Questions
Was erfand Claude Shannon?
Shannon erfand 1948 die Informationstheorie, definierte das Bit als Informationseinheit, bewies das Shannon-Kanalkapazitäts-Theorem (maximale zuverlässige Informationsrate über einen gestörten Kanal), etablierte die mathematischen Grenzen der Datenkompression und gründete das Feld, das allen digitalen Kommunikations- und Rechensystemen zugrunde liegt.
Was ist Shannon-Entropie?
Shannon-Entropie H = -Σ p(x) log₂ p(x) misst den durchschnittlichen Informationsgehalt (die Unsicherheit) einer Quelle. Höhere Entropie bedeutet mehr Unsicherheit und mehr Information pro Symbol. Sie setzt die theoretische Untergrenze für verlustfreie Datenkompression — eine Quelle kann nicht unter ihrer Entropie komprimiert werden, ohne Informationen zu verlieren.
Was ist die Shannon-Grenze?
Die Shannon-Grenze (oder Shannon-Kapazität) C = B log₂(1 + S/N) ist die maximale Rate, mit der Informationen zuverlässig über einen Kanal mit Bandbreite B und Signal-Rausch-Verhältnis S/N übertragen werden können. Sie ist eine harte theoretische Obergrenze — kein Codierungsschema kann sie zuverlässig überschreiten. Die moderne Nachrichtentechnik ist im Wesentlichen das Bestreben, dieser Grenze nahezukommen.
Lesen Sie den vollständigen Artikel auf Geniuses.Club