Information ist die Auflösung von Unsicherheit.
Claude Elwood Shannon war ein amerikanischer Mathematiker, Elektrotechniker und Kryptograph, bekannt als „der Vater der Informationstheorie". Shannon ist bekannt dafür, die Informationstheorie mit einem wegweisenden Papier gegründet zu haben, „A Mathematical Theory of Communication", das er 1948 veröffentlichte.
Er ist auch berühmt für die Begründung der Theorie des digitalen Schaltungsdesigns 1937, als er – als 21-jähriger Masterstudent am Massachusetts Institute of Technology MIT – seine Thesis schrieb, die demonstrierte, dass elektrische Anwendungen der Booleschen Algebra jede logische numerische Beziehung konstruieren könnten. Shannon trug während des Zweiten Weltkriegs zum Bereich der Kryptoanalyse für die nationale Verteidigung bei, einschließlich seiner grundlegenden Arbeit zum Knacken von Codes und sicherer Telekommunikation.
Biografie
Kindheit
Die Shannon-Familie lebte in Gaylord, Michigan, und Claude wurde in einem Krankenhaus im benachbarten Petoskey geboren. Sein Vater, Claude Sr. 1862–1934, war ein Geschäftsmann und zeitweilig Testamentsrichter, und seine Mutter, Mabel Wolf Shannon 1890–1945, war eine Sprachlehrerin, die auch als Direktorin der Gaylord High School tätig war.
Die meisten der ersten 16 Jahre von Shannons Leben verbrachte er in Gaylord, wo er die öffentliche Schule besuchte und 1932 von der Gaylord High School graduierte. Shannon zeigte eine Neigung zu mechanischen und elektrischen Dingen. Seine besten Fächer waren Naturwissenschaften und Mathematik. Zu Hause konstruierte er Geräte wie Flugzeugmodelle, ein funkgesteuertes Modelboot und ein Stacheldraht-Telegraphensystem zu einem Haus eines Freundes eine halbe Meile entfernt. Während seiner Jugend arbeitete er auch als Bote für das Western Union-Unternehmen.
Sein Kindheitsheld war Thomas Edison, von dem er später erfuhr, dass er ein entfernter Cousin war. Sowohl Shannon als auch Edison waren Nachkommen von John Ogden 1609–1682, einem Kolonialführer und Vorfahren vieler berühmter Menschen.
Logische Schaltungen
1932 trat Shannon in die University of Michigan ein, wo er in die Arbeit von George Boole eingeführt wurde. Er graduierte 1936 mit zwei Bachelor-Abschlüssen: einem in Elektrotechnik und einem in Mathematik.
1936 begann Shannon sein Graduiertenstudium in Elektrotechnik am MIT, wo er an Vannevar Bushs Differenzialanalysator, einem frühen analogen Computer, arbeitete. Während er die komplizierten ad-hoc-Schaltungen dieses Analysators studierte, entwarf Shannon Schaltkreise auf der Grundlage von Booles Konzepten. 1937 schrieb er seine Masterthesis, A Symbolic Analysis of Relay and Switching Circuits. Ein Papier aus dieser Thesis wurde 1938 veröffentlicht. In dieser Arbeit bewies Shannon, dass seine Schaltkreise verwendet werden konnten, um die Anordnung der elektromechanischen Relais zu vereinfachen, die damals in Telefonvermittlungsschaltern verwendet wurden. Anschließend erweiterte er dieses Konzept und bewies, dass diese Schaltkreise alle Probleme lösen konnten, die die Boolesche Algebra lösen konnte. Im letzten Kapitel präsentierte er Diagramme mehrerer Schaltkreise, einschließlich eines 4-Bit-Volladdiers.
Diese Eigenschaft von elektrischen Schaltern zur Implementierung von Logik zu nutzen, ist das grundlegende Konzept, das allen elektronischen digitalen Computern zugrunde liegt. Shannons Arbeit wurde zur Grundlage des digitalen Schaltungsdesigns, da sie in der Elektrotechnik-Gemeinde während und nach dem Zweiten Weltkrieg weit bekannt wurde. Die theoretische Strenge von Shannons Arbeit übertraf die ad-hoc-Methoden, die zuvor vorherrschend waren. Howard Gardner nannte Shannons Thesis „möglicherweise die wichtigste und auch die am meisten beachtete Masterthesis des Jahrhunderts."
Shannon erhielt seinen PhD vom MIT 1940. Vannevar Bush hatte vorgeschlagen, dass Shannon seine Dissertation im Cold Spring Harbor Laboratory schreiben sollte, um eine mathematische Formulierung für die Mendelsche Genetik zu entwickeln. Diese Forschung führte zu Shannons PhD-Thesis mit dem Titel An Algebra for Theoretical Genetics.
1940 wurde Shannon ein National Research Fellow am Institute for Advanced Study in Princeton, New Jersey. In Princeton hatte Shannon die Gelegenheit, seine Ideen mit einflussreichen Wissenschaftlern und Mathematikern wie Hermann Weyl und John von Neumann zu diskutieren, und er hatte auch gelegentliche Begegnungen mit Albert Einstein und Kurt Gödel. Shannon arbeitete frei über Disziplinen hinweg, und diese Fähigkeit könnte zu seiner späteren Entwicklung der mathematischen Informationstheorie beigetragen haben.
Kriegsforschung
Shannon trat dann den Bell Labs bei, um während des Zweiten Weltkriegs an Feuerleitsystemen und Kryptographie zu arbeiten, unter einem Vertrag mit dem Abschnitt D-2 Control Systems section des National Defense Research Committee NDRC.
Shannon wird die Erfindung von Signalflussgraphen zugeschrieben, 1942. Er entdeckte die topologische Gewinnformel, während er die funktionelle Bedienung eines analogen Computers untersuchte.
Für zwei Monate Anfang 1943 kam Shannon mit dem führenden britischen Mathematiker Alan Turing in Kontakt. Turing war nach Washington entsandt worden, um mit dem kryptoanalytischen Dienst der U.S. Navy die Methoden zu teilen, die die British Government Code and Cypher School in Bletchley Park verwendete, um die von den Kriegsmarine-U-Booten im Nordatlantik verwendeten Chiffren zu knacken. Er interessierte sich auch für die Verschlüsselung von Sprache und verbrachte zu diesem Zweck Zeit in den Bell Labs. Shannon und Turing trafen sich zur Teetime in der Cafeteria. Turing zeigte Shannon sein Papier von 1936, das definierte, was heute als „Universal Turing machine" bekannt ist. Dies beeindruckte Shannon, da viele seiner Ideen seine eigenen ergänzten.
1945, als der Krieg zu Ende ging, gab das NDRC eine Zusammenfassung von technischen Berichten als letzten Schritt vor seiner eventuellen Schließung aus. Innerhalb des Bandes über Feuerleitung wurde ein spezieller Essay mit dem Titel Data Smoothing and Prediction in Fire-Control Systems, Co-Autor von Shannon, Ralph Beebe Blackman und Hendrik Wade Bode, das Problem der Glättung der Daten in der Feuerleitung durch Analogie mit „dem Problem der Trennung eines Signals von störendem Rauschen in Kommunikationssystemen" behandelt. Mit anderen Worten, es modellierte das Problem in Bezug auf Datenverarbeitung und Signalverarbeitung und kündigte somit das Zeitalter der Information an.
Shannons Arbeit zur Kryptographie war noch enger mit seinen späteren Veröffentlichungen zur Kommunikationstheorie verbunden. Nach Kriegsende erstellte er ein geheimes Memorandum für die Bell Telephone Labs mit dem Titel „A Mathematical Theory of Cryptography", datiert September 1945. Eine freigegebene Version dieses Papiers wurde 1949 als „Communication Theory of Secrecy Systems" im Bell System Technical Journal veröffentlicht. Dieses Papier enthielt viele der Konzepte und mathematischen Formulierungen, die auch in seinem A Mathematical Theory of Communication erschienen. Shannon sagte, dass seine kriegszeitlichen Erkenntnisse in Kommunikationstheorie und Kryptographie gleichzeitig entwickelt wurden und dass „sie so nah beieinander waren, dass man sie nicht trennen konnte". In einer Fußnote in der Nähe des Beginns des geheimen Berichts kündigte Shannon seine Absicht an, „diese Ergebnisse ... in einem bevorstehenden Memorandum über die Übertragung von Informationen zu entwickeln."
Während er in den Bell Labs war, bewies Shannon, dass das kryptographische One-Time-Pad in seiner geheimen Forschung, die später im Oktober 1949 veröffentlicht wurde, nicht zu knacken ist. Er bewies auch, dass jedes unknackbares System im Wesentlichen die gleichen Eigenschaften wie das One-Time-Pad haben muss: Der Schlüssel muss wirklich zufällig, so groß wie der Klartext, nie ganz oder teilweise wiederverwendet und geheim gehalten werden.
Informationstheorie
1948 erschien das versprochene Memorandum als „A Mathematical Theory of Communication", ein Artikel in zwei Teilen in den Juli- und Oktoberausgaben des Bell System Technical Journal. Diese Arbeit konzentriert sich auf das Problem, wie man die Informationen, die ein Sender übertragen möchte, am besten codiert. In dieser grundlegenden Arbeit nutzte er Werkzeuge der Wahrscheinlichkeitstheorie, entwickelt von Norbert Wiener, die zu diesem Zeitpunkt in ihren Anfängen auf die Kommunikationstheorie angewendet wurden. Shannon entwickelte Informationsentropie als Maß für den Informationsgehalt in einer Nachricht, der ein Maß der durch die Nachricht reduzierten Unsicherheit ist, während er im Wesentlichen das Feld der Informationstheorie erfand. 1949 entwickelten Claude Shannon und Robert Fano eine systematische Methode zum Zuweisen von Codewörtern basierend auf Wahrscheinlichkeiten von Blöcken. Diese Technik, bekannt als Shannon–Fano-Codierung, wurde erstmals im Artikel von 1948 vorgeschlagen.
Das Buch, gemeinsam mit Warren Weaver verfasst, The Mathematical Theory of Communication, druckt Shannons Artikel von 1948 und Weavers Popularisierung davon ab, die für den Nichtspezialisten zugänglich ist. Warren Weaver wies darauf hin, dass das Wort „Information" in der Kommunikationstheorie nicht damit zu tun hat, was Sie sagen, sondern damit, was Sie sagen könnten. Das heißt, Information ist ein Maß für die Freiheit der Wahl, wenn man eine Nachricht auswählt. Shannons Konzepte wurden auch popularisiert, unter Vorbehalt seiner eigenen Korrektur, in John Robinson Pierces Symbols, Signals, and Noise.
Der grundlegende Beitrag der Informationstheorie zur Verarbeitung natürlicher Sprache und Computerlinguistik wurde 1951 in seinem Artikel „Prediction and Entropy of Printed English" weiter etabliert, der obere und untere Grenzen der Entropie in der Statistik des Englischen zeigt – was eine statistische Grundlage für die Sprachanalyse gibt. Darüber hinaus bewies er, dass die Behandlung von Leerzeichen als 27. Buchstabe des Alphabets tatsächlich die Unsicherheit in geschriebener Sprache senkt und eine klare quantifizierbare Verbindung zwischen Kulturpraxis und probabilistischer Kognition bietet.
Ein weiteres bemerkenswertes Papier, das 1949 veröffentlicht wurde, ist „Communication Theory of Secrecy Systems", eine freigegebene Version seiner Kriegszeitarbeit über die mathematische Theorie der Kryptographie, in der er bewies, dass alle theoretisch unknackbaren Chiffren die gleichen Anforderungen wie das One-Time-Pad haben müssen. Ihm wird auch die Einführung der Abtasttheorie zugeschrieben, die sich mit der Darstellung eines zeitkontinuierlichen Signals aus einer einheitlichen diskreten Menge von Abtastwerten befasst. Diese Theorie war wesentlich, um es der Telekommunikation zu ermöglichen, in den 1960er Jahren und später von analogen zu digitalen Übertragungssystemen überzugehen.
Er kehrte 1956 zum MIT zurück, um einen dotierten Lehrstuhl zu halten.
Lehrtätigkeit am MIT
1956 trat Shannon der MIT-Fakultät bei, um im Research Laboratory of Electronics RLE zu arbeiten. Er blieb bis 1978 als Mitglied der MIT-Fakultät aktiv.
Späteres Leben
Shannon entwickelte die Alzheimer-Krankheit und verbrachte die letzten Jahre seines Lebens in einem Pflegeheim; er starb 2001, überlebte von seiner Frau, einem Sohn und einer Tochter sowie zwei Enkeltöchtern.
Hobbys und Erfindungen
Außerhalb von Shannons akademischen Bestrebungen interessierte er sich für Jonglieren, Einradfahren und Schach. Er erfand auch viele Geräte, darunter einen Römische-Ziffern-Computer namens THROBAC, Jongliermaschinen und eine Flammenwerfer-Trompete. Er baute ein Gerät, das das Rubik's-Cube-Puzzle lösen konnte.
Shannon entwarf den Minivac 601, einen Digital-Computer-Trainer, um Geschäftsleute über die Funktionsweise von Computern zu unterrichten. Es wurde von der Scientific Development Corp ab 1961 verkauft.
Er wird auch als Co-Erfinder des ersten tragbaren Computers zusammen mit Edward O. Thorp betrachtet. Das Gerät wurde verwendet, um die Gewinnchancen beim Roulettespiel zu verbessern.
Persönliches Leben
Shannon heiratete Norma Levor, eine wohlhabende, jüdische, linksgerichtete Intellektuelle, im Januar 1940. Die Ehe endete nach etwa einem Jahr mit Scheidung. Levor heiratete später Ben Barzman.
Shannon lernte seine zweite Ehefrau Betty Shannon, geborene Mary Elizabeth Moore, kennen, als sie eine numerische Analystin in den Bell Labs war. Sie heirateten 1949. Betty half Claude beim Bau einiger seiner berühmtesten Erfindungen. Sie hatten drei Kinder.
Shannon war apolitisch und Atheist.
Ehrungen
Es gibt sechs Statuen von Shannon, die von Eugene Daub geschaffen wurden: eine an der University of Michigan; eine am MIT im Laboratory for Information and Decision Systems; eine in Gaylord, Michigan; eine an der University of California, San Diego; eine in den Bell Labs; und eine weitere in den AT&T Shannon Labs. Nach der Zerschlagung des Bell System wurde der Teil der Bell Labs, der bei AT&T Corporation verblieb, zu seinen Ehren in Shannon Labs umbenannt.
Nach Angaben von Neil Sloane, einem AT&T Fellow, der 1993 Shannons umfangreiche Papiersammlung mit herausgab, ist die Perspektive, die Shannons Kommunikationstheorie, jetzt Informationstheorie genannt, einführte, die Grundlage der digitalen Revolution, und jedes Gerät mit einem Mikroprozessor oder einer Mikrocontroller-Einheit ist ein konzeptioneller Nachkomme von Shannons Veröffentlichung 1948: „Er ist einer der großen Männer des Jahrhunderts. Ohne ihn würde es keine der Dinge geben, die wir heute kennen. Die ganze digitale Revolution begann mit ihm." Die Einheit Shannon ist nach Claude Shannon benannt.
A Mind at Play, eine Biografie von Shannon, geschrieben von Jimmy Soni und Rob Goodman, wurde 2017 veröffentlicht.
Am 30. April 2016 wurde Shannon mit einem Google Doodle geehrt, um sein Leben an seinem 100. Geburtstag zu würdigen.
The Bit Player, ein Spielfilm über Shannon, unter der Regie von Mark Levinson, hatte Weltpremiere beim World Science Festival 2019. Basierend auf Interviews mit Shannon in seinem Haus in den 1980er Jahren, wurde der Film im August 2020 auf Amazon Prime veröffentlicht.
Weitere Arbeiten
Shannons Maus
„Theseus", 1950 erschaffen, war eine mechanische Maus, die von einem elektromechanischen Relaisschaltkreis gesteuert wurde, der es ihr ermöglichte, sich in einem Labyrinth von 25 Quadraten zu bewegen. Die Labyrinthkonfiguration war flexibel und konnte beliebig durch Umordnung beweglicher Trennwände geändert werden. Die Maus wurde konzipiert, um durch die Korridore zu suchen
