Jeff Dean: Die Infrastruktur unter der Suchleiste eines jeden

Es gibt ein Genre von Internetwitzen, das vollständig um einen Google-Ingenieur herum aufgebaut ist und sich an Chuck-Norris-Fakten orientiert: Jeff Deans Code hat keine Fehler, er hat Funktionen; als die Indexserver 2002 ausfielen, soll Jeff Dean zwei Stunden lang Suchanfragen von Nutzern von Hand beantwortet haben, und die Bewertungsergebnisse stiegen um fünf Punkte. Der Witz existiert, weil die zugrunde liegende Behauptung — dass ein riesiger Teil der Infrastruktur, die Google betreibt, und damit ein riesiger Teil des modernen Internets, durch die Hände eines einzigen Ingenieurs ging — nicht wirklich eine Übertreibung ist.

Von Hawaii zu den Twin Cities

Jeffrey Adgate Dean wurde am 23. Juli 1968 auf Hawaii als Sohn eines Forschers für Tropenkrankheiten und einer medizinischen Anthropologin geboren, deren Arbeit die Familie häufig umziehen ließ; er besuchte von der fünften bis zur zehnten Klasse die Schule in den Twin Cities, Minnesota. Er erwarb 1990 einen B.S. summa cum laude an der University of Minnesota mit einem Doppelstudium in Informatik und Wirtschaftswissenschaften und schrieb seine Bachelorarbeit über neuronale Netze in C unter der Leitung von Vipin Kumar — ein erstaunlich früher Kontakt mit der Technologie, deren Aufbau in großem Maßstab er seine spätere Karriere widmen würde. Während seines ersten Studienjahres lernte er seine zukünftige Frau Heidi Hopper kennen; beide schlossen ihr Studium 1990 ab. Vor seinem weiterführenden Studium arbeitete er beim Globalen Programm der Weltgesundheitsorganisation gegen AIDS und entwickelte statistische Modellierungssoftware zur Vorhersage der Ausbreitung der HIV/AIDS-Pandemie — angewandte, konsequente Softwarearbeit und kein akademischer Umweg. Anschließend promovierte er (Ph.D.) 1996 in Informatik an der University of Washington bei Craig Chambers über Optimierungstechniken für ganze Programme für objektorientierte Sprachen, bevor er zum Western Research Laboratory von DEC/Compaq wechselte, um an Profiling-Tools und Mikroprozessorarchitektur zu arbeiten — wo er eine lange Arbeitspartnerschaft mit Sanjay Ghemawat begann, die das nächste Vierteljahrhundert definieren sollte.

Mitarbeiter Nummer dreißig

Dean kam Mitte 1999 zu Google, als dreißigster Mitarbeiter des Unternehmens, nach einer kurzen Zeit bei dem Shopping-Vergleichs-Startup mySimon, wo er verteilte Web-Crawling-Systeme baute. Bei Google wurden er und Ghemawat bis 2018 zu den einzigen zwei Senior Fellows des Unternehmens — seinem höchsten technischen Rang —, eine Paarung, die so produktiv war, dass ein großer Teil der zentralen Infrastruktur von Google in ihren Designdokumenten beide Namen trägt. Zusammen leiteten sie den ursprünglichen Entwurf von Protocol Buffers, Googles sprach- und plattformneutralem Datenserialisierungsformat, das in den Systemen des Unternehmens noch immer nahezu universell verwendet wird und außerhalb davon weit verbreitet ist.

MapReduce, Bigtable, Spanner

Ihre folgenreichste gemeinsame Arbeit folgte als Nächstes. MapReduce, das Dean und Ghemawat entwarfen und implementierten, ist ein Programmiermodell, das es gewöhnlichen Ingenieuren ermöglichte, enorme Datensätze auf Tausenden von handelsüblichen Maschinen zu verarbeiten und zu generieren, ohne selbst Experten für verteilte Systeme werden zu müssen — es wurde zur Grundlage dafür, wie Google in großem Maßstab rechnete, und inspirierte direkt das Open-Source-Ökosystem Apache Hadoop, auf dem ein Großteil der restlichen Industrie später aufbaute. Bigtable, das gemeinsam mit Ghemawat, Fay Chang und Mike Burrows entworfen wurde, löste das parallele Problem der Speicherung: ein teilstrukturiertes System, das in der Lage ist, Petabyte-Skalen von Daten über Milliarden von Zeilen zu halten und gleichzeitig Abfragen mit geringer Latenz zu bedienen, direkt integriert mit MapReduce. Spanner erweiterte dieses Denken weiter zu einer horizontal skalierbaren, global verteilten Datenbank, die Daten synchron über Rechenzentren auf verschiedenen Kontinenten replizieren kann und gleichzeitig eine starke Konsistenz garantiert — ein Problem, das lange Zeit als fast unlösbar in diesem Maßstab galt. Dean und Ghemawat veröffentlichten 2011 auch LevelDB, einen einbettbaren Key-Value-Speicher, der auf den Designprinzipien von Bigtable basiert und zum Speicher-Backend für Chromes IndexedDB und, bemerkenswert, für Bitcoin Core wurde.

Hinwendung zu neuronalen Netzen

Im Jahr 2011 wechselte Dean in das Google X-Labor, um tiefe neuronale Netze zu untersuchen, und produzierte das, was als „das Katzen-Neuron-Papier“ bekannt wurde — ein groß angelegtes Deep-Belief-Netzwerk, das ohne Überwachung auf YouTube-Videoframes trainiert wurde und unabhängig lernte, das Konzept einer Katze zu erkennen. Dieses Projekt wurde zur Gründungsarbeit von Google Brain, das Dean ab 2012 leitete. Das interne Trainingssystem seines Teams, DistBelief, wurde schließlich in TensorFlow umgestaltet, das Open-Source-Framework für maschinelles Lernen, das Dean mit entwarf und anfangs implementierte und das jahrelang das dominierende Werkzeug in der Deep-Learning-Forschung war, bevor der spätere Aufstieg von PyTorch begann. Er arbeitete auch an Pathways, einem asynchronen verteilten System zum Training neuronaler Netze, das bei der Entwicklung des großen Sprachmodells PaLM verwendet wurde. Im April 2018 wurde er zum Leiter der KI-Bemühungen von Google ernannt, und nachdem Google Brain 2023 mit DeepMind zu Google DeepMind verschmolzen war, wurde er Googles wissenschaftlicher Leiter (Chief Scientist) — und schlug Berichten zufolge den Namen „Gemini“ für das Flaggschiff-KI-System des Unternehmens vor, „weil es wie Zwillinge ist, die zusammenkommen“.

Nicht ohne Kontroverse

Deans Führung war nicht frei von Kritik. Im Dezember 2020, nachdem Google die KI-Ethik-Forscherin Timnit Gebru wegen eines unveröffentlichten Papiers über die Risiken großer Sprachmodelle entlassen hatte, schickte Dean den Mitarbeitern ein Memo, in dem er anerkannte, dass die Episode „große, wichtige Fragen“ über Forschungskultur und Inklusion „an die Oberfläche gebracht“ habe; als eine zweite Ethik-Forscherin, Margaret Mitchell, Monate später entlassen wurde, schrieb er intern, dass Google „diese Situation mit mehr Sensibilität hätte handhaben können und sollen“. Unabhängig davon war Dean Hauptautor eines Artikels aus dem Jahr 2021 in Nature, in dem behauptet wurde, dass Reinforcement Learning Menschen bei der Chip-Planung übertreffen könne; ein Google-Ingenieur, der die Ergebnisse öffentlich anzweifelte, wurde entlassen und klagte später gegen Dean. Unabhängige akademische Forscher fanden später heraus, dass einfachere Methoden — simuliertes Tempern und Standard-kommerzielles Design-Software — die im Papier behaupteten Ergebnisse auf öffentlichen Benchmarks erreichten oder übertrafen, wobei ein von Fachleuten geprüfter Artikel in Communications of the ACM „fragwürdige Forschungspraktiken“ in der Arbeit beschrieb.

Warum Jeff ein Genie genannt wird

Das Argument für Deans Genie ist nach den Maßstäben der Softwaretechnik ungewöhnlich gut dokumentiert, weil so vieles von dem, was er baute, immer noch direkt tragend für Dienste ist, die täglich von Milliarden Menschen genutzt werden — die Suche, Maps, Translate, Chrome und die aktuelle Generation großer KI-Modelle laufen alle auf Systemen, die er persönlich entworfen oder mit entworfen hat. Das „Jeff Dean-Fakten“-Meme ist Folklore, aber es entstand aus echten Zeugenaussagen von Kollegen innerhalb von Google, dass seine Leistung und technische Bandbreite selbst in einem Unternehmen mit Elite-Ingenieuren außergewöhnlich waren; seine Wahl zum ACM-Fellow, sein ACM-Preis für Informatik 2012 und die IEEE John von Neumann-Medaille 2021 sind die formelle Version desselben Urteils des Fachgebiets. Die ehrliche Komplikation ist, dass Deans sichtbarste jüngste Rolle eher managerisch und strategisch als rein technisch war — er leitete die KI-Organisation von Google durch eine Zeit, einschließlich der Entlassung von Gebru und der Chip-Design-Kontroverse, in der seine Antworten wegen mangelnder Offenheit und Aufsicht echte Kritik hervorriefen, eine Erinnerung daran, dass technische Brillanz und organisatorische Führung nicht dieselbe Fähigkeit sind und nicht immer mit gleicher Strenge ausgeübt werden.

Vermächtnis

Die technische Partnerschaft von Dean und Ghemawat veränderte die Art und Weise, wie die gesamte Industrie über verteiltes Rechnen denkt, und die Nachfahren von MapReduce bleiben weit über Google hinaus in der Dateninfrastruktur eingebettet. Gemeinsam mit seiner Frau Heidi Hopper hat er durch die Hopper-Dean Foundation Millionen von Dollar für Diversitätsinitiativen in der Informatik an Universitäten wie dem MIT, Stanford und Berkeley gelenkt und seinen Einfluss von Googles Serverfarmen auf den Pool von Ingenieuren ausgedehnt, die alles bauen werden, was nach ihnen kommt.