Jeff Dean : L'infrastructure derrière la barre de recherche de tout le monde

Il existe un genre de blagues sur Internet entièrement construites autour d'un ingénieur de Google, calquées sur les faits concernant Chuck Norris : le code de Jeff Dean ne contient pas de bugs, il contient des fonctionnalités ; lorsque les serveurs d'index sont tombés en panne en 2002, on dit que Jeff Dean a répondu manuellement aux requêtes de recherche des utilisateurs pendant deux heures, et que les scores d'évaluation ont augmenté de cinq points. Cette blague existe parce que l'affirmation sous-jacente — qu'une immense part de l'infrastructure faisant fonctionner Google, et par extension une immense part de l'Internet moderne, est passée entre les mains d'un seul ingénieur — n'est pas vraiment une exagération.

D'Hawaï aux Twin Cities

Jeffrey Adgate Dean est né le 23 juillet 1968 à Hawaï. Il est le fils d'un chercheur spécialisé dans les maladies tropicales et d'une anthropologue médicale dont le travail obligeait la famille à déménager fréquemment. Il a fréquenté l'école dans les Twin Cities, dans le Minnesota, de la cinquième à la dixième année (grade). Il a obtenu une licence (B.S.) summa cum laude de l'Université du Minnesota en 1990, avec une double spécialisation en informatique et en économie, et a rédigé une thèse de fin d'études sur les réseaux de neurones en C sous la direction de Vipin Kumar — un contact étonnamment précoce avec la technologie qu'il passera le reste de sa carrière à développer à grande échelle. Il a rencontré sa future épouse, Heidi Hopper, pendant sa première année d'université ; ils ont tous deux obtenu leur diplôme en 1990. Avant de poursuivre ses études supérieures, il a travaillé au Programme mondial de lutte contre le sida de l'Organisation mondiale de la santé, où il a écrit des logiciels de modélisation statistique pour prévoir la propagation de la pandémie de VIH/sida — un travail logiciel appliqué et important plutôt qu'un détour académique. Il a ensuite obtenu un doctorat (Ph.D.) en informatique à l'Université de Washington en 1996 sous la direction de Craig Chambers, portant sur des techniques d'optimisation de programmes complets pour les langages orientés objet, avant de rejoindre le Western Research Laboratory de DEC/Compaq pour travailler sur des outils de profilage et l'architecture des microprocesseurs — où il a entamé une longue collaboration professionnelle avec Sanjay Ghemawat qui définirait le quart de siècle suivant.

Employé numéro trente

Dean a rejoint Google au milieu de l'année 1999, devenant le trentième employé de l'entreprise, après un bref passage au sein de la startup de comparaison d'achats mySimon pour construire des systèmes de crawl Web distribués. Chez Google, lui et Ghemawat sont devenus, d'ici 2018, les deux seuls « Senior Fellows » de l'entreprise — son rang technique le plus élevé —, un duo si productif qu'une grande part de l'infrastructure centrale de Google porte leurs deux noms dans ses documents de conception. Ensemble, ils ont dirigé la conception originale de Protocol Buffers, le format de sérialisation de données de Google neutre vis-à-vis du langage et de la plateforme, toujours utilisé de manière quasi universelle dans les systèmes de l'entreprise et largement adopté en dehors de celle-ci.

MapReduce, Bigtable, Spanner

Leur travail commun le plus marquant a suivi. MapReduce, que Dean et Ghemawat ont conçu et mis en œuvre, est un modèle de programmation qui a permis à des ingénieurs ordinaires de traiter et de générer d'énormes jeux de données sur des milliers de machines banalisées sans avoir besoin de devenir eux-mêmes des experts en systèmes distribués — il est devenu fondamental pour la manière dont Google calcule à grande échelle et a directement inspiré l'écosystème open-source Apache Hadoop sur lequel une grande partie du reste de l'industrie s'est ensuite appuyée. Bigtable, conçu en collaboration avec Ghemawat, Fay Chang et Mike Burrows, a résolu le problème parallèle du stockage : un système semi-structuré capable de contenir des données à l'échelle du pétaoctet sur des milliards de lignes tout en répondant aux requêtes avec une faible latence, intégré directement à MapReduce. Spanner a poussé cette réflexion encore plus loin, vers une base de données horizontalement évolutive et distribuée mondialement, capable de répliquer des données de manière synchrone entre des centres de données sur différents continents tout en garantissant une forte cohérence — un problème longtemps considéré comme presque insoluble à cette échelle. Dean et Ghemawat ont également publié LevelDB en 2011, un magasin clé-valeur embarquable s'appuyant sur les principes de conception de Bigtable, qui est devenu le backend de stockage pour l'IndexedDB de Chrome et, notamment, pour Bitcoin Core.

Vers les réseaux de neurones

En 2011, Dean a rejoint le laboratoire Google X pour étudier les réseaux de neurones profonds, produisant ce qui est devenu connu sous le nom de « papier sur le neurone du chat » — un réseau de croyance profond à grande échelle entraîné sans supervision sur des images de vidéos YouTube, qui a appris indépendamment à reconnaître le concept de chat. Ce projet est devenu le travail fondateur de Google Brain, que Dean a dirigé à partir de 2012. Le système d'entraînement interne de son équipe, DistBelief, a finalement été refactorisé en TensorFlow, le framework d'apprentissage automatique open-source que Dean a aidé à concevoir et à implémenter initialement, qui a été pendant des années l'outil dominant dans la recherche en apprentissage profond avant l'ascension ultérieure de PyTorch. Il a également travaillé sur Pathways, un système distribué asynchrone pour l'entraînement des réseaux de neurones, utilisé dans le développement du grand modèle de langage PaLM. En avril 2018, il a été nommé responsable des efforts d'IA de Google, et après la fusion de Google Brain avec DeepMind pour former Google DeepMind en 2023, il est devenu le scientifique en chef de Google — et a, selon les rapports, proposé le nom « Gemini » pour le système d'IA phare de l'entreprise, « parce que c'est comme des jumeaux qui se rejoignent ».

Non sans controverse

La direction de Dean n'a pas été exempte d'examen minutieux. En décembre 2020, après que Google a licencié la chercheuse en éthique de l'IA Timnit Gebru à la suite d'un article non publié examinant les risques des grands modèles de langage, Dean a envoyé une note au personnel reconnaissant que l'épisode avait « fait remonter de gros problèmes importants » concernant la culture de la recherche et l'inclusion ; lorsqu'une deuxième chercheuse en éthique, Margaret Mitchell, a été licenciée quelques mois plus tard, il a écrit en interne que Google « aurait pu et aurait dû gérer cette situation avec plus de sensibilité ». Par ailleurs, Dean a été l'un des auteurs principaux d'un article de 2021 dans Nature affirmant que l'apprentissage par renforcement pouvait surpasser les humains dans l'agencement de puces électroniques ; un ingénieur de Google qui a publiquement remis en question les résultats a été licencié et a ensuite intenté un procès, citant Dean, et des chercheurs universitaires indépendants ont par la suite découvert que des méthodes plus simples — le recuit simulé et des logiciels de conception commerciale standard — égalisaient ou battaient les résultats annoncés par l'article sur des benchmarks publics, avec une pièce examinée par des pairs dans Communications of the ACM décrivant des « pratiques de recherche douteuses » dans ces travaux.

Pourquoi Jeff est qualifié de génie

Le plaidoyer pour le génie de Dean est inhabituellement bien documenté selon les normes de l'ingénierie logicielle, car une grande partie de ce qu'il a construit est encore directement porteuse de services que des milliards de personnes utilisent quotidiennement — la recherche, Maps, Translate, Chrome et la génération actuelle de grands modèles d'IA fonctionnent tous sur des systèmes qu'il a personnellement conçus ou co-conçus. Le mème des « faits sur Jeff Dean » relève du folklore, mais il est né de témoignages authentiques de collègues au sein de Google selon lesquels sa production et son éventail technique étaient extraordinaires, même au sein d'une entreprise remplie d'ingénieurs d'élite ; son élection en tant que membre de l'ACM, son prix ACM en informatique en 2012 et la médaille IEEE John von Neumann en 2021 sont la version formelle de ce même jugement dans le domaine. La complication honnête est que le rôle récent le plus visible de Dean a été managérial et stratégique plutôt que purement technique — dirigeant l'organisation IA de Google à travers une période, marquée notamment par le renvoi de Gebru et la controverse sur la conception des puces, où ses réponses ont suscité de véritables critiques pour manque de franchise et de supervision, un rappel que le génie de l'ingénierie et le leadership organisationnel ne sont pas la même compétence et ne sont pas toujours exercés avec la même rigueur.

Héritage

Le partenariat technique entre Dean et Ghemawat a remodelé la façon dont toute l'industrie pense à l'informatique distribuée, et les descendants de MapReduce restent intégrés dans l'infrastructure de données bien au-delà de Google. Aux côtés de son épouse, Heidi Hopper, il a dirigé des millions de dollars par l'intermédiaire de la fondation Hopper-Dean vers des initiatives de diversité en informatique dans des universités telles que le MIT, Stanford et Berkeley, étendant son influence depuis les fermes de serveurs de Google jusqu'au vivier d'ingénieurs qui construiront ce qui viendra après eux.