Джефф Дин: Инфраструктура под строкой поиска каждого

Существует жанр интернет-шуток, полностью построенный вокруг одного инженера Google, по образцу фактов о Чаке Норрисе (Chuck Norris): в коде Джеффа Дина нет ошибок, только функции; говорят, что когда в 2002 году упали серверы индексации, Джефф Дин вручную отвечал на поисковые запросы пользователей в течение двух часов, и показатели оценки выросли на пять пунктов. Эти шутки существуют потому, что лежащее в их основе утверждение — о том, что огромная доля инфраструктуры, на которой работает Google, а следовательно, и огромная часть современного интернета, прошла через руки одного инженера — на самом деле не является преувеличением.

От Гавайев до городов-близнецов

Джеффри Адгейт Дин (Jeffrey Adgate Dean) родился 23 июля 1968 года на Гавайях в семье исследователя тропических болезней и медицинского антрополога, чья работа вынуждала семью часто переезжать; с пятого по десятый класс он учился в городах-близнецах (Твин-Ситис), штат Миннесота. В 1990 году он с отличием (summa cum laude) окончил Миннесотский университет, получив двойную специальность по компьютерным наукам и экономике, и написал дипломную работу по нейронным сетям на языке C под руководством научного руководителя Випина Кумара (Vipin Kumar) — это было удивительно раннее знакомство с технологией, которую он позже в своей карьере будет создавать в масштабе. Со своей будущей женой, Хайди Хоппер (Heidi Hopper), он познакомился на первом курсе; оба окончили университет в 1990 году. Перед аспирантурой он работал в Глобальной программе по борьбе со СПИДом Всемирной организации здравоохранения (World Health Organization), где писал программное обеспечение для статистического моделирования для прогнозирования распространения пандемии ВИЧ/СПИДа — это была прикладная, значимая работа, а не академическое отступление. Затем, в 1996 году, он получил степень доктора философии (Ph.D.) по компьютерным наукам в Вашингтонском университете (University of Washington) под руководством Крейга Чемберса (Craig Chambers), защитив диссертацию по методам оптимизации целых программ для объектно-ориентированных языков, после чего присоединился к Западной исследовательской лаборатории DEC/Compaq для работы над инструментами профилирования и архитектурой микропроцессоров — именно там он начал долгое партнерство с Санджаем Гемаватом (Sanjay Ghemawat), которое определило развитие следующей четверти века.

Тридцатый сотрудник

Дин присоединился к Google в середине 1999 года, став тридцатым сотрудником компании, после непродолжительной работы в стартапе по сравнению цен mySimon, где он создавал системы распределенного веб-сканирования. В Google к 2018 году он и Гемават стали единственными двумя старшими фелло (Senior Fellows) — это высшее техническое звание в компании; их тандем был настолько продуктивен, что огромная часть основной инфраструктуры Google содержит их имена в документации по проектированию. Вместе они руководили первоначальной разработкой Protocol Buffers, независимого от языка и платформы формата сериализации данных Google, который до сих пор повсеместно используется в системах компании и широко применяется за ее пределами.

MapReduce, Bigtable, Spanner

Затем последовала их самая значимая совместная работа. MapReduce, которую Дин и Гемават спроектировали и реализовали, представляет собой модель программирования, позволившую обычным инженерам обрабатывать и генерировать огромные наборы данных на тысячах стандартных машин, не становясь при этом экспертами по распределенным системам — она стала фундаментальной для того, как Google вычисляет в масштабе, и непосредственно вдохновила создание экосистемы Apache Hadoop с открытым исходным кодом, на которой впоследствии построила свою работу большая часть индустрии. Bigtable, разработанная совместно с Гемаватом, Фэй Чанг (Fay Chang) и Майком Берроузом (Mike Burrows), решила проблему параллельного хранения: это полуструктурированная система, способная хранить петабайты данных в миллиардах строк, при этом обслуживая запросы с низкой задержкой, и непосредственно интегрированная с MapReduce. Spanner еще больше развила эту идею, превратив ее в горизонтально масштабируемую, глобально распределенную базу данных, способную синхронно реплицировать данные между центрами обработки данных на разных континентах, гарантируя при этом строгую согласованность — проблему, которая долгое время считалась практически неразрешимой в таком масштабе. Дин и Гемават также выпустили LevelDB в 2011 году, встраиваемое хранилище «ключ-значение», основанное на принципах проектирования Bigtable, которое впоследствии стало основой хранения для IndexedDB в браузере Chrome и, что примечательно, для Bitcoin Core.

Поворот к нейронным сетям

В 2011 году Дин перешел в лабораторию Google X для исследования глубоких нейронных сетей, результатом чего стала так называемая «статья о кошачьем нейроне» — крупномасштабная глубокая сеть доверия, обученная без учителя на кадрах из видео YouTube, которая самостоятельно научилась распознавать понятие кошки. Этот проект стал основой для Google Brain, который Дин возглавлял с 2012 года. Внутренняя система обучения его команды, DistBelief, в конечном итоге была переработана в TensorFlow, инфраструктуру машинного обучения с открытым исходным кодом, которую Дин помогал проектировать и изначально внедрять и которая в течение многих лет была доминирующим инструментом в исследованиях глубокого обучения до последующего роста популярности PyTorch. Он также работал над Pathways, асинхронной распределенной системой для обучения нейронных сетей, используемой при разработке большой языковой модели PaLM. В апреле 2018 года он был назначен главой направления ИИ в Google, а после слияния Google Brain с DeepMind в Google DeepMind в 2023 году стал главным научным сотрудником Google — и, как сообщается, предложил название «Gemini» для флагманской системы ИИ компании, «потому что это похоже на близнецов, которые объединяются».

Не без споров

Руководство Дина не осталось без внимания. В декабре 2020 года, после того как Google уволила исследователя этики ИИ Тимнит Гебру (Timnit Gebru) из-за неопубликованной статьи, исследующей риски больших языковых моделей, Дин разослал сотрудникам записку, в которой признал, что этот эпизод «обнажил большие, важные вопросы» относительно исследовательской культуры и инклюзивности; когда несколько месяцев спустя была уволена вторая исследовательница этики, Маргарет Митчелл (Margaret Mitchell), он написал во внутренних кругах, что Google «мог и должен был справиться с этой ситуацией с большей чувствительностью». Отдельно Дин был ведущим автором статьи в журнале Nature в 2021 году, в которой утверждалось, что обучение с подкреплением может превзойти людей в планировании топологии чипов; инженер Google, публично подвергший результаты сомнению, был уволен и позже подал в суд, назвав Дина, а независимые академические исследователи позже обнаружили, что более простые методы — имитация отжига и стандартное коммерческое программное обеспечение для проектирования — соответствовали или превосходили результаты, заявленные в статье, на публичных тестах, а в рецензируемой статье в Communications of the ACM были описаны «сомнительные методы исследований» в работе.

Почему Джеффа называют гением

Доказательства гениальности Дина необычайно хорошо задокументированы по меркам программной инженерии, потому что многое из того, что он создал, до сих пор является несущей конструкцией для сервисов, которыми ежедневно пользуются миллиарды людей — поиск, Карты (Maps), Переводчик (Translate), Chrome и текущее поколение больших моделей ИИ работают поверх систем, которые он спроектировал лично или совместно. Мем о «фактах Джеффа Дина» — это фольклор, но он вырос из реальных свидетельских показаний коллег внутри Google о том, что его продуктивность и технический кругозор были экстраординарными даже в компании, укомплектованной элитными инженерами; его избрание членом ACM, премия ACM по вычислительной технике 2012 года и медаль Джона фон Неймана IEEE 2021 года являются официальной версией этой оценки в профессиональном сообществе. Сложность заключается в том, что самая заметная роль Дина в последнее время была управленческой и стратегической, а не чисто технической — руководство организацией ИИ Google в период, включающий увольнение Гебру и споры вокруг проектирования чипов, когда его ответы вызывали реальную критику за недостаточную откровенность и контроль, что напоминает о том, что инженерный блеск и организационное лидерство — это не одно и то же мастерство и не всегда проявляются с одинаковой строгостью.

Наследие

Техническое партнерство Дина и Гемавата изменило то, как вся индустрия мыслит о распределенных вычислениях, а потомки MapReduce остаются встроенными в инфраструктуру данных далеко за пределами Google. Вместе со своей женой Хайди Хоппер он направил миллионы долларов через Фонд Хоппер-Дина (Hopper-Dean Foundation) на инициативы по обеспечению разнообразия в компьютерных науках в университетах, включая MIT, Стэнфорд и Беркли, расширяя свое влияние от серверных ферм Google до подготовки инженеров, которые будут строить все, что придет после них.