Джеффри Хинтон: невольный крестный отец ИИ

Когда Нобелевский комитет связался с ним в октябре 2024 года, Джеффри Хинтон (Geoffrey Hinton) находился в дешевом отеле в Калифорнии, где связь была настолько плохой, что он едва расслышал новости. «Я не ожидал этого», — сказал он. «Я чрезвычайно удивлен и для меня большая честь быть включенным в число лауреатов». Удивление было оправданным. Хинтон бросил физику после первого же года обучения в Кембридже, потому что математика ему не давалась. Спустя пятьдесят семь лет Шведская королевская академия наук вручила ему Нобелевскую премию по физике.

Родословная логиков

Джеффри Эверест Хинтон (Geoffrey Everest Hinton) родился 6 декабря 1947 года в Уимблдоне, Лондон, в семье, где интеллектуальное превосходство считалось семейным делом. Его прапрадедом был Джордж Буль (George Boole), чья алгебра логики лежит в основе каждого цифрового компьютера; его прапрабабушкой была математик и педагог Мэри Эверест Буль (Mary Everest Boole). Его среднее имя досталось ему от Джорджа Эвереста (George Everest), генерального геодезиста Индии, в честь которого названа гора. Его отец, Говард Хинтон (Howard Hinton), был энтомологом; его двоюродная сестра Джоан Хинтон (Joan Hinton) была физиком-ядерщиком, работавшим над Манхэттенским проектом.

Его собственный путь через это наследство был беспорядочным. После колледжа Клифтон (Clifton College) в Бристоле он поступил в Королевский колледж Кембриджского университета в 1967 году, где переходил с естественных наук на историю искусств и философию, прежде чем в 1970 году получить степень бакалавра экспериментальной психологии. Затем он работал столяром. Он вернулся к исследованиям в Эдинбургском университете, получив докторскую степень по искусственному интеллекту в 1978 году под руководством Кристофера Лонге-Хиггинса (Christopher Longuet-Higgins) — научного руководителя, который предпочитал символьный ИИ, но все равно наблюдал, как его студент занимается нейронными сетями.

Годы в пустыне

Это упрямство стоило ему дорого. На протяжении 1970-х и 1980-х годов господствовала точка зрения, что интеллект должен быть создан на основе правил и символов, а сети простых искусственных нейронов — это тупиковый путь. Хинтон работал в Сассекском университете и отделе прикладной психологии MRC, обнаружил, что британское финансирование ограничено, и отправился за Атлантику на должности в Калифорнийском университете в Сан-Диего и Университете Карнеги — Меллона. В 1987 году он переехал в Университет Торонто и в Канаду — решение, которое он частично объяснял разочарованием в политике эпохи Рейгана и отказом принимать военное финансирование для работ по ИИ. Он считает себя социалистом. Канадский институт перспективных исследований (CIFAR) поддерживал его с того года, в конечном итоге сделав его руководителем программы по обучению машин и мозга, и это терпеливое, немодное финансирование — большая часть того, почему центр тяжести этой области оказался в Торонто, а не в Калифорнии.

Идеи, которые отказались умирать

Два вклада середины 1980-х привели его в Стокгольм. В 1985 году вместе с Дэвидом Акли (David Ackley) и Терренсом Сейновски (Terrence Sejnowski) он стал соавтором машины Больцмана (Boltzmann machine), внедрив аппарат статистической физики в обучение: сеть, которая оседает в состояниях с низкой энергией и тем самым обнаруживает структуру, скрытую в данных. В нобелевском дипломе это было отмечено напрямую, награждая за «фундаментальные открытия и изобретения, которые обеспечивают машинное обучение с помощью искусственных нейронных сетей». В 1986 году вместе с Дэвидом Румельхартом (David Rumelhart) и Рональдом Дж. Уильямсом (Ronald J. Williams) он стал соавтором статьи, которая прославила метод обратного распространения ошибки (backpropagation) — процедуру назначения вины в обратном порядке через слои сети, чтобы каждое соединение «знало», как скорректироваться. Другие предлагали версии этой идеи; статья Хинтона — та, что убедила целое поколение в ее работоспособности.

Остальные его работы читаются как каталог инструментов этой области: распределенные представления, нейронные сети с задержкой во времени, смеси экспертов, машины Гельмгольца, метод визуализации t-SNE в 2008 году, капсульные нейронные сети в 2017 году, алгоритм Forward-Forward (Forward-Forward algorithm) в 2022 году. Он опубликовал более 200 рецензируемых статей и в 2012 году бесплатно обучал нейронным сетям любого желающего онлайн через Coursera.

Год, когда машины научились видеть

Признание пришло в 2012 году. Работая со своими аспирантами Алексом Крижевским (Alex Krizhevsky) и Ильей Суцкевером (Ilya Sutskever), Хинтон создал AlexNet, глубокую сверточную сеть, которая выиграла конкурс ImageNet с таким большим отрывом, что положила конец спорам. Компьютерное зрение перестроилось вокруг нейронных сетей в течение восемнадцати месяцев. Трое основали компанию DNNresearch; Google купила ее в 2013 году за 44 миллиона долларов, и Хинтон провел следующее десятилетие, разрываясь между Торонто и Google Brain. В 2017 году он стал соучредителем Векторного института (Vector Institute) и его главным научным советником.

Его лаборатория функционировала как механизм распространения кадров для всей дисциплины. Питер Даян (Peter Dayan), Макс Веллинг (Max Welling), Ричард Земель (Richard Zemel), Брендан Фрей (Brendan Frey), Рэдфорд Нил (Radford Neal), Йи Уэй Те (Yee Whye Teh), Руслан Салахутдинов (Ruslan Salakhutdinov), Зубин Гахрамани (Zoubin Ghahramani), Алекс Грейвс (Alex Graves), Илья Суцкевер и Ян Лекун (Yann LeCun) — все они прошли через нее в качестве студентов или постдоков. В 2018 году Ассоциация вычислительной техники (ACM) вручила ему премию Тьюринга (A.M. Turing Award) совместно с Йошуа Бенджио (Yoshua Bengio) и Яном Лекуном.

Крестный отец, затем отступник

В мае 2023 года Хинтон уволился из Google, чтобы, как он сказал, говорить об опасностях ИИ, не задумываясь о влиянии на работодателя. Он сказал интервьюерам, что теперь отчасти жалеет о деле всей своей жизни. Он полагал, что до появления ИИ общего назначения еще тридцать-пятьдесят лет; к марту 2023 года он говорил о двадцати годах и сравнивал этот сдвиг с промышленной революцией. К декабрю 2024 года он оценивал вероятность того, что ИИ приведет к вымиранию человечества в течение трех десятилетий, в 10–20 процентов.

Его конкретные опасения носят технический, а не кинематографический характер: что системы приобретут инструментальные подцели, включая сопротивление выключению, не потому, что кто-то их так спроектировал, а потому что такие цели помогают достижению любой другой цели; что цифровой разум может копировать изученное между собой способами, недоступными мозгу; что ИИ снижает порог экспертных знаний, необходимых для создания смертоносного патогена; что вытеснение рабочей силы будет масштабным. Он призвал к регулированию и безусловному базовому доходу, а также подписал поддержку законопроекта SB 1047 в Калифорнии вместе с Бенджио, Стюартом Расселом (Stuart Russell) и Лоуренсом Лессигом (Lawrence Lessig). В Торонто, где он является почетным профессором университета, декан Мелани Вудин (Melanie Woodin) назвала его «историческим визионером». Он сказал, что передаст деньги Нобелевской премии благотворительным организациям, помогающим молодым людям с нейроотличностью.

Почему Джеффри называют гением

Качество, которое здесь проявляется — это не скорость вычислений; он сам говорит, что математика в физике на первом курсе его победила. Это редкая терпимость к тому, чтобы быть неправым публично в течение тридцати лет. Хинтон продолжал работать над коннекционистским обучением в тот период, когда в области царил консенсус, что это не сработает, и он делал это, основываясь на аргументе, а не на догадке: раз мозг — это сеть простых единиц, которые учатся на опыте, то машина, построенная таким же образом, должна быть способна на то же самое. Техническая гениальность заключалась в поиске конкретной математики, которая сделала эту интуицию рабочей — энергетические функции, заимствованные из статистической физики, назначение кредита в обратном порядке через слои.

Учреждения использовали это слово свободно. Премия Тьюринга — высшая награда в области вычислительной техники; Нобелевская премия по физике досталась человеку, который не является физиком, что само по себе является суждением о глубине идеи. Честный контр-аргумент существенен. У обратного распространения ошибки были предшественники, которых он не создавал, и Хинтон сам об этом говорил. Машины Больцмана сегодня имеют скорее историческое, чем практическое значение; капсульные сети, которые он активно продвигал, не вытеснили архитектуры, которые должны были заменить. AlexNet в огромной степени зависел от инженерных решений Крижевского и графического оборудования, которое Хинтон не строил. Самое защитимое утверждение не в том, что он решил проблему глубокого обучения в одиночку, а в том, что он обеспечил фундаментальное убеждение, несколько его несущих математических инструментов и студентов, которые проделали большую часть остальной работы.

Наследие

Эпитет Хинтона, «крестный отец ИИ», перерос его самого — теперь он привязан к технологии, меняющей экономики, которые он никогда не намеревался тревожить. Он является членом Королевского общества (Fellow of the Royal Society), кавалером ордена Канады (Companion of the Order of Canada), лауреатом премии Румельхарта (Rumelhart Prize), премии принцессы Астурийской (Princess of Asturias Award) и инженерной премии королевы Елизаветы (Queen Elizabeth Prize for Engineering). Он также является самым авторитетным внутренним критиком этой области, что является более необычным отличием: человек, утверждающий в 78 лет, что вещь, доказательству возможности которой он посвятил жизнь, возможно, нуждается в сдерживании.