Премия Тьюринга 2024 года была присуждена Ричарду С. Саттону за создание концептуальных и алгоритмических основ обучения с подкреплением. Его работа изменила траекторию развития искусственного интеллекта, разработав методы, позволяющие агентам учиться на основе взаимодействия с неизвестными средами, отходя от человеческого кодирования знаний к системам, использующим вычислительную мощность.
Академические основы и ранние исследования
Саттон родился в Огайо и в 1978 году получил степень бакалавра психологии в Стэнфордском университете. Затем он перешел в область компьютерных наук в Массачусетском университете в Амхерсте, где получил степень магистра в 1980 году и докторскую степень в 1984 году под руководством Эндрю Барто. Его докторская диссертация ввела временное распределение кредитов и архитектуры «актер-критик». Под влиянием А. Гарри Клопфа он стремился выйти за рамки обучения с учителем к механизмам проб и ошибок.
Пионер обучения с подкреплением
Саттон и Барто использовали марковские процессы принятия решений для формализации того, как алгоритмические агенты принимают решения в случайных средах. Их подход позволил агентам получать вознаграждения на основе действий без предварительного знания внутренних механизмов среды. Эта структура стала краеугольным камнем современного машинного обучения, что в конечном итоге привело к прорывам в реальном мире, таким как программа AlphaGo. Основные вклады Саттона включают методы временных различий, архитектуру Dyna для интегрированного планирования и обучения, а также структуру опций для временной абстракции.
Профессиональный путь и работа в индустрии
После постдокторской позиции Саттон работал в GTE Laboratories с 1985 по 1994 год, а затем в AT&T Labs Shannon Laboratory с 1998 по 2002 год. С 2003 года он является профессором компьютерных наук в Университете Альберты, где помог основать Лабораторию обучения с подкреплением и искусственного интеллекта. С 2017 по 2023 год он работал выдающимся ученым-исследователем в Google DeepMind, помогая в запуске DeepMind Alberta. Впоследствии он присоединился к Keen Technologies, а в 2026 году стал соучредителем стартапа Oak Lab.
Двадцать вопросов, восемь минут на часах и процентиль, измеренный по всем, кто его проходил. Без регистрации.
Пройти тест IQ →Горький урок и будущие архитектуры
В эссе 2019 года под названием «Горький урок» (The Bitter Lesson) Саттон утверждал, что попытки встроить специфические человеческие знания в системы ИИ со временем терпят неудачу. Он заметил, что общие методы, способные масштабироваться с увеличением вычислительной мощности, неизменно превосходят стратегии, специфичные для предметной области. Он по-прежнему критически относится к текущим большим языковым моделям, утверждая, что им не хватает необходимой способности к непрерывному обучению в процессе работы. Его текущие исследования сосредоточены на разработке архитектур, позволяющих агентам учиться «на лету», не полагаясь на фиксированные этапы обучения.
Краткие факты
- Родился: 1950, Огайо - Гражданство: Канада - Образование: Стэнфордский университет (бакалавр); Массачусетский университет в Амхерсте (магистр, доктор философии) - Ключевая награда: Премия Тьюринга (2024) - Член AAAI: С 2001 года - Член Королевского общества: С 2021 года - Соучредитель стартапа: Oak Lab (2026) - Области: Обучение с подкреплением, искусственный интеллект, компьютерные науки
Вопросы читателей
### Что такое обучение с подкреплением?
Это область ИИ, сфокусированная на том, как агенты учатся принимать решения в стохастических средах, максимизируя совокупные вознаграждения через взаимодействие, вместо того чтобы полагаться на предопределенные данные.
### Что утверждает «Горький урок»?
Он постулирует, что общие методы обучения, использующие вычислительную мощность, в долгосрочной перспективе более эффективны, чем подходы, пытающиеся закодировать человеческие знания в алгоритмы.
