Стохастический градиентный спуск служит основой для современных алгоритмов машинного обучения во многом благодаря теоретическим основам, заложенным Леоном Ботту (Léon Bottou). Родившийся в Сен-Жермен-дю-Тейль в 1965 году, этот французский математик и специалист по информатике изменил ландшафт вычислительных методов обучения, продемонстрировав эффективность оптимизации крупномасштабных наборов данных за десятилетия исследований как в академических кругах, так и в промышленности.
Академические основы и ранние исследования
Ботту получил диплом инженера в Политехнической школе в 1987 году, после чего продолжил углубленное обучение в Высшей нормальной школе и Университете Париж-Суд, где в 1991 году защитил докторскую диссертацию. Его ранний академический путь включал значительное сотрудничество с Янном ЛеКуном, начавшееся с выпуска в 1988 году пакета SN для моделирования искусственных нейронных сетей. Его магистерская диссертация была посвящена применению нейронных сетей с временной задержкой для распознавания речи, что заложило ранний интерес к пересечению лингвистических данных и алгоритмической обработки.
Промышленное применение в AT&T и Neuristique
В начале 1990-х годов Ботту присоединился к Отделу исследований адаптивных систем в Лабораториях Белла компании AT&T в Холмделе, штат Нью-Джерси, где он работал вместе с Владимиром Вапником. Вернувшись во Францию в 1992 году, он основал компанию Neuristique S.A. для создания инструментов машинного обучения и стал пионером языка Lush — объектно-ориентированного языка программирования, разработанного для обучения крупномасштабных нейронных сетей. К 1995 году он вернулся в Лаборатории Белла для разработки графовых трансформерных сетей. Его инновации в области распознавания рукописного ввода и оптического распознавания символов впоследствии были внедрены такими компаниями, как NCR, обрабатывая более 10% американских чеков в конце 1990-х и начале 2000-х годов.
Технология сжатия и масштабирование обучения
Ботту внес значительный вклад в формат сжатия изображений DjVu, присоединившись к лабораториям AT&T в 1996 году для работы над этим проектом. Эта технология остается стандартом для распространения отсканированных документов и активно используется Интернет-архивом. Его исследования в лабораториях NEC в Принстоне, штат Нью-Джерси, в период с 2002 по 2010 год были сосредоточены на теории крупномасштабных наборов данных и онлайн-обучении. За это время он разработал LaSVM и усовершенствовал программное обеспечение для стохастического градиентного спуска, предоставив инструменты, которые позволили ускорить обучение машин опорных векторов и условных случайных полей.
Двадцать вопросов, восемь минут на часах и процентиль, измеренный по всем, кто его проходил. Без регистрации.
Пройти тест IQ →Передовые исследования и признание
В 2010 году Ботту присоединился к подразделению Microsoft adCenter в Редмонде, а в 2012 году перешел в Microsoft Research в Нью-Йорке на должность главного исследователя. Позже, в 2015 году, он перешел в Facebook Artificial Intelligence Research. Его теоретическая работа предполагает, что стохастический градиентный спуск достигает уровней потерь, сопоставимых с пакетным градиентным спуском, при этом сохраняя превосходную скорость на обширных наборах данных. Его вклад был отмечен Премией Блаватника для молодых ученых в 2007 году и Премией Лагранжа за непрерывную оптимизацию в 2021 году.
Краткие факты
- Рождение: 1965, Сен-Жермен-дю-Тейль, Франция - Гражданство: Франция - Образование: Политехническая школа, Университет Париж-Суд, Высшая нормальная школа - Области: Машинное обучение, информатика - Работодатели: AT&T Labs, Bell Labs, NEC Laboratories, Microsoft Research, Meta Platforms - Ключевое ПО: DjVu, DjVuLibre, Lush, LaSVM - Награда: Премия Лагранжа за непрерывную оптимизацию (2021)
Вопросы читателей
### В чем значимость его работы по градиентному спуску?
Он установил, что стохастический градиентный спуск более эффективен, чем пакетные методы при обработке крупномасштабных наборов данных, достигая при этом аналогичных результатов по потерям.
### Что такое формат DjVu?
Это технология сжатия изображений, используемая в основном для распространения отсканированных документов, в разработке которой участвовал Ботту.
