La descente de gradient stochastique sert de socle aux algorithmes modernes d'apprentissage automatique, en grande partie grâce aux cadres théoriques établis par Léon Bottou. Né à Saint-Germain-du-Teil en 1965, ce mathématicien et informaticien français a transformé le paysage des méthodes d'entraînement computationnel en démontrant l'efficacité de l'optimisation de grands jeux de données au cours de ses décennies de recherche tant dans le milieu universitaire que dans l'industrie.
Fondements académiques et premiers travaux de recherche
Bottou a obtenu son diplôme d'ingénieur de l'École polytechnique en 1987 avant de poursuivre des études supérieures à l'École normale supérieure et à l'Université Paris-Sud, où il a soutenu son doctorat en 1991. Son parcours académique initial comprend une collaboration importante avec Yann LeCun, débutant avec la sortie en 1988 de SN, un paquet pour simuler des réseaux de neurones artificiels. Sa thèse de master s'est concentrée sur l'application de réseaux de neurones à retards temporels pour la reconnaissance vocale, établissant un intérêt précoce pour l'intersection des données linguistiques et du traitement algorithmique.
Applications industrielles chez AT&T et Neuristique
Au début des années 1990, Bottou a rejoint le département de recherche sur les systèmes adaptatifs aux laboratoires Bell d'AT&T à Holmdel, dans le New Jersey, où il a travaillé aux côtés de Vladimir Vapnik. De retour en France en 1992, il a fondé Neuristique S.A. pour produire des outils d'apprentissage automatique et a été le pionnier de Lush, un langage de programmation orienté objet conçu pour l'entraînement de réseaux de neurones à grande échelle. En 1995, il est retourné aux laboratoires Bell pour développer des réseaux de transformateurs de graphes. Ses innovations en matière de reconnaissance de l'écriture manuscrite et de reconnaissance optique de caractères ont ensuite été adoptées par des entreprises comme NCR, gérant plus de 10 % du traitement des chèques américains à la fin des années 1990 et au début des années 2000.
Technologie de compression et passage à l'échelle de l'apprentissage
Bottou a contribué de manière significative au format de compression d'images DjVu, en rejoignant AT&T Labs en 1996 pour se concentrer sur le projet. Cette technologie reste un standard pour la distribution de documents numérisés, notamment utilisée par l'Internet Archive. Ses recherches aux laboratoires NEC à Princeton, dans le New Jersey, entre 2002 et 2010, se sont articulées autour de la théorie des grands jeux de données et de l'apprentissage en ligne. Durant cette période, il a développé LaSVM et affiné le logiciel de descente de gradient stochastique, fournissant des outils permettant un entraînement plus rapide pour les machines à vecteurs de support et les champs aléatoires conditionnels.
Vingt questions, huit minutes au chronomètre et un centile mesuré face à tous ceux qui l’ont passé. Sans inscription.
Passer le test de QI →Recherche avancée et reconnaissance
En 2010, Bottou a rejoint Microsoft adCenter à Redmond, avant de passer à Microsoft Research à New York en tant que chercheur principal en 2012. Il a ensuite rejoint Facebook Artificial Intelligence Research en 2015. Ses travaux théoriques postulent que la descente de gradient stochastique atteint des niveaux de perte comparables à ceux de la descente de gradient par lots tout en maintenant une vitesse supérieure sur des jeux de données extensifs. Ses contributions ont été récompensées par le prix Blavatnik pour les jeunes scientifiques en 2007 et le prix Lagrange pour l'optimisation continue en 2021.
En un coup d'œil
- Naissance : 1965, Saint-Germain-du-Teil, France - Nationalité : France - Éducation : École polytechnique, Université Paris-Sud, École normale supérieure - Domaines : Apprentissage automatique, informatique - Employeurs : AT&T Labs, Bell Labs, NEC Laboratories, Microsoft Research, Meta Platforms - Logiciels clés : DjVu, DjVuLibre, Lush, LaSVM - Prix : Prix Lagrange pour l'optimisation continue (2021)
Questions des lecteurs
### Quelle est l'importance de ses travaux sur la descente de gradient ?
Il a établi que la descente de gradient stochastique est plus efficace que les méthodes par lots lors du traitement de grands jeux de données tout en obtenant des résultats de perte similaires.
### Qu'est-ce que le format DjVu ?
Il s'agit d'une technologie de compression d'images principalement utilisée pour la distribution de documents numérisés, que Bottou a contribué à développer.
