ירידה גרדיאנטית סטוכסטית מהווה את הבסיס לאלגוריתמים מודרניים של למידת מכונה, במידה רבה בזכות המסגרות התאורטיות שקבע לאון בוטו (Léon Bottou). המתמטיקאי ומדען המחשב הצרפתי, שנולד בסן-ז'רמן-די-טיי ב-1965, שינה את פני שיטות האימון החישוביות על ידי הוכחת היעילות של אופטימיזציה של מערכי נתונים רחבי היקף במהלך עשורים של מחקר באקדמיה ובתעשייה.
יסודות אקדמיים ומחקר מוקדם
בוטו קיבל את הדיפלומה להנדסה (Diplôme d'Ingénieur) מהאקול פוליטקניק ב-1987, לפני שהמשיך ללימודים מתקדמים באקול נורמל סופרייר ובאוניברסיטת פריז-סוד, שם השלים את הדוקטורט שלו ב-1991. המסלול האקדמי המוקדם שלו כלל שיתוף פעולה משמעותי עם יאן לקון (Yann LeCun), שהחל עם הפצתו ב-1988 של SN, חבילה לסימולציה של רשתות עצביות מלאכותיות. תזה המאסטר שלו התמקדה ביישום של רשתות עצביות מושהות בזמן (Time Delay Neural Networks) לזיהוי דיבור, מה שביסס עניין מוקדם בצומת שבין נתונים לשוניים לעיבוד אלגוריתמי.
יישומים תעשייתיים ב-AT&T ובניוריסטיק
בראשית שנות ה-90 הצטרף בוטו למחלקה למחקר מערכות אדפטיביות במעבדות בל של AT&T בהולמדל, ניו ג'רזי, שם עבד לצד ולדימיר ואפניק (Vladimir Vapnik). עם חזרתו לצרפת ב-1992, הוא ייסד את חברת Neuristique S.A. כדי לייצר כלי למידת מכונה והיה מחלוצי Lush, שפת תכנות מונחית עצמים שתוכננה לאימון רשתות עצביות רחבות היקף. בשנת 1995 חזר למעבדות בל כדי לפתח רשתות טרנספורמטור גרפיות. החידושים שלו בזיהוי כתב יד וזיהוי תווים אופטי אומצו לאחר מכן על ידי חברות כמו NCR, וניהלו מעל 10% מעיבוד הצ'קים האמריקאי בסוף שנות ה-90 ובראשית שנות ה-2000.
טכנולוגיית דחיסה וקנה מידה של למידה
בוטו תרם משמעותית לפורמט דחיסת התמונות DjVu, כשהצטרף למעבדות AT&T ב-1996 כדי להתמקד בפרויקט. טכנולוגיה זו נותרה סטנדרט להפצת מסמכים סרוקים, ומשמשת באופן בולט את ארכיון האינטרנט (Internet Archive). מחקרו במעבדות NEC בפרינסטון, ניו ג'רזי, בין השנים 2002 ו-2010, התמקד בתאוריה של מערכי נתונים רחבי היקף ובלמידה מקוונת. בתקופה זו הוא פיתח את LaSVM ושכלל תוכנות לירידה גרדיאנטית סטוכסטית, מה שסיפק כלים שאפשרו אימון מהיר יותר עבור מכונות וקטורים תומכים ושדות אקראיים מותנים.
Twenty questions, eight minutes on the clock, and a percentile measured against everyone who has taken it. No sign-up.
Take the IQ test →מחקר מתקדם והכרה
בשנת 2010 הצטרף בוטו ל-Microsoft adCenter ברדמונד, ועבר למחקר של מיקרוסופט (Microsoft Research) בניו יורק כחוקר ראשי ב-2012. מאוחר יותר הוא עבר למחקר בינה מלאכותית של פייסבוק ב-2015. עבודתו התאורטית מניחה שירידה גרדיאנטית סטוכסטית משיגה רמות אובדן הדומות לירידה גרדיאנטית אצויה (batch gradient descent) תוך שמירה על מהירות עדיפה על מערכי נתונים נרחבים. תרומותיו זכו להכרה עם פרס בלבטניק למדענים צעירים לשנת 2007 ופרס לגרנז' לאופטימיזציה רציפה לשנת 2021.
עובדות מהירות
- נולד: 1965, סן-ז'רמן-די-טיי, צרפת - אזרחות: צרפת - השכלה: אקול פוליטקניק, אוניברסיטת פריז-סוד, אקול נורמל סופרייר - תחומים: למידת מכונה, מדעי המחשב - מעסיקים: מעבדות AT&T, מעבדות בל, מעבדות NEC, מחקר של מיקרוסופט, מטא פלטפורמס - תוכנה מרכזית: DjVu, DjVuLibre, Lush, LaSVM - פרס: פרס לגרנז' לאופטימיזציה רציפה (2021)
שאלות שקוראים שואלים
### מהי החשיבות של עבודתו על ירידה גרדיאנטית?
הוא קבע שירידה גרדיאנטית סטוכסטית יעילה יותר משיטות אצוות בעת עיבוד מערכי נתונים רחבי היקף, תוך השגת תוצאות אובדן דומות.
### מהו פורמט DjVu?
זוהי טכנולוגיית דחיסת תמונות המשמשת בעיקר להפצת מסמכים סרוקים, שבוטו סייע בפיתוחה.