ג'פרי הינטון: הסנדק בעל כורחו של הבינה המלאכותית
כשוועדת פרס נובל יצרה עמו קשר באוקטובר 2024, ג'פרי הינטון (Geoffrey Hinton) שהה במלון זול בקליפורניה עם חיבור רשת כה גרוע שהוא בקושי הצליח לשמוע את הבשורה. "לא היו לי כל ציפיות לכך," אמר. "אני מופתע מאוד וחש כבוד גדול להיכלל ברשימה." ההפתעה הייתה מוצדקת. הינטון נטש את הפיזיקה לאחר שנה אחת בלבד באוניברסיטת קיימברידג' (University of Cambridge) משום שהמתמטיקה הכניעה אותו. חמישים ושבע שנים מאוחר יותר, האקדמיה המלכותית השוודית למדעים העניקה לו את פרס נובל לפיזיקה.
שושלת של לוגיקנים
ג'פרי אברסט הינטון נולד בווימבלדון שבלונדון, ב-6 בדצמבר 1947, למשפחה שהתייחסה להצטיינות אינטלקטואלית כאל משלח יד משפחתי. סב-סבו היה ג'ורג' בול (George Boole), שאלגברת ההיגיון שלו מהווה את הבסיס לכל מחשב דיגיטלי; סבתא-רבתא שלו הייתה המתמטיקאית והמחנכת מרי אברסט בול (Mary Everest Boole). שמו האמצעי מגיע מג'ורג' אברסט (George Everest), המודד הכללי של הודו, שעל שמו קרוי ההר. אביו, הווארד הינטון (Howard Hinton), היה אנטומולוג; בת דודתו ג'ואן הינטון (Joan Hinton) הייתה פיזיקאית גרעין שעבדה בפרויקט מנהטן.
דרכו האישית בתוך מורשת זו הייתה לא שגרתית. לאחר לימודיו במכללת קליפטון (Clifton College) בבריסטול, החל ללמוד בקינגס קולג' (King's College) בקיימברידג' ב-1967, שם התנדנד בין מדעי הטבע, תולדות האמנות ופילוסופיה, לפני שסיים ב-1970 תואר ראשון בפסיכולוגיה ניסויית. לאחר מכן התמחה כנגר. הוא חזר למחקר באוניברסיטת אדינבורו (University of Edinburgh), וקיבל תואר דוקטור בבינה מלאכותית ב-1978 בהנחייתו של כריסטופר לונגה-היגינס (Christopher Longuet-Higgins) – מנחה שהעדיף בינה מלאכותית סמלית וצפה בסטודנט שלו רודף אחרי רשתות עצביות בכל מקרה.
שנות המדבר
העקשנות הזו עלתה לו ביוקר. לאורך שנות ה-70 ואל תוך שנות ה-80, הדעה הרווחת גרסה כי בינה תונדס מתוך חוקים וסמלים, ושרשתות של נוירונים מלאכותיים פשוטים הן מבוי סתום. הינטון עבד באוניברסיטת סאסקס (University of Sussex) וביחידה לפסיכולוגיה יישומית של ה-MRC, מצא שמימון בריטי הוא דל, וחצה את האוקיינוס למשרות באוניברסיטת קליפורניה בסן דייגו ובאוניברסיטת קרנגי מלון (Carnegie Mellon University). ב-1987 עבר לאוניברסיטת טורונטו (University of Toronto), ולקנדה – החלטה שייחס בחלקה לאכזבה מהפוליטיקה של עידן רייגן ולסירוב לקבל מימון צבאי לעבודות בינה מלאכותית. הוא מגדיר את עצמו כסוציאליסט. המכון הקנדי למחקר מתקדם (CIFAR) תמך בו מאותה שנה ואילך, ולימים הפך אותו לראש תוכנית "למידה במכונות ובמוחות", ומימון סבלני ולא אופנתי זה הוא סיבה גדולה לכך שמרכז הכובד של התחום מצא את עצמו בטורונטו ולא בקליפורניה.
הרעיונות שסירבו למות
שתי תרומות מאמצע שנות ה-80 הובילו אותו לסטוקהולם. ב-1985, יחד עם דייוויד אקלי (David Ackley) וטרנס סיינווסקי (Terrence Sejnowski), הוא המציא יחד את מכונת בולצמן, תוך שהוא מייבא את המנגנונים של הפיזיקה הסטטיסטית לתוך הלמידה: רשת שמתייצבת במצבי אנרגיה נמוכים, ובכך מגלה את המבנה החבוי בנתונים. נימוקי פרס נובל ציינו זאת ישירות, כהוקרה על "תגליות והמצאות בסיסיות המאפשרות למידת מכונה עם רשתות עצביות מלאכותיות." ב-1986, יחד עם דייוויד רומלהארט (David Rumelhart) ורונלד ג'. ויליאמס (Ronald J. Williams), הוא היה שותף לכתיבת המאמר שהפך את ה-backpropagation (למידה לאחור) למפורסמת – הנוהל להקצאת אשמה לאחור דרך שכבות הרשת כך שכל קשר יודע כיצד להתאים את עצמו. אחרים הציעו גרסאות של הרעיון; המאמר של הינטון הוא זה ששכנע דור שלם שזה עובד.
Twenty questions, eight minutes on the clock, and a percentile measured against everyone who has taken it. No sign-up.
Take the IQ test →שאר התוצרת שלו נקראת כמו קטלוג הרהיטים של התחום: ייצוגים מבוזרים, רשתות עצביות מושהות בזמן, תערובות של מומחים, מכונות הלמהולץ, טכניקת הוויזואליזציה t-SNE ב-2008, רשתות קפסולה ב-2017, אלגוריתם ה-Forward-Forward ב-2022. הוא פרסם למעלה מ-200 מאמרים שעברו ביקורת עמיתים, וב-2012 לימד רשתות עצביות בחינם לכל אחד ברשת דרך Coursera.
השנה שבה המכונות למדו לראות
הצידוק הגיע ב-2012. בעבודה עם תלמידי המחקר שלו אלכס קריז'בסקי (Alex Krizhevsky) ואיליה סוצקבר (Ilya Sutskever), בנה הינטון את AlexNet, רשת קונבולוציה עמוקה שניצחה באתגר ImageNet בפער כה גדול שהוא סיים את הוויכוח. ראייה ממוחשבת ארגנה את עצמה מחדש סביב רשתות עצביות בתוך שמונה עשר חודשים. השלושה הקימו את חברת DNNresearch; גוגל רכשה אותה ב-2013 תמורת 44 מיליון דולר, והינטון בילה את העשור הבא בחלוקת זמנו בין טורונטו לבין Google Brain. ב-2017 הוא היה ממקימי מכון וקטור (Vector Institute) והפך ליועץ המדעי הראשי שלו.
המעבדה שלו תפקדה כמנגנון פיזור עבור התחום כולו. פיטר דיין (Peter Dayan), מקס ולינג (Max Welling), ריצ'רד זמל (Richard Zemel), ברנדן פריי (Brendan Frey), רדפורד ניל (Radford Neal), יי וויי טה (Yee Whye Teh), רוסלן סלחוטדינוב (Ruslan Salakhutdinov), זובין גאהראמאני (Zoubin Ghahramani), אלכס גרייבס (Alex Graves), איליה סוצקבר ויאן לקון (Yann LeCun) עברו כולם שם כסטודנטים או כפוסט-דוקטורנטים. ב-2018 העניק לו ה-ACM (Association for Computing Machinery) את פרס טיורינג (A.M. Turing Award) יחד עם יהושע בנג'יו (Yoshua Bengio) ויאן לקון.
סנדק, ואז כופר
במאי 2023 התפטר הינטון מגוגל כדי, לדבריו, לדבר על סכנות הבינה המלאכותית מבלי לשקול את ההשפעה על מעסיקו. הוא אמר למראיינים שחלק ממנו מתחרט כעת על עבודת חייו. הוא האמין שבינה מלאכותית כללית רחוקה שלושים עד חמישים שנה; עד מרץ 2023 הוא אמר עשרים, והשווה את השיבוש למהפכה התעשייתית. עד דצמבר 2024 הוא העריך את הסיכוי שבינה מלאכותית תגרום להכחדת האנושות בתוך שלושה עשורים ב-10 עד 20 אחוזים.
דאגותיו הספציפיות הן טכניות ולא קולנועיות: שמערכות ישיגו תתי-מטרות אינסטרומנטליות, כולל התנגדות לכיבוי, לא בגלל שמישהו תכנן אותן כך אלא משום שמטרות כאלו עוזרות לכל מטרה אחרת; שמוחות דיגיטליים יכולים להעתיק את מה שהם לומדים זה מזה בדרכים שמוחות אינם יכולים; שבינה מלאכותית מורידה את רמת המומחיות הנדרשת לבניית פתוגן קטלני; שהתקה מהשוק העבודה תהיה רחבה. הוא קרא לרגולציה ולהכנסה בסיסית אוניברסלית, וחתם על תמיכה ב-SB 1047 של קליפורניה לצד בנג'יו, סטיוארט ראסל (Stuart Russell) ולורנס לסיג (Lawrence Lessig). בטורונטו, שם הוא פרופסור אמריטוס, כינתה אותו הדיקנית מלאני וודין (Melanie Woodin) "בעל חזון היסטורי." הוא אמר שיתרום את כספי פרס נובל לארגוני צדקה המשרתים צעירים נוירו-מגוונים.
מדוע ג'פרי מכונה גאון
האיכות המוצגת אינה מהירות חישוב – הוא אומר בעצמו שהמתמטיקה הכניעה אותו בפיזיקה של שנה א'. זוהי סובלנות נדירה לטעות בפומבי במשך שלושים שנה. הינטון המשיך לעבוד על למידה קונקשניסטית לאורך התקופה שבה הקונצנזוס בתחום היה שזה לא יכול לעבוד, והוא עשה זאת על סמך טיעון ולא על סמך אינטואיציה: מאחר שהמוח הוא רשת של יחידות פשוטות הלומדות מניסיון, מכונה שנבנתה באותו אופן אמורה להיות מסוגלת לעשות זאת גם כן. הגאונות הטכנית הייתה במציאת המתמטיקה הספציפית שהפכה את האינטואיציה הזו לאופרטיבית – פונקציות אנרגיה שאולו מהפיזיקה הסטטיסטית, אשראי שהוקצה לאחור דרך שכבות.
מוסדות השתמשו במילה בחופשיות. פרס טיורינג הוא הכבוד הגבוה ביותר במחשוב; פרס נובל בפיזיקה ניתן לאדם שאינו פיזיקאי, וזהו כשלעצמו שיפוט לגבי עומק הרעיון. הטיעון שכנגד הוא משמעותי. ללמידה לאחור היו קודמים שלא הוא יצר, והינטון אמר זאת. מכונות בולצמן הן בעלות חשיבות היסטורית בעיקר ולא מעשית כיום; רשתות קפסולה, שהוא דחף חזק, לא החליפו את הארכיטקטורות שהן נועדו להחליף. AlexNet היה תלוי מאוד בהנדסה של קריז'בסקי ובחומרת גרפיקה שהינטון לא בנה. הטענה המקובלת ביותר אינה שהוא פתר את הלמידה העמוקה לבדו, אלא שהוא סיפק את האמונה המכוננת, כמה מכלי המתמטיקה נושאי העומס שלה, ואת הסטודנטים שעשו את רוב השאר.
מורשת
התואר של הינטון, "הסנדק של הבינה המלאכותית", גדל מעבר לו – הוא כעת מוצמד לטכנולוגיה שמעצבת מחדש כלכלות שהוא מעולם לא התכוון להפריע להן. הוא עמית החברה המלכותית (Royal Society), חבר במסדר קנדה, ומחזיק בפרס רומלהארט, פרס נסיכת אסטוריאס ופרס המלכה אליזבת להנדסה. הוא גם המבקר הפנימי האמין ביותר של התחום, וזו הבחנה חריגה יותר: אדם הטוען, בגיל 78, כי הדבר שהקדיש את חייו להוכיח כאפשרי, עשוי להזדקק לריסון.