Der Turing Award 2024 wurde Richard S. Sutton für die Etablierung der konzeptionellen und algorithmischen Grundlagen des Reinforcement Learning verliehen. Seine Arbeit veränderte die Entwicklung der künstlichen Intelligenz durch die Entwicklung von Methoden, die es Agenten ermöglichen, durch Interaktion mit unbekannten Umgebungen zu lernen, und weg von menschlich kodiertem Fachwissen hin zu Systemen führt, die rohe Rechenleistung nutzen.
Akademische Grundlagen und frühe Forschung
Sutton wurde in Ohio geboren und schloss 1978 sein Bachelorstudium in Psychologie an der Stanford University ab. Er wechselte zur Informatik an die University of Massachusetts Amherst, wo er 1980 einen Master of Science und 1984 unter der Betreuung von Andrew Barto einen Doktortitel erwarb. Seine Doktorarbeit führte die zeitliche Kreditvergabe und Actor-Critic-Architekturen ein. Beeinflusst von A. Harry Klopf versuchte er, über das überwachte Lernen hinaus zu Versuch-und-Irrtum-Mechanismen zu gelangen.
Pionierarbeit im Reinforcement Learning
Sutton und Barto nutzten Markov-Entscheidungsprozesse, um zu formalisieren, wie algorithmische Agenten Entscheidungen in zufälligen Umgebungen treffen. Ihr Ansatz ermöglichte es Agenten, Belohnungen basierend auf Aktionen zu erhalten, ohne vorheriges Wissen über die internen Mechanismen der Umgebung. Dieser Rahmen wurde zu einem Eckpfeiler des modernen maschinellen Lernens und ermöglichte schließlich Durchbrüche wie das AlphaGo-Programm. Zu Suttons zentralen Beiträgen gehören Temporal-Difference-Methoden, die Dyna-Architektur für integrierte Planung und Lernen sowie das Options-Framework für zeitliche Abstraktion.
Berufliche Laufbahn und Industriearbeit
Nach einer Postdoc-Stelle arbeitete Sutton von 1985 bis 1994 bei den GTE Laboratories und später zwischen 1998 und 2002 bei den AT&T Labs Shannon Laboratory. Seit 2003 ist er Professor für Informatik an der University of Alberta, wo er am Aufbau des Reinforcement Learning and Artificial Intelligence Laboratory mitwirkte. Zwischen 2017 und 2023 war er als Distinguished Research Scientist bei Google DeepMind tätig und unterstützte den Start von DeepMind Alberta. Anschließend wechselte er zu Keen Technologies, bevor er 2026 das Startup Oak Lab mitgründete.
Zwanzig Fragen, acht Minuten auf der Uhr und ein Perzentil, gemessen an allen bisherigen Teilnehmern. Ohne Anmeldung.
IQ-Test starten →Die bittere Lektion und zukünftige Architekturen
In einem Aufsatz von 2019 mit dem Titel The Bitter Lesson argumentierte Sutton, dass Versuche, menschliches Wissen in KI-Systeme einzubauen, mit der Zeit scheitern. Er beobachtete, dass allgemeine Methoden, die mit zunehmender Rechenleistung skalieren können, domänenspezifische Strategien konsequent übertreffen. Er bleibt kritisch gegenüber aktuellen großen Sprachmodellen und behauptet, dass ihnen die notwendige Kapazität für kontinuierliches Lernen während der Arbeit fehlt. Seine aktuelle Forschung konzentriert sich auf die Entwicklung von Architekturen, die es Agenten ermöglichen, spontan zu lernen, ohne auf feste Trainingsphasen angewiesen zu sein.
Kurze Fakten
- Geboren: 1950, Ohio - Staatsbürgerschaft: Kanada - Bildung: Stanford University (BA); University of Massachusetts Amherst (MS, PhD) - Wichtige Auszeichnung: Turing Award (2024) - AAAI Fellow: Seit 2001 - Fellow der Royal Society: Seit 2021 - Startup-Mitgründer: Oak Lab (2026) - Fachgebiete: Reinforcement Learning, künstliche Intelligenz, Informatik
Fragen von Lesern
### Was ist Reinforcement Learning?
Es ist ein Bereich der KI, der sich darauf konzentriert, wie Agenten lernen, Entscheidungen in stochastischen Umgebungen zu treffen, indem sie kumulative Belohnungen durch Interaktion maximieren, anstatt sich auf vordefinierte Daten zu verlassen.
### Was besagt die Bittere Lektion?
Sie postuliert, dass allgemeine Lernmethoden, die Rechenleistung nutzen, langfristig effektiver sind als Ansätze, die versuchen, menschliches Wissen in Algorithmen zu kodieren.
