2024年图灵奖授予了理查德·S·萨顿（Richard S. Sutton），以表彰他确立了强化学习的概念和算法基础。他的工作通过开发使智能体能够从与未知环境的交互中学习的方法，改变了人工智能的发展轨迹，从依赖人类编码的专业知识转向利用原始计算能力的系统。
学术基础与早期研究
萨顿出生于俄亥俄州，1978年在斯坦福大学获得心理学学士学位。随后他转入马萨诸塞大学阿默斯特分校学习计算机科学，并于1980年获得硕士学位，1984年在安德鲁·巴托（Andrew Barto）的指导下获得博士学位。他的博士研究引入了时间信用分配和演员-评论家（actor-critic）架构。受A·哈里·克洛普夫（A. Harry Klopf）的影响，他寻求超越监督学习，转向试错机制。
强化学习的先驱
萨顿和巴托利用马尔可夫决策过程将算法智能体在面对随机环境时如何做出决策进行了形式化。他们的方法使智能体能够在不了解环境内部机制的情况下，根据行动获得奖励。这一框架成为现代机器学习的基石，最终促成了AlphaGo程序等现实世界的突破。萨顿的核心贡献包括时间差分法、用于集成规划和学习的Dyna架构，以及用于时间抽象的选项框架。
职业轨迹与行业工作
博士后研究后，萨顿于1985年至1994年在GTE实验室工作，随后于1998年至2002年间加入AT&T实验室香农实验室。自2003年起，他担任阿尔伯塔大学计算机科学教授，并协助建立了强化学习与人工智能实验室。2017年至2023年间，他担任Google DeepMind的杰出研究科学家，协助启动了DeepMind Alberta。随后他加入了Keen Technologies，并于2026年共同创立了初创公司Oak Lab。
苦涩的教训与未来架构
在2019年题为《苦涩的教训》（The Bitter Lesson）的文章中，萨顿认为，试图将人类特定知识构建到AI系统中的尝试最终都会失败。他观察到，能够随计算能力增加而扩展的通用方法始终优于特定领域的策略。他仍然对当前的大型语言模型持批评态度，认为它们缺乏在工作中进行持续学习所需的必要能力。他目前的研究重点是开发允许智能体在不依赖固定训练阶段的情况下进行即时学习的架构。
快速事实
- 出生：1950年，俄亥俄州 - 国籍：加拿大 - 教育：斯坦福大学（学士）；马萨诸塞大学阿默斯特分校（硕士、博士） - 主要奖项：图灵奖（2024年） - AAAI会士：自2001年起 - 皇家学会会士：自2021年起 - 初创公司联合创始人：Oak Lab（2026年） - 领域：强化学习、人工智能、计算机科学
读者常见问题
### 什么是强化学习？
这是一个AI领域，专注于智能体如何通过交互最大化累积奖励，从而学习在随机环境中做出决策，而不是依赖预定义的数据。
### 《苦涩的教训》提出了什么观点？
它认为，从长远来看，利用计算能力的通用学习方法比试图将人类知识编码到算法中的方法更有效。
