2024년 튜링상은 강화 학습의 개념적 및 알고리즘적 기초를 확립한 리처드 S. 서튼(Richard S. Sutton)에게 수여되었다. 그의 연구는 인간이 코딩한 전문 지식에서 벗어나 원시 계산 능력을 활용하는 시스템으로 나아가며, 에이전트가 미지의 환경과의 상호 작용을 통해 학습할 수 있는 방법을 개발함으로써 인공 지능의 궤적을 바꾸어 놓았다.
학문적 기초 및 초기 연구
오하이오주에서 태어난 서튼은 1978년 스탠퍼드 대학교에서 심리학 학사 학위를 받았다. 이후 매사추세츠 대학교 애머스트 캠퍼스에서 컴퓨터 과학으로 전향하여 1980년에 석사 학위를, 1984년에 앤드류 바토(Andrew Barto)의 지도 하에 박사 학위를 취득했다. 그의 박사 연구는 시간적 신용 할당과 액터-크리틱(actor-critic) 아키텍처를 도입했다. A. 해리 클로프(A. Harry Klopf)의 영향을 받아 지도 학습을 넘어 시행착오 메커니즘으로 나아가고자 했다.
강화 학습의 선구자
서튼과 바토는 마르코프 결정 과정을 활용하여 알고리즘 에이전트가 무작위 환경에 직면했을 때 어떻게 의사 결정을 내리는지를 공식화했다. 그들의 접근 방식은 에이전트가 환경의 내부 메커니즘에 대한 사전 지식 없이도 행동에 기반한 보상을 받을 수 있게 했다. 이 프레임워크는 현대 머신 러닝의 초석이 되었으며, 결국 AlphaGo 프로그램과 같은 실제적인 돌파구를 마련했다. 서튼의 핵심 기여에는 시간차 학습법, 통합 계획 및 학습을 위한 Dyna 아키텍처, 시간적 추상화를 위한 옵션 프레임워크가 포함된다.
전문 경력 및 산업 활동
박사 후 연구원 과정을 마친 후, 서튼은 1985년부터 1994년까지 GTE 연구소에서 근무했으며, 이후 1998년부터 2002년까지 AT&T 연구소 섀넌 연구소에 합류했다. 2003년부터 앨버타 대학교에서 컴퓨터 과학 교수로 재직하며 강화 학습 및 인공 지능 연구소 설립을 도왔다. 2017년부터 2023년까지는 Google DeepMind의 저명한 연구 과학자로 활동하며 DeepMind Alberta의 출범을 지원했다. 이후 Keen Technologies에 합류한 뒤 2026년에 스타트업 Oak Lab을 공동 설립했다.
쓴 교훈과 미래의 아키텍처
2019년 '쓴 교훈(The Bitter Lesson)'이라는 제목의 에세이에서 서튼은 인간 고유의 지식을 AI 시스템에 구축하려는 시도는 시간이 지남에 따라 실패한다고 주장했다. 그는 계산 능력의 증가와 함께 확장할 수 있는 일반적인 방법이 도메인별 전략보다 일관되게 우수하다는 점을 관찰했다. 그는 현재의 대규모 언어 모델에 대해서도 비판적인 입장을 유지하며, 이들이 현장에서의 지속적인 학습에 필요한 능력이 부족하다고 주장한다. 그의 현재 연구는 고정된 훈련 단계에 의존하지 않고 에이전트가 즉석에서 학습할 수 있는 아키텍처를 개발하는 데 초점을 맞추고 있다.
빠른 사실
- 출생: 1950년, 오하이오주 - 국적: 캐나다 - 교육: 스탠퍼드 대학교(학사); 매사추세츠 대학교 애머스트 캠퍼스(석사, 박사) - 주요 수상: 튜링상(2024년) - AAAI 펠로우: 2001년부터 - 왕립학회 펠로우: 2021년부터 - 스타트업 공동 설립: Oak Lab(2026년) - 분야: 강화 학습, 인공 지능, 컴퓨터 과학
독자 질문
### 강화 학습이란 무엇인가요?
이는 에이전트가 미리 정의된 데이터에 의존하는 대신 상호 작용을 통해 누적 보상을 최대화함으로써 확률적 환경에서 의사 결정을 내리는 방법을 학습하는 데 초점을 맞춘 AI 분야입니다.
### '쓴 교훈'은 무엇을 주장하나요?
계산 능력을 활용하는 일반적인 학습 방법이 인간의 지식을 알고리즘에 인코딩하려는 접근 방식보다 장기적으로 더 효과적이라는 점을 시사합니다.
