제프 딘: 모두의 검색창 아래에 있는 인프라

인터넷에는 척 노리스(Chuck Norris) 사실을 모델로 한, 구글(Google)의 한 엔지니어에 관한 인터넷 농담 장르가 있습니다: 제프 딘의 코드에는 버그가 없고 기능만 있다거나, 2002년 인덱스 서버가 다운되었을 때 제프 딘이 두 시간 동안 수동으로 사용자 검색 쿼리에 답했더니 평가 점수가 5점 올랐다는 식입니다. 이 농담이 존재하는 이유는 구글을 운영하는 인프라의 거대한 점유율, 그리고 확장해서 현대 인터넷의 상당 부분이 한 엔지니어의 손을 거쳐 갔다는 기본적인 주장이 사실상 과장이 아니기 때문입니다.

하와이에서 트윈 시티까지

제프리 애드게이트 딘(Jeffrey Adgate Dean)은 1968년 7월 23일 하와이에서 태어났습니다. 열대병 연구원인 아버지와 의학 인류학자인 어머니의 업무로 인해 가족이 자주 이사해야 했으며, 그는 5학년부터 10학년까지 미네소타주 트윈 시티에서 학교를 다녔습니다. 1990년 미네소타 대학교에서 컴퓨터 과학과 경제학을 복수 전공하여 최우등(summa cum laude)으로 학사 학위를 받았으며, 지도 교수 비핀 쿠마르(Vipin Kumar) 아래에서 C 언어로 된 신경망에 관한 학부 논문을 썼습니다. 이는 그가 커리어 후반부에 대규모로 구축하게 될 기술과 매우 일찍 접촉한 사례였습니다. 그는 1학년 때 미래의 아내 하이디 호퍼(Heidi Hopper)를 만났으며, 두 사람 모두 1990년에 졸업했습니다. 대학원 진학 전, 그는 세계보건기구(World Health Organization)의 글로벌 에이즈 프로그램(Global Programme on AIDS)에서 일하며 HIV/AIDS 대유행의 확산을 예측하기 위한 통계 모델링 소프트웨어를 작성했습니다. 이는 단순한 학문적 우회로가 아닌, 적용 가능하고 결과가 중대한 소프트웨어 작업이었습니다. 이후 1996년 워싱턴 대학교(University of Washington)에서 크레이그 챔버스(Craig Chambers) 지도하에 객체 지향 언어를 위한 전체 프로그램 최적화 기법에 관한 연구로 컴퓨터 과학 박사 학위를 취득했습니다. 그 후 DEC/컴팩(Compaq)의 서부 연구소에 입사하여 프로파일링 도구와 마이크로프로세서 아키텍처 작업을 시작했으며, 이곳에서 산제이 게마와트(Sanjay Ghemawat)와 이후 4반세기를 정의하게 될 긴 협업을 시작했습니다.

30번째 직원

딘은 1999년 중반, 쇼핑 비교 스타트업 mySimon에서 분산 웹 크롤링 시스템을 구축하던 짧은 기간을 거쳐 구글의 30번째 직원으로 입사했습니다. 구글에서 그와 게마와트는 2018년까지 회사에서 유일한 두 명의 수석 펠로우(Senior Fellow)가 되었으며, 이는 회사의 가장 높은 기술 직급입니다. 이들의 결합은 매우 생산적이어서 구글의 핵심 인프라 상당수가 설계 문서에 두 사람의 이름을 함께 올리고 있습니다. 그들은 구글의 언어 및 플랫폼 중립적 데이터 직렬화 형식인 프로토콜 버퍼(Protocol Buffers)의 초기 설계를 함께 주도했으며, 이는 여전히 구글 시스템 전반에서 거의 보편적으로 사용되고 외부에서도 널리 채택되었습니다.

맵리듀스, 빅테이블, 스패너

그들의 가장 중요한 공동 작업은 다음에 이어졌습니다. 딘과 게마와트가 설계하고 구현한 맵리듀스(MapReduce)는 일반 엔지니어가 분산 시스템 전문가가 될 필요 없이 수천 대의 범용 기기에서 거대한 데이터셋을 처리하고 생성할 수 있게 해준 프로그래밍 모델입니다. 이는 구글의 대규모 컴퓨팅 방식의 기초가 되었으며, 업계의 많은 부분이 이후 기반으로 삼은 오픈 소스 아파치 하둡(Apache Hadoop) 생태계에 직접적인 영감을 주었습니다. 게마와트, 페이 창(Fay Chang), 마이크 버로우즈(Mike Burrows)와 공동 설계한 빅테이블(Bigtable)은 스토리지의 병렬 문제를 해결했습니다. 이는 수십억 행에 걸친 페타바이트 규모의 데이터를 보관하면서도 낮은 지연 시간으로 쿼리를 처리할 수 있는 반구조화 시스템으로, 맵리듀스와 직접 통합되었습니다. 스패너(Spanner)는 이 아이디어를 더욱 확장하여 대륙 간 데이터 센터 전체에 데이터를 동기적으로 복제하면서도 강력한 일관성을 보장하는, 수평적으로 확장 가능한 전 세계 분산 데이터베이스로 발전시켰습니다. 이는 오랫동안 그 규모에서 해결 불가능에 가깝다고 여겨졌던 문제였습니다. 딘과 게마와트는 2011년 빅테이블의 설계 원칙을 기반으로 한 내장형 키-값 저장소인 레벨DB(LevelDB)를 출시했는데, 이는 크롬의 IndexedDB 및 비트코인 코어(Bitcoin Core)의 스토리지 백엔드가 되었습니다.

신경망을 향한 전환

2011년, 딘은 구글 X 연구소로 옮겨 심층 신경망을 조사했으며, 소위 "고양이 뉴런 논문"으로 알려진 성과를 냈습니다. 이는 YouTube 비디오 프레임에 대해 지도 학습 없이 훈련된 대규모 심층 신념 네트워크로, 독립적으로 고양이의 개념을 인식하는 방법을 배웠습니다. 그 프로젝트는 2012년부터 딘이 이끈 구글 브레인(Google Brain)의 창립 작업이 되었습니다. 팀의 내부 훈련 시스템인 디스트빌리프(DistBelief)는 결국 딘이 설계와 초기 구현을 도운 오픈 소스 머신 러닝 프레임워크인 텐서플로우(TensorFlow)로 리팩토링되었습니다. 이는 파이토치(PyTorch)가 부상하기 전까지 수년간 심층 학습 연구의 지배적인 도구였습니다. 그는 또한 대규모 언어 모델 PaLM 개발에 사용된 신경망 훈련을 위한 비동기 분산 시스템인 패스웨이(Pathways) 작업도 했습니다. 2018년 4월, 그는 구글 AI 조직의 수장으로 임명되었으며, 2023년 구글 브레인이 딥마인드와 합병하여 구글 딥마인드(Google DeepMind)가 된 후에는 구글의 수석 과학자가 되었습니다. 그는 회사의 주력 AI 시스템인 "제미나이(Gemini)"라는 이름을 제안한 것으로 알려졌는데, "쌍둥이가 하나로 합쳐지는 것과 같기 때문"이라고 했습니다.

논란이 없지 않다

딘의 리더십은 면밀한 조사에서 자유롭지 못했습니다. 2020년 12월, 구글이 대규모 언어 모델의 위험을 조사하는 미발표 논문을 쓴 AI 윤리 연구원 팀닛 게브루(Timnit Gebru)를 해고한 후, 딘은 직원들에게 이 사건이 연구 문화와 포용성에 관해 "크고 중요한 문제들을 표면화했다"는 내용의 메모를 보냈습니다. 몇 달 후 두 번째 윤리 연구원인 마가렛 미첼(Margaret Mitchell)이 해고되었을 때, 그는 내부적으로 구글이 "이 상황을 더 민감하게 처리할 수 있었고 또 처리했어야 했다"고 썼습니다. 별도로, 딘은 강화 학습이 칩 플로어플래닝(chip floorplanning)에서 인간을 능가할 수 있다고 주장하는 2021년 네이처(Nature) 논문의 선임 저자였습니다. 결과를 공개적으로 의심한 구글 엔지니어는 해고되었고 나중에 딘을 지명하며 소송을 제기했습니다. 이후 독립적인 학술 연구원들은 시뮬레이티드 어닐링(simulated annealing)과 표준 상용 설계 소프트웨어와 같은 더 간단한 방법들이 공개 벤치마크에서 해당 논문이 주장한 결과와 대등하거나 더 나은 성과를 냈음을 발견했습니다. 이에 대해 동료 평가를 거친 ACM 커뮤니케이션즈(Communications of the ACM) 기사는 해당 연구의 "의심스러운 연구 관행"에 대해 기술했습니다.

제프가 천재로 불리는 이유

딘의 천재성에 대한 근거는 소프트웨어 엔지니어링 표준에 비추어 볼 때 이례적으로 잘 문서화되어 있습니다. 그가 구축한 것 중 많은 부분이 수십억 명의 사람들이 매일 사용하는 서비스인 검색, 지도(Maps), 번역(Translate), 크롬(Chrome) 및 현재 세대의 대규모 AI 모델을 지탱하고 있으며, 이 모든 것이 그가 직접 설계하거나 공동 설계한 시스템 위에서 실행되기 때문입니다. "제프 딘 사실" 밈은 민담에 가깝지만, 구글 내 동료들의 진정한 증언에서 비롯되었습니다. 즉, 엘리트 엔지니어들이 모인 회사 내에서도 그의 생산성과 기술적 범위는 비범했습니다. ACM 펠로우 선출, 2012년 ACM 컴퓨팅 상, 2021년 IEEE 존 폰 노이만 메달 수상은 이 판단에 대한 해당 분야의 공식적인 평가입니다. 솔직하게 말하면 딘의 가장 최근 눈에 띄는 역할은 순수 기술보다는 관리 및 전략 분야였으며, 게브루 해고 사건과 칩 설계 논란 등 구글 AI 조직을 이끄는 과정에서 그의 대응은 충분하지 못한 솔직함과 감독으로 인해 실질적인 비판을 받았습니다. 이는 엔지니어링의 탁월함과 조직의 리더십이 같은 기술이 아니며, 항상 똑같이 엄격하게 수행되지 않는다는 점을 상기시켜 줍니다.

유산

딘과 게마와트의 기술적 파트너십은 전체 산업이 분산 컴퓨팅을 바라보는 방식을 재구성했으며, 맵리듀스의 후계자들은 구글을 넘어 데이터 인프라에 계속 내장되어 있습니다. 그는 아내 하이디 호퍼와 함께 호퍼-딘 재단(Hopper-Dean Foundation)을 통해 MIT, 스탠퍼드, 버클리를 포함한 대학의 컴퓨터 과학 다양성 이니셔티브에 수백만 달러를 기부했습니다. 이는 그의 영향력을 구글의 서버 팜에서 그 이후의 기술을 구축할 엔지니어 양성 경로로 확장하고 있습니다.