카렌 스파크 존스: 검색에 순위를 매기는 법을 가르친 통계학자
1972년, 《문헌학 저널(Journal of Documentation)》은 임시 계약직이었던 케임브리지 연구원이 쓴 “용어 특이성의 통계적 해석과 검색에서의 적용”이라는 다소 전망 없어 보이는 제목의 11페이지 논문을 발표했다. 그 주장은 낯뜨거울 정도로 단순했다. 모든 문서에 나타나는 단어는 아무런 정보도 주지 않지만, 소수의 문서에만 나타나는 단어는 많은 정보를 주므로 그에 따라 가중치를 부여하라는 것이었다. 그 논문이 바로 역문헌 빈도를 도입했다. 반세기 지난 지금, 그것은 정보 검색 분야에서 가장 많이 인용되는 결과 중 하나이며, 그 변형태는 지구상의 실질적으로 모든 검색 엔진 내부에 자리 잡고 있다.
의도적으로 유지한 노르웨이어 성
카렌 아이다 볼트 스파크 존스(Karen Ida Boalth Spärck Jones)는 1935년 8월 26일 요크셔 허더즈필드에서 태어났다. 그녀의 아버지 앨프리드 오언 존스(Alfred Owen Jones)는 화학을 강의했고, 어머니 아이다 스파크(Ida Spärck)는 제2차 세계 대전 중 영국으로 피난해 망명 노르웨이 정부를 위해 일했던 노르웨이인이었다. 겹성(double-barrelled name)을 쓴 것은 의도적인 행동이었다. 그녀는 프로 생활에서 어머니의 노르웨이어 성을 유지했는데, 본인의 표현대로 그것이 “자신의 영원한 존재를 유지해 주기” 때문이었다. 이는 자신을 흡수시키려는 것에 대한 이르고 조용한 거부였다.
역사에서 언어연구소로
그녀는 1953년부터 1956년까지 케임브리지 대학교 거턴 칼리지에서 역사를 공부했으며, 케임브리지의 관용구로는 도덕 과학인 철학을 마지막 해 과목으로 택했다. 그중 컴퓨터와 관련된 것은 전혀 없었다. 그녀는 졸업 후 학교 교사가 되었다.
그녀를 다시 불러들인 것은 남편이 하던 일에 대한 호기심이었다. 그녀는 1958년 컴퓨터 과학자인 로저 니덤(Roger Needham)과 결혼했고, 그를 통해 마거릿 마스터먼(Margaret Masterman)이 운영하던, 기계가 의미를 다루게 하려고 애쓰던 작고 괴짜 같은 단체인 케임브리지 언어연구소를 접하게 되었다. 마스터먼은 그녀에게 연구직을 제안했다. 스파크 존스는 이를 받아들여 남은 평생을 컴퓨터가 인간 언어로 유용한 일을 하도록 만드는 문제에 바쳤다. 의미론적 분류에 관한 그녀의 박사 학위 논문은 1964년 책 《동의어와 의미론적 분류(Synonymy and Semantic Classification)》로 출간되기 전에 심사위원들로부터 냉담한 반응을 받았다고 전해지며, 현재는 자연어 처리의 기초 텍스트로 읽힌다.
희귀한 단어의 가치가 더 높다는 아이디어
역문헌 빈도 이면에 있는 통찰은 모든 좋은 아이디어가 가진 특성을 지니고 있다. 일단 말해지면 명백하고, 그전에는 보이지 않는다는 것이다. 1960년대의 검색 시스템은 쿼리의 단어를 대충 상호 교환 가능한 것으로 취급했다. 스파크 존스는 용어의 유용성이 컬렉션 전반에서의 특이성의 함수라고 주장했다. 즉, 그것을 포함하는 문서가 적을수록 변별력이 커진다는 것이다. “The”는 신호를 전달하지 않고, “photosynthesis”는 거의 모든 신호를 전달한다. 그 가중치에 해당 용어가 특정 문서에 나타나는 빈도를 곱하면 문서 검색을 집합 매칭에서 순위 매기기로 바꾼 스코어링 체계인 TF–IDF가 된다.
그의 더 넓은 연구 프로그램은 단 하나의 공식을 훨씬 뛰어넘어 확장되었다. 검색의 확률론적 모델, 자동 문서 요약, 데이터베이스 쿼리 시스템, 음성 및 멀티미디어 검색, 사용자 및 에이전트 모델링, 그리고 그녀가 몰두했던 언어 시스템의 엄격한 평가 등이 그것이다. 그녀는 검색 연구를 경험적으로 설명 가능하게 만든 노력인 1994년 이후 DARPA/NIST 텍스트 검색 회의(Text Retrieval Conferences)의 프로그램 위원회에 참여했다.
단기 계약으로 보낸 삼십 년
그의 제도적 경로는 지적 경로와 일치하지 않았다. 그녀는 1974년 케임브리지 대학교 컴퓨터 연구소에 합류하여 마침내 1993년에 정직원이 될 때까지 — 거의 20년 동안 — 갱신되는 단기 계약직으로 일했다. 그녀는 2002년 퇴직하기 3년 전인 1999년에야 컴퓨터 및 정보학 교수가 되었으며, 거의 사망할 때까지 일했다. 그녀는 고용의 불안정성이 전적으로 자신의 성별 때문이라고 밝혔다. 그녀는 2001년 IEEE 구술 역사 인터뷰어에게 케임브리지는 “여성 친화적이라는 의미에서 여러 면에서 사용자 친화적이지 않다”고 말했다. 경력의 대부분 동안 그녀는 방 안의 유일한 여성이었다.
컴퓨팅은 남성들에게만 맡기기에는 너무 중요하다
그녀는 그 경험을 개인적인 불만이 아니라 조직적인 노력으로 바꾸었다. 컴퓨터 연구소의 women@cl 네트워크 창립 멤버이자, 여학생들을 해당 분야로 끌어들이기 위한 아웃리치의 설계자였으며, 그녀가 가장 많이 인용되는 대사의 저자가 되었다 — “컴퓨팅은 남성들에게만 맡기기에는 너무 중요하다.” 영예들은 늦게 그리고 한꺼번에 찾아왔다. 1988년 제라드 솔턴상(Gerard Salton Award), 1993년 AAAI 펠로, 1994년 컴퓨터언어학회(Association for Computational Linguistics) 회장, 2000년부터 2002년까지 영국 학술원 펠로이자 부회장, 2002년 ASIS&T 공로상, 2004년 ACL 평생공로상, 2006년 ACM–AAAI 앨런 뉴웰상(Allen Newell Award), 그리고 2007년 ACM 여성 그룹 아테나상(Athena Award)과 영국 컴퓨터 학회의 러브레이스 메달(Lovelace Medal)을 수상했으며, 여성으로서는 최초로 이 메달을 받았다.
카렌이 천명이라 불리는 이유
발휘된 재능은 규율 속의 추상화였다. 모호한 인간의 직관을 포착하는 하나의 측정 가능한 양을 찾아내고, 그것을 측정할 것을 고집하는 능력이었다. 모든 사람이 어떤 단어는 다른 단어보다 더 유익하다는 것을 알고 있었다. 스파크 존스는 그것을 어떤 컬렉션에서든 계산할 수 있는 가중치 함수로 변환했고, 언어 시스템은 칭찬받기보다 경험적으로 평가되어야 한다고 수십 년 동안 주장했다. 그녀의 훈련은 수학이나 공학이 아니라 역사와 철학이었으며, 이로 인해 그녀의 행보는 더욱 낯설고 인상적이다. 당시 기호적이고 규칙을 작성하는 인공지능이 지배하던 분야에 통계적 추론을 들여왔고, 유행이 그녀에게 불리했을 때도 그녀는 대개 옳았다. 그녀가 옹호한 의미의 통계적-맥락적 관점 — 즉 단어의 의미는 코퍼스 전반에서 그것이 함께 어울리는 동반자들의 함수라는 것 — 은 현재 이 분야를 지배하는 기계 학습 언어 모델의 지적 조상이다.
정직한 반론은 IDF가 단일하고 수학적으로 사소한 아이디어라는 점이다. 그것은 비율의 로그값이며, 유능한 통계학자라면 오후 한 시면 유도할 수 있다. 그 중요성은 기술적 깊이라기보다는 프레이밍과 타이밍의 문제이며, 스파크 존스 자신도 그것을 포장한 적이 없다. 그녀를 유명하게 만든 시스템을 구축한 것도 아니었다 — 검색 엔진은 수십 년 후 다른 사람들이 상용화했으며, 대부분 그녀에게 공로를 인정하지 않았다. 그녀의 주장은 일찍 옳았다는 점, 단 하나의 공식보다 훨씬 덜 화려하지만 꼼꼼한 평가 작업의 결과물, 그리고 화력보다는 판단력에 기반을 두고 있다. 그것은 진정한 의미의 지적 구별이며, 부풀려지기보다는 정확하게 기술되어야 한다.
유산
그녀는 2007년 4월 4일 암으로 71세를 일기로 사망했다. 4년 전에 남편의 부고를 실었던 런던의 《타임스(The Times)》는 그녀의 부고를 싣지 않았고, 《뉴욕 타임스(New York Times)》는 마침내 2019년 ‘간과된 사람들(Overlooked)’ 시리즈에서 그녀를 “컴퓨터 과학의 개척자”라고 부르며 부고를 실었다. 정정은 계속 이어졌다. 2008년부터 영국 컴퓨터 학회 정보 검색 전문 그룹이 매년 수여하는 카렌 스파크 존스 상, 2017년에 개명된 허더즈필드 대학교의 스파크 존스 건물, 그리고 2024년 케임브리지와 영국 정부가 출범시킨 스파크 AI 장학금이 그것이다. 순위가 매겨진 모든 검색 결과 목록은 그녀의 11페이지 논문에 대한 각주다.
