カレン・スパーク・ジョーンズ：検索にランキングを教えた統計学者

1972年、『ジャーナル・オブ・ドキュメンテーション』（Journal of Documentation）誌は、臨時雇いのケンブリッジ大学の女性研究者による11ページの論文を掲載した。その見込みのないタイトルは「A Statistical Interpretation of Term Specificity and Its Application in Retrieval（語の特異性の統計学的解釈とその検索への応用）」というものだった。その論法は、気恥ずかしいほどに単純であった。すべての文書に現れる単語は何も情報を与えず、少数の文書にのみ現れる単語は多くの情報を与えるため、それに応じて重み付けをすればよいというものである。その論文によって、逆文書頻度（IDF）が導入された。半世紀を経た今、それは情報検索において最も引用される成果の一つであり、その何らかのバージョンが地球上の実質すべての検索エンジンの内部に組み込まれている。

あえて残されたノルウェー系の名前

カレン・アイダ・ボース・スパーク・ジョーンズ（Karen Ida Boalth Spärck Jones）は、1935年8月26日にヨークシャーのハダースフィールドで生まれた。父のアルフレッド・オーウェン・ジョーンズ（Alfred Owen Jones）は化学を講じ、母のアイダ・スパーク（Ida Spärck）は第二次世界大戦中に英国へ亡命し、亡命ノルウェー政府のために働いたノルウェー人であった。二連姓の使用は意図的なものであった。彼女がプロとしての人生において母のノルウェー系の姓を保持し続けたのは、本人の言葉を借りれば「自分自身の永続的な存在を維持する」ためであり、それは自分自身が埋没することに対する、初期の静かな拒絶であった。

歴史学から言語研究ユニットへ

彼女は1953年から1956年までケンブリッジ大学ガートン・カレッジで歴史学を専攻し、最終学年の科目としてケンブリッジの言い回しで「道徳科学」と呼ばれる哲学を選んだ。そのどこにも計算機的な要素はなかった。彼女は大学を卒業すると、学校の教師となった。

彼女を引き戻したのは、夫が何をしているのかという好奇心であった。彼女は1958年に計算機科学者のロジャー・ニーダム（Roger Needham）と結婚し、彼を通じて、マーガレット・マスターマン（Margaret Masterman）が率いる、機械に意味を扱わせようと試みていた小さく風変わりな組織であるケンブリッジ言語研究ユニット（Cambridge Language Research Unit）と出会った。マスターマンは彼女に研究職をオファーした。スパーク・ジョーンズはそれを引き受け、残りの人生を、人間言語を使ってコンピュータに何か有用なことをさせという問題に捧げた。意味的分類に関する彼女の博士論文は、審査員からは冷淡な迎え方をしたと伝えられているが、1964年に書籍『シノニムと意味的分類』（Synonymy and Semantic Classification）として出版され、現在では自然言語処理における基礎的テキストとして読まれている。

珍しい単語ほど価値があるというアイデア

逆文書頻度（IDF）の背後にある洞察は、あらゆる優れたアイデアに共通する性質を備えている。すなわち、語られてしまえば自明であるが、語られる前には見えないということである。1960年代の検索システムは、クエリの単語を多かれ少なかれ互換性のあるものとして扱っていた。スパーク・ジョーンズは、ある用語の有用性はコーパス全体におけるその特異性の関数であると主張した。すなわち、それを含む文書が少なければ少ないほど、その用語はより強く区別を行う。「the」はなんらのシグナルも伝えないが、「photosynthesis（光合成）」はそのほぼすべてを伝える。その重みに、特定の文書内でその用語が現れる頻度を掛け合わせれば、文書検索を集合の一致からランキングへと変えたスコアリング手法であるTF-IDFが得られる。

彼女のより広範な研究プログラムは、単一の公式をはるかに超えて広がっていた。確率的検索モデル、文書の自動要約、データベース検索システム、音声およびマルチメディア検索、ユーザおよびエージェントのモデリング、そして彼女が強い関心を寄せていた言語システムの厳密な評価である。彼女は1994年以降、検索研究を実証的に検証可能なものとした取り組みであるDARPA/NISTのテキスト検索会議（Text Retrieval Conferences）のプログラム委員会に加わった。

30年間に及んだ短期契約

彼女の組織的なキャリアの軌跡は、その知的軌跡とは一致しなかった。彼女は1974年にケンブリッジ大学計算機研究所（Computer Laboratory）に加わり、1993年にようやく正式な常勤スタッフになるまで、ほぼ20年間にわたり更新型の短期契約でそこで働いた。彼女がコンピュータおよび情報学の教授となったのは、2002年の退官のわずか3年前である1999年のことであり、亡くなる直前まで働き続けた。彼女はその不安定な身分は明らかに自身の性別によるものであると考えていた。彼女は2001年のIEEEのオーラル・ヒストリーのインタビュアーに対し、ケンブリッジは「女性フレンドリーという意味において、多くの面でユーザーフレンドリーではなかった」と語っている。キャリアの大半において、彼女は部屋にいる唯一の女性であった。

計算機科学は男に任せるにはあまりにも重要すぎる

彼女はその経験を個人的な不満としてではなく、組織的な取り組みへと昇華させた。計算機研究所におけるwomen@clネットワークの創設メンバーであり、少女たちをこの分野に引き込むことを目的としたアウトリーチ活動の立案者であり、そして現在最も引用される言葉の作者となった。「計算機科学は男に任せるにはあまりにも重要すぎる」という言葉である。栄誉は遅れて訪れ、そして一気に押し寄せた。1988年のジェラード・サルトン賞（Gerard Salton Award）、1993年のAAAIフェロー、1994年の計算言語学会（Association for Computational Linguistics）会長、2000年から2002年までの英国アカデミー（British Academy）フェローおよびその副会長、2002年のASIS&T優秀賞（ASIS&T Award of Merit）、2004年のACL生涯功労賞（ACL Lifetime Achievement Award）、2006年のACM-AAAIアレン・ニューウェル賞（ACM–AAAI Allen Newell Award）、そして2007年にはACM女性グループのアテナ賞（Athena Award）と、女性として初めて受賞した英国コンピュータ学会（British Computer Society）のラブレスメダル（Lovelace Medal）の両方を受賞した。

なぜカレンが天才と呼ばれるのか

そこで発揮されている才能は、規律に裏打ちされた抽象化である。それは、曖昧な人間の直感を捉える単一の測定可能な量を見つけ出し、そしてそれを測定し続けるという能力である。誰もが、いくつかの単語は他の単語よりも多くの情報を含んでいることを知っていた。スパーク・ジョーンズはそれを任意のコーパス上で計算できる重み付け関数へと変換し、そして言語システムは賞賛されるべきではなく実証的に評価されなければならないと数十年にわたって主張し続けた。彼女の訓練は数学や工学ではなく歴史学と哲学におけるものであったため、この転換は一層異例であり、かつ印象的なものとなっている。彼女は、当時ルールベースの記号的人工知能が支配していた分野に統計的推論を持ち込み、世の中の流行が彼女に逆風であった時期に、その大部分において正しかったのである。彼女が擁護した意味の統計的・文脈的見解（すなわち、単語の意味とはコーパス全体を通じてそれが維持する交友関係の関数であるという見解）は、現在この分野を支配している機械学習による言語モデルの知的な先祖である。

正直な反論として、IDFは単一の、数学的には軽微なアイデアに過ぎないという点がある。それは比率の対数であり、有能な統計学者であれば午後の一時間で導出できるものである。その重要性は技術的な深さというよりも枠組みとタイミングの問題であり、スパーク・ジョーンズ自身もそれを大げさに飾ることはなかった。彼女を有名にしたシステムを構築したのも彼女自身ではない。検索エンジンは数十年後に他の人たちによって商業化され、そのほとんどは彼女にクレジットを与えることはなかった。彼女の功績は、早くから正しかったこと、あの単一の公式よりもはるかに地味である緻密な評価研究の蓄積、そして計算力よりも優れた判断力に基づいている。それこそは真の知的卓越の形であり、誇張されることなく正確に記述されるべきものである。

遺産

彼女は2007年4月4日にがんで亡くなった。享年71。4年前に夫の訃報を掲載していたロンドンの『タイムズ』（The Times）紙は彼女の訃報を掲載せず、『ニューヨーク・タイムズ』（New York Times）紙は2019年になってようやく「見落とされた人々（Overlooked）」シリーズの中で彼女を取り上げ、「計算機科学のパイオニア」と称えた。その後も称賛の修正は続けられている。BCS情報検索専門家グループによって2008年以来毎年授与されているカレン・スパーク・ジョーンズ賞（Karen Spärck Jones Award）、2017年に改称されたハダースフィールド大学のスパーク・ジョーンズ・ビルディング、そして2024年にケンブリッジ大学と英国政府によって立ち上げられたスパークAI奨学金（Spärck AI Scholarships）などがそれである。ランキング付けされた検索結果のすべてのリストは、彼女の11ページに対する脚注に他ならない。