Карен Спарк Джонс: Статистик, которая научила поиск ранжированию

В 1972 году журнал Journal of Documentation опубликовал одиннадцатистраничную статью работавшей по краткосрочному контракту исследовательницы из Кембриджа под малообещающим названием «Статистическая интерпретация специфичности терминов и ее применение в поиске». Аргумент был до стыдного простым: слово, которое встречается в каждом документе, не говорит вам ничего, а слово, которое встречается в немногих документах, говорит очень многое, поэтому учитывайте их вес соответствующим образом. Эта статья ввела обратную частоту документа (TF-IDF). Полвека спустя это один из самых цитируемых результатов в области информационного поиска, и та или иная его версия заложена практически в каждую поисковую систему на Земле.

Норвежская фамилия, сохраненная нарочно

Карен Ида Боалт Спарк Джонс (Karen Ida Boalth Spärck Jones) родилась 26 августа 1935 года в Хаддерсфилде, графство Йоркшир. Ее отец, Альфред Оуэн Джонс (Alfred Owen Jones), читал лекции по химии; ее мать, Ида Спарк (Ida Spärck), была норвежской, бежавшей в Великобританию и работавшей на норвежское правительство в изгнании во время Второй мировой войны. Двойная фамилия была осознанным шагом. Она сохранила материнскую норвежскую фамилию в профессиональной жизни потому, что, как она выразилась, это «поддерживает постоянное существование вашего собственного я» — ранний, тихий отказ от растворения в чужой идентичности.

От истории к Отделению языковых исследований

Она изучала историю в Гиртон-колледже Кембриджа с 1953 по 1956 год, выбрав в качестве предмета на выпускном курсе философию (в кембриджской терминологии — «моральные науки»). В этом не было ничего вычислительного. Она ушла оттуда и стала школьной учительницей.

Вернуться ее заставило любопытство к тому, чем занимался ее муж. Она вышла замуж за компьютерщика Роджера Нидема (Roger Needham) в 1958 году и через него познакомилась с Кембриджским отделением языковых исследований (Cambridge Language Research Unit) — небольшим эксцентричным коллективом под руководством Маргарет Мастерман (Margaret Masterman), который пытался заставить машины работать со смыслом. Мастерман предложила ей научную должность. Спарк Джонс приняла ее и посвятила остаток своей жизни проблеме заставить компьютеры делать что-то полезное с человеческим языком. Ее докторская диссертация по семантической классификации, как сообщается, встретила прохладный прием со стороны экзаменаторов, прежде чем в 1964 году вышла в виде книги Synonymy and Semantic Classification («Синонимия и семантическая классификация»), которая сегодня читается как фундаментальный текст по обработке естественного языка.

Идея о том, что редкие слова ценнее

Озарение, лежащее в основе обратной частоты документа, обладает качеством всех хороших идей: оно очевидно, когда его озвучат, и невидимо до этого. Поисковые системы 1960-х годов относились к словам запроса как к более или менее взаимозаменяемым. Спарк Джонс утверждала, что полезность термина является функцией его специфичности во всей коллекции — чем меньше документов содержат его, тем сильнее он различает. Артикль «The» не несет никакого сигнала; «фотосинтез» несет почти весь сигнал. Умножьте этот вес на то, как часто термин появляется в конкретном документе, и вы получите TF-IDF — схему оценки, которая превратила поиск документов из сопоставления множеств в ранжирование.

Ее более широкая исследовательская программа выходила далеко за рамки этой единственной формулы: вероятностные модели поиска, автоматическое реферирование документов, системы запросов к базам данных, поиск речи и мультимедиа, моделирование пользователей и агентов, а также — что было ее страстью — строгая оценка языковых систем. С 1994 года она входила в программный комитет Конференций по текстовому поиску DARPA/NIST (Text Retrieval Conferences), усилия которых сделали поисковые исследования эмпирически проверяемыми.

Тридцать лет на краткосрочных контрактах

Ее институциональная траектория не соответствовала ее интеллектуальной траектории. Она поступила в Компьютерную лабораторию Кембриджского университета в 1974 году и работала там по возобновляемым краткосрочным контрактам до тех пор, пока в 1993 году ее наконец не зачислили в постоянный штат — почти два десятилетия спустя. Профессором компьютеров и информации она стала только в 1999 году, за три года до выхода на пенсию в 2002-м, и продолжала работать почти до самой смерти. Она прямо объясняла такую шаткость своего положения полом. В 2001 году она рассказала интервьюеру по устной истории IEEE, что Кембридж «во многих отношении не был удобен для пользователей в смысле удобства для женщин». Большую часть своей карьеры она была единственной женщиной в комнате.

Вычисления слишком важны, чтобы доверять их мужчинам

Она превратила этот опыт в организованную деятельность, а не в личную обиду: стала членом-основателем сети women@cl в Компьютерной лаборатории, автором инициатив по привлечению девочек в эту сферу и автором фразы, которую теперь цитируют чаще всего: «Вычисления слишком важны, чтобы доверять их мужчинам». Награды приходили поздно, а затем все разом: премия Джерарда Салтона (Gerard Salton Award) в 1988 году, статус феллоу AAAI в 1993 году, президентство в Ассоциации вычислительной лингвистики (Association for Computational Linguistics) в 1994 году, статус феллоу Британской академии и ее вице-президентство с 2000 по 2002 год, премия ASIS&T Award of Merit в 2002 году, премия ACL Lifetime Achievement Award в 2004 году, премия ACM–AAAI Аллена Ньюэлла (Allen Newell Award) в 2006 году, а в 2007 году — премия Athena Award женской группы ACM и медаль Лавлейс (Lovelace Medal) Британского компьютерного общества, став первой женщиной, получившей ее.

Почему Карен называют гением

Продемонстрированные способности — это абстракция под началом дисциплины: умение найти ту самую измеримую величину, которая улавливает смутную человеческую интуицию, а затем настаивать на ее измерении. Все знали, что одни слова более информативны, чем другие. Спарк Джонс превратила это в весовую функцию, которую можно вычислить для любой коллекции, а затем десятилетиями доказывала, что языковые системы нужно оценивать эмпирически, а не просто восхищаться ими. Ее образование было историческим и философским, а не математическим или инженерным, что делает этот шаг еще более странным и впечатляющим: она перенесла статистические рассуждения в область, где тогда доминировал символический искусственный интеллект, основанный на написании правил, и в основном оказалась права, хотя мода была против нее. Предложенный ею статистико-контекстуальный взгляд на значение — о том, что смысл слова является функцией окружения, в котором оно находится в корпусе — является интеллектуальным предком машино-обучаемых языковых моделей, которые сейчас доминируют в этой области.

Честный контраргумент заключается в том, что IDF — это единая и математически незамысловатая идея. Это логарифм отношения; компетентный статистик мог бы вывести его за полдня. Его важность заключается в постановке задачи и выборе времени, а не в технической глубине, и сама Спарк Джонс никогда не приукрашивала его. Она также не создавала системы, которые сделали ее знаменитой — поисковые системы были коммерциализированы другими людьми десятилетиями позже, по большей части без упоминания ее заслуг. Ее утверждение основывается на том, что она оказалась права раньше других, на огромной работе по тщательной оценке, которая гораздо менее гламурна, чем одна формула, и на здравом суждении, а не на вычислительной мощщи. Это подлинный вид интеллектуального отличия, и его следует описывать точно, а не преувеличивать.

Наследие

Она умерла от рака 4 апреля 2007 года в возрасте 71 года. Лондонская газета The Times, опубликовавшая некролог на смерть ее мужа четырьмя годами ранее, не опубликовала некролог на нее; New York Times в конце концов опубликовала его в 2019 году в своей серии Overlooked, назвав ее «пионером компьютерных наук». Исправления продолжают поступать: премия Карен Спарк Джонс, ежегодно присуждаемая с 2008 года Группой специалистов по информационному поиску Британского компьютерного общества; Здание Спарк Джонс в Университете Хаддерсфилда, переименованное в 2017 году; и стипендии по искусственному интеллекту имени Спарк, запущенные в 2024 году Кембриджем и правительством Великобритании. Каждый ранжированный список результатов поиска — это подстрочное примечание к ее одиннадцати страницам.