Karen Spärck Jones: A estatística que ensinou a busca a classificar

Em 1972, o Journal of Documentation publicou onze páginas de uma investigadora de Cambridge sob contrato temporário, com o título pouco promissor "A Statistical Interpretation of Term Specificity and Its Application in Retrieval". O argumento era quase embaraçosamente simples: uma palavra que aparece em todos os documentos não diz nada, e uma palavra que aparece em poucos documentos diz muito, logo devem ser ponderadas em conformidade. Esse artigo introduziu a frequência inversa de documentos. Meio século depois, é um dos resultados mais citados na recuperação de informação, e alguma versão dele está presente essencialmente em todos os motores de busca do planeta.

Um nome norueguês, mantido de propósito

Karen Ida Boalth Spärck Jones nasceu a 26 de agosto de 1935 em Huddersfield, Yorkshire. O seu pai, Alfred Owen Jones, dava aulas de química; a sua mãe, Ida Spärck, era uma norueguesa que tinha fugido para a Grã-Bretanha e trabalhado para o governo norueguês no exílio durante a Segunda Guerra Mundial. O nome composto foi um ato deliberado. Ela manteve o sobrenome norueguês da mãe na sua vida profissional porque, como costumava dizer, fazê-lo "mantém uma existência permanente própria" — uma recusa precoce e silenciosa de ser absorvida.

Da história à Unidade de Investigação de Linguagem

Licenciou-se em história no Girton College, em Cambridge, entre 1953 e 1956, tendo escolhido a filosofia — Ciências Morais, no linguajar de Cambridge — como disciplina do seu último ano. Não havia nada de computacional em nada disso. Deixou o curso e tornou-se professora de escola.

O que a puxou de volta foi a curiosidade sobre o que o seu marido estava a fazer. Casou-se com o cientista da computação Roger Needham em 1958 e, através dele, conheceu a Unidade de Investigação de Linguagem de Cambridge (Cambridge Language Research Unit), uma pequena e excêntrica equipa dirigida por Margaret Masterman que tentava fazer com que as máquinas manipulassem o significado. Masterman ofereceu-lhe um cargo de investigação. Spärck Jones aceitou e passou o resto da sua vida dedicada ao problema de fazer com que os computadores fizessem algo útil com a linguagem humana. O seu trabalho de doutoramento, sobre classificação semântica, terá recebido uma receção fria por parte dos examinadores antes de ser publicado em 1964 como o livro Synonymy and Semantic Classification — lido hoje como um texto fundamental no processamento de linguagem natural.

A ideia de que as palavras raras valem mais

A intuição por trás da frequência inversa de documentos tem a qualidade de todas as boas ideias: óbvia quando enunciada, invisível antes. Os sistemas de recuperação da década de 1960 tratavam as palavras de uma consulta como mais ou menos intercambiáveis. Spärck Jones argumentou que a utilidade de um termo é uma função da sua especificidade em toda a coleção — quantos menos documentos o contêm, mais ele discrimina. "O" não transporta sinal nenhum; "fotossíntese" transporta quase todo. Multiplique esse peso pela frequência com que o termo aparece num determinado documento e obtém-se o TF–IDF, o esquema de pontuação que transformou a recuperação de documentos de uma correspondência de conjuntos para uma ordenação por relevância.

O seu programa de investigação mais amplo foi muito além dessa única fórmula: modelos probabilísticos de recuperação, resumo automático de documentos, sistemas de consulta de bases de dados, recuperação de voz e multimédia, modelação de utilizadores e agentes e — uma das suas principais preocupações — a avaliação rigorosa de sistemas linguísticos. Integrou o comité de programa das Conferências de Recuperação de Texto da DARPA/NIST a partir de 1994, o esforço que tornou a investigação em recuperação empiricamente responsável.

Trinta anos em contratos de curto prazo

A sua trajetória institucional não acompanhou a sua trajetória intelectual. Entrou para o Laboratório de Computação da Universidade de Cambridge em 1974 e trabalhou lá com contratos de curto prazo renováveis até ser finalmente integrada nos quadros permanentes em 1993 — quase duas décadas depois. Só se tornou Professora de Computadores e Informação em 1999, três anos antes de se retirar em 2002, e continuou a trabalhar quase até à sua morte. Ela atribuía a precariabilidade claramente ao seu sexo. Cambridge, disse ela a um entrevistador de história oral do IEEE em 2001, era "em muitos aspetos pouco acolhedora, no sentido de pouco acolhedora para as mulheres". Durante grande parte da sua carreira, foi a única mulher na sala.

A computação é demasiado importante para ser deixada aos homens

Transformou essa experiência num esforço organizado em vez de numa queixa privada: foi membro fundadora da rede women@cl no Laboratório de Computação, arquiteta de ações de divulgação destinadas a atrair raparigas para a área e autora da frase pela qual é hoje mais citada — "A computação é demasiado importante para ser deixada aos homens." As honras chegaram tarde e de uma só vez: o Prémio Gerard Salton em 1988, membro da AAAI em 1993, a presidência da Associação de Linguística Computacional em 1994, membro da Academia Britânica e sua vice-presidente de 2000 a 2002, o Prémio de Mérito da ASIS&T em 2002, o Prémio de Carreira da ACL em 2004, o Prémio ACM–AAAI Allen Newell em 2006, e em 2007 tanto o Prémio Athena do Grupo de Mulheres da ACM como a Medalha Lovelace da Sociedade Britânica de Computação, sendo a primeira mulher a recebê-la.

Porque é que Karen é chamada de génio

A faculdade demonstrada é a abstração sob disciplina — a capacidade de encontrar a única quantidade mensurável que capta uma intuição humana vaga e, depois, insistir em medi-la. Toda a gente sabia que algumas palavras eram mais informativas do que outras. Spärck Jones converteu isso numa função de ponderação que se podia calcular sobre qualquer coleção e passou depois décadas a argumentar que os sistemas de linguagem devem ser avaliados empiricamente em vez de apenas admirados. A sua formação era em história e filosofia, não em matemática ou engenharia, o que torna o seu percurso mais estranho e impressionante: importou o raciocínio estatístico para um campo então dominado pela inteligência artificial simbólica baseada em regras, e teve largamente razão quando a moda estava contra ela. A visão estatístico-contextual do significado que defendeu — de que o sentido de uma palavra é uma função da companhia que mantém num corpus — é a antecessora intelectual dos modelos de linguagem aprendidos por máquina que hoje dominam a área.

O contra-argumento honesto é que o IDF é uma ideia única e matematicamente leve. É o logaritmo de um rácio; um estatístico competente conseguiria deduzi-lo numa tarde. A sua importância é uma questão de enquadramento e oportunidade temporal, e não de profundidade técnica, e a própria Spärck Jones nunca o adornou. Tampouco construiu os sistemas que a tornaram famosa — os motores de busca foram comercializados por outras pessoas, décadas mais tarde, na sua maioria sem lhe darem crédito. O seu mérito assenta em ter tido razão cedo, num conjunto de trabalho de avaliação cuidadoso que é muito menos glamoroso do que a famosa fórmula, e no critério em detrimento da força bruta. Esse é um tipo real de distinção intelectual e deve ser descrito com precisão em vez de inflacionado.

Legado

Morreu de cancro a 4 de abril de 2007, com 71 anos. The Times de Londres, que tinha publicado um obituário para o seu marido quatro anos antes, não publicou nenhum sobre ela; o New York Times acabou por publicar um em 2019 na sua série Overlooked, chamando-lhe "uma pioneira da ciência da computação". As reparações continuaram a surgir: o Prémio Karen Spärck Jones, atribuído anualmente desde 2008 pelo Grupo de Especialistas em Recuperação de Informação da BCS; o Edifício Spärck Jones na Universidade de Huddersfield, rebatizado em 2017; e as Bolsas Spärck de IA lançadas em 2024 por Cambridge e pelo governo britânico. Cada lista ordenada de resultados de busca é uma nota de rodapé às suas onze páginas.