Karen Spärck Jones: La estadística que enseñó a buscar a ordenar

En 1972, el Journal of Documentation publicó once páginas de una investigadora de Cambridge con contrato temporal, bajo el poco prometedor título de "A Statistical Interpretation of Term Specificity and Its Application in Retrieval". El argumento era casi embarazosamente simple: una palabra que aparece en cada documento no te dice nada, y una palabra que aparece en pocos documentos te dice muchísimo, así que hay que ponderarlas en consecuencia. Ese artículo introdujo la frecuencia inversa de documento. Medio siglo después, es uno de los resultados más citados en la recuperación de información, y alguna versión del mismo se encuentra prácticamente en todos los motores de búsqueda del planeta.

Un nombre noruego, conservado a propósito

Karen Ida Boalth Spärck Jones nació el 26 de agosto de 1935 en Huddersfield, Yorkshire. Su padre, Alfred Owen Jones, daba clases de química; su madre, Ida Spärck, era una noruega que había huido a Gran Bretaña y trabajado para el gobierno noruego en el exilio durante la Segunda Guerra Mundial. El nombre compuesto fue un acto deliberado. Mantuvo el apellido noruego de su madre en su vida profesional porque, como ella misma decía, hacerlo "mantiene una existencia propia permanente", un rechazo temprano y silencioso a ser absorbida.

De la historia a la Unidad de Investigación del Lenguaje

Estudió historia en el Girton College de Cambridge, de 1953 a 1956, cursando filosofía —Ciencias Morales, según la jerga de Cambridge— como asignatura de su último año. No había nada computacional en todo ello. Se graduó y se convirtió en profesora de escuela.

Lo que la atrajo de nuevo fue la curiosidad por lo que hacía su marido. Se casó con el científico informático Roger Needham en 1958 y, a través de él, conoció la Unidad de Investigación del Lenguaje de Cambridge, un grupo pequeño y excéntrico dirigido por Margaret Masterman que intentaba que las máquinas manejaran el significado. Masterman le ofreció un puesto de investigación. Spärck Jones lo aceptó y pasó el resto de su vida dedicada al problema de conseguir que las citadas computadoras hicieran algo útil con el lenguaje humano. Su trabajo de doctorado, sobre clasificación semántica, al parecer recibió una acogida fría por parte de los examinadores antes de aparecer en 1964 como el libro Synonymy and Semantic Classification, leído hoy como un texto fundamental en el procesamiento del lenguaje natural.

La idea de que las palabras raras valen más

La intuición detrás de la frecuencia inversa de documento tiene la cualidad de todas las buenas ideas: obvia una vez dicha, invisible antes. Los sistemas de recuperación de la década de 1960 trataban las palabras de una consulta como más o menos intercambiables. Spärck Jones argumentó que la utilidad de un término es una función de su especificidad en toda la colección: cuantos menos documentos lo contienen, más discrimina. "El" no transmite ninguna señal; "fotosíntesis" transmite casi toda. Multiplica ese peso por la frecuencia con la que aparece el término en un documento dado y obtienes TF-IDF, el esquema de puntuación que convirtió la recuperación de documentos de la coincidencia de conjuntos a la ordenación.

Su programa de investigación más amplio fue mucho más allá de una sola fórmula: modelos probabilísticos de recuperación, resumen automático de documentos, sistemas de consulta de bases de datos, recuperación de voz y multimedia, modelado de usuarios y agentes, y —una de sus mayores preocupaciones— la evaluación rigurosa de los sistemas lingüísticos. Formó parte del comité de programa de las Conferencias de Recuperación de Textos DARPA/NIST a partir de 1994, el esfuerzo que hizo que la investigación sobre recuperación fuera empíricamente responsable.

Treinta años con contratos temporales

Su trayectoria institucional no estuvo a la altura de su trayectoria intelectual. Se incorporó al Laboratorio de Informática de la Universidad de Cambridge en 1974 y trabajó allí con contratos temporales renovables hasta que finalmente pasó a ser personal fijo en 1993, casi dos décadas después. Se convirtió en profesora de Informática y de Información recién en 1999, tres años antes de jubilarse en 2002, y siguió trabajando casi hasta su muerte. Atribuyó claramente esta precariedad a su género. Cambridge, le dijo a un entrevistador de historia oral del IEEE en 2001, era "en muchos sentidos poco hospitalaria, en el sentido de poco hospitalaria con las mujeres". Durante gran parte de su carrera fue la única mujer en la sala.

La informática es demasiado importante para dejarla en manos de los hombres

Convirtió esa experiencia en un esfuerzo organizado en lugar de en un agravio privado: fue miembro fundadora de la red women@cl en el Laboratorio de Informática, arquitecta de iniciativas de divulgación destinadas a atraer a las niñas al campo y autora de la frase por la que más se la cita hoy en día: "La informática es demasiado importante para dejarla en manos de los hombres". Los honores llegaron tarde y de golpe: el Premio Gerard Salton en 1988, miembro de la AAAI en 1993, la presidencia de la Asociación de Lingüística Computacional en 1994, miembro de la Academia Británica y su vicepresidenta de 2000 a 2002, el Premio al Mérito ASIS&T en 2002, el Premio a la Trayectoria de la ACL en 2004, el Premio ACM–AAAI Allen Newell en 2006, y en 2007 tanto el Premio Athena del Grupo de Mujeres de la ACM como la Medalla Lovelace de la Sociedad Británica de Computación, siendo la primera mujer en recibirla.

Por qué a Karen se le llama genio

La facultad que exhibe es la abstracción bajo disciplina: la capacidad de encontrar la única cantidad mensurable que capta una intuición humana vaga y, a continuación, insistir en medirla. Todo el mundo sabía que algunas palabras eran más informativas que otras. Spärck Jones convirtió eso en una función de ponderación que se podía calcular sobre cualquier colección, y luego pasó décadas argumentando que los sistemas lingüísticos deben evaluarse empíricamente en lugar de simplemente admirarse. Su formación era en historia y filosofía, no en matemáticas ni ingeniería, lo que hace que su paso sea más extraño e impresionante: introdujo el razonamiento estadístico en un campo dominado entonces por la inteligencia artificial simbólica basada en reglas, y tuvo gran parte de razón cuando la moda iba en su contra. La visión estadística y contextual del significado que defendía —que el sentido de una palabra es una función de la compañía que mantiene a lo largo de un corpus— es la antecesora intelectual de los modelos de lenguaje de aprendizaje automático que ahora dominan el campo.

El contraargumento honesto es que el IDF es una idea única y matemáticamente ligera. Es el logaritmo de una proporción; un estadístico competente podría deducirlo en una tarde. Su importancia es una cuestión de encuadre y sincronización más que de profundidad técnica, y la propia Spärck Jones nunca lo adornó. Tampoco construyó los sistemas que la hicieron famosa: los motores de búsqueda fueron comercializados por otras personas, décadas después, en su mayoría sin acreditarla. Su mérito radica en haber tenido razón pronto, en un conjunto de meticulosos trabajos de evaluación que son mucho menos glamurosos que la única fórmula, y en el criterio por encima de la potencia bruta. Ese es un tipo real de distinción intelectual, y debe describirse con precisión en lugar de inflarse.

Legado

Murió de cáncer el 4 de abril de 2007, a los 71 años. The Times de Londres, que había publicado un obituario de su marido cuatro años antes, no publicó ninguno sobre ella; el New York Times acabó publicando uno en 2019 en su serie Overlooked, calificándola de "pionera de la informática". Las correcciones han seguido llegando: el Premio Karen Spärck Jones, concedido anualmente desde 2008 por el Grupo de Especialistas en Recuperación de Información de la BCS; el Edificio Spärck Jones en la Universidad de Huddersfield, rebautizado en 2017; y las Becas Spärck de IA lanzadas en 2024 por Cambridge y el gobierno del Reino Unido. Cada lista ordenada de resultados de búsqueda es una nota a pie de página de sus once páginas.