Karen Spärck Jones: La statistica che ha insegnato alla ricerca a ordinare

Nel 1972 il Journal of Documentation pubblicò undici pagine scritte da una ricercatrice di Cambridge con contratto a tempo determinato, sotto l'intitolazione poco promettente "A Statistical Interpretation of Term Specificity and Its Application in Retrieval". L'argomento era di una semplicità quasi imbarazzante: una parola che compare in ogni documento non dice nulla, mentre una parola che compare in pochi documenti dice moltissimo; di conseguenza, bisogna ponderarle in base a ciò. Quell'articolo introdusse la frequenza inversa di documento. Mezzo secolo dopo, è uno dei risultati più citati nel campo del recupero delle informazioni, e una sua versione è presente in essenzialmente qualsiasi motore di ricerca sulla Terra.

Un nome norvegese, tenuto di proposito

Karen Ida Boalth Spärck Jones nacque il 26 agosto 1935 a Huddersfield, nello Yorkshire. Suo padre, Alfred Owen Jones, insegnava chimica; sua madre, Ida Spärck, era una norvegese fuggita in Gran Bretagna che aveva lavorato per il governo norvegese in esilio durante la Seconda guerra mondiale. Il doppio cognome fu una scelta deliberata. Scelse di mantenere il cognome norvegese della madre nella sua vita professionale perché, come ebbe a dire, farlo "mantiene un'esistenza permanente propria" — un rifiuto precoce e silenzioso di farsi assimilare.

Dalla storia alla Language Research Unit

Studiò storia al Girton College di Cambridge, dal 1953 al 1956, scegliendo la filosofia — Scienze Morali, secondo la terminologia di Cambridge — come materia per il suo ultimo anno. Non c'era nulla di computazionale in tutto ciò. Si laureò e divenne insegnante di scuola.

Ciò che la riportò indietro fu la curiosità per il lavoro di suo marito. Sposò l'informatico Roger Needham nel 1958 e, tramite lui, entrò in contatto con la Language Research Unit di Cambridge, una piccola e stravagante unità diretta da Margaret Masterman che cercava di fare in modo che le macchine gestissero il significato. Masterman le offrì un posto di ricerca. Spärck Jones lo accettò e dedicò il resto della sua vita al problema di indurre i computer a fare qualcosa di utile con il linguaggio umano. Il suo lavoro di dottorato, incentrato sulla classificazione semantica, ricevette a quanto pare un'accoglienza fredda dai valutatori prima di essere pubblicato nel 1964 come libro con il titolo Synonymy and Semantic Classification — oggi considerato un testo fondamentale nell'elaborazione del linguaggio naturale.

L'idea che le parole rare valgano di più

L'intuizione alla base della frequenza inversa di documento possiede la qualità di tutte le buone idee: ovvia una volta enunciata, invisibile prima. I sistemi di recupero degli anni Sessanta trattavano le parole di un'interrogazione come più o meno intercambiabili. Spärck Jones sostenne che l'utilità di un termine è funzione della sua specificità all'interno della raccolta: meno documenti lo contengono, più esso è discriminante. "Il" non trasporta alcun segnale; "fotosintesi" ne trasporta quasi tutto. Moltiplicate quel peso per la frequenza con cui il termine compare in un dato documento e otterrete TF-IDF, lo schema di punteggio che ha trasformato il recupero dei documenti dal semplice abbinamento di insiemi al ranking.

Il suo più ampio programma di ricerca andò ben oltre quella singola formula: modelli probabilistici di recupero, risume automatico dei documenti, sistemi di interrogazione di basi di dati, recupero vocale e multimediale, modellazione di utenti e agenti e — una delle sue grandi passioni — la rigorosa valutazione dei sistemi linguistici. Fece parte del comitato di programma delle conferenze DARPA/NIST Text Retrieval a partire dal 1994, l'iniziativa che rese la ricerca sul recupero empiricamente verificabile.

Trenta anni con contratti a breve termine

La sua traiettoria istituzionale non rispecchiò quella intellettuale. Entrò nel Computer Laboratory dell'Università di Cambridge nel 1974 e vi lavorò con contratti a breve termine rinnovabili fino a quando, nel 1993, le fu finalmente assegnato un posto di ruolo, dopo quasi vent'anni. Divenne professoressa di Informatica e Informazione solo nel 1999, tre anni prima del pensionamento avvenuto nel 2002, e continuò a lavorare quasi fino alla morte. Attribuiva chiaramente tale precarietà al proprio sesso. Cambridge, raccontò a un intervistatore di storia orale dell'IEEE nel 2001, era "per molti versi poco accogliente, nel senso di poco accogliente verso le donne". Per gran parte della sua carriera fu l'unica donna nella stanza.

L'informatica è troppo importante per essere lasciata agli uomini

Trasformò quell'esperienza in un impegno organizzato piuttosto che in un rancore personale: fu membro fondatore della rete women@cl presso il Computer Laboratory, ideatrice di iniziative di sensibilizzazione volte ad avvicinare le ragazze alla disciplina e autrice della frase per cui è oggi più ricordata: "L'informatica è troppo importante per essere lasciata agli uomini." I riconoscimenti arrivarono tardi e tutti insieme: il Gerard Salton Award nel 1988, membro dell'AAAI nel 1993, la presidenza dell'Association for Computational Linguistics nel 1994, membro della British Academy e sua vicepresidente dal 2000 al 2002, l'ASIS&T Award of Merit nel 2002, l'ACL Lifetime Achievement Award nel 2004, l'ACM–AAAI Allen Newell Award nel 2006, e nel 2007 sia l'Athena Award del gruppo femminile dell'ACM sia la Lovelace Medal della British Computer Society, di cui fu la prima donna a essere insignita.

Perché Karen viene definita un genio

La facoltà che emerge è l'astrazione sotto disciplina: la capacità di trovare quell'unica grandezza misurabile che cattura una sfumata intuizione umana, per poi insistere nel misurarla. Tutti sapevano che alcune parole erano più informative di altre. Spärck Jones trasformò questa constatazione in una funzione di ponderazione che poteva essere calcolata su qualsiasi raccolta, trascorrendo poi decenni a sostenere che i sistemi linguistici debbano essere valutati empiricamente anziché semplicemente ammirati. La sua formazione era in storia e filosofia, non in matematica o ingegneria, il che rende la sua mossa ancora più insolita e impressionante: introdusse il ragionamento statistico in un campo all'epoca dominato dall'intelligenza artificiale simbolica basata sulle regole, e ci vide giusto mentre la moda remava contro. La visione statistico-contestuale del significato da lei sostenuta — secondo cui il senso di una parola è funzione della compagnia che essa frequenta all'interno di un corpus — è l'antenata intellettuale dei modelli linguistici basati sull'apprendimento automatico che oggi dominano il settore.

L'onesta controargomentazione è che l'IDF è un'idea singola e matematicamente leggera. È il logaritmo di un rapporto; un abile statistico potrebbe derivarlo in un pomeriggio. La sua importanza è una questione di inquadramento e tempismo piuttosto che di profondità tecnica, e la stessa Spärck Jones non l'ha mai ammantata di mistero. Né fu lei a costruire i sistemi che la resero famosa: i motori di ricerca furono commercializzati da altri, decenni dopo, il più delle volte senza riconoscerne i meriti. Il suo riconoscimento si fonda sull'aver avuto ragione in anticipo, su un corpus di rigorosi lavori di valutazione che sono molto meno affascinanti di quella singola formula, e sul giudizio anziché sulla potenza di calcolo. Questa è una vera forma di distinzione intellettuale, che dovrebbe essere descritta con precisione anziché gonfiata.

Eredità

Morì di cancro il 4 aprile 2007, all'età di 71 anni. The Times di Londra, che quattro anni prima aveva pubblicato un necrologio per suo marito, non ne pubblicò alcuno per lei; il New York Times ne pubblicò infine uno nel 2019 all'interno della sua rubrica Overlooked, definendola "una pioniera dell'informatica". I riconoscimenti postumi hanno continuato ad arrivare: il Karen Spärck Jones Award, assegnato annualmente dal 2008 dal BCS Information Retrieval Specialist Group; lo Spärck Jones Building presso l'Università di Huddersfield, ridenominato nel 2017; e le borse di studio Spärck per l'IA lanciate nel 2024 da Cambridge e dal governo britannico. Qualsiasi elenco ordinato di risultati di ricerca è una nota a piè di pagina delle sue undici pagine.