कारेन स्पार्क जोन्स: वह सांख्यिकीविद् जिसने खोज को रैंक करना सिखाया

1972 में, जर्नल ऑफ़ डॉक्यूमेंटेशन (Journal of Documentation) ने अल्पकालिक अनुबंध पर काम कर रहे कैम्ब्रिज के एक शोधकर्ता के ग्यारह पृष्ठ प्रकाशित किए, जिनका शीर्षक काफी अप्रत्याशित था: "टर्म स्पेसिफिसिटी की एक सांख्यिकीय व्याख्या और पुनर्प्राप्ति में इसका अनुप्रयोग"। यह तर्क शर्मनाक हद तक सरल था: जो शब्द हर दस्तावेज़ में दिखाई देता है वह आपको कुछ नहीं बताता है, और जो शब्द कुछ ही दस्तावेजों में दिखाई देता है वह बहुत कुछ बताता है, इसलिए तदनुसार उन्हें भार दें। उस शोध पत्र ने प्रतिलोम दस्तावेज़ आवृत्ति (inverse document frequency) की शुरुआत की। आधी सदी बाद यह सूचना पुनर्प्राप्ति में सबसे अधिक उद्धृत परिणामों में से एक है, और इसका कोई न कोई संस्करण पृथ्वी के अनिवार्य रूप से हर खोज इंजन के भीतर मौजूद है।

एक नार्वेजियन नाम, जिसे जानबूझकर रखा गया

कारेन इडा बोआल्थ स्पार्क जोन्स (Karen Ida Boalth Spärck Jones) का जन्म 26 अगस्त 1935 को यॉर्कशायर के हडर्सफ़ील्ड में हुआ था। उनके पिता, अल्फ्रेड ओवेन जोन्स (Alfred Owen Jones), रसायन विज्ञान के व्याख्याता थे; उनकी माँ, इडा स्पार्क (Ida Spärck), एक नार्वेजियन थीं जो ब्रिटेन भाग गई थीं और द्वितीय विश्व युद्ध के दौरान निर्वासन में नार्वेजियन सरकार के लिए काम करती थीं। यह दोहरा नाम जानबूझकर उठाया गया कदम था। उन्होंने पेशेवर जीवन में अपनी माँ के नार्वेजियन उपनाम को बनाए रखा क्योंकि, जैसा कि उन्होंने कहा, ऐसा करने से "आपका अपना एक स्थायी अस्तित्व बना रहता है" - यह आत्मसात किए जाने के खिलाफ एक शुरुआती, शांत अस्वीकार था।

इतिहास से भाषा अनुसंधान इकाई तक

उन्होंने 1953 से 1956 तक कैम्ब्रिज के गिरटन कॉलेज में इतिहास की पढ़ाई की, और कैम्ब्रिज की शब्दावली में नैतिक विज्ञान यानी दर्शनशास्त्र को अपने अंतिम वर्ष के विषय के रूप में लिया। इसमें संगणना (computation) से जुड़ा कुछ भी नहीं था। उन्होंने इसे छोड़ा और एक स्कूल शिक्षिका बन गईं।

जो चीज़ उन्हें वापस खींच लाई, वह इस बात की जिज्ञासा थी कि उनके पति क्या कर रहे थे। उन्होंने 1958 में कंप्यूटर वैज्ञानिक रोजर नीधम (Roger Needham) से शादी की, और उनके माध्यम से कैम्ब्रिज लैंग्वेज रिसर्च यूनिट (Cambridge Language Research Unit) से परिचय हुआ, जो मार्गरेट मास्टरमैन (Margaret Masterman) द्वारा चलाई जाने वाली एक छोटी, सनकी संस्था थी जो मशीनों को अर्थ को संभालने के लिए प्रयास कर रही थी। मास्टरमैन ने उन्हें एक शोध पद की पेशकश की। स्पार्क जोन्स ने इसे स्वीकार कर लिया, और अपना शेष जीवन कंप्यूटरों से मानव भाषा के साथ कुछ उपयोगी काम कराने की समस्या पर बिताया। सिमेंटिक वर्गीकरण पर उनके डॉक्टरेट कार्य को, 1964 में पुस्तक सिनोनिमी एंड सिमेंटिक क्लासिफिकेशन (Synonymy and Semantic Classification) के रूप में प्रकाशित होने से पहले, परीक्षकों से कथित तौर पर ठंडा स्वागत मिला - जिसे अब प्राकृतिक भाषा प्रसंस्करण में एक बुनियादी पाठ के रूप में पढ़ा जाता है।

वह विचार कि दुर्लभ शब्दों का अधिक मूल्य होता है

प्रतिलोम दस्तावेज़ आवृत्ति के पीछे की अंतर्दृष्टि में सभी अच्छे विचारों के गुण होते हैं: एक बार बताए जाने पर स्पष्ट, पहले अदृश्य। 1960 के दशक की पुनर्प्राप्ति प्रणालियाँ एक क्वेरी के शब्दों को कमोबेश परस्पर बदलने योग्य मानती थीं। स्पार्क जोन्स ने तर्क दिया कि किसी शब्द की उपयोगिता पूरे संग्रह में उसकी विशिष्टता का एक कार्य है - जितने कम दस्तावेज़ इसमें शामिल होंगे, यह उतना ही अधिक अंतर करेगा। "The" कोई संकेत नहीं देता है; "photosynthesis" लगभग सब कुछ वहन करता है। उस भार को इस बात से गुणा करें कि वह शब्द किसी दिए गए दस्तावेज़ में कितनी बार दिखाई देता है और आपको TF–IDF मिलता है, वह स्कोरिंग योजना जिसने दस्तावेज़ पुनर्प्राप्ति को सेट-मैचिंग से रैंकिंग में बदल दिया।

उनका व्यापक शोध कार्यक्रम उस एक सूत्र से कहीं आगे तक गया: पुनर्प्राप्ति के संभाव्य मॉडल, स्वचालित दस्तावेज़ सारांश, डेटाबेस क्वेरी सिस्टम, भाषण और मल्टीमीडिया पुनर्प्राप्ति, उपयोगकर्ता और एजेंट मॉडलिंग, और - उनकी एक बड़ी चिंता - भाषा प्रणालियों का कठोर मूल्यांकन। वह 1994 से DARPA/NIST टेक्स्ट रिट्रीवल कॉन्फ़्रेंस की कार्यक्रम समिति में बैठीं, जो ऐसा प्रयास था जिसने पुनर्प्राप्ति अनुसंधान को अनुभवजन्य रूप से जवाबदेह बनाया।

अल्पकालिक अनुबंधों पर तीस साल

उनका संस्थागत प्रक्षेपवक्र उनके बौद्धिक प्रक्षेपवक्र से मेल नहीं खाता था। वह 1974 में कैम्ब्रिज यूनिवर्सिटी कंप्यूटर लेबोरेटरी में शामिल हुईं और 1993 में अंततः स्थायी कर्मचारी बनाए जाने तक - लगभग दो दशकों तक - रोलिंग अल्पकालिक अनुबंधों पर वहाँ काम किया। वह केवल 1999 में कंप्यूटर और सूचना की प्रोफेसर बनीं, जो 2002 में सेवानिवृत्त होने से तीन साल पहले था, और उन्होंने अपनी मृत्यु तक लगभग काम करना जारी रखा। उन्होंने इस अनिश्चितता का श्रेय स्पष्ट रूप से अपने लिंग को दिया। उन्होंने 2001 में एक IEEE मौखिक-इतिहास साक्षात्कारकर्ता से कहा कि कैम्ब्रिज "कई मायनों में उपयोगकर्ता के अनुकूल नहीं था, महिलाओं के अनुकूल के अर्थ में।" अपने करियर के अधिकांश समय में वह कमरे में एकमात्र महिला थीं।

कंप्यूटिंग पुरुषों के लिए छोड़ने के लिए बहुत महत्वपूर्ण है

उन्होंने उस अनुभव को निजी शिकायत के बजाय एक संगठित प्रयास में बदल दिया: कंप्यूटर लेबोरेटरी में women@cl नेटवर्क की संस्थापक सदस्य, लड़कियों को इस क्षेत्र में लाने के उद्देश्य से आउटरीच की एक वास्तुकार, और उस पंक्ति की लेखिका जिसके लिए उन्हें अब सबसे अधिक उद्धृत किया जाता है — "कंप्यूटिंग पुरुषों के लिए छोड़ने के लिए बहुत महत्वपूर्ण है।" सम्मान देर से आए और फिर एक साथ आए: 1988 में जेरार्ड साल्टन पुरस्कार (Gerard Salton Award), 1993 में AAAI फेलो, 1994 में एसोसिएशन फॉर कंप्यूटेशनल लिंग्विस्टिक्स के अध्यक्ष, ब्रिटिश अकादमी के फेलो और 2000 से 2002 तक इसके उपाध्यक्ष, 2002 में ASIS&T अवार्ड ऑफ़ मेरिट, 2004 में ACL लाइफटाइम अचीवमेंट अवार्ड, 2006 में ACM–AAAI एलेन नेवेल अवार्ड (Allen Newell Award), और 2007 में ACM महिला समूह एथेना पुरस्कार (Athena Award) और ब्रिटिश कंप्यूटर सोसाइटी का लवलेस मेडल (Lovelace Medal), जिसे प्राप्त करने वाली वह पहली महिला थीं।

कारेन को जीनियस क्यों कहा जाता है

प्रदर्शित संकाय अनुशासन के तहत अमूर्तता है - एक मापने योग्य मात्रा को खोजने की क्षमता जो एक धुंधली मानवीय अंतर्ज्ञान को पकड़ती है, और फिर उसे मापने पर जोर देती है। हर कोई जानता था कि कुछ शब्द दूसरों की तुलना में अधिक जानकारीपूर्ण थे। स्पार्क जोन्स ने इसे एक भारोत्तोलन फ़ंक्शन में बदल दिया जिसे आप किसी भी संग्रह पर गणना कर सकते हैं, और फिर दशकों तक यह तर्क देते रहे कि भाषा प्रणालियों का प्रशंसा करने के बजाय अनुभवजन्य रूप से मूल्यांकन किया जाना चाहिए। उनका प्रशिक्षण गणित या इंजीनियरिंग में नहीं, बल्कि इतिहास और दर्शनशास्त्र में था, जो इस कदम को और अधिक अजीब और अधिक प्रभावशाली बनाता है: उन्होंने सांख्यिकीय तर्क को एक ऐसे क्षेत्र में आयात किया जो तब प्रतीकात्मक, नियम-लेखन कृत्रिम बुद्धिमत्ता का बोलबाला था, और जब फैशन उनके खिलाफ था तब वह काफी हद तक सही थीं। अर्थ का सांख्यिकीय-प्रासंगिकता दृष्टिकोण जिसकी उन्होंने वकालत की - कि किसी शब्द की भावना एक कॉर्पस में रहने वाली कंपनी का एक कार्य है - मशीन-सिखाई गई भाषा मॉडल का बौद्धिक पूर्वज है जो अब इस क्षेत्र पर हावी है।

ईमानदार प्रति-तर्क यह है कि IDF एक एकल, गणितीय रूप से मामूली विचार है। यह एक अनुपात का लघुगणक है; एक सक्षम सांख्यिकीविद् इसे एक दोपहर में प्राप्त कर सकता है। इसका महत्व तकनीकी गहराई के बजाय फ़्रेमिंग और समय का मामला है, और स्पार्क जोन्स ने खुद इसे कभी नहीं सजाया। न ही उन्होंने उन प्रणालियों का निर्माण किया जिन्होंने उन्हें प्रसिद्ध बनाया - खोज इंजन दशकों बाद अन्य लोगों द्वारा व्यावसायिक बनाए गए, ज्यादातर बिना उन्हें श्रेय दिए। उनका दावा जल्दी सही होने पर टिका है, ध्यान से मूल्यांकन कार्य के एक निकाय पर जो उस एक सूत्र की तुलना में बहुत कम आकर्षक है, और आग्नेयास्त्रों के बजाय निर्णय पर आधारित है। यह बौद्धिक भिन्नता का एक वास्तविक प्रकार है, और इसे फुलाए जाने के बजाय सटीक रूप से वर्णित किया जाना चाहिए।

विरासत

4 अप्रैल 2007 को 71 वर्ष की आयु में कैंसर से उनका निधन हो गया। लंदन के द टाइम्स (The Times) ने, जिसने चार साल पहले उनके पति के लिए एक ओपेचरी प्रकाशित की थी, उनके लिए कोई ओपेचरी प्रकाशित नहीं की; न्यू यॉर्क टाइम्स (New York Times) ने अंततः 2019 में अपनी ओवरलुकड (Overlooked) श्रृंखला में एक लेख प्रकाशित किया, जिसमें उन्हें "कंप्यूटर विज्ञान की एक अग्रणी" कहा गया। सुधार आते रहे हैं: कारेन स्पार्क जोन्स पुरस्कार, जो 2008 से हर साल BCS सूचना पुनर्प्राप्ति विशेषज्ञ समूह द्वारा दिया जाता है; हडर्सफ़ील्ड विश्वविद्यालय में स्पार्क जोन्स बिल्डिंग, जिसका नाम 2017 में बदला गया; और 2024 में कैम्ब्रिज और यूके सरकार द्वारा शुरू की गई स्पार्क एआई छात्रवृत्तियाँ। खोज परिणामों की हर रैंक वाली सूची उनके ग्यारह पृष्ठों का एक पाद-नोट है।