Doug Lenat का निधन

 (substack.com/garymarcus)
1 पॉइंट द्वारा GN⁺ 2023-09-02 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • AI शोधकर्ता Doug Lenat स्पष्ट representations से निपटने वाली symbolic AI को वास्तविक systems में बदलने की कोशिश करने वाले प्रमुख व्यक्तियों में से थे; Gary Marcus ने उन्हें “AI द्वारा खोया गया दिग्गज” बताया
  • Lenat ने अपने जीवन के अंतिम 40 साल Cyc में लगाए, ताकि common sense को ऐसे रूप में encode किया जा सके जिसे मशीन interpret कर सके; Cycorp बड़े commercial success के बिना भी 40 साल तक अस्तित्व में रही
  • Cyc की कोशिश सीधे उस common sense representation और reasoning समस्या को निशाना बनाती थी, जिसमें आज के large language models (LLM) अभी भी कठिनाई महसूस करते हैं
  • Ken Forbus और Muktha Ananda ने symbolic representation, reasoning, knowledge graph/web research पर Cyc के प्रभाव की बहुत सराहना की
  • Lenat के अंतिम papers में से एक Getting from Generative AI to Trustworthy AI Cyc के सबक को आधुनिक LLMs से जोड़ने की कोशिश थी

Doug Lenat और Cyc की स्थिति

  • Doug Lenat ऐसे शोधकर्ता थे जिन्होंने Marvin Minsky, John McCarthy, Allen Newell आदि द्वारा explore की गई symbolic AI को वास्तव में काम करने लायक बनाने की कोशिश की
  • Gary Marcus neural networks और symbolic AI के integration को अपने जीवनभर का विषय मानते आए हैं, लेकिन उनका मानना है कि pure symbolic AI के क्षेत्र में Lenat कहीं अधिक गहराई तक गए थे
  • Lenat ने अपने अंतिम 40 वर्षों में Cyc project शुरू किया और उसका नेतृत्व किया
    • Cyc दुनिया के बारे में common sense को ऐसे रूप में encode करने की कोशिश थी जिसे मशीन interpret कर सके
    • Cyc और उसे संभालने के लिए बनाई गई Cycorp को बड़ा commercial success नहीं मिला
    • फिर भी 40 साल बाद भी Cycorp का business जारी रहना AI कंपनियों में एक दुर्लभ उदाहरण है
  • Marcus के लिए Cyc को सिर्फ सफलता या विफलता में बांटना मुश्किल है; यह एक pioneering experiment है
    • Cyc पूरी तरह स्थापित नहीं हो पाया, लेकिन artificial general intelligence में वास्तविक प्रगति जितनी होगी, उसकी अहमियत उतनी अधिक दिख सकती है

Common sense reasoning समस्या और अंतिम paper

  • युवा AI researchers में से कई Cyc को अच्छी तरह नहीं जानते, लेकिन यह समझना जरूरी है कि Cyc ने क्या करने की कोशिश की थी
    • इसका मतलब Cyc को large language models का तुरंत replacement बनाना नहीं है
    • मशीनों को common sense represent और reason करवाने का लक्ष्य अब भी बाकी है
  • Yejin Choi का 2023 TED talk Why AI is incredibly smart and shockingly stupid इसी विचार को आगे बढ़ाता है कि मौजूदा AI systems, दिखने वाली सफलता के बावजूद, common sense की कमी रखते हैं
  • Marcus और Ernie Davis की 2019 की किताब Rebooting AI भी इसी विषय को उठाती है
  • large language models सवाल की phrasing या training data की आकस्मिकताओं के आधार पर कुछ मामलों में सही और कुछ में गलत हो सकते हैं, जिससे common sense का भ्रम बन सकता है
    • किसी खास error को patch करने पर भी समान प्रकार के दूसरे cases लगातार सामने आ सकते हैं
    • Cyc अधिक गहरे और मजबूत जवाब खोजने की कोशिश थी
  • Northwestern University के AI researcher Ken Forbus Cyc को ऐसा पहला उदाहरण मानते हैं जिसने दिखाया कि symbolic representation और reasoning common sense के बड़े हिस्से को समाहित कर सकते हैं
    • industry में अरबों facts वाले knowledge bases आम हैं, लेकिन Forbus के अनुसार expressiveness के लिहाज से Cyc अब भी सबसे advanced है
    • Forbus का research group दशकों से Cyc की representations का उपयोग करता आया है
  • Google Learning Platform Director Muktha Ananda ने Lenat की vision, perseverance और persistence की बहुत सराहना की, और बताया कि Cyc का काम उनकी अपनी knowledge graph/web research यात्रा के लिए बड़ी प्रेरणा बना
  • Marcus और Lenat ने पिछले एक साल में Cyc से मिले सबकों को समेटने वाला एक लंबा paper साथ लिखने की कोशिश की
    • manuscript लगभग 40,000 words का था और उसमें science और oral history का मिश्रण था
    • Cyc scope के लिहाज से अद्भुत था, लेकिन implementation संभालना मुश्किल था; academic नजरिए से सबसे बड़ी समस्या यह थी कि यह एक proprietary system था
    • Lenat के बीमार पड़ने और समय कम होने पर एक अलग, छोटा और अधिक condensed paper लिखा गया
  • 31 जुलाई 2023 को arXiv पर Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc प्रकाशित हुआ
    • इसमें Cyc ने जो करने की कोशिश की, उस पर फिर से नजर डाली गई
    • सच्ची artificial intelligence से किन तत्वों की उम्मीद होनी चाहिए, इसे संक्षेप में रखा गया
    • यह Lenat की गहरी symbolic AI परंपरा और आधुनिक LLM के बीच मेल-मिलाप की मांग करता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-09-02
Hacker News की राय

  • Doug कभी-कभी बहुत सीधा बोलते थे, लेकिन मूल रूप से वे दयालु और उदार इंसान थे, और अपनी vision तथा अपने साथ काम करने वाले लोगों के प्रति उनका समर्पण सचमुच सम्मान के योग्य था
    मैंने 2016~2020 में Cycorp में काम किया, और office बड़ा नहीं था, इसलिए Doug को अक्सर देख पाता था
    एक बार weekly all-hands lunch में उन्होंने कहा कि वे नई car खरीदने वाले हैं और पूछा कि क्या किसी को उनकी पुरानी लेकिन अच्छी तरह maintain की हुई car चाहिए; जब एक employee ने झिझकते हुए हाथ उठाकर कहा कि उसकी बेटी जल्द ही drive करना शुरू करेगी, तो उन्होंने वहीं उसी समय car उसे gift कर दी
    उन्हें board games भी पसंद थे और वे company के लोगों के साथ D&D group में खेलते थे; मैंने सुना है कि वे हमेशा lawful good character ही खेलते थे। कहते हैं, उन्हें किसी और तरह से खेलना आता ही नहीं था

    • लगता था कि वे lawful good ही चुनेंगे। क्योंकि वही सबसे logical choice रहा होगा
    • मुझे ठीक से नहीं पता, लेकिन आपने शुरुआत में उन्हें सीधा बोलने वाला क्यों कहा, यह जानने की जिज्ञासा है
    • अगर आप मानते हैं कि CYC intelligence या commonsense reasoning हासिल नहीं कर सकता, तो उसका मुख्य कारण क्या है? और अगर मानते हैं कि कर सकता है, तो उसके पीछे क्या वजह है?

  • 17 साल के high school student के रूप में मैंने Doug Lenat के साथ interview दिया था, और Cycorp में summer intern के तौर पर hire हुआ; वह मेरी पहली वास्तविक programming job थी
    उस internship ने मेरी जिंदगी बदल दी, और मैं हमेशा Doug का आभारी रहूंगा कि उन्होंने सचमुच एक बच्चे को इतना बड़ा मौका दिया
    Doug एक बेहतरीन computer scientist और artificial intelligence के pioneer थे; Cycorp छोटी company थी, इसलिए मैं कई meetings में शामिल हुआ, और यह साफ था कि वे technology की हर detail समझते थे
    Cycorp अपने समय से 30 साल आगे था, लेकिन असल में वह काम नहीं कर पाया; जिन्हें पता नहीं, उन्हें समझाने के लिए कहूं तो यह general artificial intelligence बनाने की पहली बड़ी commercial कोशिश थी, मूल रूप से पहला OpenAI जैसा कुछ
    Doug से मैंने absurdly बड़े ambitions रखना और हार न मानना बहुत सीखा; बहुत कम लोग देखे हैं जिन्होंने दशकों तक Cycorp को थामे रखा, funding बनाए रखी, बेहतरीन लोगों को hire किया और समस्या को लगातार आगे बढ़ाते रहे

    • यह सचमुच शानदार लगता है। क्या बाद में Cycorp में वापस जाकर full-time काम करने की संभावना थी, या internship अच्छी थी लेकिन आप उस field में career नहीं बनाना चाहते थे?
      यह भी जानना चाहूंगा कि 17 साल के intern के तौर पर आपने ठीक-ठीक क्या काम किया और आपके पास कौन-सी skills थीं

  • करीब 1985~1989 में मैंने Doug के साथ Cyc पर काम किया। PARC में भी हमारा समय overlap हुआ था, लेकिन वहां ज्यादा interaction नहीं हुआ
    मेरा पहला काम मौजूदा implementation को हटाकर शून्य से फिर शुरू करना, hierarchy system और सारा bootstrap code design करना था
    वह एक small core team—मुख्य रूप से मैं, Guha और Doug—के साथ मजेदार समय था, लेकिन समय के साथ knowledge base की arbitrariness से मुझे असंतोष होने लगा
    जब मैं निजी कारणों से Cyc project छोड़ रहा था, तब तक, करीबी संबंध होने और project मेरे code पर चलने के बावजूद, मैं project की नींव को लेकर काफी negative हो चुका था
    समय बीतने और थोड़ा समझदार होने के बाद ही मैं उसकी value को फिर से पहचान पाया; शायद उस समय मैं इसे बहुत ज्यादा pure mathematical perspective से ही देख रहा था
    बाद में दूसरे कामों में लगकर Doug और Mary से संपर्क टूट गया, जिसका मुझे अफसोस है

  • Doug Lenat को श्रद्धांजलि। मैंने 2000~2006 में Austin की Cycorp में काम किया
    वे बहुत जल्दी चले गए, लेकिन Doug को अमेरिका की military और intelligence agencies में computer science research की प्रगति में योगदान देने का मौका मिला
    किसी दिन जब LLM के जरिए artificial intelligence की तेज प्रगति धीमी पड़ेगी, तो ध्यान फिर Cyc Project और Cycorp, उसके members, और Dr. Doug Lenat द्वारा आगे बढ़ाए गए logical reasoning और knowledge representation पर लौटेगा
    क्योंकि अगर neural network inference इतना तेज होता, तो हम C programs को compiler द्वारा efficiently execute की जाने वाली deductive logic reasoning में compile करने के बजाय neural networks में compile कर रहे होते

    • सही। जब लोग कहते हैं कि Paradigms of AI Programming जैसी किताबें LLM की वजह से outdated हो गई हैं, तो मैं सहमत नहीं होता
      बल्कि LLM की वजह से वे पहले से कहीं ज्यादा relevant हैं
      neural network AI और symbolic AI अंततः मिलेंगे, और symbolic models normalization के जरिए जरूरी efficiency और robustness लाते हैं
    • इस समय Cycorp जो सबसे अच्छा कर सकता है, वह है अपने संचित logical relations database को open source के रूप में जारी करना ताकि विशाल LLM उसे ingest कर सकें
      इतना सारा data धूल खाता रहे और बिना खास नतीजे के पड़ा रहे, इसका क्या मतलब है, समझ नहीं आता
    • “अगर neural network inference इतना तेज होता, तो C programs compile करते समय compiler की deductive logic reasoning के बजाय उसी का इस्तेमाल करते” कहना लगभग straw man argument की definition जैसा है
      कौन दावा कर रहा है कि neural network inference हर computation चलाने का सबसे तेज तरीका है?
      neural networks जैसी दूसरी technology को कमतर दिखाने के बजाय बेहतर होगा कि symbolic methods से real-world problems हल करने पर ध्यान दिया जाए। उदाहरण के लिए, symbolic methods से एक robust email spam detection system कैसे बनाया जा सकता है?

  • अगर आप Doug के काम और विचारों के बारे में और सुनना चाहते हैं, तो पिछले साल Lex Fridman ने Doug के साथ काफ़ी लंबा इंटरव्यू किया था
    https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...

    • मैंने शुरुआती हिस्सा देखा, और दिलचस्प बात यह थी कि Cyc शुरू होने से पहले Marvin Minsky समेत कई “स्मार्ट लोगों” का मानना था कि किसी सिस्टम में common sense लाने के लिए जिन चीज़ों को encode करना होगा, उनकी संख्या “लगभग 10 लाख” होगी
      Doug कहते हैं कि करीब 5 साल बाद उन्हें पता चला कि वह अनुमान एक order of magnitude से गलत था, और असल संख्या लगभग 1 करोड़ के करीब है
      जानना चाहता हूँ कि इस पर कोई संबंधित literature या publication है या नहीं। सवाल है कि उन्हें कैसे पता कि यह 10 करोड़ नहीं है, इसे finite क्यों माना जा सकता है, और combinatorial explosion क्यों नहीं होता
      जाहिर है, 38 साल तक चलते रहने के लिए लगातार evaluation metrics रहे होंगे, लेकिन वह logic ठीक से समझ नहीं आ रहा, इसलिए references या आलोचनात्मक links देखना चाहूँगा
      1990s में Cyc के बारे में सुना था, लेकिन नहीं पता था कि यह अब भी ज़िंदा है; इसे इतने लंबे समय तक बनाए रखना impressive है
      Wikipedia लेख भी काफ़ी अच्छा है: https://en.wikipedia.org/wiki/Cyc#Criticisms
      फिर भी 10 लाख या 1 करोड़ वाला दावा दशकों तक बनाए रखने के लिहाज़ से बड़ा दावा है, इसलिए जानना चाहता हूँ कि क्या इसके पीछे सचमुच मज़बूत metrics थे
    • YouTube पर Doug Lenat खोजना बेहतर होगा। कोई भी दूसरा वीडियो देख लें, मैं गारंटी देता हूँ कि वह Fridman इंटरव्यू से बेहतर होगा
    • Lex Fridman की Wikipedia bio पढ़ते हुए “Learning of Identity from Behavioral Biometrics for Active Authentication” वाला वाक्यांश देखकर मैं चौंक गया

  • linked paper पढ़ना इसलिए मज़ेदार है क्योंकि मुझे हमेशा उन principles को, जिन्हें वे computer के अंदर होना चाहिए मानते थे, community की बाहरी संरचना के रूप में बनाने का विचार आकर्षक लगा है
    अगर लोग arguments और conclusions के corpus को explore कर सकें, उस पर collaborate कर सकें, और argument graph के हिस्सों से असहमत होकर या उसमें जोड़कर समय के साथ उसे समृद्ध बना सकें, तो यह बहुत उपयोगी हो सकता है
    तब दूसरे लोग वही reasoning पढ़कर उसे अपना भी सकते हैं
    मैं कभी-कभी http://concludia.org/ पर ऐसे ideas के साथ experiment कर रहा हूँ, लेकिन फिलहाल यह concepts से खेलने और Akka(Pekko) programming और सीखने का बहाना ज़्यादा है
    किसी दिन user accounts और editable arguments जोड़कर इसे असली website बनाने का इरादा है

    • आखिरकार यह कई लोगों द्वारा इस्तेमाल किए जाने वाले Zettelkasten जैसा ही है क्या? Zettelkasten, यानी संक्षेप में zk, एक ऐसा तरीका है जिसमें हर note एक idea, concept या argument होता है और वे आपस में linked होते हैं
      arguments evidence से जुड़ते हैं, concepts related concepts से जुड़ते हैं, और इसी तरह
      https://en.m.wikipedia.org/wiki/Zettelkasten
    • शायद यह इस project का लक्ष्य नहीं है, लेकिन मैं सोच रहा हूँ कि क्या कोई similar project है जो truths और falsehoods उपलब्ध कराए, उन्हें logical arguments से combine करे, और फिर language model possible conclusions का set generate करे
      brainstorming के लिए अच्छा लगता है
    • मैंने भी यही idea, या कहें वही conclusion, निकाला था, लेकिन execute नहीं कर पाया। अच्छा है कि कोई पहले से कर रहा है, और नाम भी अच्छा है
      यह idea मुझे ऐसे देश में public discourse को converge कराने के तरीके की कल्पना करते हुए आया था जहाँ political polarization बहुत ज़्यादा है
      यह एक तरह का structured public debate forum होगा, जहाँ लोग बेहतर देख सकेंगे कि hierarchy में कहाँ opinions अलग हो रहे हैं, और उससे भी ज़्यादा महत्वपूर्ण, वे वास्तव में कितनी बातों पर सहमत हैं

  • मैंने Cyc को हमेशा Russell और Whitehead की Principia के artificial intelligence version की तरह सोचा है
    तकनीकी रूप से ambitious और अपने आप में interesting, लेकिन आखिर में ऐसा लगता है कि स्वतंत्र तरीके से यह एक गलत approach है जो कितने भी लंबे समय तक काम करने और rules जोड़ते रहने पर भी ठीक से काम नहीं करेगी
    फिर भी मुझे लगता है कि neural network models को test और teach करने में यह useful हो सकता है
    Lenat ने जब Cyc शुरू किया था, उस समय आज जिन neural network models को लोग “common-sense reasoning” कहते, उन्हें चलाने के लिए compute resources नहीं थे, इसलिए उनका उस रास्ते पर निकलना पूरी तरह समझ में आता है

    • https://arxiv.org/pdf/2308.04445.pdf
      “Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc”
      Lenat का आख़िरी paper, जो उन्होंने 31 जुलाई को Gary Marcus के साथ निकाला था
      https://news.ycombinator.com/item?id=37354601
      इस paper को देखने पर दो विचार डगमगा सकते हैं: पहला, कि आज के neural network models यानी LLMs common-sense reasoning दिखाते हैं; और दूसरा, कि Cyc द्वारा represent किया गया approach और LLMs द्वारा represent किया गया approach एक-दूसरे से mutually exclusive हैं

  • लेख के अंत को देखकर लगा कि मुझे अपने बनाए और सोचे हुए कामों को और ज़्यादा सार्वजनिक करना चाहिए
    मैं Doug Lenat नहीं हूँ और मेरी सामग्री शायद इंटरनेट पर सिर्फ़ शोर ही बढ़ाए, लेकिन फिर भी अपनी ideas को अपने साथ मरने नहीं देना चाहिए या उन्हें stakeholders के board के नियंत्रण में नहीं जाने देना चाहिए
    मैं open source का कट्टर समर्थक नहीं हूँ, लेकिन open source दूसरों को मेरे शुरू किए काम को आगे बढ़ाने देने का अच्छा तरीका है
    पिछले 1 साल में Gary Marcus और Doug ने एक लंबा और जटिल paper लिखने की कोशिश की जिसे वे अंततः पूरा नहीं कर पाए, और Cyc scope के लिहाज़ से बहुत विशाल था, लेकिन implementation संभालना मुश्किल था
    अकादमिक नज़रिए से Cyc की सबसे बड़ी समस्या यह थी कि वह proprietary software था
    ताकि ज़्यादा लोग समझ सकें, Doug ने Cyc से सीखे सबक अगली पीढ़ी के researchers तक पहुँचाने की कोशिश की। जैसे क्या सही चला और क्यों चला, कब और क्यों विफलता मिली, implementation में क्या मुश्किल था, और क्या अलग तरीके से करना बेहतर होता
    उनके आख़िरी emails में से एक paper को जल्द-से-जल्द प्रकाशित करने की गुज़ारिश थी, और कई उतार-चढ़ावों के बाद 31 जुलाई को arXiv पर Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf) आ गया
    यह छोटा लेख है, लेकिन Cyc जो करने की कोशिश कर रहा था उसकी review भी है, असली artificial intelligence से हमें क्या उम्मीद करनी चाहिए इसका सार भी है, और जिस गहरी symbolist परंपरा से वे जुड़े थे और आधुनिक large language models के बीच सुलह की अपील भी है

    • “मेरी सामग्री शायद इंटरनेट पर सिर्फ़ शोर ही बढ़ाए” वाला वाक्य ज़रूरत से ज़्यादा नहीं दोहराना बेहतर होगा। motivation देने वाली line के तौर पर यह अच्छा नहीं है
      जो आपको महत्वपूर्ण लगता है, उसे साझा कर देना चाहिए
      छोटी, कम संभावना वाली लगने वाली ज्ञान में सुधार भी मायने रख सकती है। ऐसी चीज़ें पर्याप्त संख्या में हो जाएँ तो सांख्यिकीय रूप से दिशा बदल सकती हैं
      बेशक, संबंधित सामग्री खोजी जा सकनी चाहिए, और यह अपने आप में भी बड़ी समस्या है

  • उनसे सीधे कभी मुलाकात नहीं हुई, लेकिन Doug का काम computing में मेरे लिए सबसे बड़ी प्रेरणाओं में से एक था
    2018 में लिखी अपनी blog post link करना उचित लगता है। यह Lenat के काम से Cyc तक पहुँची trajectory को संक्षेप में समेटती है और paper links इकट्ठा करती है
    http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...

  • Cyc, जिसका उच्चारण “Syke” है, लंबे समय से ऐसा project रहा है जिसे मैं धुंधले तौर पर दिलचस्प मानता आया हूँ, लेकिन उसे ठीक से देखने का समय और bandwidth नहीं मिला
    यह comprehensive ontology और knowledge base पर आधारित artificial intelligence project है
    Wikipedia overview: <https://en.wikipedia.org/wiki/Cyc>
    project/company homepage: <https://cyc.com/>

    • मैंने Cyc के साथ काम किया है। वह जो करना चाहता था उसकी ओर एक प्रभावशाली कोशिश थी, लेकिन सफल नहीं हुई
      यह “साफ-सुथरे” तरीके से artificial intelligence करने की आख़िरी विशाल कोशिश थी, और इसकी विफलता ने आज बेहद सफल “messy” artificial intelligence approach को जन्म देने में मदद की
      यह विफलता Doug को कमतर नहीं करती। किसी न किसी को कोशिश करनी ही थी, और अच्छा है कि वह सबसे बुद्धिमान लोगों में से एक थे
      मुझे लगता है कि यह साफ़ हो जाने के बाद भी कि यह काम नहीं करेगा, वे इसे लंबे समय तक पकड़े रहे, लेकिन breakthroughs सचमुच हो भी जाते हैं
      आज का machine learning boom भी कभी छोड़ी जा चुकी techniques का पुनरुत्थान है, और उन्हें पकड़े रहने वाले लोगों ने ही उन्हें काम कराने की तरकीबें खोजीं
    • मेरी नज़र में यह product से ज़्यादा एक aspiration जैसा था
      कुछ साल पहले मैंने एक consulting company के साथ काम किया जो artificial intelligence में उतरना चाहती थी, और उसने मुख्यतः financial clients को बेचने के लिए platform के रूप में Cyc को चुना
      लेकिन ऐसा नहीं लगा कि कोई वास्तविक project शुरू भी हुआ हो, और यह भी स्पष्ट तस्वीर नहीं थी कि बेचा क्या जा सकता है
      मैं Lenat को fraud नहीं मानना चाहता। क्योंकि वे sincere और प्रतिभाशाली व्यक्ति लगते थे
      फिर भी मुझे लगता है कि Cyc ने उपयोगी काम बहुत कम किए, फिर भी उसे बेहद बढ़ा-चढ़ाकर बेचा गया। website तकनीकी शब्दों से भरी है, लेकिन 40 साल के business के बाद भी एक भी case study नहीं है
    • cyc.com पर गया तो दुख की बात है कि सिर्फ़ business-style bluster दिखा, और “Documention” page login के बिना कुछ भी नहीं दिखाता