Cyc का मृत्युलेख

 (yuxi-liu-wired.github.io)
1 पॉइंट द्वारा GN⁺ 2025-04-09 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Cyc 1984 में Douglas Lenat द्वारा शुरू किया गया common-sense knowledge base आधारित AGI प्रोजेक्ट था; 3 करोड़ assertions, 20 करोड़ डॉलर और 2,000 person-years के पैमाने के बावजूद यह general intelligence हासिल करने का सबूत नहीं छोड़ पाया
  • Lenat ने माना कि AM और EURISKO शुरुआती heuristics को खत्म कर देते हैं, इसलिए उन्होंने लाखों common-sense facts और rules पहले इंसानों से डलवाकर knowledge pump चलाने की कोशिश की
  • Cyc में CycL, microtheory, लगभग 1,100 inference engines और सीमित natural language parsing था, लेकिन यह natural-language text पढ़कर autonomous learning करने के स्तर तक नहीं पहुंचा
  • सार्वजनिक रूप से सत्यापित सरकारी और commercial applications में Terrorism Knowledge Base, Cleveland Clinic case, network security, data integration आदि थे, जो मौजूदा expert systems और information retrieval तरीकों से बहुत अलग नहीं थे
  • Cycorp ने long-term financial stability और कुछ commercial सफलता हासिल की, लेकिन बंद प्रकृति, benchmarks की कमी और OpenCyc के बंद होने के कारण external AI research और knowledge search क्षेत्रों में इसका प्रभाव सीमित रहा

Cyc का मुख्य मूल्यांकन

  • Cyc वह symbolic AI आधारित AGI प्रोजेक्ट था जिसे Douglas Lenat ने 40 वर्षों तक आगे बढ़ाया
    • लक्ष्य था human common-sense knowledge को logical language में बड़े पैमाने पर encode करना और उसके ऊपर reasoning और learning करने वाला system बनाना
    • प्रोजेक्ट लगभग 3 करोड़ assertions, 20 करोड़ डॉलर और 2,000 person-years के पैमाने तक बढ़ गया
  • Lenat ने बार-बार जिस breakthrough की भविष्यवाणी की थी, वह अंत तक नहीं आया
    • 2016 में Lenat ने कहा कि Cyc “done” के करीब है, लेकिन autonomous learning या AGI का कोई सबूत नहीं दिखा
    • 2025 के हिसाब से, knowledge pump को primed हुए 9 साल हो चुके हैं—इस धारणा के बावजूद general intelligence हासिल होने के संकेत नहीं हैं
  • Cyc से जुड़े अतिरिक्त archive materials cyc-archive पर उपलब्ध हैं

AM और EURISKO से Cyc तक पहुंचने वाली reasoning

  • Lenat का शुरुआती बिंदु 1976 का उनका doctoral dissertation project Automated Mathematician(AM) था
    • कहा जाता है कि AM ने set theory के 115 concepts और लगभग 250 heuristic rules से शुरू करके natural numbers, prime numbers, Goldbach conjecture आदि को फिर से खोजा
    • लेकिन AM नए heuristics नहीं बना पाया, और शुरुआती heuristics खत्म होने पर “die of boredom” करने की सीमा दिखी
  • बाद का system EURISKO heuristics को खुद discover करवाने की कोशिश था
    • Traveller के The Trillion Credit Squadron tournament में गैर-पारंपरिक fleet design के साथ 1981 और 1982 में जीता
    • Lenat के अनुमान के अनुसार final EURISKO ने Xerox 1100 Lisp machine पर कुल 1,300 CPU-hours चलाया, और Traveller की जीत “60/40% Lenat/EURISKO” थी
  • EURISKO भी अंततः self-exhaustion से नहीं बच पाया
    • heuristic rules की self-discovery meta-heuristic rules पर निर्भर थी, और वे meta-heuristics भी कुछ बार इस्तेमाल के बाद कमजोर पड़ गए
    • Lenat ने निष्कर्ष निकाला कि इंसानों की तरह लगातार नई analogies और ideas बनाने के लिए विशाल common-sense knowledge की जरूरत है

Cyc का design और knowledge pump

  • Cyc 1984 में MCC के अंदर शुरू हुआ और बाद में Cycorp Inc. के रूप में आगे बढ़ा
    • शुरुआती योजना थी कि 1985–1988 में encyclopedia के 400 articles को manually encode किया जाए, फिर 1988–1993 में 30,000 articles encode किए जाएं, और उसके बाद उन्हें AI problems और commercial applications में इस्तेमाल किया जाए
    • शुरुआती अनुमान था कि phase 1 और 2 के लिए 150 person-years चाहिए होंगे
  • प्रोजेक्ट का focus encyclopedia की “black ink” को ज्यों का त्यों encode करने से हटकर encyclopedia जिन चीजों को assume करती है लेकिन लिखती नहीं—यानी white space, common sense—को encode करने की ओर गया
    • समस्या यह थी कि “Napoleon died in 1821. Wellington was greatly saddened.” जैसे वाक्य को समझने के लिए death, time, warfare, France और human emotions के बारे में common sense चाहिए
  • Lenat का knowledge pump metaphor Cyc की मुख्य strategy बना
    • शुरुआत में इंसान सीधे knowledge spoon-feed करते हैं
    • उम्मीद थी कि knowledge बढ़ने के साथ natural-language sentences को logic में बेहतर parse किया जाएगा और ontologist का intervention घटेगा
    • एक point के बाद उम्मीद थी कि Cyc text पढ़ेगा, लोगों से बातचीत करेगा और खुद लगातार अपना knowledge बढ़ाएगा

CycL, microtheory और inference structure

  • Cyc के मुख्य components CycL, knowledge base और inference engines हैं
    • CycL SubLisp आधारित है, और इसमें इंसानों द्वारा पढ़ी-लिखी जा सकने वाली high-level language Epistemological Level(EL) तथा inference efficiency के लिए Heuristic Level(HL) translation है
    • EL sentences कई HL sentences में translate हो सकते हैं और अलग-अलग inference engines उन्हें process कर सकते हैं
  • CycL expressions Lisp जैसे (#$relation <arg1> … <argn>) format का इस्तेमाल करते हैं
    • अगर #$relation function है तो वह term है, और अगर predicate है तो assertion या sentence है
    • #$implies, #$forAll, #$thereExists जैसे special relations inference rules के रूप में इस्तेमाल होते हैं
  • Cyc assertions को microtheory(Mt) या context में package करता है
    • “Socrates is alive” 500 BC context में true हो सकता है, लेकिन 1995 context में true नहीं
    • #$ChristianMt और #$IslamMt जैसे mutually incompatible beliefs को अलग contexts में रखा जा सकता है
    • 2010 तक Cyc में 20,000 से ज्यादा microtheories hierarchy में arranged थीं, और कुछ 50 levels गहराई तक थीं
  • inference engines की संख्या लगभग 1,100 तक बढ़ गई
    • general inference engine बहुत धीमा था, इसलिए specific patterns और microtheories के लिए specialized heuristic modules लगातार जोड़े गए
    • Lenat et al. 2007 के अनुसार 1 strategist, 4 tacticians, 1,097 workers की structure report की गई
    • 2010 में बताया गया कि सबसे general inference engine को बंद रखना ज्यादा तेज था, इसलिए उसे पूरी तरह disable कर दिया गया

Natural language understanding की बची हुई bottleneck

  • CycL से natural language में बदलने की समस्या 1990s के अंत तक काफी हद तक set हो चुकी थी
    • (#$genls #$Dog #$Mammal) को “Dogs are mammals.” की तरह convert किया जा सकता है
    • word concepts और denotation assertions के जरिए English words और Cyc concepts को जोड़ा जाता है
  • इसके उलट, natural language को CycL में parse करने की English → CycL समस्या लगातार कठिन चुनौती बनी रही
    • Cyc NLP keyword matching, extraction templates, syntax templates और full syntax tree parsing जैसे tiered system का इस्तेमाल करता है
    • dictionary में लगभग 200,000 words and phrases और उससे ज्यादा assertions शामिल हैं
  • सार्वजनिक English → CycL examples बहुत कम हैं और आसान sentences के करीब हैं
    • “A girl is on a white lounge chair”
    • “Bill Clinton sleeps.”
    • “An AI researcher is a kind of computer scientist.”
    • “Did you touch a blue object located in the capital of France on September 25th, 2022?”
  • Lenat और Gary Marcus के आखिरी joint work में भी आखिरी bottleneck natural language understanding(NLU) ही रही
    • हर axiom को default correctness, generality और microtheory placement के लिए इंसान द्वारा verify करने के बाद knowledge base में डाला जाता है
    • Cyc CycL नाम की interlingua पढ़ सकता है, लेकिन English को CycL में parse करना लगातार कठिन रहा

Public applications और commercial use

  • Cycorp ने military, intelligence agencies और commercial customers के लिए लंबे समय तक operation किया
    • 2002 तक total cost 6 करोड़ डॉलर थी, जिसमें से 2.5 करोड़ डॉलर military से आए
    • 2005 के citation के अनुसार 1996 में पहले major government contract के बाद Cycorp revenue का लगभग आधा हिस्सा US government agencies से और बाकी companies से आया
  • सार्वजनिक रूप से अपेक्षाकृत detailed application cases Terrorism Knowledge Base(TKB) और Cleveland Clinic case हैं
    • TKB 2004 में बनाया गया और 2008 में बंद हुआ
    • इसमें 2,000 से ज्यादा terrorists, 700 से ज्यादा terrorist groups, 6,500 से ज्यादा terrorist attacks और 200,000 से ज्यादा assertions शामिल थे
    • user formal English query enter करता था, और Cyc CycL fragments suggest करता था; user उन्हें चुनकर complete query बनाता था
  • Cleveland Clinic का Semantic Research Assistant(SRA) 2007–2010 के बीच verified है
    • यह cardiothoracic surgery, cardiac catheterization और percutaneous coronary intervention से जुड़े queries का जवाब देने वाला system था
    • 2012 के बाद वाले SemanticDB project में 12 करोड़ semantic triples की database और SPARQL queries शामिल थीं
    • Lenat ने 2019 की presentation में कहा कि Cleveland project को 120,000 नए assertions की जरूरत पड़ी, जो पूरे knowledge base का 0.5% था
  • अन्य verified cases में network security, data integration, medical/pharma terminology thesaurus, insider trading detection, manufacturing yield root-cause analysis, IT support/inventory management, oil pump facility failure prediction आदि शामिल हैं
    • ऐसे uses expert systems, data integration और information retrieval की standard methods के करीब हैं

OpenCyc, Semantic Web और derived projects

  • Cycorp ने 2001 में Cyc का एक छोटा subset OpenCyc release किया
    • OpenCyc को actual Cyc से 24–30 महीने पीछे रहना था
    • आखिरी version 2012 में आया, और ऐसा लगता है कि मार्च 2017 के आसपास बिना अलग announcement के यह बंद हो गया
  • ResearchCyc भी था, लेकिन वह research-purpose use तक सीमित था और 2019 के आसपास बिना notice के बंद हो गया
  • Cycorp ने 2000s की Semantic Web initiatives में भी हिस्सा लिया
    • DAML, RDF, OWL, XML आदि के साथ Cyc knowledge integrate करने की कोशिशों पर papers थे
    • Standard Upper Ontology Working Group, The Cyc Foundation, FACTory, OpenCyc for the Semantic Web, LarKC जैसी कोशिशें उल्लेखनीय सफलता के बिना खत्म हो गईं
  • 2014–2016 में Cyc से जुड़ी open information का ज्यादातर हिस्सा internet से गायब हो गया—एक “massive extinction event”
    • OpenCyc, tutorials, references, vocabulary lists, The Ontological Engineer’s Handbook version 0.7 आदि गायब हो गए
    • यह 2016 में commercial applications की ओर transition के समय से मेल खाता है

बंद प्रकृति और external evaluation

  • Cyc project academic standards के लिहाज से बहुत बंद था
    • Cyc से जुड़े publications मुख्य रूप से knowledge को Cyc के अंदर input करने के तरीकों पर केंद्रित थे; Cyc से बाहर आने वाले applications पर बहुत कम चर्चा हुई
    • inference engine कैसे काम करता है और commercial application details लगभग सार्वजनिक नहीं किए गए
  • AM और EURISKO का source code भी public नहीं किया गया
    • Lenat अक्सर दावा करते थे कि code बहुत पहले खो गया था, लेकिन हाल में Stanford AI Laboratory backup data के DBL folder में वह मिला
    • Lenat ने code को protect करने की कोशिश की थी या नहीं, यह सवाल बना हुआ है
  • external research में Cyc का use बहुत सीमित था
    • Cyc का AI research या knowledge retrieval में भी लगभग इस्तेमाल नहीं हुआ, और public benchmarks पर उसने performance नहीं दिखाया
    • Davis and Marcus 2015 ने माना कि बाहरी लोगों के लिए Cyc की achievement level का आकलन करना बहुत कठिन है
    • Davis 2016 ने आंका कि व्यापक AI community Cyc को “बहुत sophisticated failure” मानती है

Lenat की AI philosophy और बार-बार दोहराई गई criticism

  • Lenat ने 40 वर्षों तक एक ही AI philosophy बनाए रखी
    • इसका केंद्र Knowledge Principle था: high-level intelligence उस knowledge से आती है जिसे system use कर सकता है
    • knowledge में concepts, facts, representations, methods, models, metaphors और heuristics शामिल हैं
  • उन्होंने कई alternative paths को स्पष्ट रूप से reject किया
    • Simon और Newell शैली की logical AI को वे toy problems से आगे काम न करने वाली मानते थे
    • physical embodiment या robotics AGI के लिए essential नहीं है, और “mystical worship of physical embodiment” AGI को delay करता है—ऐसा उनका मानना था
    • genetic algorithms और evolutionary algorithms को उन्होंने local minima में फंसने वाला और धीमा माना
    • statistical machine learning, neural networks और self-organization methods को उन्होंने बड़े initial knowledge base के बिना “free lunch” की कोशिश बताया
  • Deep learning और LLM era में भी Lenat ने वही reasoning दोहराई
    • उनका मानना था कि neural networks सिर्फ “remembering and espousing” करते हैं, “understanding and inferring” नहीं
    • उनके अनुसार Cyc “left brain” और neural networks “right brain” की भूमिका में combine हो सकते हैं
    • उनके आखिरी paper Lenat and Marcus 2023 ने LLMs समेत free lunch की खोज की आलोचना की और symbolic representation and reasoning की जरूरत पर जोर दिया

Cycorp के अंदर और practical conclusion

  • Cycorp ने छोटी technology company के लिहाज से दुर्लभ long-term financial stability हासिल की
    • इसके profitable होने, debt-free होने और employee-owned होने की बात बार-बार कही गई
    • employees की संख्या लगभग 50–200 बताई गई
  • पूर्व Cyclists के Hacker News comments में positive और negative दोनों views दिखते हैं
    • positive रूप में intellectual और philosophical culture, large scale inference की technical problems का समाधान, profitability और कुछ successful commercial applications का उल्लेख है
    • negative रूप में 30 साल का technical debt, duplicate implementations, बंद प्रकृति, true believer mentality, और ऐसे technical solutions व commercial applications को बताया गया जो बाहर public नहीं होते
  • कुछ former employees ने माना कि यह unclear था कि Cyc सच में common sense reasoning करता था या expert systems बनाने के लिए खास तौर पर अच्छा आधार था
    • यह भी unclear था कि successful commercial projects को सच में common sense reasoning की जरूरत थी या नहीं
    • कई projects में “AI” exactly कहां हो रहा है, यह बताना मुश्किल था—ऐसा evaluation भी है
  • आखिरकार Cyc एक AGI project से ज्यादा आखिरी surviving large expert system company जैसा रह गया
    • यह माना जा सकता है कि Cycorp ने excellent knowledge engineers, SubLisp और higher-order statements की जरूरत वाले niche expert systems में differentiation किया
    • लेकिन यह differentiation AGI की राह था, इसका कोई evidence पेश नहीं किया गया

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-04-09
Hacker News की राय

  • मुझे यह मज़ेदार ख़याल आया कि यह वाक्य जैसे कोई संवेदनशील AI लिख रहा हो: “यहाँ देखने लायक कुछ नहीं है, देखना बंद करो और आगे बढ़ो”
    vannevar की तरह मुझे नहीं लगा कि Cyc किसी उपयोगी दिशा में जा रहा था; आइडिया तो था, लेकिन ऐसे आइडिया को लागू करने वाला सिस्टम कैसे बनाया जा सकता है, इसके लिए भरोसेमंद परिकल्पना का आधार बनने लायक वह पर्याप्त रूप से सुसंगत नहीं दिखता था
    McCarthy के blocks world डेमो ने मुझे काफ़ी प्रभावित किया था, और बाद में उन्होंने और उनके छात्र ने AI के काम करने के context को बनाने वाले कुछ नियमों को formalize किया; मुझे लगता है कि LLM से पैदा होने वाली गड़बड़ी को सुलझाने में यह हिस्सा अब भी अहम है
    उदाहरण के लिए, शुरुआती नाकामियों में जब LLM ने सलाद को कुरकुरा बनाने के लिए उसमें पत्थर डालने को कहा, तो वह एक क्लासिक context failure था—‘humour’ context के डेटा और ‘recipe’ context के डेटा के आपस में उलझ जाने का नतीजा। मौजूदा मॉडल में training के दौरान context नहीं होता, इसलिए context के हिसाब से output को adjust करने वाला कोई तत्व मॉडल के भीतर नहीं होता, और अंत में सलाद में पत्थर आ जाते हैं
    https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...

    • “अभी तक सामान्य बुद्धिमत्ता का कोई प्रमाण नहीं है” वाला मानदंड काफ़ी ऊँची बाधा जैसा लगता है
      हम सब जानते हैं कि symbolic AI बड़े डेटा पर train हुए LLM जितना scale नहीं कर पाया, लेकिन साथ ही यह भी सही है कि वह कई ऐसे मुद्दों से निपटने की कोशिश कर रहा था जिन्हें LLM अब भी ठीक से संभाल नहीं पाते

  • सचमुच बेहतरीन लेख है, और इस साल HN पर देखे गए लेखों में सबसे अच्छे स्तर का है
    बचपन में AI पर एक documentary से मुझे पहली बार Cyc के बारे में पता चला था, जिसमें electric shaver से shave करते एक आदमी का उदाहरण था। Cyc ने निष्कर्ष निकाला कि shave कर रहा आदमी इंसान नहीं है, क्योंकि shaver एक electrical device है और electrical device इंसान नहीं होते
    बचपन में यह बात मेरी कल्पना को बहुत उकसाती थी और मुझे AI पढ़ने की इच्छा हुई; बाद में जब पता चला कि Cyc Prolog-शैली के relations पर चलता है, तो उसका जादुई एहसास थोड़ा कम हो गया। आखिरकार मैंने AI के बजाय computer science पढ़ी, लेकिन मेरी शुरुआती रुचि जगाने वाला अब भी Cyc ही था
    Lenat अजीब व्यक्ति जैसे लगते हैं, लेकिन कई AI winters झेलने के लिए ऐसे जुनूनी, सच्चे believers की ज़रूरत होती है। statistical learning से hallucination हटाने की कोशिश में Cyc जैसे knowledge graphs भविष्य में फिर महत्वपूर्ण होंगे या नहीं, यह कौन जानता है

    • मुझे याद है कि इसी उदाहरण ने पहले AI में मेरी दिलचस्पी फिर से जगा दी थी
      सहज रूप से लगता है कि इस approach में generative AI को स्थिर ढंग से काम कराने के लिए ज़रूरी कुछ चीज़ है। दिमाग़ में association की क्षमता होती है, लेकिन signal और बकवास को छाँटने और content को समझने वाला filter न हो तो वह बहुत उपयोगी नहीं होता
      उत्सुकता है कि क्या Cyc कभी अर्थपूर्ण तरीके से खुद content generate कर पाया था। ऐसे system में आखिरकार बहुत-सी details खुद derive करने की क्षमता होनी चाहिए, ताकि उसे धीरे-धीरे कम spoon-feed करना पड़े
    • मुझे लगा कि “shaving while” के आगे-पीछे comma होना चाहिए, इसलिए इस वाक्य को ठीक से समझना मुश्किल है
    • “अजीब व्यक्ति जैसे लगते हैं” नहीं, “लगते थे” सही है
      दुर्भाग्य से वे कुछ साल पहले दुनिया छोड़ गए, और अफ़सोस है कि मुझे यह अब तक पता नहीं था

  • बहुत दिलचस्प और पढ़ने लायक लेख है, और यहाँ comments के माहौल से कहीं बेहतर है
    हालांकि थोड़ा अफ़सोस है कि लेखक ने इस project के failed होने की धारणा को बहुत ज़्यादा महत्व दिया। किसी समाधान को खोजने में 40 साल लगना, अपने-आप में उस approach को बस failed नहीं बना देता
    neural networks को भी सचमुच उपयोगी बनने में 40 साल से ज़्यादा लगे और लागत भी कम नहीं थी, लेकिन सिर्फ़ इस वजह से उन्हें failed project नहीं कहा जाता। आज के LLM भी अभी इतने intelligent कहना मुश्किल है
    अगर किसी दिन Cycorp knowledge base आम जनता के लिए खुल जाए और LLM training में इस्तेमाल हो सके, तो उस data की और बड़ी value सामने आ सकती है

    • Cycorp knowledge base के खुलने के बजाय, public alternatives विकसित होने के साथ उसके धीरे-धीरे कम महत्वपूर्ण हो जाने की संभावना ज़्यादा है
      Wikipedia की तरफ़ लोग एक सार्वजनिक, human-editable intermediate language जैसी चीज़ बना रहे हैं, जिसके ज़रिए कम-प्रतिनिधित्व वाली भाषाओं के Wikipedia में बुनियादी encyclopedia sentences भरने का काम किया जा रहा है। बहुत-सी details अभी तय नहीं हैं, लेकिन https://en.wikipedia.org/wiki/Abstract_Wikipedia और https://meta.wikimedia.org/wiki/Abstract_Wikipedia देख सकते हैं
      यह उस system के समान स्तर तक जा सकता है जिसकी कल्पना लेख में की गई है—जहाँ उचित “common sense” डालने पर वह English और Japanese text generate कर सकता है। ऐसे sentences पर logical inference ठीक-ठीक कितना उपयोगी होगा, यह स्पष्ट नहीं है, लेकिन अगर वह वाकई मूल्यवान है तो ऐसी संभावना निश्चित रूप से मौजूद है
    • मेरी बेटी की doctoral thesis कुल मिलाकर negative result थी। project भले ही failed रहा हो, अगर वह इतना secretive न होता तो उससे सीखा जा सकता था। open source न भी होता, तब भी इसे कहीं अधिक खुले तरीके से किया जा सकता था
    • Cycorp के खुलने का इंतज़ार करने से तो OpenAI के खुलने का इंतज़ार करना शायद ज़्यादा जल्दी होगा :)
      “neural networks” से तुलना करनी हो तो असल में व्यापक अर्थ वाले symbolic AI से तुलना करनी चाहिए। symbolic AI कुछ क्षेत्रों में काफ़ी अच्छा काम करता रहा है, लेकिन common-sense reasoning या AGI के करीब क्षेत्रों में बिल्कुल नहीं
      अगर तुलना का विषय “Cyc” ही रखा जाए तो मेरे हिसाब से तुलना संभव ही नहीं है। बिना बढ़ा-चढ़ाकर कहे, 2020 से पहले Cyc जितना महँगा AI project कोई नहीं था। लागत million dollars से ऊपर जाना GPT-2 के आसपास शुरू हुआ, और AlphaGo व Deep Blue पर भी सटीक आंकड़े नहीं हैं पर शायद कई million dollars लगे होंगे, लेकिन कम-से-कम वे साफ़ तौर पर काम करते थे
      40 साल लगे कहना भी ठीक नहीं है। उदाहरण के लिए LeNet-5 1998 में ही काम कर रहा था, और ATM में वास्तविक cheques पढ़ने के लिए इस्तेमाल हुआ। मुख्य लागत Bell Labs में LeCun research group की 10 साल की engineering persistence थी, और final version को MNIST पर “करीब 20 epochs” train करने में single 200MHz R10000 processor वाले Silicon Graphics Origin 2000 server पर 2–3 दिन का CPU time लगा
      1998 तकनीकी रूप से 1950s के perceptron की शुरुआत से लगभग 40 साल हो सकता है, लेकिन अगर यह कसौटी neural networks पर लागू करते हैं तो Cyc को भी 1950s के logic AI की शुरुआत से ही गिनना चाहिए। और 1998 में Cyc का industry में क्या उपयोग था, यह भी सवाल है

  • वेबसाइट के मुताबिक Cyc बहुत अच्छा कर रहा है। यह खुद को “The Next Generation of Enterprise AI” कहता है
    Lenat खुद 2023 में निधन हो गया था, फिर भी leadership team में वही इकलौते सदस्य के तौर पर सूचीबद्ध हैं
    https://cyc.com/

    • यह किसी दुखद समाधिलेख जैसा लगता है
      भले ही उन्होंने सिर्फ यह साबित किया हो कि यह असंभव है, मैं इस बात के लिए सचमुच आभारी हूँ कि उन्होंने कोशिश की
    • शायद Cyc सफल हो गया हो और Lenat उसी चेतना के रूप में अब भी जीवित हों

  • ऑनलाइन जारी किया गया OpenCyc वर्जन चलाकर देखा जा सकता है: https://github.com/asanchez75/opencyc
    यह उस समय की सामग्री है जब सिस्टम का एक वर्जन SourceForge पर आया था, और GitHub पर dataset, knowledge base और inference engine मौजूद हैं। हालांकि ध्यान रखें कि यह पुराने Java वर्जन में लिखा गया है

  • बहुत पहले मैंने AM और EURISKO के बारे में जितनी सामग्री मिल सकती थी, पढ़ने की कोशिश की थी
    दुर्भाग्य से Lenat ने अपना काम बहुत निजी, लगभग गुप्त रखा, और उच्च-स्तरीय papers और articles के अलावा पढ़ने के लिए बहुत कम सामग्री थी। इसी वजह से दूसरे लोग Lenat की बनाई चीज़ों पर आगे कुछ नहीं बना सके, और मुझे लगता है कि यह बड़ा नुकसान था

    • आजकल EURISKO को सीधे चलाकर देखा जा सकता है

  • यह लेख सिर्फ Cyc पर नहीं, बल्कि symbolic AI कुल मिलाकर पर भी काफी अच्छा review है
    पहले मैंने OpenCyc के साथ काफी काम किया था, लेकिन पिछले 10 साल से उसे हाथ नहीं लगाया
    अगर symbolic AI का कोई उत्पादक भविष्य है, तो मेरा मानना है कि वह LLM का इस्तेमाल करके unstructured data से knowledge graph और symbolic relations वगैरह बनाने के तरीके में होगा

    • “symbolic AI review” के तौर पर यह जानकारी में कम और सतही लगा, और ऐसा लगा कि symbolic AI “fail हो गया” वाली पुरानी दलील दोहरा रहा है
      वह दावा तथ्यों से मेल नहीं खाता। SAT solving, automated theorem proving, planning और scheduling जैसे मुख्य symbolic AI क्षेत्र अब भी मजबूत हैं और वास्तविक परिणाम दे चुके हैं। बल्कि SAT solving, planning, program verification, automated theorem proving अब इतने अच्छे से काम करते हैं कि उन्हें अब “AI” तक नहीं माना जाता
    • LLM ऐसे graphs का इस्तेमाल करके अपने जवाबों को verify कर सकता है। किसी चरण पर यह architecture के अंदर अंतर्निहित हो जाएगा, जैसे graph attention layers के रूप में

  • मुझे लगता है Lenat कम-से-कम इस बात में सही दिशा में थे कि आखिरकार उपयोगी intelligence पाने की कुंजी data का भारी पैमाना है
    पहले मैंने Cyc project की आलोचना की थी कि वह लगातार और बड़ा गोबर का ढेर बना रहा है और उम्मीद कर रहा है कि उसके अंदर से pony निकलेगा; LLM में कुछ हद तक सचमुच ऐसा ही हुआ है

    • किसी दिन pendulum फिर दूसरी तरफ जाएगा और symbolic approach को कोई breakthrough मिलेगा और वह फिर से लोकप्रिय होगा
      मुझे लगता है इसका संबंध शायद इस तरह के systems को hardware-accelerate करने से होगा, ताकि वे भारी मात्रा में facts process कर सकें, ठीक वैसे ही जैसे neural networks के लिए GPU ने किया
    • लेकिन LLM training data का ढेर कहीं ज्यादा बड़ा है
      वह data वास्तविक संदर्भों में वास्तविक इंसानी utterances है, pony का गोबर नहीं बल्कि pony ही है
      LLM में intelligence नहीं होती। query के जवाब में वह अनगिनत इंसानी utterances से pattern matching करते हुए उन इंसानों की intelligence को conduit की तरह आगे पहुंचाता भर है। चूंकि statistical mechanism बेहद अच्छे से काम करता है, इसलिए इसकी उपयोगिता साबित हो चुकी है, लेकिन LLM में cognitive state नहीं है—यह तथ्य इस technology की पहुंच को बहुत सीमित करता है
      दूसरी ओर Cyc से आखिर क्या हासिल किया जा सकता है, यह भी साफ नहीं है। LLM के साथ मिलाने पर यह उपयोगी हो सकता है, लेकिन अब भी पूरी तरह बंद है
      लेखक ने इस एक system और approach के आधार पर symbolic AI के बारे में जो बड़े निष्कर्ष निकाले हैं, वे उचित नहीं हैं। लेखक ने खुद भी लिखा है कि “symbolic AI approach के प्रति बहुत अनुकूल Ernest Davis और Gary Marcus तक Cyc की सफलता के बहुत कम सबूत पा सके, इसलिए नहीं कि Cyc साबित तौर पर fail हुआ था, बल्कि इसलिए कि सफलता या असफलता—किसी भी दिशा में—सबूत बहुत कम थे”
    • यह मजेदार है कि कई LLM datasets का नाम सचमुच “The Pile” है
    • फिर भी कम-से-कम Llama शायद libgen पर trained है, जो मानवता की ज्यादातर किताबों और publications का archive है। हालांकि जो digitize नहीं हुईं, वे छूट गई होंगी
      Reddit comments, Twitter messages, libgen, arXiv PDFs शायद उस बड़े ढेर में गए होंगे
      इसलिए उसमें गोबर भी होगा, लेकिन मेहनत से encoded knowledge यानी लेखन भी है, और LLM इतनी बार सही निकलता है—यह सचमुच चमत्कारिक है
    • https://ai-2027.com/ मानता है कि पर्याप्त अच्छा LLM rules और facts का उपयोग करके खुद को फिर से लिखता है
      यह science fiction जैसा लगता है, लेकिन matrix multiplication से बातचीत करना भी science fiction जैसा ही है

  • GOFAI की ऐसी ही विफलता के रूप में रूसी कंपनी ABBYY की दशकों लंबी एक विशाल कोशिश थी, जिसमें वह सिर्फ जटिल formal grammar parsing से advanced translation software बनाना चाहती थी। ABBYY लंबे समय तक OCR software market की leader रही
    इसकी पृष्ठभूमि की कहानी काफी दिलचस्प है, और यह लेख ABBYY में काम कर चुके एक व्यक्ति ने लिखा है: https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proi...
    लेख रूसी में है, लेकिन विडंबना यह है कि Chrome के Google Translate feature वगैरह से इसे अच्छी English में पढ़ा जा सकता है। और वह feature बेशक पूरी तरह machine learning आधारित है
    कहानी मूल रूप से Cyc जैसी ही है। symbolic AI, logical AI, GOFAI शुरुआती दौर में प्रभावशाली परिणाम दे सकते हैं और ABBYY भी शुरुआती Google Translate से कहीं बेहतर था, लेकिन symbolic approach अच्छी तरह scale नहीं होती। अंततः big data + machine learning जीतता है
    ऊपर वाला लेख 2009 में Google द्वारा इसी तर्क को पेश करने वाले “The Unreasonable Effectiveness of Data” पर चर्चा करता है: https://static.googleusercontent.com/media/research.google.c...
    यह महत्वपूर्ण है कि 2009 बड़े language models, transformers, यहाँ तक कि AlexNet से भी काफी पहले था

  • लगभग 1 साल पहले भी Cyc पर एक बड़ा थ्रेड था: https://news.ycombinator.com/item?id=40069298