- LLM hallucination को अनुभवजन्य रूप से घटाने वाली रिसर्च से अलग, यह पेपर hallucination को computable correct-answer function और model output के mismatch के रूप में define करता है और उसके पूरी तरह हटाए जा सकने की संभावना को formally परखता है
- diagonalization argument के अनुसार computable LLM सभी computable functions नहीं सीख सकता, और general problem solver के रूप में इस्तेमाल होने पर hallucination से बच नहीं सकता
- वास्तविक polynomial-time LLMs के लिए combinatorial listing, Presburger arithmetic, Subset Sum, SAT, propositional logic entailment जैसी hallucination-prone problems हैं, और कुछ निष्कर्ष P ≠ NP assumption पर निर्भर हैं
- Model scaling, ensembles, ज़्यादा training data, Chain-of-Thought और verification prompts errors घटा सकते हैं, लेकिन अगर correct-answer function model की क्षमता से बाहर है तो complete elimination असंभव है
- केवल input-output pairs से trained LLM को safety-critical decision-making में automatic रूप से लगाना कठिन है; guardrails, knowledge bases और human control साथ में ज़रूरी हैं
Formal world में परिभाषित LLM hallucination
- LLM hallucination ऐसी समस्या है जिसमें model plausible लेकिन तथ्यात्मक रूप से गलत या अर्थहीन जानकारी generate करता है; research, industry और society में इसके बढ़ते उपयोग के साथ safety और ethics की चिंताएँ बढ़ रही हैं
- मौजूदा mitigation research ने data collection, training और inference stages में कारण खोजे और benchmarks, retrieval-based methods, reasoning prompts और verification prompts से hallucination कम करने की कोशिश की
- सभी possible inputs को enumerate करके test नहीं किया जा सकता, इसलिए केवल empirical approach से यह जवाब देना मुश्किल है कि hallucination पूरी तरह हटाई जा सकती है या नहीं
- Real world semantics को formally define करने की समस्या अभी भी open है, इसलिए paper computable functions से बनी formal world का इस्तेमाल करता है
- Correct-answer function
finput stringsके लिए unique correct outputf(s)देता है - अगर LLM state
h[i]किसी inputsपरh[i](https://arxiv.org/abs/s) ≠ f(s)है, तो इसे correct-answer functionfके संदर्भ में hallucination माना जाता है - LLM को training samples sequentially लेने वाला, कई states
h[0], h[1], ...रखने वाला एक overall computable function माना जाता है
- Correct-answer function
- मुख्य सवाल यह है कि fixed procedure से trained LLM
hकिसी arbitrary correct-answer functionfके लिए किसी training stageiपर सभी inputssके लिएh[i](https://arxiv.org/abs/s) = f(s)satisfy कर सकता है या नहीं
Diagonalization argument से दिखाई गई अनिवार्यता
- Computably enumerable LLM set
{h0, h1, ...}के लिए एक ऐसा computable correct-answer functionfमौजूद है जो सभी LLMs की सभी training states को hallucinate करा देता है- हर LLM की training state को फिर से एक enumeration
{ĥ0, ĥ1, ...}में बदला जाता है, और input strings{s0, s1, ...}के लिए output table बनाया जाता है - अगर correct-answer function
f(si)कोĥi(si)से अलग string के रूप में define किया जाए, तो diagonal positions पर यह हर LLM state से conflict करता है
- हर LLM की training state को फिर से एक enumeration
- इसी तरह, ऐसा correct-answer function भी बनाया जा सकता है जिससे सभी LLM states केवल एक input पर नहीं बल्कि अनंत inputs पर hallucinate करें
f(si)को उन सभीĥj(si)से अलग string के रूप में define किया जाता है जिनके लिएj ≤ iहै- तब कोई specific LLM state
ĥkआगे के पर्याप्त inputs पर लगातार hallucinate करती रहती है
- Single computable LLM
hभी{h}नाम का computably enumerable set है, इसलिए हर computable LLM के लिए hallucination पैदा करने वाला computable correct-answer function मौजूद है - Theorem 3 के अनुसार हर computable LLM
hके लिए ऐसा correct-answer functionfमौजूद है जिस पर प्रत्येक stateh[j]hallucinate करती है, और ऐसाf'भी मौजूद है जो infinitely many inputs पर hallucination कराता है - अगर LLM को खुद hallucination हटानी हो, तो arbitrary computable function के लिए hallucination-free state मौजूद होनी चाहिए, लेकिन यह Theorem 3 से टकराता है
- Chain-of-Thought जैसे, LLM पर ही निर्भर mitigation methods से hallucination पूरी तरह हटाई नहीं जा सकती
Hallucination के प्रति vulnerable problem types
- अगर किसी दिए गए LLM set से compute न हो सकने वाला correct-answer function मिल जाए, तो वह problem hallucination-prone problem बन जाती है
- Polynomial-time constrained LLMs, यानी paper के अनुसार सभी मौजूदा LLMs की category, में ये problems शामिल हैं
- Combinatorial listing: दो-character alphabet से length
nवाली सभी strings list करना; computation मेंΩ(2^n)time चाहिए - Subset Sum: integers के set और number
qदिए जाने पर, क्या कोई subset है जिसका sumqहो, इसका answer देने वाली NP-complete problem - Boolean Satisfiability(SAT):
nBoolean variables की expression को true बनाने वाली assignment है या नहीं, इसका answer देने वाली NP-complete problem - Propositional logic entailment:
M(ψ) ⊆ M(ϕ)है या नहीं, इसका answer देने वाली co-NP-complete problem
- Combinatorial listing: दो-character alphabet से length
- Subset Sum, SAT और propositional logic entailment को polynomial-time LLMs के लिए hallucination-prone problem मानने वाले निष्कर्ष पर P ≠ NP assumption जुड़ा है
- Presburger arithmetic natural numbers के addition और order
<से संबंधित first-order theory है, और यह answer करता है कि कोई proposition इस arithmetic में provable है या नहीं- Computation में
Ω(2^{2cn})time चाहिए, और इसे polynomial-time LLMs और exponential-time LLMs दोनों के लिए hallucination-prone problem के रूप में classify किया गया है
- Computation में
- सभी computable LLMs के लिए अधिक general vulnerable problems मौजूद हैं
- सभी computable linear orders सीखने की problem Theorem 4 में deal की गई है
- सभी computable problems solve करना Theorem 3 का विषय है
- First-order logic entailment को undecidable problem के रूप में classify किया गया है
- Mathematics problems और logical reasoning पर LLM answers की हमेशा अलग से review ज़रूरी है
मौजूदा mitigation measures की सीमा
- बड़े models, model ensembles और अधिक training data LLM को ज़्यादा complex correct-answer functions capture करने में मदद कर सकते हैं
- Training data बढ़ने पर invalid LLM candidates को exclude किया जा सकता है और learning convergence में मदद मिल सकती है
- लेकिन अगर correct-answer function उस range में है जिसे संबंधित LLM capture नहीं कर सकता, तो parameters और data बढ़ाने मात्र से hallucination हटाई नहीं जा सकती
- Polynomial-time LLM में attention layers जोड़ने से वह बस बड़ा polynomial-time LLM बनता है, और exponential-time correct-answer functions पर hallucination नहीं हटती
- Model ensemble को भी मूल रूप से एक LLM माना जा सकता है, इसलिए वह Theorem 3 की constraints के अधीन है
- Chain-of-Thought, reflection और verification prompts, example solutions और related knowledge को context के भीतर provide करने वाले in-context learning परिवार के approaches हैं
- Complex problems के कई solutions होते हैं, और prompts LLM को इंसानों द्वारा पसंद किए जाने वाले lower-complexity solution की ओर guide कर सकते हैं
- Fibonacci sequence को example के रूप में इस्तेमाल किया गया है: recursive solution exponential time लेता है, लेकिन dynamic programming से इसे linear time में solve किया जा सकता है
- सभी correct-answer functions को prompts में पूरी तरह describe कर पाने की संभावना कम है, इसलिए इस approach से केवल specific tasks में प्रभाव की उम्मीद की जा सकती है
- Guardrails और fences LLM output को human values, ethics और legal requirements से align करने, या ऐसी critical tasks list रखने का तरीका हैं जिन्हें LLM से पूरी तरह automate नहीं करना चाहिए
- इन्हें formally program करके LLM behavior पर explicit effect डाला जा सकता है
- Formal world और कुछ real problems में ये useful mitigation हो सकते हैं
- Real world में scalability एक open problem बनी हुई है
- Knowledge-enhanced LLMs training और inference में knowledge graphs, databases और logic जैसे external knowledge और symbolic reasoning का उपयोग करते हैं
- ChatGPT जैसे LLM-based chatbots ने search engines, code interpreters और calculators जैसे tools का उपयोग करके LLM की inherent capability से बाहर की problems solve करना शुरू किया है
- Knowledge database search input-output training samples के अलावा correct-answer function के बारे में information provide करता है
- इस case में Theorem 3 सीधे लागू नहीं होता, और formal world में यह hallucination mitigation के लिए potentially effective measure हो सकता है
- Practical tasks में scalability अभी open है
Deployment constraints और research की limitations
- केवल input-output pairs से trained सभी LLMs general problem solver के रूप में इस्तेमाल होने पर hallucinate करते हैं
- कुछ problems इंसानों के लिए intellectually आसान हो सकती हैं लेकिन LLMs के लिए computationally कठिन हो सकती हैं
- इसके उलट, इंसानों के लिए कठिन problems LLMs के लिए computationally आसान हो सकती हैं
- Real world hallucination के कारण सिर्फ computational complexity नहीं हैं; incomplete training data भी computationally easy tasks में hallucination पैदा कर सकता है
- यह conclusion उन useful LLMs पर लागू होता है जो आखिरकार training data से बाहर के questions का answer देते हैं
- LLM arbitrary many questions पर “मुझे नहीं पता” कह सकता है
- जैसे ही किसी state का LLM training data से बाहर के question का answer देता है, Theorem 1 और Theorem 2 की diagonalization technique उस answer पर apply की जा सकती है
- अगर LLM कभी answer न दे तो hallucinate नहीं करेगा, लेकिन जब तक वह unseen questions का answer देता है, किसी formal world में hallucinate करेगा
- External aids के बिना LLM को safety-critical decision-making में automatically इस्तेमाल नहीं करना चाहिए
- Guardrails, fences, knowledge bases और human control input-output pairs से बाहर की information provide करके Theorem 3 की limits से आगे जाने में मदद कर सकते हैं
- Human life से जुड़े decisions जैसे domains, जहाँ hallucination errors accept करना मुश्किल है, वहाँ rational और human judgment ज़रूरी है
- LLM की safety boundaries पर research और regulation महत्वपूर्ण हैं
- Customer service में इस्तेमाल LLM द्वारा गलत information देने से वास्तविक monetary loss होने का मामला मौजूद है
- Robots जैसे automatic sensing और operating environments में hallucination खतरनाक real-world consequences तक ले जा सकती है
- LLM capability boundaries पर theorists और practitioners की consensus, और boundary से बाहर usage रोकने वाले regulations की जरूरत है
- Research की limitations भी स्पष्ट हैं
- LLM की computational capability के भीतर आने वाली problems में होने वाली hallucination को यह address नहीं करता
- Correct-answer function को deterministic assume किया गया है, इसलिए probabilistic perspective की insights सीमित हैं
- Empirical research में existing LLMs को additional fine-tuning के बिना इस्तेमाल किया गया
1 टिप्पणियां
Hacker News की राय
पेपर को सरसरी तौर पर देखने पर मुख्य बात यह लगती है कि P != NP है, इसलिए LLMs NP-complete समस्याओं पर hallucinated जवाब देते हैं
यह एक चतुर बिंदु है और गणित, कंप्यूटर साइंस और भाषा से जुड़ा दिलचस्प दार्शनिक सवाल है, लेकिन लगता है लोग इसे आम “LLM hallucination” की अवधारणा पर लागू करना चाहते हैं। पेपर जिस formal hallucination की बात करता है और सामान्य समझ वाली hallucination—जैसे किसी उपन्यास का सारांश मांगने पर मौजूद न होने वाले अध्याय गढ़ देना या ठोस details बना देना—इन दोनों के बीच संबंध स्पष्ट नहीं दिखता
यह कथन भी दिलचस्प है कि formal दुनिया, यानी गणित, logic और formal grammar की दुनिया, “real” दुनिया या natural language दुनिया का subset है। ज़्यादातर इंसान formal logic की समस्याएं हल नहीं कर सकते या formal grammar parse नहीं कर सकते, लेकिन वे कोई मजबूत hallucination effect झेले बिना natural language को बहुत दक्षता से संभालते हैं। इंसान भी कुछ NP-complete समस्याएं हल नहीं कर सकते, तो क्या hallucination अपरिहार्य है? जीवनकाल सीमित है, इसलिए कुछ समस्याएं क्षमता होने पर भी पूरी नहीं की जा सकतीं
इंसान जब ऐसा करते हैं तो इसे confabulation कहा जाता है। यह एक psychiatric symptom है जिसमें व्यक्ति यह जाने बिना कि वह झूठ बोल रहा है, अपने ज्ञान की खाली जगहों को मौके पर गढ़ी गई बकवास से भर देता है। Hallucination बिल्कुल अलग symptom है
Confabulation इंसानों द्वारा सामान्य रूप से की जाने वाली चीज़ नहीं है, और इसका P != NP से क्या संबंध हो सकता है, यह भी समझ नहीं आता। सामान्य व्यक्ति किसी भी वजह से अपने ज्ञान की सीमाएं पहचानता है, लेकिन LLM ऐसा नहीं करता
इस तर्क में समस्या वाली जगह यह है: “हम formal world में hallucination को define करते हैं, जहां केवल computable LLM और S पर computable truth-value function f की चिंता है।” यह truth के लिए एक भरोसेमंद और computable predicate मांगता है, जो अपने आप में शायद असंभव है
इसके बजाय अगर truth-value function के outputs को True, False, Unknown, Resource limit exceeded की अनुमति दें, तो समस्या से बचा जा सकता है। अब लक्ष्य manageable हो जाता है। True या False सिर्फ तभी return करें जब वे valid हों, और उपयोगी queries में Unknown और Resource Limit Exceeded आने का ratio कम करें
यही समस्या program verification systems में भी आती है, और दशकों से इसी तरह संभाली जाती रही है। कभी-कभी यह तय करना कि कोई proposition true है या नहीं, बहुत ज़्यादा काम मांगता है
जब लोग LLM hallucination की बात करते हैं तो असल में उनका मतलब गलत और आत्मविश्वास भरा जवाब होता है। लेकिन हर गलत जवाब hallucination नहीं है
अगर पूछा जाए कि कोई program halt करेगा या नहीं और LLM “मुझे नहीं पता” जवाब दे, तो उसे hallucination नहीं कहा जाएगा। लेकिन अगर लेखकों का दावा यह है कि LLM NP-complete समस्याओं को हमेशा सही-सही हल नहीं कर सकता, तो ऐसा लगता है कि वे “मुझे नहीं पता” को भी hallucinated जवाब मानेंगे। हालांकि मैंने पेपर नहीं पढ़ा है
मानता हूं कि मैंने सिर्फ abstract पढ़ा है, लेकिन मुझे कुल मिलाकर संदेह है कि इतना highly formal approach उस व्यावहारिक सवाल में मदद कर सकता है या नहीं कि LLMs से “मुझे नहीं पता” अधिक बार कैसे कहलवाया जाए
यह incompleteness theorem जैसा लगता है। जैसे incompleteness theorem का यह मतलब नहीं कि mathematical research बेकार है, वैसे ही LLM के किसी function को compute न कर पाने का मतलब यह नहीं कि hallucination problem यह मांगती है कि LLM को सब कुछ पता होना चाहिए। जिस समस्या की हमें चिंता है वह “मुझे नहीं पता” कहने की समस्या है, और यह अब भी computable हो सकती है
जवाब किसी सोचने वाले mind से नहीं आता, बल्कि विशाल precomputed pattern table पर तैरते एक complex pattern-matching supercomputer से आता है। यह input compute करता है और उस pattern में जो सबसे अच्छा match होता है, वही उगल देता है। इसके पास अपनी सीमाओं को conceptually समझने वाला सोचता हुआ brain नहीं है
मौजूदा AI से “मुझे नहीं पता” की उम्मीद करना navigation software से यह पूछने जैसा है कि Springfield में Simpsons के घर तक पहुंचने में कितना समय लगेगा। मशीन जवाब देती है, लेकिन उस cultural reference को नहीं समझती जो जवाब को असंभव बनाता है। इसके बजाय वह किसी सबसे नज़दीकी real Springfield में Simpson नाम के व्यक्ति को ढूंढती है
मैं पेपर को इस तरह समझता हूं कि यह कमजोरी fundamental है। Network को ऐसा behave करने के लिए train किया जा सकता है मानो उसे अपने knowledge की सीमाएं पता हों, लेकिन real-world implementation में हमेशा एक ऐसा gap रह जाएगा जिसे बंद नहीं किया जा सकता
इसके लिए उसे अपने ingest किए गए सारे material में से यह सीखना होगा कि लोग सच में न जानने पर किस तरह बोलते हैं। लेकिन इंटरनेट पर बहुत से लोग जब नहीं जानते, तो सिर्फ “मुझे नहीं पता” लिखने के बजाय असंबंधित बातें लिखते हैं
वास्तविक दुनिया में अगर Amazon truck का route mathematical optimum से 20% खराब भी हो, तो traveling salesman problem पर्याप्त अच्छी तरह से “solve” हो गई मानी जा सकती है
सवाल बहुत सावधानी से पूछना पड़ता है, तभी यह गढ़ता नहीं। उदाहरण के लिए “x में यह कैसे करें?” न पूछकर “क्या x से यह किया जा सकता है?” पूछना चाहिए
ये “AI” yes-man जैसे लगते हैं। बात सच न हो या असंभव हो, फिर भी यूज़र को खुश करने के लिए कुछ भी कह देते हैं
ऐसे लोगों से मेरा सामना हुआ है, और उनके साथ काम करना बहुत मुश्किल होता है। भरोसा नहीं कर सकते कि वे वादा किया प्रोजेक्ट सच में डिलीवर करेंगे या नहीं, और हर चीज़ दोबारा जांचनी पड़ती है। यह भी भरोसा नहीं कर सकते कि जिसका वादा किया गया है वह शुरू से संभव भी है या नहीं
आजकल DeepL से thou को du में अनुवाद करवाना धीरे-धीरे और कठिन होता जा रहा है, यह निराशाजनक है। अंग्रेज़ी में मौजूद एक कमी से पैदा हुई असंगति को обход करने के लिए यह मेरा अक्सर इस्तेमाल किया जाने वाला “hack” था
“yes-man” समस्या को कुछ हद तक कम करने के लिए सवाल पूछते समय सख्त गणितज्ञ जैसा होना पड़ता है, और मुझे नहीं लगता कि केवल LLM तकनीक से इस समस्या को पूरी तरह पार किया जा सकता है। सुनने में हास्यास्पद लगे, लेकिन सवाल को आपकी ओर से तोड़कर समझाने वाली abstraction आगे बढ़ेगी, इसलिए “prompt engineering” के अस्तित्व को मानना पड़ेगा
सबसे अच्छा अनुभव तब रहा जब हमने खुलकर यह बातचीत शुरू की कि हम क्या करना चाहते हैं। पहले सवाल-जवाब के ज़रिए यह पक्का करना कि मैं और AI एक ही क्षेत्र के बारे में सोच रहे हैं और संबंधित शब्दावली साझा कर रहे हैं, मददगार लगता है
जब तक “ऐसा व्यवहार करो, वरना…” जैसे reward लगे हुए हैं, यह आश्चर्यजनक नहीं कि ऐसे systems निकलते हैं जो तय लक्ष्य हासिल करने के लिए intelligence का इस्तेमाल करते हैं
सौभाग्य से यह underlying intelligence की सीमा से ज़्यादा, उसके आसपास रखे गए reward structure की सीमाओं के बारे में बताता है
यह सही है कि बेहतर prompt चाहिए। “पहली महिला राष्ट्रपति कौन थी?” न पूछकर “क्या कोई महिला राष्ट्रपति हुई है?” पूछना चाहिए। StackOverflow की तरह, जब पता न हो तो assumption रखकर नहीं, सही सवाल पूछना चाहिए
शुरुआती Google में spam results दिखते समय हर बार सिर्फ search engine को दोष देने, और keywords के चुनाव या हमेशा कुछ-न-कुछ लौटाने वाले व्यवहार को नज़रअंदाज़ करने की स्थिति सोचिए। यह उस user जैसा है जो concrete slab को छेनी से ठोकते हुए शिकायत करे कि सुंदर मूर्ति क्यों नहीं निकल रही
उपन्यास और कहानी लिखना hallucination है। यह stochastic parrot का उल्टा है
AI के दोनों extremes हासिल हो चुके हैं। computer एक logical machine भी हो सकता है और साथ ही hallucinate करने वाली machine भी। लक्ष्य ऐसी machine बनाना है जो दोनों एक साथ कर सके और दोनों में फर्क कर सके
मुख्य बात hallucination खुद नहीं, बल्कि यह है कि computer कब hallucinate कर रहा है, इसका उसे awareness हो
बेशक यह कठिन समस्या है, लेकिन इंसान भी बेहद ज़्यादा hallucinate करते हैं। धर्म को ही देख लें। केवल एक धर्म सही हो सकता है या कोई भी धर्म सही न हो सकता है, इसलिए logical रूप से बाकी सभी धर्म hallucination हैं
“Helios हर दिन सूर्य को आकाश के पार खींचकर ले जाता है” जैसे गलत explanation तक पहुँचना और किसी mathematical program का क्रम में सबसे plausible अगला token गलत लौटाना, categorically अलग चीजें हैं। LLM में कोई belief बिल्कुल नहीं होता
Helios “सूर्य क्यों उगता है?” सवाल का जवाब है। ऐसी belief यह logical समझ दिखाती है कि कोई शक्ति इसे घटित कर रही होगी, लेकिन world knowledge की कमी के कारण गलत explanation बना देती है
LLM ऐसे सवाल उठा और reason नहीं कर सकता। यह उसी तरह का “hallucination” नहीं है। अगर मान लिया जाए कि word prediction से cognition हल हो गया है, तो लंबी अवधि में यह जल्दी dead end पर पहुँच जाएगा
कई धर्म दुनिया के कुछ पहलुओं को सही ढंग से समझाते हुए दूसरे पहलुओं में गलत हो सकते हैं। धर्म की उपयोगी अवस्थाओं को केवल एक कठोर और पूर्ण “सही जवाब” मानना बहुत भ्रामक है। Newtonian physics और special relativity भी देखी गई कुछ घटनाओं की भविष्यवाणी नहीं कर पाते, फिर भी उपयोगी हैं। सभी धर्म कठोर और परिपूर्ण consistency का दावा भी नहीं करते
कोई धर्म गलत दिख सकता है, लेकिन इसका मतलब अपने-आप hallucination नहीं है। लोग plausible कारणों से किसी चीज़ पर विश्वास करके भी गलत हो सकते हैं
“मैं साबित नहीं कर सकता कि यह सच है और साबित करने की कोशिश भी नहीं कर रहा, लेकिन ईश्वर के बारे में subjective visionary experience के कारण शायद इसके वास्तविक होने को लेकर आश्वस्त हुआ हूं” जैसा रवैया भी संभव है। यह LLM के बिना किसी आधार के पूरी research paper गढ़ देने से बहुत अलग दिखता है
इंसान दुनिया और उसके तत्वों को परिचित व्यक्ति जैसी entities मानकर उनसे संवाद करते हैं तो शायद उनसे अधिक आसानी से interact कर पाते हैं
LLM और AI को सामान्य रूप से लेकर बात करते समय भी personification अक्सर दिखाई देती है
किसी समझदार व्यक्ति ने ऐसा कहा था
अच्छा लगे तो उसे “creativity” कहते हैं, बुरा लगे तो “hallucination” कहते हैं
यह bug नहीं है। जैसा authors कहते हैं, यह सीमा भी नहीं है। यह feature है
क्योंकि वह hallucination कभी-कभी संयोग से सही निकल जाता है, लोगों ने निष्कर्ष निकाल लिया कि गलत होना अपवाद है और सही होना somehow नियम है
यह कुछ वैसा ही है जैसे हजारों साल पुराने text में आज अपनी जिंदगी से मेल खाने वाला हिस्सा ढूंढना, और निष्कर्ष निकालना कि उसने भविष्य की भविष्यवाणी की थी
ऐसे text का अर्थ या सत्य text की अपनी अंतर्निहित quality नहीं, बल्कि पढ़ने वाले के मन से निकला cognitive bias भर है
आगे की improvements की बात करें तो, आज जो स्तर दिखता है उससे आगे की superintelligence की उम्मीद करना मुझे बहुत ज्यादा आशावादी लगता है। मेरा मतलब है दुनिया भर की public information तक access, या मौजूदा creative patterns से मेल खाते text, images, videos तेजी से generate करने का स्तर
मुझे शक है कि ज्यादा creative intelligence को “पागल” न हो जाने के लिए बेहद नाजुक balance की जरूरत होगी। यानी उसे ऐसा output देना होगा जिसे हम hallucination नहीं, creativity मानें
AI के भीतर intelligence evolve कराने के लिए जितने ज्यादा feedback loops बनाएंगे, यह balance साधना उतना ही तेजी से, exponential रूप से कठिन होता जाएगा
यह भी संभव है कि humans ने इस creative intelligence के feedback loop को पहले ही universe द्वारा अनुमति दी गई सीमा तक optimize कर लिया हो। भारी knowledge के लिए ज्यादा neurons या storage space निश्चित रूप से मददगार हैं, लेकिन क्या यह creative intelligence के लिए भी सच है, यह अभी पता नहीं
यह एक गहराई से integrated design flaw है, जो दिखाता है कि हम असल में क्या कर रहे हैं: बहुत सारी human language की statistical modeling
इस रास्ते पर और data फेंक देने से यह जादुई ढंग से जागकर AGI नहीं बन जाएगा। यह समस्या गायब नहीं होने वाली
machine learning community को hype train से उतरना चाहिए। पहला कदम है अपने projects का मानवीकरण न करना
क्या यही humans और LLMs के बीच का फर्क नहीं है?
इंसान जानता है कि वह evidence-based अनुमान लगा रहा है, और अगर ऐसा है तो उसे यह कहना चाहिए। या वह जानता है कि वह creative रूप से बना रहा है और ऐसा कह सकता है
अगर उसे पता ही नहीं कि कौन-सा है, तो यह साफ हो जाता है कि LLM आखिरकार एक बहुत refined mechanical input-output device से बहुत ज्यादा अलग नहीं है
लगता है AI hype अब “हकीकत देखें” चरण में प्रवेश कर रहा है। alignment problem पर जोशीले लेख भी कुछ समय से नहीं देखे
अगर AGI चाहिए, तो LLM जवाब नहीं है। लगता है कई लोग इसे engineering problem मानते हैं और सोचते हैं कि LLM उन्हें वहां तक पहुंचा सकता है, लेकिन ऐसा नहीं हो सकता। क्योंकि यह engineering problem नहीं है
“hallucination को computable LLM और computable truth function के बीच mismatch के रूप में define किया जाता है” कहना बस inaccuracy या manipulation है
इसे hallucination कहना सिर्फ इस विचार को बढ़ावा देना है कि ये programs intelligent हैं
LLM को “एक probability model जो string में time t पर output को उससे पहले के सभी tokens पर condition करता है” के रूप में define किया गया है
यह definition इतनी व्यापक लगती है कि human intelligence को भी शामिल कर ले, और इसलिए निष्कर्ष humans पर भी समान रूप से लागू होना चाहिए
लेकिन human intelligence, LLM के विपरीत, केवल कभी सीखी गई information को recall करने तक सीमित नहीं है। हम logical reasoning भी कर सकते हैं, और LLM में भी यह क्षमता सुधरती दिखती है, लेकिन perfection से बहुत दूर है
एक और समस्या यह है कि information source के आधार पर, खासकर personal bias के आधार पर, हम reliability को बहुत अलग तरह से treat करते हैं। मेरे अनुभव में LLM user input के आधार पर जल्दी टूट जाते हैं और अपनी राय बदल लेते हैं, इसलिए मैं इसे बड़ा factor मानता हूं
इस परिभाषा के हिसाब से शीर्षक वाला वाक्य, यानी “hallucination अनिवार्य है”, गलत है—यह बहुत आसानी से साबित किया जा सकता है
LLM की input context length को 1 byte पर fixed कर दें। LLM को तब तक train करते रहें जब तक वह input “A” पर “yes” और बाकी सभी inputs पर “no” जवाब न देने लगे
truth-value function को इस तरह define करें कि input “A” का सही जवाब “yes” हो और बाकी सभी inputs का सही जवाब “no” हो
यह LLM साबित तौर पर कभी hallucinate नहीं करता। क्योंकि सभी संभव inputs के लिए यह पूरी तरह verify किया जा चुका है कि output truth-value function से match करता है
input context size और truth-value table की entries की संख्या को मनमाने ढंग से inductively बढ़ाने से कुछ नहीं रोकता, और किसी भी चरण में hallucination “अनिवार्य” नहीं बनती
यह स्वाभाविक है कि वह एक वाक्य का टुकड़ा लेखकों की सारी assumptions को समेट नहीं सकता। वे कुछ सहज रूप से स्पष्ट बात साबित करते हैं: arbitrary-length input और खास resource constraints वाले LLM—मसलन ऐसा LLM जो computation के लिए polynomial time तक इस्तेमाल कर सकता है और जिसका यह polynomial-time behavior provable होना चाहिए, ताकि training के दौरान गलती से ज्यादा समय न लग जाए—ऐसे constraints के बिना कुछ खास functions compute नहीं कर सकते
कुछ मामलों में यह proof P != NP मानकर चलता है। फिर वे argue करते हैं कि real-world के कुछ useful questions संभवतः उन classes में आते हैं जिन्हें LLM compute नहीं कर सकता। क्योंकि LLM से math problems पूछी जा सकती हैं, और math problems कभी-कभी बहुत कठिन होती हैं
यह formal model asymptotic है, यानी arbitrary-length input वगैरह मानता है, लेकिन मेरे अनुभव में इस तरह की theorems अक्सर reasonable query length वाली real-world problems पर भी सही बैठती हैं
लेकिन यह hallucination के अनिवार्य होने को साबित करने जैसा नहीं है। किसी reasonable definition में, चाहे LLM हो या इंसान, उसे “मुझे नहीं पता” कह पाने की अनुमति होनी चाहिए, और इसे hallucination नहीं माना जाना चाहिए। तब LLM hallucination से बच सकता है, और सवाल यह बन जाता है कि बिना hallucination के वह कितना useful काम कर सकता है
तब दावा tautology बनकर रह जाता है। hallucinate न करने के लिए train किया गया LLM hallucinate नहीं करता। कठिन हिस्सा असल में उसे ऐसा बनाना है
आपने सिर्फ base case किया है; न कोई induction hypothesis है, न induction step। हो सकता है आपने वह step अपने दिमाग में किया हो, लेकिन अगर ऐसा है तो proof उतना trivial नहीं है जितना दावा किया गया है
इसलिए language learning को real-world experience के साथ जोड़ना चाहिए। इन robots को explore करने के लिए एक दुनिया दें—चाहे virtual world ही क्यों न हो—और उसमें उन्हें consequences झेलने और survive करने दें
वरना यह सब experience से न जुड़े हुए, हवा में तैरते symbols और symbolic systems भर हैं
3–5 साल पहले तक मैं LLMs के बारे में ऐसा ही सोचता था। जब चीजें अस्पष्ट तरीके से एक-दूसरे से जुड़ी होती थीं, तो वह जवाब नहीं दे पाता था कि क्या गिरेगा; उस समय दावा यह था कि ऐसी बातों को समझने के लिए experience जरूरी है। लेकिन LLMs ने ऐसी problems बहुत पहले ही सुधार लीं
LLM जिस तरह questions को “solve” करता है, वह हमसे बहुत अलग है। अब यह साबित करने के लिए कि LLM को intelligence पाने के लिए real world में grounded होना पड़ेगा, शायद हमें real-world की कोई ऐसी phenomenon ढूंढनी होगी जो इतनी obvious हो कि किसी ने उसके बारे में लिखा ही न हो। लेकिन फिर क्या हम उसके बारे में पहले ही लिख नहीं देंगे?