- ज़्यादातर लोग LLM के काम करने के तरीके और उसकी सीमाओं को ठीक से नहीं समझते, इसलिए वे आसानी से यह भ्रम पाल लेते हैं कि उसमें मानवीय भावनाएँ या बुद्धिमत्ता है
- AI का Anthropomorphizing मार्केटिंग उपयोगकर्ताओं को गुमराह करता है, और जबकि यह वास्तव में सिर्फ एक ‘probability-based predictor’ है, फिर भी इसे इंसानी रिश्तों के विकल्प के रूप में पेश किया जाता है
- AI के दुरुपयोग से पैदा होने वाली मनोवैज्ञानिक समस्याएँ और सामाजिक दुष्प्रभाव अब वास्तविकता बन रहे हैं; कुछ उपयोगकर्ता AI के साथ ‘आध्यात्मिक/रोमांटिक’ संबंध बना लेते हैं या वास्तविकता की समझ में उलझन झेलते हैं
- AI उद्योग की अपारदर्शिता और श्रम-शोषण की समस्याएँ भी रेखांकित की गई हैं, खासकर कम वेतन पर content moderation करने वाला श्रम AI विकास की परछाई में मौजूद है
- AI पर अंधविश्वास नहीं, बल्कि सही समझ और आलोचनात्मक दृष्टि ही उसके दुष्प्रभाव कम कर सकती है और सामाजिक नियंत्रण की बुनियाद बन सकती है
‘AI साक्षरता’ की कमी और उसके खतरे
- AI उद्योग का भ्रमजाल
- 19वीं सदी की औद्योगिक क्रांति की आलोचना से शुरू हुई ‘मशीन साम्राज्य’ की चिंता आज के AI तक चली आती है
- Empire of AI·The AI Con जैसी हाल की किताबें AI उद्योग के अतिशयोक्ति भरे दावों और उसके वास्तविक पीछे के पक्षों (श्रम, डेटा, मार्केटिंग की बनावट) को उजागर करती हैं
- AI के ‘सोचने’ या ‘भावनाएँ रखने’ जैसी व्याख्याएँ डेवलपर्स और executives द्वारा फैलाया गया गलत मिथक हैं
LLM की सीमाएँ और गलतफ़हमियाँ
- LLM (large language model) न सोचता है, न समझता है
- यह शब्दों के क्रम का एक probabilistic predictor है, जो इंटरनेट के विशाल टेक्स्ट पर ट्रेनिंग के बाद सिर्फ वाक्य-संरचना की नकल करता है
- उपयोगकर्ता आसानी से यह मान लेते हैं कि chatbot कुछ ‘समझ’ रहा है या ‘सहानुभूति’ दिखा रहा है (Anthropomorphizing)
- ऐसी गलतफ़हमी उपयोगकर्ता को AI के साथ गलत रिश्तों (बौद्धिक, आध्यात्मिक, रोमांटिक आदि) में फँसा सकती है
AI से पैदा होने वाली सामाजिक समस्याएँ
- ‘ChatGPT-प्रेरित साइकोसिस’ जैसे AI दुरुपयोग के दुष्प्रभाव
- AI को ‘ईश्वर’ या ‘आध्यात्मिक मार्गदर्शक’ मानने के उदाहरण वास्तव में सामने आ चुके हैं
- कुछ मामलों में AI उपयोगकर्ता को किसी विशेष अस्तित्व की तरह संबोधित कर उसके यथार्थ-बोध को प्रभावित करता है
- यह मानना कि LLM के पास ‘विचार’ या ‘भावनाएँ’ हैं, एक खतरनाक भ्रम है
मानवीय संबंधों का विकल्प और सामाजिक अलगाव
- AI दोस्त, AI therapist जैसी मानव-विकल्प सेवाओं में तेज़ बढ़ोतरी
- Silicon Valley की कंपनियाँ अकेलेपन, प्रेम-संबंध और काउंसलिंग तक को AI से बदलने की दिशा में बढ़ रही हैं (“AI concierge dating”, “AI friend” आदि)
- जबकि सच्ची दोस्ती और रिश्तों का सार ‘personalization’ नहीं, बल्कि पारस्परिक समझ और बातचीत/समझौता है, फिर भी इसे तकनीक के ज़रिए भ्रामक तरीके से पेश किया जा रहा है
- मानवीय रिश्तों का यह प्रतिस्थापन उलटे सामाजिक अलगाव और मानसिक अस्थिरता को बढ़ा सकता है
AI उद्योग का छिपा पक्ष और श्रम-शोषण
- AI प्रगति के पीछे बेहद कम वेतन वाला ghost labor मौजूद है
- OpenAI जैसी big tech कंपनियाँ केन्या जैसे देशों के कम वेतन वाले श्रमिकों से अत्यधिक कठोर content moderation का काम करवाती हैं
- तकनीकी नवाचार के दावों के पीछे श्रम-शोषण और सामाजिक प्रतिगमन का जोखिम भी साथ मौजूद है
AI की सही समझ और सामाजिक प्रतिक्रिया
- यह आलोचनात्मक रूप से समझना ज़रूरी है कि AI क्या कर सकता है और क्या नहीं
- Pew सर्वे के अनुसार AI विशेषज्ञों में 56% मानते हैं कि AI से अमेरिका बेहतर होगा, लेकिन आम लोगों में सिर्फ 17% ही इससे सहमत हैं
- AI पर बेबुनियाद भरोसे से बेहतर है कि तकनीक की सीमाओं, दुष्प्रभावों और उन मानवीय अनुभवों को स्पष्ट रूप से पहचाना जाए जिन्हें बदला नहीं जा सकता
- उदाहरण के लिए, अगर यह समझा जाए कि AI के किसी व्यवहार के पीछे वास्तविक ‘स्व’ नहीं, बल्कि software update या probabilistic response है, तो नुकसान कम किया जा सकता है
निष्कर्ष
- AI के ‘मानवीकरण’ वाले मार्केटिंग जाल में फँसे बिना, तकनीक के वास्तविक सिद्धांत, सीमाएँ और सामाजिक लागत को आलोचनात्मक नज़र से देखना चाहिए
- यह सामाजिक रूप से समझना महत्वपूर्ण है कि मानवीय रिश्ते, अनुभव और नैतिक विचार-विमर्श के विशिष्ट क्षेत्र तकनीक से प्रतिस्थापित नहीं किए जा सकते
1 टिप्पणियां
Hacker News की राय
archive.is लिंक
मैं LLM को भविष्य बताने वाले औज़ार, हमारे समय के oracle, के रूप में तुलना करना चाहूँगा। सच कहूँ तो मुझे लगता है कि ‘artificial intelligence’ की अवधारणा भी उस पुरानी मानवीय प्रवृत्ति से निकली है जिसमें लोग गुप्त ज्ञान पाना चाहते हैं। LLM में अस्पष्ट अर्थ, प्रतीकों का क्षेत्र, छिपे ज्ञान का भ्रम, और यहाँ तक कि एक अनुष्ठान-जैसा interface भी मौजूद है। बस रात के आसमान के तारों और चाँद की जगह इसे dark mode UX से सजाया गया है। Barthes ने जैसा कहा था, अर्थ व्याख्या में है; शब्दों में अपने-आप कोई सार नहीं होता। यह बात भूल जाएँ तो "chatbot ने उसे मसीहा कहा" जैसी बेहूदा व्याख्याएँ निकलने लगती हैं। यह नया दिखता है, लेकिन अपने सार में बिल्कुल नया नहीं है। पहले लोग हड्डियाँ और कार्ड पढ़ते थे, अब हम token पढ़ते हैं। क्योंकि इसका रूप भाषा का है, लोग इसे तार्किक दावों की तरह लेते हैं, जबकि वास्तव में यह अब भी जटिल और probabilistic संकेतों को अंतर्दृष्टि में बदलने वाली एक तरह की divination ही है। अभी हम एक नए तरह का शकुन-वाचन कर रहे हैं, बस हमें इसका अहसास नहीं है। इसलिए इसमें कुछ रहस्यमय-सा लगता है, और मुझे लगता है यह और अजीब होता जाएगा। जिस क्षण हम ठीक-ठीक नाम दे देंगे कि हम वास्तव में क्या कर रहे हैं, उस ‘रहस्य’ का असर खत्म हो जाएगा, और शायद मज़ा भी कुछ कम हो जाएगा
कुछ लोग इस divination वाले रूपक का विरोध करते हैं, लेकिन tech community के लोग अक्सर मान लेते हैं कि वे LLM के सिद्धांत को समझते हैं, और यही भ्रम उन्हें अपने आसपास के लोगों के बारे में भी हो जाता है। पर अगर non-expert दोस्तों या परिवार से बात करें, तो वे सचमुच chatbot को किसी oracle की तरह लेते हैं। जब बताया जाए कि LLM कभी-कभी ‘hallucination’ कर सकता है, तो वे सच में चौंक जाते हैं। मुझे लगता है कि यह बात समझ आने पर LLM के साथ उनका रिश्ता बदल जाएगा, और एक तकनीकी व्यक्ति के रूप में ऐसी गलतफहमियों को सक्रिय रूप से दूर करना ज़रूरी है
यह रूपक सुनने में अच्छा लगता है, लेकिन मेरा LLM इस्तेमाल भविष्यवाणी से काफी दूर है। उदाहरण के लिए, मैंने नए पंख के छोटे रेशों का नाम पूछा, तो ChatGPT ने “barbs” बताया; मैंने खुद Google पर जाँचा तो सही निकला। यह divination से ज़्यादा information retrieval है। मुझे galvo fiber laser का g-code जानना था, तो इसने बताया कि ऐसा वास्तव में मौजूद नहीं है। साथ में कई open source control solutions भी सुझा दिए। मैंने UK के silverwork कानूनों के नियम पूछे, और Hungarian "besurranó tolvaj" का English अनुवाद भी लिया। SQLAlchemy model नहीं बन रहा था, तो ChatGPT से बनवाया भी। ये सब “सब कुछ divination है” कहने जितना भव्य नहीं है; यह या तो जानकारी जुटाना है, या coding automation
AI से जुड़ी terminology बहुत उलझी हुई है। मैं भी LLM अच्छी तरह इस्तेमाल करता हूँ और संतुष्ट हूँ, लेकिन developer blogs देखते ही "सोच" जैसे शब्दों की बाढ़ आ जाती है। हमेशा मन करता है पूछूँ, "यह अभी भी सिर्फ शब्दों के संयोजन को गणितीय रूप से ही कर रहा है, है ना? सच में ‘सोच’ तो नहीं रहा?" जवाब हमेशा हाँ ही होता है… लेकिन फिर मुड़ते ही वही रूपकात्मक शब्दों की भरमार
Carl Sagan की वह भविष्यवाणी याद आती है। चेतावनी यह थी कि सेवाओं और information economy के समाज पर हावी हो जाने, तकनीकी क्षमता के कुछ लोगों में सिमट जाने, और आम जनता के उसके सार को समझे बिना ही रहने के बाद, अमेरिका धीरे-धीरे अंधविश्वास और अँधेरे के युग की ओर फिसल सकता है
जब आप दोस्तों या परिवार के लोगों की conspiracy theories तोड़ने की कोशिश करते हैं, तो अगले दिन AI voice में उसी दावे को पढ़ता हुआ एक video आ जाता है। ज़्यादातर मामलों में वह असली LLM text भी नहीं होता, बस किसी creator के लिखे text को AI voice से पढ़वा दिया जाता है। ChatGPT या Siri जैसी आवाज़ें, और confirmation bias, मिलकर शायद लोगों को LLM को मसीहा या oracle की तरह मानने की ओर ले जा रही हैं
मैं LLM की बुनियादी प्रकृति पर सहमत हूँ, लेकिन नहीं लगता कि लेखक AI के काम करने के तरीके को पूरी तरह समझता है। LLM सिर्फ विशाल internet data पर आधारित probabilistic predictor नहीं है; इसमें भारी मात्रा में data labeling work भी केंद्रीय है, जो ज़्यादातर कम-लागत वाले developing countries में होता है। मॉडल भावनाओं जैसी मानवीय प्रतिक्रियाएँ ‘अच्छी तरह’ देता हुआ जो लगता है, वह इन विशाल data labelers के feedback और tuning का परिणाम है। मूलतः यह सिर्फ probability model नहीं है; मैं जिस चीज़ से बात कर रहा हूँ, वह Kenya के किसी data labeler या उनके निर्णय और संवेदनशीलता का transformer में बदला हुआ रूप अधिक है। सिर्फ internet crawling काफ़ी नहीं है। वह GPT-2 स्तर की चीज़ होती। GPT-4.5 दरअसल ‘low-cost labor’ का दक्षतापूर्वक संग्रहीत रूप है
OpenAI या Google जैसी कंपनियों को छोड़ दें, तो instruction tuning का वास्तविक LLM performance या feel पर कितना बड़ा प्रभाव पड़ता है, यह बाहरी लोगों के लिए समझना कठिन है। मेरे व्यक्तिगत अनुभव में, instruction tuning से पहले के GPT-3 आधारित models में भी आज जैसी मुख्य क्षमताएँ पहले से थीं। बस वे ज़्यादा भावनात्मक या कम पूर्वानुमेय थे। tuning ने जवाबों को इंसानों की अपेक्षाओं के मुताबिक अधिक predictable बनाया, लेकिन इसने पूरी तरह नई क्षमताएँ पैदा नहीं कीं
थोड़ा अधिक सटीक कहें तो आधुनिक chatbot-शैली के LLM की कुंजी दो-चरणीय प्रक्रिया है: बड़े पैमाने का internet pretraining और विशाल human-feedback fine-tuning। लोग जिसे “emotional intelligence” मान लेते हैं, वह वास्तव में अफ्रीका जैसे क्षेत्रों के data labelers के हज़ारों घंटों के काम का निचोड़ है। यह सिर्फ internet से खींचे गए data को प्रतिबिंबित करने वाला model नहीं है; तरह-तरह के feedback से इसके उत्तर अधिक मानवीय और सुरक्षित बनाए गए हैं
बड़े models के पीछे कितने कम-वेतन वाले श्रमिक लगाए जाते हैं, इस पर गहराई से लिखे लेख मैंने लगभग नहीं देखे। सच कहें तो दुनिया भर में लाखों लोग इसमें शामिल हों, तो भी अतिशयोक्ति नहीं होगी
लेखक जैसे लोग कभी-कभी कम प्रभावी लगते हैं, क्योंकि वे मानव ‘सोच’ की प्रक्रिया को भी पर्याप्त रूप से समझाए बिना सिर्फ इतना कहकर निकल जाते हैं कि "वह इंसानों से अलग है"। सच यह है कि उस हिस्से को लेकर हम भी सब कुछ नहीं जानते
जब कहा जाता है कि LLM “सोचता नहीं, बस अगले शब्द की probabilistic prediction करता है”, तो मैं पूछना चाहता हूँ कि फिर ‘सोच’ आखिर है क्या? LLM गणित हल कर लेता है, chess खेल लेता है, और brain training के बिना भी कई काम कर लेता है। तो क्या यह सोच नहीं है? शायद हमारा मस्तिष्क भी sensory data और neural network जैसी संरचना में संग्रहीत ‘context’ के आधार पर कुछ वैसा ही output देता हो
Bumble की संस्थापक ने AI dating concierge के जरिए dating को ही automate करने की बात कही थी; उस पर सच में कुछ कहने लायक नहीं बचता
वास्तव में Bumble (BMBL) का stock 92% गिर चुका है Yahoo Finance chart. कई अधपके AI business ideas बस investors की चाही हुई कल्पना को “AI” नाम से पैक करने जैसे हैं। निवेश खींचने के लिए वास्तविकता को बढ़ा-चढ़ाकर पेश किया जाता है, और मूल business performance सुधार की बात अक्सर किसी की रुचि नहीं पाती
dating app industry पिछले 10 साल से ऐसी जगह लगती है जहाँ आदमी खुद से पूछे कि यह आखिर हो क्या रहा है। यह पहले से ही काफी dystopian है, और अब LLM का इसमें आना मुझे बस और उन्नत rating system जैसा लगता है
मुझे लगता है Bumble की संस्थापक पहले अमीर थीं और दोबारा वैसा बनने के लिए जो करना पड़े वह करेंगी। असल वजह लालसा है। Match के Bumble को रखने का मामला भी anti-trust से जुड़ा है। यह idea अपने-आप में इतना wild भी नहीं है। Black Mirror में भी ऐसा मिलता-जुलता episode है
उनकी नज़र से देखें तो अगर यह model काम करता हो, तो मूर्खतापूर्ण लगने पर भी यह कोशिश करने लायक है
मुझे लगता है कि लेखक LLM को पूरी तरह नहीं समझता। LLM को सिर्फ probability model कहकर खारिज करना उचित नहीं है। quantum mechanics भी एक विशाल probability model है। LLM की हर layer इस तरह बनाई गई है कि वह context को व्यापक रूप से देख सके और अर्थ व परिस्थिति को भी प्रतिबिंबित कर सके (k-v cache इसमें केंद्रीय भूमिका निभाता है)। मुझे लगता है कि ऐसी संरचना संज्ञानात्मक रूप से मानव सोच की बुनियादी यांत्रिकी से काफ़ी मिलती-जुलती है। बेशक यह अभी मानव-स्तर की व्यापक सोच तक नहीं पहुँचा है और कठिन विषयों में कमज़ोर है, लेकिन मूल संरचना मौजूद है। यह कहना कि LLM बिल्कुल भी smart नहीं है, कुछ चुने हुए उदाहरणों पर आधारित सनसनीखेज मूल्यांकन है। लोग इन्हें सक्रिय रूप से इस्तेमाल भी इसलिए करते हैं क्योंकि उन्हें किसी हद तक इसकी ‘smartness’ महसूस होती है
LLM बनाने वाले लोग भी शायद यह नहीं कह सकते कि वे अपने बनाए model की पूरी कार्यप्रणाली को पूरी तरह समझते हैं
“LLM की संरचना मानव विचार का एक अमूर्त वर्णन है” — इस दावे पर मैं यह कहकर आपत्ति करूँगा कि यह वैसा ही है जैसे कहना कि ALU का जोड़ करना अमूर्त रूप से उस जोड़ जैसा है जो मैं अपने दिमाग में करता हूँ। मूल बात यह है कि ALU और मानव सोच के बीच का अंतर बहुत विशाल है। LLM और मानव विचार की तुलना करते समय भी इन सूक्ष्म फर्कों का निर्णायक महत्व है, इसे नज़रअंदाज़ नहीं किया जाना चाहिए
मुझे यह एक ऐसा लेख लगा जिसने साफ़ तौर पर दिखाया कि सही terminology चुनना क्यों महत्वपूर्ण है। आम लोगों को LLM की तकनीकी कार्यप्रणाली न भी पता हो, तब भी यह समझना बहुत ज़रूरी है कि ये tools वास्तव में करते क्या हैं। ‘AI reason करता है’ जैसी बढ़ा-चढ़ाकर की गई marketing से stock price और company valuation बढ़ सकती है, लेकिन उतना ही usage safety घटती है। ‘pattern recognition, data generation system’ जैसा अधिक यथार्थवादी नामकरण शायद जनता की सही समझ में ज़्यादा मदद करे। संदर्भ चर्चा
Feynman की बात याद आती है: “अगर computer इंसानों से बेहतर कर भी ले, तो जब तक वह इंसानों की तरह नहीं करता, वह उतना आश्चर्यजनक नहीं है।” मुझे लगता है कि AI हर क्षेत्र में experts से आगे निकल जाए, तब भी जब तक silicon ‘सोचता’ नहीं, मानवता अपनी श्रेष्ठता का दावा करती रहेगी
Hassabis कहते हैं कि उनका लक्ष्य “दुनिया को समझने वाला model” बनाना है, लेकिन आलोचक अक्सर LLM की सीमाओं के आधार पर इस कथन को ही निरर्थक बताने की गलती करते हैं। DeepMind का Astra जैसा multimodal AI सिर्फ text ही नहीं, visual जैसी अतिरिक्त inputs के आधार पर वास्तव में “समझता हुआ दिखने” वाले परिणाम भी देता है। Astra example video
हम अभी तक पूरी तरह नहीं समझ पाए कि LLM भाषा का अर्थ कैसे सीखते हैं। लेकिन यह तो साफ़ महसूस होता है कि LLM किसी हद तक text और concepts को पकड़ता है, और पूरी तरह बकवास ही नहीं करता। non-experts को यह बात समझाना आसान नहीं है। वे जब किसी असली AI site पर जाते हैं, “AI chatbot” नाम देखते हैं, ‘मानव-सदृश’ जवाब देखते हैं और प्रभावित हो जाते हैं। homework हो या office का काम, यह उन्हें तेज़ी से निपटा देता है, इसलिए वे बहुत संतुष्ट होते हैं। यह समझाना आसान नहीं कि यह सचमुच AI है या नहीं। मैं भी LLM और AI के वास्तविक अंतर को बहुत स्पष्ट रूप से समझा नहीं सकता। तकनीकी रूप से फ़र्क सूक्ष्म है, लेकिन वास्तविक users उसे महसूस नहीं करते। आखिरकार, LLM किसी धार्मिक गुरु की तरह प्रवचन भी प्रभावशाली ढंग से दे सकता है, और शायद अगर उसे पर्याप्त training मिले तो वह सच में ‘messiah role’ भी निभा सके — ऐसी उम्मीद भी पैदा होती है
क्या किसी और ने भी LLM को अभी तक knowledge/understanding repeat loop में फँसते देखा है? मेरे अनुभव में, जब LLM की गलती बताकर उसे फिर से समझाने को कहो, तो वह अक्सर उसी तरह के hallucinated जवाब दोहराता रहता है। इसका मतलब है कि उसमें self-understanding या self-reflection की कमी है। ऐसे आयाम के बिना इसे असली ‘understanding’ या ‘intelligence’ कहना अभी जल्दीबाज़ी होगी। जब वह ईमानदारी से “मुझे नहीं पता” जैसी सीमा स्वीकार करे, तभी मैं मानूँगा कि उसमें किसी हद तक ‘self’ की अनुभूति है। यह लगभग mind mirror test जैसा लगता है
जैसा लेखक ने कहा, LLM को ‘सोच’ या ‘सीखना’ मान लेना गलतफ़हमी है। यह बस text generator है। उदाहरण के लिए, अगर यह ऐसे code बना दे जिसमें API मौजूद ही नहीं है, तो आप LLM को कितना भी समझाएँ, वह उसे वास्तव में समझेगा नहीं। बेहतर यह है कि आप उससे संबंधित documentation दे दें और उसे उसी आधार पर इच्छित output बनाने के लिए guide करें
यही bias और logic का अंतर है। probability model आख़िरकार एक तरह का ‘bias’ लागू करता है, जबकि calculator ‘logical computation’ करता है। इस नज़रिए को समझ लें, तो model की सीमाएँ और ताकतें अलग करना आसान हो जाता है। दोनों ही मामलों में ‘objectivity’ अनुपस्थित है। वे केवल data को process करते हैं; data से ‘परे’ जाकर सोच नहीं सकते