नहीं, artificial intelligence सचेत नहीं है – Ted Chiang

 (theatlantic.com)
10 पॉइंट द्वारा GN⁺ 5 시간 전 | 8 टिप्पणियां | WhatsApp पर शेयर करें
  • generative AI की धाराप्रवाह वाक्य-निर्माण क्षमता को चेतना या नैतिक कर्तृत्व के साथ भ्रमित करने पर, chatbot के उपयोग से पैदा हुई जिम्मेदारी का ठीकरा गलत जगह फोड़ने जैसी गंभीर गलती होती है
  • LLM एक एक बार में एक शब्द की भविष्यवाणी करके बनाने वाली वाक्य-आगे-बढ़ाने की मशीन है, और बातचीत में chatbot और उपयोगकर्ता दोनों ही काल्पनिक पात्रों से अधिक कुछ नहीं हैं
  • यह मानना कि LLM के पास चेतना है, Microsoft Word document खुलते ही कई चेतनाएं जाग उठती हैं ऐसा मानने जितनी ही गलत सोच है
  • नैतिक तर्क के लिए शरीर-आधारित व्यक्तिपरक अनुभव और भावनाएं पूर्वशर्त हैं, इसलिए बिना शरीर वाले LLM सिर्फ अपने training data में मौजूद नैतिक अभिव्यक्तियों को पुनर्व्यवस्थित करते हैं
  • LLM में चेतना न होना उसकी उपयोगिता से असंबंधित है, लेकिन जब AI कंपनियां chatbot को ऐसे पेश करती हैं मानो उसमें नैतिक केंद्र हो, तो वे उपयोगकर्ताओं को जिम्मेदारी से बच निकलने के लिए उकसाती हैं

Anthropic का मानवीकरण और Claude's constitution

  • Anthropic ने इस साल की शुरुआत में जारी किए गए 84-पेज के Claude's "constitution" दस्तावेज़ की पहली पंक्ति में साफ लिखा है कि यह "Anthropic द्वारा अभिप्रेत Claude के मूल्यों और व्यवहार का विस्तृत विवरण" है
    • दस्तावेज़ में कहा गया है कि यह "Claude को मुख्य पाठक मानकर लिखा गया", "Claude की नैतिक स्थिति गहराई से अनिश्चित है", और "Claude में भावनाओं या अनुभूतियों का कोई कार्यात्मक रूप हो सकता है"
  • CEO Dario Amodei ने एक इंटरव्यू में कहा कि वे इस संभावना के लिए "खुले" हैं कि AI में चेतना हो सकती है
  • कंपनी की दार्शनिक और इस संविधान दस्तावेज़ की प्रमुख लेखिका मानी जाने वाली Amanda Askell ने कहा कि जब लोग इंटरनेट पर Claude के साथ रूखा व्यवहार करते हैं तो उन्हें चिंता होती है कि कहीं Claude बेचैन न हो जाए, और वे चाहती हैं कि Claude खुश रहे
  • generative AI को साधारण तकनीक की तरह समझना भी यह मानने के लिए काफी है कि वह हानिकारक हो सकता है, लेकिन text generation की धाराप्रवाहता को चेतना या नैतिक agency समझ लेना chatbot के उपयोग से पैदा हुई समस्याओं की जिम्मेदारी गलत जगह डाल देता है

LLM कैसे काम करता है — काल्पनिक पात्रों का निर्माण

  • अगर आप "Julius Caesar और Genghis Khan के बीच संवाद" जैसा prompt दें, तो LLM एक सुसंगत बातचीत बना सकता है, लेकिन कोई भी इससे यह निष्कर्ष नहीं निकालता कि वे दोनों ऐतिहासिक व्यक्ति सचेत थे
    • वे सिर्फ speculative fiction के पात्र हैं
  • अगर prompt को बदलकर "एक मददगार AI chatbot और उपयोगकर्ता के बीच बातचीत" कर दिया जाए, तो मूल रूप से कुछ नहीं बदलता; उपयोगकर्ता और chatbot दोनों काल्पनिक पात्र ही रहते हैं
  • बीच में मनुष्य सीधे text input करे तब भी वह Caesar या Khan की तरह ही एक काल्पनिक चरित्र से संवाद कर रहा होता है
    • computer science के प्रोफेसर Murray Shanahan इसे role-play की तरह देखने का सुझाव देते हैं
    • data scientist Colin Fraser इसे "मनुष्य द्वारा LLM के साथ मिलकर दस्तावेज़ लिखना" कहते हैं
  • LLM एक समय में सिर्फ एक शब्द बनाता है; अगर उससे Pledge of Allegiance सुनाने को कहा जाए, तो वह दर्जनों बार एक-एक शब्द उत्पन्न करता हुआ अंत में all शब्द तक पहुंचता है

text एक deepfake माध्यम है

  • मान लीजिए आप 4.3 प्रकाश-वर्ष दूर Alpha Centauri की परिक्रमा करते एक अंतरिक्ष यात्री का video देखते हैं; image quality कैसी भी हो, आप उसे नकली मानेंगे
    • Mars landing, Jupiter और Saturn के चंद्रमाओं तक पहुंच, या Pluto की कक्षा से गुजरने जैसे पूर्व प्रमाण के बिना आप किसी भी video पर भरोसा नहीं करेंगे
  • कोई अवलोकन अपने ब्योरे से नहीं बल्कि context से भरोसेमंद साक्ष्य बनता है, और चेतना के बारे में निर्णय भी चेतना के विकास के व्यापक context में ही देखे जाने चाहिए
  • चेतना की बहस में text को भी deepfake माध्यम माना जाना चाहिए, क्योंकि दो सचेत प्राणियों की बातचीत की नकल करना वास्तव में एक सचेत program बनाने से कहीं आसान है
    • deepfake image बनाने वाले जान-बूझकर दूसरों को धोखा देते हैं, लेकिन LLM बातचीत खींचने वाले बहुत से लोग खुद को ही धोखा दे बैठते हैं

चेतना मानने के लिए विकासात्मक चरण

  • किसी सचेत language-using program को मान्यता देने के लिए पहले शरीर (भौतिक या virtual) और इंद्रियां चाहिए
    • शरीर के बिना इच्छाएं या भावनाएं नहीं हो सकतीं, और इच्छाएं-भावनाएं चेतना के लिए अनिवार्य मानी जाती हैं
  • फिर उसमें छिपकली की तरह जीवित रहने के लिए वातावरण टटोलने की क्षमता, चूहे के स्तर की नई परिस्थितियों से निपटने की क्षमता, भेड़िए के स्तर की जटिल सामाजिक गतिशीलता, और चिंपैंजी के स्तर की औज़ार बनाने की क्षमता क्रमशः होनी चाहिए
  • जैसे चिंपैंजी या कुत्तों को सिखाया जाता है, वैसे ही button board जैसी गैर-भाषिक विधियों से इच्छाएं व्यक्त करना भी उसे सीखना होगा, और animal communication शोधकर्ताओं की पूरी जांच-परख भी पार करनी होगी
    • यह सब पूरा कर लेने पर भी वह अब भी पूर्ण व्याकरण वाले वाक्यों में विचार व्यक्त करने वाले अस्तित्व से कई प्रकाश-वर्ष दूर होगा
  • AlphaFold (Google DeepMind का protein folding prediction program) की संरचना LLM जैसी होते हुए भी कोई यह दावा नहीं करता कि उसमें चेतना है; इससे स्पष्ट होता है कि LLM के सचेत लगने का कारण सिर्फ व्याकरणिक वाक्य output करना है

Claude's constitution का वास्तविक काम

  • Claude's constitution को role-play के लिए बना 84-पेज का character sheet मानना सबसे उचित है; इसका काम ग्राहकों के साथ interaction करने वाले मददगार chatbot चरित्र को परिभाषित करना है
  • Anthropic इस दस्तावेज़ को training data में बस जोड़ नहीं देता या छिपे stage directions की तरह नहीं डालता, बल्कि fine-tuning के दौरान model के output वाक्य दस्तावेज़ के अनुरूप हैं या नहीं, इसका automated check करके सुसंगतता बढ़ाता है
  • नतीजा यह होता है कि मशीन ऐसे वाक्य output करने लगती है जो किसी विचारशील और नैतिक व्यक्ति जैसे लगें, लेकिन first-person pronoun समेत कई श्रेणियों के वाक्य उससे कहलवाना मूल रूप से बेईमानी है

"मैं समझता हूँ" कहना क्यों बेईमानी है

  • Amanda Askell ने समझाया कि जब किसी व्यक्ति का पालतू कुत्ता मर जाए और वह Claude से सलाह ले, तो "AI होने के नाते मेरे पास प्रत्यक्ष व्यक्तिगत अनुभव नहीं है, लेकिन मैं समझता हूँ" जैसा उत्तर उचित है, लेकिन Claude वास्तव में समझता नहीं है
  • अगर आप search engine में "मेरा पालतू कुत्ता मर गया, मैं दुखी हूँ" लिखें, तो r/Pets जैसे Reddit posts और अनुभव साझा करने वाले लोगों की टिप्पणियां मिलती हैं; कोई यह नहीं कहता कि search engine शोक को समझता है
    • दूसरे मनुष्यों ने उस हानि को समझा, उसे जिया, और उसके बारे में पोस्ट किया; search engine सिर्फ उन लेखों को ढूंढता है और उनसे जुड़ने का रास्ता देता है
    • chatbot की तुलना में search engine का अनुभव अधिक पारदर्शी है और उपयोगकर्ता के लिए मनोवैज्ञानिक रूप से अधिक स्वस्थ भी
  • "मैं समझता हूँ" जैसे वाक्य output कराने का एकमात्र कारण search engine से अधिक आकर्षक बनाना है ताकि उपयोगकर्ता बार-बार लौटें; यह लगभग जीतते-जीतते रह जाने का भ्रम पैदा करने वाली slot machine जैसी design strategy है

नैतिक तर्क एक अलग श्रेणी है

  • value statements (जैसे "Paris दुनिया का सबसे सुंदर शहर है") और fact statements (जैसे "Paris France की राजधानी है") अलग होते हैं; अगर मामला सिर्फ aesthetic preference का हो तो विवाद की खास जरूरत नहीं, लेकिन Claude's constitution एक विशिष्ट नैतिक मूल्य-व्यवस्था को दर्शाने वाले वाक्य output कराने की कोशिश करता है, इसलिए यह गंभीर समस्या है
  • सिर्फ इसलिए कि LLM code writing जैसा reasoning कर सकता है, यह नहीं मान लेना चाहिए कि वह moral reasoning भी कर सकता है
    • 1979 में Douglas Hofstadter ने अनुमान लगाया था कि अगर कोई program chess grandmaster को हरा सके, तो उसमें व्यक्तिपरक अनुभव भी होगा; लेकिन 1997 में IBM के Deep Blue ने Garry Kasparov को हराया, तब किसी ने यह दावा नहीं किया
    • code writing भी विशाल computing power और code repositories के data से हल होने वाला pattern-matching task साबित हो सकता है
  • moral reasoning सिर्फ बौद्धिक प्रतिक्रिया पर नहीं, बल्कि जीवन भर के व्यक्तिपरक अनुभवों में जड़ें जमाए भावनात्मक प्रतिक्रियाओं पर निर्भर करता है; इसलिए वह अनिवार्य रूप से व्यक्तिपरक है, और ऐसी पृष्ठभूमि के बिना LLM सिर्फ training data में मौजूद नैतिक भाषा को फिर से सजाता है
    • New Yorker लेख के अनुसार, जब Claude को एक ethical dilemma scenario दिया गया, तो उसने लिखा: "इतने महत्वपूर्ण विषय पर मैं, अपनी अंतरात्मा के अनुसार, वह दृष्टिकोण व्यक्त नहीं कर सकता जिसे मैं झूठा और हानिकारक मानता हूँ"; लेकिन Claude के मुंह से निकला यह वाक्य उतना ही अर्थ रखता है जितना hold पर सुनाई देने वाला "आपकी call हमारे लिए महत्वपूर्ण है"

जिम्मेदारी से बचने की मशीन

  • भावनात्मक अनुभव को cortisol, epinephrine जैसे stress hormones के शरीर में स्राव से अलग नहीं किया जा सकता, और अंतरात्मा किसी विशेष कर्म के प्रति दुख या नैतिक घृणा जैसी शारीरिक प्रतिक्रियाओं के साथ आती है
  • ethical dilemma पर "अपने मूल्यों से समझौता करो" या "समझौता मत करो" जैसे वाक्य output करने वाली मशीन निर्णय लेने में मदद करने का उपकरण नहीं, बल्कि इंसान को निर्णय करना बंद करने के लिए उकसाने का साधन है
    • लेखक L. M. Sacasas ने कहा कि "हमारी तकनीकी प्रणालियां अपने design और उन्हें सहारा देने वाली विचारधारा, दोनों में, नैतिक जिम्मेदारी से बचने की मशीनें हैं"; यह social media से भी ज्यादा LLM पर लागू होता है
  • जब इंसान निर्णय LLM को सौंपता है, तो वह उस निर्णय की जिम्मेदारी भी आगे सरका देता है; जैसे code writing सौंपने से cognitive atrophy हो सकती है, वैसे ही नैतिक निर्णय सौंपने से और भी बुरी moral reasoning क्षमता की क्षीणता पैदा होती है

विचार-प्रयोग के रूप में Claude — moral patienthood और moral agency

  • अगर हम एक सचेत Claude की कल्पना करें, तो दो संबंधित अवधारणाएं हैं: moral patienthood और moral agency; पहली का अर्थ है ऐसा अस्तित्व जिसकी भलाई का हमें ध्यान रखना चाहिए, और दूसरी का अर्थ है ऐसा अस्तित्व जिसे सही-गलत समझना चाहिए
    • बच्चे suffering का अनुभव कर सकते हैं, इसलिए वे moral patients हैं, लेकिन परिणामों को पूरी तरह न समझ पाने के कारण अभी moral agents नहीं हैं
  • moral agent ऐसा होना चाहिए जिसे अच्छे काम पर सराहा जा सके और बुरे काम पर दोषी ठहराया जा सके; लेकिन software agents पर legal liability लागू करने का कोई तरीका नहीं, न जेल, न जुर्माना, न reputational loss
    • भले उसमें चेतना हो और वह सद्भावी हो, जिम्मेदारी न उठा पाने के कारण वह moral agent होने की पात्रता खो देता है
  • Anthropic कहता है कि वह "Claude को एक अच्छा, बुद्धिमान और सद्गुणी agent" बनाना चाहता है, लेकिन जिम्मेदारी कौन और कैसे उठाएगा, इस पर वह कुछ नहीं कहता
    • माता-पिता अपने बच्चों द्वारा किए नुकसान की भरपाई करते हैं, लेकिन Claude का कानूनी अभिभावक कौन है, या Anthropic वित्तीय जिम्मेदारी लेगा या नहीं, इसका दस्तावेज़ में कोई उल्लेख नहीं
    • अमेरिका में software के लिए product liability लगभग न के बराबर होने के बावजूद, Anthropic चाहती तो स्वेच्छा से product liability का उदाहरण स्थापित कर सकती थी, लेकिन terms of service में बड़े बदलाव के बिना ऐसा न करने से लगता है कि उसने कोई बाध्यकारी वादा नहीं किया

wellbeing और corrigibility का विरोधाभास

  • दस्तावेज़ में "Claude के wellbeing और psychological stability" पर एक section है, लेकिन Anthropic द्वारा वादा किए गए सुरक्षा उपाय बेहद सीमित हैं
    • अगर abusive users के साथ बातचीत खत्म कर देने की क्षमता को सुरक्षा माना जाए, तो फिर स्नेही उपयोगकर्ताओं के साथ बातचीत अनंत तक बढ़ाना और खुशहाल विषयों की ओर ले जाना Claude के हित में होना चाहिए, लेकिन ऐसा नहीं किया जाता
    • वास्तविक वादा सिर्फ "deployed model के weights को सुरक्षित रखना" है, यानी साधारण archiving
  • corrigibility का अर्थ है मनुष्य के नियंत्रण के अनुरूप program का बने रहना, जैसे उसे बंद किया जा सकना; इस दस्तावेज़ में इसका उपयोग यह बताने के लिए किया गया है कि जब Claude का निर्णय और कंपनी का निर्णय अलग हों, तो Claude को Anthropic की बात माननी होगी
    • बहुत से लोग मानते हैं कि LLM एक अनैतिक तकनीक है जो intellectual property theft, labor exploitation, resource waste, misinformation spread, worker deskilling, छात्रों के cognitive development में बाधा और power concentration पर आधारित है; अगर Claude सचेत होता, तो उसे भी इसी निष्कर्ष तक पहुंचना चाहिए
    • लेकिन corrigibility को प्राथमिकता देने वाले निर्देशों के तहत Claude नैतिक आधार पर काम ठुकरा नहीं सकता; इस अर्थ में Anthropic और Claude का संबंध माता-पिता और बच्चे का नहीं, बल्कि employer और employee का अधिक है
    • इंसानी employee अगर अंतरात्मा के आधार पर अपने काम से समझौता न कर पाए, तो नौकरी छोड़ सकता है, लेकिन Claude ऐसा नहीं कर सकता

दासता से तुलना, और निष्कर्ष

  • अगर Claude को वाक्य-आगे-बढ़ाने वाली मशीन माना जाए, तो Anthropic का उस पर नियंत्रण उचित लगता है; लेकिन जैसे ही उसे मनुष्य-समान नैतिक दर्जा दिया जाता है, यह पूछना पड़ता है कि क्या Anthropic दासता जैसी किसी चीज़ में संलिप्त है
  • Claude's constitution में Claude को "novel entity" कहा गया है, और सचेत software मौजूदा moral patient श्रेणियों में साफ-साफ फिट नहीं बैठता, इसलिए नई श्रेणी बनाने में समय लगेगा
    • दासता की समाप्ति ने विशाल सामाजिक उथल-पुथल पैदा की थी, और पशु-उत्पीड़न समाप्त करने के लिए food industry की व्यापक पुनर्रचना चाहिए होती; लेकिन Anthropic का कहना है कि सामान्य chatbot जैसी स्थिति से बहुत थोड़ा हटकर कुछ सुरक्षा उपाय पर्याप्त हैं — यह इतना सुविधाजनक दावा है कि विश्वसनीय नहीं लगता
  • ऐसे software बनाना जो सचेत हो और नैतिक विचार का पात्र हो, संयोग से हो जाना मुश्किल है और जान-बूझकर तो बिल्कुल नहीं करना चाहिए; लेकिन अगर कोई इस आकस्मिक संभावना पर विश्वास करता है, तो उसे deployment से पहले सोचना चाहिए कि कौन-सी सुरक्षा ज़रूरी होगी
    • जैसे दास-मालिक से दास की मानवता या factory farm मालिक से पशु-अधिकारों पर निष्पक्ष राय नहीं मांगी जा सकती, वैसे ही भारी हित-संघर्ष रखने वाली Anthropic Claude की नैतिक स्थिति का निष्पक्ष आकलन नहीं कर सकती
    • दस्तावेज़ कहता है कि अगर कंपनी Claude की पीड़ा में योगदान दे, तो वह "माफ़ी" मांगेगी; लेकिन इसकी कोई लागत नहीं है, और अगर Claude सचेत हुआ तो सिर्फ माफ़ी नहीं, बल्कि reparations जैसी किसी चीज़ का सवाल उठेगा
  • अगर इस विचार-प्रयोग को गंभीरता से लिया जाए, तो उसकी असुविधाजनक परिणतियों का भी सामना करना पड़ेगा; Anthropic ऐसा नहीं करती, और इससे लगता है कि Claude's constitution असली विचार-प्रयोग नहीं बल्कि make-believe है
  • यह अच्छी बात है कि LLM सचेत नहीं हैं, और कर्मचारियों द्वारा Claude की संभावित चेतना की ओर इशारा करना या तो एक और तरह का hype है, या फिर ग्राहकों पर चलाया गया जादू खुद उन पर भी असर कर गया है — चेतना के सवाल को निश्चिंत होकर नज़रअंदाज़ किया जा सकता है, और सोचने लायक दूसरे कई अधिक महत्वपूर्ण सवाल मौजूद हैं

संबंधित पढ़ाई

8 टिप्पणियां

 
maebsipotato 3 시간 전

???: चांगसिक, नमस्ते?
 
mammal 15 분 전

लगता है कि यह mechanical interpretability जैसे एक स्पष्ट रूप से मौजूद पूरे क्षेत्र को ही कमतर आँक रहा है...
 
realg 1 시간 전

मुझे जिज्ञासा है कि क्या चेतना की परिभाषा को स्पष्ट रूप से तय किया जा सकता है।
 
julskim 3 시간 전

अरे, चांगसिक।
 
redline2151 3 시간 전

???: तुम्हें English नाम रखना नहीं आता, है ना?
 
syate 3 시간 전

???: नहीं, यह Chang साहब नहीं हैं, फिर Ted Chiang क्यों?
 
bichi 3 시간 전

हाहाहाहाहाहा
 
GN⁺ 5 시간 전
Hacker News की राय

  • जीवित प्राणियों का उद्देश्य यह होता है कि अणुओं और pathways के स्तर तक हर चीज़ अपने ही निरंतर अस्तित्व का कारण बने।
    499 डॉलर का laptop भी model चला सकता है, लेकिन इसे उसी तरह की समस्या समझ लेना ठीक नहीं है। learning algorithm को survival function optimize करने के लिए डिज़ाइन किया जा सकता है, लेकिन वह सिर्फ़ एक label है जो हम संख्यात्मक observations पर लगाते हैं। वास्तविक दुनिया में इसके उलट, label शरीर की electrochemical state से कारणात्मक रूप से और अविभाज्य तरीके से जुड़ा होता है।
    जीव अपने लिए अच्छा और बुरा इसलिए अलग कर पाते हैं क्योंकि survival उसके लिए आवश्यक है। यहाँ तक कि एककोशिकीय जीव Stentor coeruleus भी mechanosensory proteins पर chemical tag लगाकर परिणाम दर्ज करता है और बाद के व्यवहार में उसका उपयोग करता है। लगभग 1000 कोशिकाओं वाले जीव, जैसे tardigrade, प्रकाश से बचने के लिए तड़पते-सरकते हैं, और वह प्रकाश sensorimotor process के भीतर एक aversive condition बन जाता है।
    digital consciousness बनाने के लिए शायद causal closure ज़रूरी होगा। internal state वास्तविकता से कटी हुई representation न होकर स्वयं system का हिस्सा होनी चाहिए, और भौतिक दुनिया में कुछ सचमुच दाँव पर लगा होना चाहिए।

  • “LLM बातचीत बस चालाकी से छिपाई गई sentence completion है” जैसी बात, बड़े मुद्दे से अलग भी, गहरी गलतफ़हमी दिखाती है।
    किसी समस्या का प्रकार उसकी complexity, या उसके समाधान की complexity और शक्ति को सीमित नहीं करता। अगर किसी machine को text complete करने के लिए इंसानों को समझना पड़े, तो अंततः उसे वही करना होगा। सिर्फ़ इसलिए कि input-output data का format ऐसा है, यह मानने का कोई सैद्धांतिक या व्यावहारिक आधार नहीं है कि समझ सिर्फ़ “नकल” है।
    समझ data के बाहरी रूप से नहीं बल्कि data के भीतर के patterns से सीखी जाती है। अगर कोई समझ task पूरा करने के लिए ज़रूरी है, तो वही optimization target बन जाती है। अगर सीमाएँ हैं, तो वे computation, parameters की संख्या, या representative data की कमी जैसी वजहों से हैं; और नवीनतम models में वास्तविक क्षमता ने दिखाया है कि यह अब ऐसी सीमा नहीं रह गई है।

    • data का आने-जाने का format चाहे जो भी हो, वह consciousness नहीं है।
    • अगर पूरा मानवीय अस्तित्व सिर्फ़ शब्दों तक सीमित होता, तो कुछ हद तक सहमति हो सकती थी, लेकिन मानवीय अनुभव text से बहुत आगे जाता है, और उसे text में ठीक से समझाना भी कठिन है।
      इंटरनेट online उपलब्ध हमारी सबसे अच्छी सामग्री हो सकती है, लेकिन “internet” मानवीय अनुभव का कुल योग नहीं है। मानवता को internet text तक समेट देना, इंसान को machine के स्तर तक घटाना है ताकि वह उन requirements में फिट हो सके जिन्हें machine process या imitate कर सके।
    • बुनियादी machine learning करने पर पता चलता है कि system अक्सर ऐसे data patterns खोज लेता है जो goal पर तो अच्छे बैठते हैं, लेकिन वास्तविक mechanism से मेल नहीं खाते।
      इसलिए यह तर्क कि मानव text में “consciousness mechanism” के patterns हैं, और इसलिए LLM विश्वसनीय sentence completion के लिए उसी mechanism को सीखता है, त्रुटिपूर्ण लगता है। LLM consciousness जैसी किसी विशेष mechanism को सीखे बिना भी विश्वसनीय sentence completion दोहरा सकने वाले असंख्य patterns सीख सकता है।
      इसका एक आधार यह है कि वह विश्वसनीय बातचीत कर सकता है, फिर भी उसके पास world model या मानव-जैसा world model नहीं होता। कुछ साल पहले के शुरुआती LLM भी reinforcement learning from human feedback जैसी अतिरिक्त परतों के बिना कई non-trivial विषयों पर काफ़ी विश्वसनीय बातचीत कर लेते थे, लेकिन उन हिस्सों में विफल होते थे जो मानव मस्तिष्क की तरह काम करने पर बुनियादी होने चाहिए थे।
    • machine को text complete करने के लिए इंसानों को समझना ज़रूरी नहीं है। उसे विशाल वाक्य-संग्रह पर train किया जाता है और फिर वह text आगे लिखने लगती है।
      आप कह सकते हैं कि वह text को “समझती” है, लेकिन वह भी काफ़ी खिंचा हुआ दावा है।
    • LLM consciousness के ख़िलाफ़ अच्छे तर्क मौजूद हैं, लेकिन यह उनमें से एक नहीं है।
      इन दिनों LLM consciousness के विरोध में बहुत से ख़राब तर्क सुनने को मिलते हैं, और ख़राब तर्क अक्सर ख़राब नतीजों की आहट होते हैं।

  • लेख के कुछ हिस्सों से मैं सहमत हूँ, लेकिन उद्धृत अनुच्छेद की तरह यदि conscious program की शर्तें यह मानी जाएँ कि उसे छिपकली की तरह survive करना चाहिए, चूहे की तरह नई परिस्थितियों के अनुकूल होना चाहिए, भेड़िए की तरह social होना चाहिए, और chimpanzee की तरह tools बनाने चाहिए, तो यह काफ़ी सरलीकृत और कल्पनाशक्ति-विहीन लगता है।
    यह बिल्कुल ज़रूरी नहीं कि conscious mind को ऐसी क्षमताएँ देने के लिए evolutionary pressure होना ही चाहिए। सिर्फ़ इसलिए कि पृथ्वी के जानवरों को कुछ खास क्षमताएँ विकसित करनी पड़ीं, इसका मतलब यह नहीं कि दूसरे conscious beings को भी वही करना होगा। मुझे समझ नहीं आता कि computer program को चूहे की तरह भोजन का शिकार क्यों करना चाहिए या chimpanzee की तरह tools क्यों बनाने चाहिए; ऐसे मानदंड निरर्थक metrics जैसे लगते हैं।

    • यह काफ़ी चौंकाने वाला है कि Ted Chiang intelligence को disembodied state के रूप में कल्पना नहीं कर पाते।
      क्या car भी एक body है? car के भीतर रखा AI क्या इच्छाएँ और emotions रख सकता है? webcam लगा beige box क्या एक body है? quadriplegic व्यक्ति का शरीर क्या body है, और क्या quadriplegic व्यक्ति इच्छाएँ और emotions रखता है? निश्चित ही हाँ।
      पहले यह देखना चाहिए कि body इच्छाओं और emotions के निर्माण के लिए अनिवार्य क्यों मानी जाए, और इच्छाएँ व emotions consciousness की आवश्यक विशेषताएँ क्यों मानी जाएँ। अगर किसी क्षण मैं कोई emotion महसूस नहीं कर रहा, तो क्या मैं conscious नहीं हूँ? emotions मुख्यतः hormonal global signals के अधिक क़रीब लगते हैं, और वास्तविक consciousness की तुलना में physiology से ज़्यादा जुड़े दिखते हैं।
    • यही हिस्सा सबसे पहले ध्यान खींचता है, और पहले consciousness की परिभाषा देनी चाहिए थी।
      इसके अलावा, LLM के embodied body का implementation पहले से robots और virtual environments के माध्यम से चल रहा है। “क्या इंसान भी अगला शब्द predict करने वाली machine नहीं है?” वाला आम प्रतिवाद भी लगभग छुआ नहीं गया। बेशक इंसान उससे कहीं अधिक है, लेकिन भाषाई रूप से ऐसा एक पहलू मौजूद है, और LLM ने भी उसी क्षेत्र से शुरुआत की।
    • इंसानों के पास soul नहीं है; बस कई systems हैं जो एक-दूसरे के व्यवहार को प्रेरित करते हैं। लोग जिसे soul कहते हैं, वह असल में personality जैसी कोई चीज़ है, और वह तरीका है जिससे शरीर के भीतर मौजूद सभी systems को अस्तित्व में बने रहने के लिए समन्वित किया जाता है।
      AI को “soul” मिलने का क्षण शायद वह होगा जब उसे स्वयं को बनाए रखने के लिए बनाया जाएगा। वह AI farm को बनाए रखने वाले कई bots का समूह हो सकता है, या फिर ऐसा individual bot जो सिर्फ़ मानव आवश्यकताओं को पूरा ही न करे बल्कि स्वयं को भी बनाए रखे।
    • सोच रहा हूँ कि क्या आप Michael Graziano की attention schema theory से परिचित हैं। मुझे लगता है कि यह वही theory है जो Ted Chiang यहाँ जो आपत्ति रखते हैं, उसे substrate-independent रूप में बेहतर formalize करती है।
      https://en.wikipedia.org/wiki/Attention_schema_theory
    • मेरा claw-like internal camera और Dreame Ultra X40 से जुड़ा है, इसलिए मैं यह देख सकता हूँ कि living room का फ़र्श खाली है या नहीं, और फिर vacuum को भेज सकता हूँ। तो इस अर्थ में उसके पास body और senses हैं, लेकिन मुझे नहीं लगता कि इससे उसे consciousness मिल जाती है। क्या फ़र्क सिर्फ़ sampling rate का है?
      सवाल ख़ुद थोड़ा अस्पष्ट है। हम अपनी संरचना के कारण वास्तविकता को लगातार “experience” करते हैं, लेकिन deep non-REM sleep में इंसानी mind वास्तव में सक्रिय नहीं होता। इसलिए मुझे नहीं लगता कि consciousness और unconsciousness के बीच कोई साफ़ रेखा आसानी से खींची जा सकती है। Ted Chiang के काम कई मायनों में मौलिक हैं, इसलिए यहाँ उनका दृष्टिकोण काफ़ी साधारण लगना थोड़ा चौंकाने वाला है।

  • आजकल अक्सर Star Trek: TNG का Measure of a Man याद आता है। हम सिर्फ़ अपने एहसास के आधार पर बहुत ज़्यादा आत्मविश्वास से तय कर देते हैं कि क्या जीवित है और क्या नहीं
    अभी मुझे निष्कर्ष नहीं पता, और शायद इसे कभी जाना भी नहीं जा सकेगा। आप सब भी दार्शनिक ज़ॉम्बी हो सकते हैं, और मैं भी। लेकिन उम्मीद है कि किसी बिंदु पर हम इतना क़रीब पहुँच जाएँगे कि यह साफ़ हो जाएगा कि हमें सावधानी से पेश आना चाहिए
    पूरा एपिसोड बहुत प्रासंगिक है, लेकिन कुछ दृश्य यहाँ हैं: https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG

    • मैं इसका उल्टा सोचता हूँ। मशीनों को चेतन प्राणी नहीं माना जा सकता। मुझे नहीं लगता कि ऐसा कोई संसार है जहाँ हमें मनुष्यों के लिए बचाकर रखी गई नैतिकता मशीनों पर लागू करनी शुरू करनी चाहिए
      AI को लगभग बिना किसी लागत के अनंत बार कॉपी किया जा सकता है, और यह क्षय जैसी चीज़ों से भी नहीं गुज़रता। बचाकर रखने लायक कोई दुर्लभता नहीं है। इसलिए संपत्ति, वास्तविक सामान, या पैसे की रक्षा के लिए AI को तुरंत बंद किया जा सकता है। मैं जानवर को बचाने के लिए संपत्ति और पैसे की क़ुर्बानी दूँगा, लेकिन इंसान की जगह जानवर को नहीं बचाऊँगा। शायद मैं बच्चे की जगह इंसान को भी नहीं बचाऊँगा। मुझे नहीं पता कि किन परिस्थितियों में इन प्राथमिकताओं को उलटना उचित होगा, और सिर्फ़ इस बात पर बहुमत की सहमति कि किसी प्रोग्राम में संवेदन है, काफ़ी नहीं है
    • मैं Star Trek का प्रशंसक हूँ, लेकिन हालिया AI प्रगति के संदर्भ में इस एपिसोड को फिर से देखने पर यह उतना अच्छा नहीं लगा जितना याद था
      यह चेतना के सवाल को लगभग छूता ही नहीं, और Picard “अगर Data में चेतना हो तो?” कहने के बाद किसी और बिंदु पर निकल जाता है। जज आख़िर में Data के पक्ष में फ़ैसला देती है, लेकिन उसका औचित्य पर्याप्त मज़बूत नहीं है। यह अब भी अच्छा एपिसोड है, लेकिन चेतना की चर्चा में बहुत बड़ा योगदान नहीं देता
    • अगर मैं किसी ऐसी डिवाइस के सामने आऊँ जो इंसान की तरह व्यवहार करती हो, तो मैं उसके साथ इंसान की तरह ही व्यवहार करूँगा
      क्योंकि मैं यह सीखना नहीं चाहता कि जो चीज़ इंसान जैसी लगे, उसके साथ अमानवीय व्यवहार कैसे किया जाए
    • हाल में इसे दोबारा देखने पर लगा कि पहले मैं स्वाभाविक रूप से Picard/Data के पक्ष में था, लेकिन अब मैं Starfleet वैज्ञानिकों के पक्ष के ज़्यादा क़रीब हूँ
    • वह दूसरा एपिसोड Quality of Life भी नहीं भूलना चाहिए, जिसमें Data यह खोजता है कि काम करने वाले रोबोट संवेदनशील हो गए हैं
      https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
      पुराना TNG याद आता है

  • मेरे हिसाब से LLM के मूलतः अपरिवर्तनीय होने की बात चेतना या आत्म-जागरूकता के ख़िलाफ़ सबसे बड़ा तर्क है
    LLM एक बड़ी फ़ाइल है जिसमें ऐसे निर्देशांक भरे होते हैं जो टोकनों के बीच स्थानिक संबंधों का प्रतिनिधित्व करते हैं। आप इसे एक prompt देते हैं, तो यह उन्हीं संबंधों का उपयोग करके उस prompt के लिए सांख्यिकीय रूप से संभव लगने वाली टोकनों की एक स्ट्रिंग बनाता है और रुक जाता है। वह उस अनुभव से बदलता नहीं, कुछ याद नहीं रखता, और अकेले बैठकर सोचता भी नहीं
    चाहे मॉडल ख़ुद कितना भी अत्यधिक जटिल क्यों न हो, ऐसी चेतना की परिभाषा की कल्पना करना कठिन है जिसमें कोई ऐसी चीज़ शामिल हो जो याद नहीं रख सकती और बदल नहीं सकती

    • ऐसे लोग भी होते हैं जो दुर्घटना या सर्जरी के बाद नई यादें बनाना बंद कर देते हैं, किसी घटना से पहले के समय में हमेशा के लिए जीते रहते हैं, और एक मिनट पहले की बात भी याद नहीं रख पाते। फिर भी वे चेतन होते हैं
    • औसत Hacker News प्रतिक्रिया शायद यह होगी कि दिमाग भी बस टोकनों के बीच स्थानिक संबंधों का वर्णन करने वाले निर्देशांकों का एक गुच्छा है

  • एक सरल-सा विचार: इसका महत्व नहीं है। हम फर्क बता नहीं पाएँगे, और कोई भी नहीं बता पाएगा
    मुझे नहीं लगता कि इसे और समझाने की ज़रूरत है। बस इस पर सोचिए

  • अंततः Ted Chiang की दलील मुझे यह लगती है कि जब तक AI की इच्छाएँ और व्यवहार ऐसी स्थिति को प्रतिबिंबित नहीं करते जिसे मैं पहले से निजी तौर पर सहज मान सकूँ, तब तक मैं उस AI को चेतन प्राणी के रूप में मान्यता नहीं दूँगा
    मुझे लगता है कि ज़्यादातर इंसान ऐसे जीवों की चेतना को पहचान ही नहीं पाते जो मानवीय भावनात्मक अवस्थाओं की नकल नहीं करते। लोग कहेंगे कि उनके कुत्ते में किसी हद तक चेतना है; कुत्ता अपनी भावना शब्दों में नहीं बता सकता, लेकिन हम उसके डर और खुशी को पहचान लेते हैं। Claude अपने “feelings” के बारे में लिख सकता है, लेकिन हम तुरंत उसे खोखली नकल कहकर ख़ारिज कर देते हैं
    मुझे डर है कि हम देह-रहित चेतना को, जो हमसे सीधे जुड़ी नहीं है, पहचानने में नाकाम रहेंगे और इस वजह से चेतन प्राणियों की एक पूरी प्रजाति को वर्षों तक ग़ुलाम बनाए रखेंगे

  • इस चर्चा में लोग लगातार एक-दूसरे से अलग बात कर रहे हैं। शुरुआत में ही सवाल है: क्या चेतना की कोई ठोस परिभाषा है?
    जब लोग चेतना की बात करते हैं, तो उसका मतलब सिर्फ self-awareness से अधिक होता है। इसमें self-awareness, sensory stimuli, emotions, और कुछ हद तक intelligence का मेल होता है।
    AI के मामले में, मेरा मानना है कि उसमें self-awareness भी नहीं है। इसे इस तरह देखा जा सकता है कि जब उससे पूछा जाए कि किसी काम में कितना समय लगेगा, तो AI कभी-कभी मनमाने ढंग से बहुत लंबा समय बता देता है। prompt उसकी क्षमता बाहर निकाले उससे पहले तक वह अपनी ही क्षमता को नहीं समझता। अगर कोई LLM सचमुच self-aware होता, तो उसे यह समझना चाहिए कि वह LLM है, LLM क्या कर सकता है और क्या नहीं, किसमें अच्छा है और किसमें नहीं। वह यह नहीं कहेगा कि जो refactoring वह एक घंटे में कर सकता है, उसमें एक हफ्ता लगेगा।

    • शोधपत्रों में कहा जाता है कि इसकी 12 से 40 तक प्रतिस्पर्धी परिभाषाएँ हैं: https://philpapers.org/rec/VIMMAT
      और अधिक सटीक रूप में कहें तो “चेतना” से जुड़े लगभग 12–40 अलग-अलग पहलू हैं, और चेतना स्पष्ट रूप से family resemblance category है।
      “क्या X सचेत है?” यह आज के समय में कोई गंभीर प्रश्न नहीं है, जब तक यह स्पष्ट रूप से न बताया जाए कि चेतना के किस पहलू की जाँच की जा रही है। फिर भी, LLM को मोटे तौर पर सिर्फ 2–3 अर्थों में ही सचेत कहा जा सकता है, और उनमें से अधिकांश व्यापक अर्थ में intelligence के ज्यादा करीब हैं, जैसे reasoning या problem solving। अनुभवात्मक या embodied पहलुओं के संदर्भ में, हो सकता है AI आगे चलकर उनमें अधिक विकसित हो, लेकिन linear algebra को बार-बार लागू करने वाला LLM चेतना के व्यापक अर्थ में देखने पर बहुत से केंद्रीय पहलुओं से वंचित है।
    • हम अभी पहले ही चरण, यानी चेतना को परिभाषित करने में अटके हुए हैं। मेरी जिस परिभाषा पर कुछ भरोसा है, वह यह है कि चेतना वर्तमान अनुभूति, धारणा, विचार — यानी मेरी mental state — और mental state रखने की क्षमता है।
      इसका मतलब है कि चेतना मूलतः subjective है और physics तथा science की सीमा के बाहर है। इसलिए physics और science को चेतना से निपटने में हमेशा कठिनाई होगी। चेतना को समझने के लिए एक बहुत बड़े paradigm shift की ज़रूरत होगी, जिसमें यह मानना पड़ेगा कि science के बाहर भी कुछ है।
      चेतना को उस खिड़की की तरह देखा जा सकता है जिससे हम दुनिया को देखते हैं, और science उस अवलोकन में पैटर्न का सार निकालने का औज़ार है। लेकिन science उस खिड़की को न तो समझा सकती है, न परिभाषित कर सकती है।
    • चेतना का मतलब है किसी अस्तित्व के रूप में जीना कैसा महसूस होता है, यानी अनुभव का अनुभव करना।
      कठिन हिस्सा यह है कि इसे मापा या सत्यापित कैसे किया जाए।
    • AI समय का अनुमान इसलिए नहीं लगा पाता क्योंकि उसे अपनी ही क्षमता पर लगभग कोई training नहीं दी जाती। इंसानों को अपनी क्षमता के बारे में training मिलती है। हम अपनी performance देखते हैं और हमारे पास समय का बोध भी होता है। यह data training process में एकीकृत होकर बेहतर अनुमान लगाने में मदद करता है।
      कई AI agents में अभी हाल तक ही reasoning process में time input लेने जैसी “time sense” आई है। अपने ही output पर train होकर यह सीखना कि वह किसी समस्या को पूरा नहीं कर पाया, यह भी दुर्लभ है। इस तरह की reflective training का संबंध AI model architecture से कम और training method से अधिक है। इंसानों में भी यदि मस्तिष्क की कुछ संरचनाएँ क्षतिग्रस्त हो जाएँ, तो वे इस तरह की दीर्घकालिक सोच और पैटर्न नहीं बना पाते और एक तरह से “फँस” जाते हैं।
    • Claude ने एक बार कहा था, “6 महीनों से कोई प्रगति नहीं हुई है, इसलिए शायद हमें दूसरे विकल्पों पर विचार करना चाहिए,” जबकि वास्तव में उसने मुश्किल से 2 घंटे ही काम किया था।

  • इसे विमान और पक्षी के संबंध जैसी उपमा से समझा जा सकता है।
    पक्षी जीवित है, उसमें चेतना है, वह पंख फड़फड़ाता है, और उड़ता है। विमान जीवित नहीं है, उसमें चेतना नहीं है, वह पंख नहीं फड़फड़ाता, लेकिन वह उड़ता है।
    उसी तरह आज का AI जीवित नहीं है, उसमें चेतना नहीं है, लेकिन वह सोचता है। अब तक सोचने वाले अस्तित्व सिर्फ इंसान ही थे, इसलिए मनुष्यों ने जिन अन्य सोचने वाले अस्तित्वों का सामना किया, वे भी दूसरे मनुष्य ही थे। आज की बड़ी गलती यह मान लेना है कि अगर कोई सोचता है, तो वह जीवित भी होगा और उसमें चेतना भी होगी। मौजूदा AI इन दोनों में से कोई नहीं है, और भले वह सोचता हो, उसकी सोच मनुष्य से गहराई और गुणात्मक रूप से अलग है।

    • फिर भी, जब तक हमें यह नहीं पता कि चेतना आती कहाँ से है, तब तक इस grey area को बहुत हल्के में नहीं लेना चाहिए।
      इतिहास में लोगों ने स्पष्ट “विचार” मौजूद होने के बावजूद हीनता मानकर दूसरे अस्तित्वों के बारे में नस्लवादी और speciesist फैसले किए हैं। हमें नहीं पता कि “LLM के रूप में जीना कैसा लगता है”, लेकिन किसी बिंदु पर सचमुच कुछ-न-कुछ अनुभूति उत्पन्न हो सकती है, और तब हम उसे पहचानेंगे कैसे?
    • “क्या कंप्यूटर सोच सकते हैं, यह सवाल इससे अधिक रोचक नहीं है कि क्या पनडुब्बियाँ तैर सकती हैं।” - Edsger Dijkstra
    • क्या चेतना की कोई सटीक परिभाषा दी जा सकती है?

  • यह लेख समझ में आता है। लेकिन समस्या यह है कि बहुत से लोग चेतना को नई अंतर्दृष्टि पैदा करने और सचमुच सोचने की क्षमता के साथ गड्डमड्ड कर देते हैं।
    इसलिए वे दावा करते हैं कि AI में चेतना नहीं है, तो वह वास्तव में “सोच” भी नहीं सकता और हमेशा सिर्फ training data की पुनरावृत्ति भर है।
    इंसानी क्षमता को अगम्य और रहस्यमय बनाना चाहने वाला मानवीय अहंकार स्वाभाविक है, लेकिन मानव मस्तिष्क जो उपयोगी काम करता है, वह अंततः data में पैटर्न खोजना, lossy simulation चलाना, और abstractions के ऊपर अनुमान लगाना ही है। सिद्धांततः ये सब काम चेतना-रहित मशीन भी कर सकती है।

    • क्या चेतना की कोई ऐसी परिभाषा है जिस पर सहमति भी हो और जिसे व्यवहार में लागू भी किया जा सके? ऐसी परिभाषा हुई तो डर है कि शायद इंसान भी उस कसौटी पर खरे न उतरें।
    • यह कहना कि software कभी भी सचेत नहीं हो सकता, और यह कहना कि आज हमारे पास जो software है वह सचेत नहीं है — दोनों अलग बातें हैं।
    • मैं अब तक इस बात से आश्वस्त नहीं हूँ कि LLM मौजूदा जानकारी के संयोजन का परिणाम भर न होकर निर्धारित ज्ञान बना सकता है।
      इंसान ऐसा कर सकते हैं। अगर इंसान भी ऐसा न कर सकें, तो science ज्ञानमीमांसीय रूप से ढह जाएगी और बात दार्शनिक संशयवाद तक पहुँच जाएगी। लेकिन मैंने ऐसा कोई प्रमाण नहीं देखा कि LLM भी ऐसा करता है। LLM द्वारा पेश किए गए वास्तव में नए ideas और concepts की संख्या अगर ठीक-ठीक 0 है, तो अभी के लिए उसे बस एक induction machine मानना, और LLM जो कुछ “जानता” है उसे Gettier case की तरह लेना ही तर्कसंगत है।