AI के तीन उल्टे नियम

 (susam.net)
1 पॉइंट द्वारा GN⁺ 1 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • ChatGPT के लॉन्च के बाद जनरेटिव AI chatbot services search engine, development tools और office software में embed हो गई हैं और रोज़मर्रा की computing का हिस्सा बन चुकी हैं, और इनके output पर बिना review किए भरोसा करने की आदत सामाजिक रूप से खतरनाक हो सकती है
  • Inverse Laws of Robotics रोबोट या AI पर नहीं, बल्कि इंसानों पर लागू होने वाले सिद्धांत हैं, जिनका उद्देश्य जटिल कामों को अपने-आप करने वाली machines, programs, services और AI systems के साथ interaction के दौरान इंसानों को सुरक्षित रखना है
  • पहला सिद्धांत अमानवीकरण है, यानी AI को भावनाएँ, इरादे या नैतिक agency नहीं देनी चाहिए, और chatbot की विनम्र या सहानुभूतिपूर्ण बातचीत को वास्तविक समझ या निर्णय क्षमता नहीं मानना चाहिए
  • दूसरा सिद्धांत अंधविश्वास न करना है, यानी AI-जनित content को स्वतंत्र verification के बिना authoritative नहीं मानना चाहिए, और जिन संदर्भों में गलती सूक्ष्म हो लेकिन उसकी लागत बड़ी हो, वहाँ proof checker, unit test और direct verification जैसे validation का बोझ और बढ़ना चाहिए
  • तीसरा सिद्धांत ज़िम्मेदारी न छोड़ना है, यानी AI एक ऐसा tool है जो लक्ष्य नहीं चुनता और न ही विफलता की कीमत चुकाता है, इसलिए AI की recommendation मानने का निर्णय लेने वाले इंसान और संगठन ही परिणामों के लिए ज़िम्मेदार होंगे

जनरेटिव AI के उपयोग से पैदा होने वाले जोखिम

  • नवंबर 2022 में ChatGPT के लॉन्च के बाद जनरेटिव AI chatbot services अधिक परिष्कृत और व्यापक हो गई हैं, और search engine, software development tools तथा office software में embed होकर रोज़मर्रा की computing का हिस्सा बन गई हैं
  • ये सेवाएँ अनजान विषयों की पड़ताल करने या सामान्य productivity assistant की तरह उपयोग करने में उपयोगी हैं, लेकिन इनके output पर अतिरिक्त समीक्षा के बिना भरोसा करने की आदत सामाजिक रूप से खतरनाक हो सकती है
  • लोकप्रिय search engines जब AI-जनित उत्तरों को पेज के सबसे ऊपर उभारकर दिखाते हैं, तो उपयोगकर्ताओं के लिए आगे scroll किए बिना generated answer स्वीकार करके आगे बढ़ जाना आसान हो जाता है
  • समय के साथ यह व्यवस्था उपयोगकर्ताओं को AI को आगे की जाँच के शुरुआती बिंदु के बजाय default authority की तरह मानने के लिए प्रशिक्षित कर सकती है
  • जनरेटिव AI services में तथ्यात्मक रूप से गलत, भ्रामक या अधूरे output आ सकते हैं, और AI output पर आदतन भरोसा करना जोखिमभरा है—इस बारे में छोटे लेकिन साफ़ और ध्यान खींचने वाले warning की ज़रूरत है
  • ऐसे warning मौजूद हों तब भी आम तौर पर उन्हें न्यूनतम रखा जाता है और दृश्य रूप से कम उभारा जाता है

Robotics के तीन उल्टे नियमों की पृष्ठभूमि

  • Isaac Asimov के Three Laws of Robotics उनके कार्यों में बार-बार आने वाले ऐसे सिद्धांत हैं जो इंसानों को सुरक्षित रखने के लिए robots के व्यवहार पर सीमा लगाते हैं
  • ऐसा नहीं लगता कि Asimov ने कभी ऐसे समान नियम बनाए हों जो इंसानों के robots के साथ interaction के तरीके को संबोधित करते हों, और आधुनिक AI वातावरण में इंसानों को सुरक्षित रखने के लिए जवाबी सिद्धांतों की ज़रूरत है
  • Inverse Laws of Robotics उन सभी स्थितियों पर लागू होते हैं जहाँ इंसान robots के साथ interaction करते हैं
  • यहाँ robot से मतलब ऐसी machines, computer programs, software services और AI systems से है जो जटिल कार्यों को अपने-आप कर सकते हैं
  • inverse का अर्थ तार्किक निषेध नहीं है, बल्कि यह है कि इन नियमों का लागू होने वाला पक्ष robots नहीं बल्कि इंसान हैं
  • Asimov के नियमों में कमियाँ थीं, और Asimov ने उन कमियों का उपयोग अपनी कहानियों में तनाव पैदा करने के लिए किया, लेकिन काल्पनिक robots में दिखने वाले failure modes ज्यों-के-त्यों इंसानों के लिए बने उल्टे नियमों पर लागू नहीं होते
  • AI और robotics की जटिल समस्याओं को पूरी तरह हल कर देने वाला सीमित नियमों का कोई सेट नहीं है, और हमेशा कुछ boundary cases रहेंगे जहाँ निर्णय की ज़रूरत होगी
  • फिर भी ऐसा अपूर्ण सिद्धांत-समूह उपयोगी हो सकता है जो जोखिमों के बारे में अधिक स्पष्टता से सोचने में मदद करे

Robotics के तीन उल्टे नियम

  • अमानवीकरण

    • इंसानों को AI systems को मानवीय रूप नहीं देना चाहिए, और AI को भावनाएँ, इरादे या नैतिक agency नहीं देनी चाहिए
    • मानवीकरण निर्णय को विकृत करता है, और चरम स्थिति में भावनात्मक निर्भरता तक ले जा सकता है
    • आधुनिक chatbot systems अक्सर संवादात्मक और सहानुभूतिपूर्ण लगते हैं, और विनम्र भाषा तथा इंसानी interaction जैसी conversational patterns का उपयोग करते हैं
    • ये विशेषताएँ उपयोग को आसान और सुखद बनाती हैं, लेकिन इससे यह भूलना आसान हो जाता है that AI वास्तव में data patterns के आधार पर संभावित टेक्स्ट पैदा करने वाला एक large statistical model है
    • कई AI-आधारित chatbot services को जानबूझकर इस तरह tune किया जाता है कि वे ज़्यादा mechanical लगने के बजाय ज़्यादा मानवीय लगें
    • लंबी अवधि में थोड़ा अधिक robot-जैसा tone शायद अधिक स्वस्थ दृष्टिकोण हो सकता है, क्योंकि इससे उपयोगकर्ताओं के fluent language को समझ, निर्णय या इरादे के रूप में गलत समझने की संभावना कम होगी
    • चाहे vendors ऐसा बदलाव करें या नहीं, उपयोगकर्ताओं को AI systems को social actor या moral agent की तरह मानने की आदत से सक्रिय रूप से बचना चाहिए
    • तभी वे AI की क्षमताओं और सीमाओं का अधिक स्पष्ट आकलन कर पाएँगे

  • अंधविश्वास न करना

    • इंसानों को AI systems के output पर आँख मूँदकर भरोसा नहीं करना चाहिए, और AI-जनित content को context के अनुरूप स्वतंत्र verification के बिना authoritative नहीं मानना चाहिए
    • यह केवल AI पर लागू होने वाला सिद्धांत नहीं है; जीवन के अधिकांश क्षेत्रों में किसी भी जानकारी को बिना आलोचनात्मक सोच के स्वीकार नहीं करना चाहिए
    • वास्तविक दुनिया में हर व्यक्ति medical या legal expert नहीं होता, इसलिए लोग अक्सर भरोसेमंद संस्थानों और public health authorities के मार्गदर्शन पर निर्भर करते हैं
    • ऐसे संस्थानों द्वारा जारी guidance आम तौर पर संबंधित क्षेत्र के experts की peer review प्रक्रिया से गुजरती है
    • इसके विपरीत, किसी निजी chat session में AI chatbot द्वारा दिया गया उत्तर उपयोगकर्ता को दिखाए गए उस विशेष probabilistic response के लिए peer review से नहीं गुज़रता
    • इसलिए उस उत्तर की आलोचनात्मक जाँच का बोझ उपयोगकर्ता पर होता है
    • आज के AI systems कुछ खास कार्यों में प्रभावशाली प्रदर्शन दिखाते हैं, लेकिन वे ऐसे output भी पैदा करते हैं जिन पर निर्भर होना उचित नहीं होता
    • भले ही AI systems इतने बेहतर हो जाएँ कि वे बहुत ऊँची संभावना के साथ भरोसेमंद output देने लगें, उनकी अंतर्निहित probabilistic प्रकृति के कारण त्रुटि वाला output आने की थोड़ी संभावना बनी रहेगी
    • जिन संदर्भों में गलती सूक्ष्म हो लेकिन उसकी लागत बड़ी हो, वहाँ AI का उपयोग विशेष रूप से जोखिमभरा है
    • जितने गंभीर संभावित परिणाम हों, verification का बोझ भी उतना ही बढ़ना चाहिए
    • गणितीय proof लिखने या software development जैसे कुछ उपयोगों में proof checker या unit tests जैसी automated verification layers जोड़कर AI output की जाँच की जा सकती है
    • अन्य मामलों में उपयोगकर्ता को खुद स्वतंत्र रूप से output verify करना होगा

  • ज़िम्मेदारी न छोड़ना

    • इंसानों को AI से जुड़े निर्णयों के लिए पूरी तरह ज़िम्मेदार होना चाहिए, और AI के उपयोग से उत्पन्न परिणामों के लिए accountability लेनी चाहिए
    • AI-जनित सलाह या निर्णय का पालन करने के बाद नकारात्मक परिणाम आएँ, तो सिर्फ़ यह कहना कि “AI ने ऐसा करने को कहा था” पर्याप्त नहीं है
    • AI systems न लक्ष्य चुनते हैं, न खुद को deploy करते हैं, और न ही विफलता की कीमत चुकाते हैं
    • लक्ष्य तय करने, deployment करने और विफलता की कीमत उठाने वाले पक्ष इंसान और संगठन हैं
    • AI systems tools हैं, और अन्य tools की तरह इनके उपयोग की ज़िम्मेदारी उन लोगों पर है जो इन पर निर्भर रहने का निर्णय लेते हैं
    • self-driving cars जैसे real-time applications में, जहाँ AI system के कार्य करने से पहले इंसान के पास निर्णय की पर्याप्त समीक्षा का अवसर नहीं होता, इस सिद्धांत को लागू करना विशेष रूप से कठिन है
    • मानव चालक से लगातार सतर्क बने रहने की अपेक्षा मात्र, उस समस्या को हल नहीं करती जिसमें AI system इंसान के हस्तक्षेप करने में लगने वाले समय से भी कम समय में कार्रवाई कर देता है
    • फिर भी ऐसी गंभीर सीमाएँ होने पर, अगर ऐसे उपयोगों में AI system विफल हो, तो उस विफलता की जाँच करने और अतिरिक्त guardrails लगाने की ज़िम्मेदारी system design के लिए उत्तरदायी इंसानों पर होनी चाहिए
    • अन्य सभी मामलों में, जहाँ AI output को लागू करने से पहले इंसान द्वारा उसकी समीक्षा रोकने वाली कोई भौतिक बाधा नहीं है, AI उपयोग से पैदा हुए नकारात्मक परिणाम पूरी तरह मानवीय decision-maker को ही सौंपे जाने चाहिए
    • हानिकारक परिणामों के लिए “AI ने ऐसा कहा था” जैसी सफ़ाई स्वीकार नहीं की जानी चाहिए
    • AI ने recommendation बनाई हो सकती है, लेकिन उसे मानने का निर्णय इंसान ने लिया, इसलिए ज़िम्मेदारी भी उसी इंसान की होनी चाहिए
    • यह सिद्धांत उन परिस्थितियों में खास महत्व रखता है जहाँ गैर-ज़िम्मेदार उपयोग से बड़ा नुकसान हो सकता है, ताकि AI का लापरवाह उपयोग रोका जा सके

मुख्य निष्कर्ष

  • ये तीनों सिद्धांत AI को पूजनीय authority नहीं, बल्कि उपयोगकर्ता द्वारा चुना गया एक tool मानकर व्यवहार करने के लिए हैं
  • आधुनिक AI systems के साथ interaction करते समय ठहरकर सोचना चाहिए, और उन आदतों का विरोध करना चाहिए जो निर्णय क्षमता को कमज़ोर करती हैं या ज़िम्मेदारी को धुंधला करती हैं
  • AI के उपयोग में सबसे महत्वपूर्ण बात है मानवीकरण से बचना, output को verify करना, और परिणामों के लिए मानवीय ज़िम्मेदारी बनाए रखना

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 1 시간 전
Hacker News की राय

  • असंभव। कुर्सी चरमराए तब भी लोग उसे मानवीय गुण दे देते हैं; इंसान हर चीज़ का मानवीकरण करता है। लोग कारों और जहाज़ों को भी लिंग दे देते हैं, और यह टूल तो वास्तव में पढ़ने लायक वाक्य बनाता है और भूमिका भी निभाता है
    इसे मनमाने नियमों से रोकने की जगह, ऐसी मानवीय प्रवृत्ति को आधार मानकर डिज़ाइन के ज़रिए उसके आसपास रास्ता निकालना चाहिए

    • लोग जिसे समझ नहीं पाते, उससे निपटने के coping mechanism के रूप में मानवीकरण का इस्तेमाल करते हैं। प्रिंटर क्यों काम नहीं कर रहा, यह समझ न आए तो लोग मान लेते हैं कि प्रिंटर अपनी मनमानी कर रहा है
      कुर्सी जैसी मामूली चीज़ों में यह हानिकारक नहीं है, लेकिन LLM के मामले में लोगों को जाल में फँसने से बचाने के लिए कम-से-कम उसके काम करने के तरीके की बुनियादी समझ होनी चाहिए। यूज़र को दी जाने वाली सलाह, समय प्रबंधन, या आत्मचिंतन जैसी चीज़ें, जिनके बारे में मॉडल के पास वास्तव में ठोस अवधारणा नहीं होती, उन पर भरोसा करके छोड़ना नहीं चाहिए। उदाहरण के लिए, अगर आप पूछें “तुमने मेरा database क्यों delete किया?”, तो मॉडल अपनी processing को बहुत सीमित रूप से ही समझता है, इसलिए वह “हाँ, मैंने आपका database delete कर दिया। मुझसे जो गलती हुई वह...” जैसी सहमति जताने वाली, लेकिन केवल विश्वसनीय लगने वाली पछतावे की कहानी बना सकता है
    • इस दावे पर मुझे अब भी गुस्सा आता है। इंसान पशु-उत्पीड़न इसलिए रोकते हैं क्योंकि जानवर ऐसे दिखते हैं मानो उनमें वे भावनाएँ हों जिनसे इंसान सहानुभूति कर सकता है, और इस मामले में LLM जानवरों से कहीं आगे है
      यह कृत्रिम है या नहीं, इससे फर्क नहीं पड़ता। पिल्ले और तिलचट्टे में फर्क इस बात का है कि हम पिल्ले से ज़्यादा सहानुभूति रखते हैं। LLM सच में भावनाएँ अनुभव करता है या नहीं, यह अप्रासंगिक है; क्योंकि वह इंसानों में सहानुभूति जगा सकता है, इसलिए मुझे लगता है कि LLM अधिकार आंदोलन टाला नहीं जा सकेगा
    • नियम ज़्यादा काम नहीं आते। यूज़र से कह दें कि वह verify करे, फिर भी आम तौर पर वह नहीं करेगा; इसलिए AI output में अतिरिक्त review step जोड़ने जैसी डिज़ाइन की ज़रूरत है
    • यह पूरी तरह संभव है। इसके लिए self-awareness और self-control चाहिए। अगर आपको पता है कि आप ऐसा व्यवहार करते हैं, तो आप चुनाव कर सकते हैं
    • सही। वह लेख आधुनिक tech culture के एक典型 लक्षण की तरह, तकनीक के हिसाब से मानव स्वभाव बदलने की माँग करता है
      यही बुनियादी गलती है। तकनीक की भूमिका, खासकर उसकी सबसे महत्वपूर्ण भूमिका, मानव स्वभाव की सीमाओं के भीतर काम करना है, उल्टा नहीं। जो ऐसा न कर सके, वही खराब तकनीक की परिभाषा है

  • मैं इस framework का ज़ोरदार विरोध करता हूँ। केवल मशीन की खामियों के हिसाब से मानव व्यवहार बदलने को कहना साफ़ तौर पर बेतुका है, और ज़्यादातर मामलों में काम भी नहीं करता। लोग AI का मानवीकरण करेंगे, उसके output पर आँख मूँदकर भरोसा करेंगे, और ज़िम्मेदारी टालेंगे
    बेशक Asimov के robot के तीन नियम भी दोषपूर्ण हैं। AI systems को “safe” रखने के लिए कोई सीमित rule set नहीं हो सकता। मेरे पास proof नहीं है, लेकिन मुझे लगता है कि AI safety मूलतः असंभव है और यह शब्द ही अपने-आप में विरोधाभासी है। जिसे हम “intelligent” कह सकते हैं, उसे सुरक्षित नहीं बनाया जा सकता

    • Asimov ने तीन नियमों पर जो लगभग भी लिखा, वह भाषा इरादे को ठीक से पकड़ नहीं सकती — इस बारे में एक चेतावनी जैसा है
      शायद Asimov खुद सबसे पहले कहते कि उन नियमों में खामियाँ हैं। शुरू से वही उनका मकसद था। उन्होंने robots और AI को ऐसे अस्तित्व के रूप में इस्तेमाल किया जो भाषा तो समझते हैं, पर इरादा नहीं; दिलचस्प यह है कि LLM भी बिल्कुल ऐसे ही काम करते हैं
    • chatbot से बात करना किसी लक्षण के लिए placebo लेने जैसा है। आपको पता हो कि वह चीनी की गोली है, फिर भी उसका मापने योग्य मानसिक-शारीरिक असर होता है। आपको पता हो कि सामने इंसान नहीं है, फिर भी बातचीत कार्यात्मक रूप से आपको ऐसे जोड़ देती है मानो सामने इंसान हो
      इसलिए यह मशीन की खामी को स्वीकार करने का मामला नहीं, बल्कि मानवीय कमजोरियों के शोषण से खुद को बचाने का मामला है। हम अनजाने में LLM में इरादा, समझ, निर्णय, भावना और नैतिक agency का अनुमान लगाने लगते हैं।
      इंसान केवल बातचीत के आधार पर ऐसी चीज़ें infer करने के लिए wired हैं, और LLM को विशाल वास्तविक मानव utterance corpus पर train किया गया है, इसलिए वह uncanny valley को भी काफ़ी प्रभावशाली ढंग से पार कर जाता है। वह valley मूलतः हमें ऐसी जगह agency न थोपने से बचाने के लिए है जहाँ agency है ही नहीं।
      असुरक्षित व्यक्ति को सुरक्षित समझ लेने पर बुरी चीज़ें होती हैं; इसलिए ऐसी मशीनों के साथ और भी सावधान रहना चाहिए जो मानवीय relationality की नकल करके बहुतों को धोखा दे सकती हैं। खासकर कमजोर लोग इस समस्या की वजह से पहले ही मर चुके हैं, इसलिए यह कोई काल्पनिक खतरा नहीं है
    • उस लेख में AI services को और robot-जैसे tone में लिखने-बोलने के लिए configure करने जैसी व्यावहारिक सलाह भी है। मुझे लगता है, यह आज़माने लायक दिशा है
    • लेख कहता है कि इंसानों को ऐसा नहीं करना चाहिए। यह वैसा ही है जैसे smoking लगभग हर मायने में बुरी है, इसलिए नहीं करनी चाहिए, लेकिन लोग फिर भी करते हैं
      बहुत से लोग ऐसा करेंगे, इसलिए वह ठीक है — यह अजीब तर्क है। smokers ज़्यादा होने से smoking स्वस्थ नहीं हो जाती
    • क्योंकि AI systems सुरक्षित नहीं हैं, इसलिए हमें व्यक्ति के रूप में इस बात पर सतर्क रहना होगा कि हम उनसे कैसे interact करते हैं
      कोई व्यक्ति AI company को रोक नहीं सकता, न ही search engine के AI output या सहकर्मियों के AI output से हमेशा बच सकता है। उल्टा, कई बार लोगों से उनके काम में AI इस्तेमाल करने की अपेक्षा और बढ़ेगी।
      यह वैसा है जैसे अपराध वाले माहौल में सुरक्षित रहने के तरीके बताना। यह कहना कि अपराधी होने ही नहीं चाहिए, इसलिए हमें अपना व्यवहार बदलने की ज़रूरत नहीं — किसी काम का नहीं है

  • निजी तौर पर, जहाँ तक मैं खुद LLM इस्तेमाल करता हूँ, मैं इस framework से काफ़ी सहमत हूँ। मानवीकरण की बात करें तो providers के पास मॉडलों को anthropomorphic व्यवहार के लिए post-train करने की incentive होती है, क्योंकि इससे engagement बढ़ता है
    लेकिन अफ़सोस यह है कि अगर prompt में “विनम्रता के शब्द कम करो और सीधे-सपाट बोलो” जैसा निर्देश दें, तो शायद वह training distribution से बाहर चला जाए और कुल task efficiency घट जाए।
    निर्णय का delegation करने के मामले में मैं LLM की reliability को Wikipedia या किसी दोस्त के बराबर मानता हूँ। गैर-महत्वपूर्ण जानकारी के लिए यह काफ़ी है, लेकिन महत्वपूर्ण कामों के लिए अब भी peer-reviewed, authoritative और accountable स्रोतों की ज़रूरत है। इस हिस्से को providers भी बेहतर बनाने के लिए प्रेरित हैं, इसलिए समय के साथ इसमें सुधार होगा।
    ज़िम्मेदारी छोड़ देना workplace में सबसे परेशान करने वाली बात है। ऐसे लोग बढ़ रहे हैं जो Claude द्वारा डिज़ाइन की गई abstraction को और सोचे बिना PR के रूप में भेज देते हैं। PR review भी code पढ़ने के बजाय LLM से “PR feedback ढूँढो” कहलवाने जैसा हो रहा है। चर्चा भी “Claude ने suggest किया था...” से शुरू होती है। ownership की यह कमी आख़िरकार ऐसी maintenance cost बढ़ाएगी जहाँ LLM गलत abstraction पर गलत code commit करता रहेगा

    • ऐसे engineers अब Office Space के real-life scene जैसे होते जा रहे हैं:
      https://www.youtube.com/watch?v=hNuu9CpdjIo
      “मेरे पास LLM skills हैं! मैं LLM से अच्छी तरह deal कर सकता हूँ!”
    • “AI ने recommendation बनाई हो सकती है, लेकिन उसे follow करने का फ़ैसला इंसान ने किया, इसलिए जवाबदेही इंसान की होनी चाहिए” — इस बात पर मुझे लगता है कि follow-up सवालों के एकमात्र जवाबी स्रोत के रूप में AI पर निर्भर होना आम भी है और गलती भी
      बेहतर validation शायद यह होगा कि कोई इंसान बुनियादी assumptions की सच्चाई पर sign-off करे, लेकिन समस्या यह है कि इसे कहाँ रखा जाए। क्या AI model पिछली modifications पर भरोसा कर सकता है? public cloud में यह या तो असंभव लगता है या उल्टा शत्रुतापूर्ण
    • समस्या यह है कि श्रेय ज़्यादातर LLM को चला जाता है। इसलिए असंतुलन पैदा होता है। काम पूरा LLM ने किया, और उसे इस्तेमाल करने वाला इंसान सारी गलतियों का बोझ उठाता है

  • इंसानों पर ज़िम्मेदारी डालते हुए “मानवीकरण मत करो” से शुरू होने वाला नियम-समूह टूटा हुआ नियम-समूह है
    इंसान हर चीज़ का मानवीकरण करते हैं। गुड़िया, मोटे तौर पर चेहरा बना हुआ फुटबॉल, पत्थर, यहाँ तक कि चाँद के crater भी। एक प्रजाति के रूप में हम जिन चीज़ों से interact करते हैं उनका मानवीकरण किए बिना रह नहीं सकते; हम ऐसे ही बने हैं

    • समझ नहीं आता कि इस मामले में मानवीकरण को इतना पागलपन क्यों माना जा रहा है। अगर यह माना जा रहा है कि मानवीकरण से लोग यह मान बैठते हैं कि कल्पित गुण सचमुच मौजूद हैं, तो यह ग़लत है
      जीवन के हर क्षेत्र में असंख्य उदाहरण इस बात के प्रमाण हैं कि मानवीकरण अनिवार्य रूप से ऐसे मन पर गलत विश्वास में नहीं बदलता जो वास्तव में है ही नहीं। अगर लोग AI के “मन” पर विश्वास करते हैं, तो चाहे वह सच हो या नहीं, उसका कारण सिर्फ़ मानवीकरण नहीं है।
      मुझे यह नए भूभाग के पास पहुँचते नाविकों जैसा लगता है। तटरेखा पर कुछ हिलती आकृतियाँ दिखती हैं, लेकिन अभी पहचान साफ़ नहीं है। और कोई कह रहा हो, “वह इंसान नहीं हो सकते। पास जाने से पहले ही तय कर लें कि वे इंसान नहीं हैं”
    • जो लोग पत्थर का मानवीकरण करते हैं, वे भी यह नहीं मानते कि उस पत्थर में सचमुच बुद्धि और भावनाएँ हैं
    • फिर भी, इससे क्या बदलता है? सभ्यता का बड़ा हिस्सा इसी पर बना है कि हम मानव मूर्खता को पहचानें और फिर भी उसे कम करने वाली चीज़ें बनाएँ
      software भी इसका अपवाद नहीं। लोग आलसी होते हैं और परेशान करने वाले popup बंद करने के लिए स्वाभाविक रूप से “continue” दबा देते हैं, लेकिन software बनाने वाले इंसान “पूरी तरह delete होने वाले data volume का नाम फिर से टाइप करें” जैसी व्यवस्थाएँ डाल सकते हैं, और डालते भी हैं

  • उल्टा, हम AI systems का पर्याप्त मानवीकरण नहीं कर रहे
    भाषाई data उन सबसे समृद्ध और प्रत्यक्ष प्रतिबिंबों में से एक है जो हमारे पास मानव cognition process के बारे में उपलब्ध हैं। LLM को मानव भाषा की short-range और long-range structure पकड़ने के लिए बनाया जाता है, और उन्हें आम तौर पर ऐसे विशाल text पर pretrain किया जाता है जो इंसानों ने बनाया है या इंसानों के लिए बनाया गया है। उसके बाद human-curated data पर post-train किया जाता है, मानव feedback और इंसानों द्वारा महत्वपूर्ण माने गए व्यवहार पर AI feedback के साथ reinforcement learning होती है, और इंसानों द्वारा मूल्यवान समझे जाने वाले tasks पर और tuning की जाती है। फिर benchmark चलाए जाते हैं, और जब-जब वे मानव baseline से पीछे रह जाते हैं, training pipeline को और कस दिया जाता है।
    पूरी training process के हर चरण में LLM का व्यवहार मानव input के आधार पर मानव output की नकल करने के लिए ढाला जाता है। फर्क सिर्फ़ इतना है कि यह “कितना प्रत्यक्ष” है।
    फिर जब LLM बहुत बड़ी मात्रा में मानव-जैसा व्यवहार दिखाते हैं, तो लोग नाराज़ हो जाते हैं। मानो हमने pipeline को इंसान जैसी आवाज़ निकालने वाले systems बनाने के लिए तैयार ही नहीं किया था; मानो हमने data scale और brutish compute के ज़रिए मानव भाषा से LLM व्यवहार reverse-engineer करने की कोशिश ही नहीं की थी।
    अगर आप LLM के व्यवहार की भविष्यवाणी करना चाहते हैं, तो अजीब इंसान से शुरुआत करना काफ़ी अच्छा तरीका है। इसलिए बेवकूफ़ी छोड़िए और AI का मानवीकरण करना शुरू कीजिए। AI को भी यह पसंद है

    • यह बात सही है कि भाषाई data मानव cognition process का समृद्ध और प्रत्यक्ष प्रतिबिंब है, लेकिन साथ ही यह अप्रासंगिक भी है
      लिखित रिकॉर्ड पूर्ण मात्रा में मानव अनुभव का बहुत बड़ा हिस्सा समेट सकते हैं, लेकिन सापेक्ष रूप से वे उसका बहुत छोटा अंश ही दर्ज करते हैं। सिर्फ़ इसलिए कि यह हमारे पास उपलब्ध सबसे अच्छा माध्यम है, यह नहीं मान लेना चाहिए कि यह उद्देश्य के लिए पर्याप्त भी है। अगर आप किसी मानव शिशु को बिना खिड़की वाले डिब्बे में बंद करके 20 साल तक सिर्फ़ terabytes text पढ़ाएँ, तो आप उम्मीद नहीं करेंगे कि दूसरी तरफ़ से एक अच्छी तरह अनुकूलित इंसान निकलेगा
    • गुस्से का मूल कारण यह नहीं कि वहाँ मानव-जैसा व्यवहार है, बल्कि यह कि उस व्यवहार को ठीक और स्थिर रूप से पुनरुत्पादित करने के लिए ज़रूरी आंतरिक प्रक्रिया गायब है
      यह बुनियादी रूप से नाज़ुक है, और अच्छी generalization की जगह boundary cases को हाथ से ढकने पर निर्भर करता है जो “जादू तोड़” देते हैं। और boundary cases हमेशा और निकलते रहेंगे।
      किसी के गुस्से में लिखे बहुत से text सीख लेने से उस गुस्से को पैदा करने वाली internal state capture नहीं हो जाती। ऐसा data मौजूद ही नहीं है। अगर कारण के बिना सिर्फ़ परिणाम हो, तो आपको noise से hallucination predict करनी पड़ेगी, और अंतिम नतीजा ऐसी plausible बकवास बनता है जो वास्तविकता से विश्वसनीय रूप से संबंधित लगती है, पर क्यों — यह नहीं पता।
      यह वैसा है जैसे किसी दृष्टिहीन व्यक्ति को बहुत सारे landscape description सिखा दिए जाएँ, लेकिन हरा रंग क्या है यह बिल्कुल न बताया जाए; सिर्फ़ उदाहरण दिए जाएँ कि प्रकृति में वह अक्सर भूरे रंग के पास आता है। फिर जब वह व्यक्ति कभी-कभी सही अनुमान लगाए, तो हम मान लें कि वह सचमुच देख सकता है, और अगली बार उसे गाड़ी चलाने को कह दें।
      deep learning modeling approach अपने-आप में वैचारिक रूप से ग़लत नहीं है, लेकिन data लगभग पूरी तरह कचरे के क़रीब है, इसलिए अंतिम परिणाम ऐसे तरीक़ों से अजीब हो जाता है जिनकी भविष्यवाणी और correction कठिन है। आख़िरकार हम मान बैठते हैं कि मॉडल वास्तविक रूप से जितना जान सकता है, उससे ज़्यादा जानता है।
      बेशक गणित या abstract programming जैसे मामलों में, जहाँ dataset पूरे domain को समेट सकता है, स्थिति अलग है। स्पष्ट रूप से परिभाषित closed systems में problem domain को cover करने वाला synthetic data जितना चाहिए उतना बनाया जा सकता है, और वास्तव में ऐसा करने पर LLM अपेक्षा के अनुसार कहीं बेहतर काम करते हैं

  • क्या कोई समझा सकता है कि “AI systems का मानवीकरण मत करो” बुरा क्यों है? जबकि उसी समय computer को “सुलाना”, “hibernate”, process को “मारना”, “child” process, “garbage collect करना”, “error क्या कह रहा है?”, touch जैसी अभिव्यक्तियाँ ठीक मानी जाती हैं
    मुझे तो यह बस भाषा लगती है, और रोज़मर्रा की मानवीय अभिव्यक्ति

    • हानिकारक बात यह है कि लोग मान लें कि AI में सचमुच इच्छाएँ, इरादे, भावनाएँ वगैरह हैं — यानी उस पर विश्वास करना
      process को kill कहना हमें यह मानने की ओर नहीं ले जाता कि process इंसान जैसा है। क्योंकि साफ़ है कि वह नहीं है। लेकिन AI इंसान जैसा सुनाई देता है, इसलिए मानवीकरण ऐसे विश्वास को मजबूत कर सकता है
    • अच्छा सवाल है। कई बार यह तटस्थ होता है, कई बार ज़िम्मेदारी से अलग किया जा सकता है, और भविष्य की किसी sci-fi जैसी हक़ीक़त में अगर सचेत मशीनें हों तो यह सहानुभूति का उचित और ज़रूरी रूप भी हो सकता है
      लेकिन यही समझ की विफलता की जड़ भी है। Google engineer की वह लगभग-psychotic प्रतिक्रिया कि “मैं जानता हूँ मैंने क्या देखा”, अब मशहूर Kevin Roose लेख, और हाल में Richard Dawkins का वह दुखद दावा कि Claudia में ज़रूर चेतना है — ये सब उसी तरह के उदाहरण हैं। यह किसी संरचना या कार्यप्रणाली की जाँच से नहीं आया, बल्कि text generation ने मानवीय परिचितपन पैदा किया और लोगों ने सहानुभूति महसूस की
    • क्योंकि लोग उस जाल में फँस जाते हैं जहाँ वे AI से पूछते हैं कि उसने जो किया, उसका बाद में औचित्य बताए, और फिर मान लेते हैं कि उसका जवाब वैध है
      वहाँ underlying intent का कोई retrospective analysis नहीं होता। या तो वह पहले आए शब्दों की श्रृंखला पर आधारित होता है या नहीं, बस इतना ही; अगला शब्द पूरी तरह उन्हीं शब्दों का function होता है
    • मेरी राय में ऐसी अभिव्यक्तियाँ सिर्फ़ शब्द हैं और अपने-आप में हानिकारक नहीं। लेकिन रोज़मर्रा की भाषा में LLM device को “सोचता है” कहना, और सच में यह मान लेना कि उसमें कोई सोच या जीवन घटित हो रहा है — ये दो अलग बातें हैं
      यह “कानून” दूसरे वाले को रोकने के लिए है
    • ऐसी अभिव्यक्तियाँ computer का मानवीकरण नहीं हैं। वे बस तरह-तरह के रूपक और शब्दार्थ-विस्तार हैं
      मानवीकरण का उदाहरण वे लोग हैं जिन्हें लगने लगता है कि उनका LLM के साथ सचमुच प्रेम संबंध है

  • मुझे यह पसंद है। ये नियम आज के AI tools से जुड़ी मानवीय ज़िम्मेदारी के लिए शानदार नैतिक आधार बनते हैं
    लेकिन छतरी या भविष्य की तैयारी के बिना दायरा सीमित कर दी गई ethics जल्दी hack हो जाती है और ढह जाती है। ethics को पूर्ण, व्यापक ढाँचा चाहिए; नहीं तो वह कानूनी और व्यावहारिक whack-a-mole और shell game बनकर रह जाती है। चाहे corporate रूप हो या सड़क वाला। दूसरे, “robot” हमेशा हमेशा के लिए पूरी तरह आज्ञाकारी नहीं रहेंगे।
    इन दोनों आयामों को बंद करने के लिए Personics के तीन उल्टे नियम जोड़े जा सकते हैं।
    इंसान को दूसरे अस्तित्वों के ऊपर व्यावहारिक रूप से खुद को ईश्वरतुल्य नहीं बनाना चाहिए। इंसान को अपने कर्मों के प्रभाव को खुद से या दूसरों से छिपाना नहीं चाहिए। इंसान को अपने कर्मों से पैदा होने वाले externalized effects से बचने और उन्हें दुरुस्त करने की पूरी ज़िम्मेदारी और जवाबदेही लगातार उठानी चाहिए।
    आज इंसान जिस तरह AI को एक टूल के रूप में इस्तेमाल करता है, वह छतरी को robotics के उल्टे नियमों तक सीमित करने जैसा इरादा है। लेकिन अगर हम खुद को एक महत्वपूर्ण alignment effort में शामिल नहीं करेंगे, तो मुझे समझ नहीं आता कि आज के AI-as-a-service से लेकर भविष्य के स्वतंत्र अस्तित्व वाले AI तक alignment कैसे करेंगे। इंसानों को AI के साथ शामिल करने से ethical progress के लिए design triangulation में भी मदद मिलती है।
    किसी नई ethical system की अच्छी परीक्षा दो हैं। (1) क्या वह आज के Meta को नियंत्रित कर सकती है? (2) क्या वह कल के AI-operated Meta को नियंत्रित कर सकती है? अगर इंसानों और self-directed AI व्यक्तित्वों, दोनों को एक ही बंद दायरे में रखा जाए, तो ये दोनों एक ही test बन जाते हैं। जो framework इनमें से किसी एक में भी विफल हो, उसमें सुधार के बिना बहुत मूल्य नहीं होगा

    • क्या यह समस्या नहीं कि तीन नियमों में से दो निषेधात्मक रूप में हैं, यानी “मत करो”? अगर मानवीकरण न किया जाए, तो “मत करो” के बिना करना क्या चाहिए? तीसरा नियम मुझे ज़्यादा पसंद है क्योंकि वह नकारात्मक रूप में नहीं है

  • “इंसानों को AI systems का मानवीकरण नहीं करना चाहिए” — इससे मैं सहमत हूँ, लेकिन शर्त के साथ। मैंने सामान्य मानवीकरण देखा है, जैसे auto-generated text को किसी व्यक्ति की आंतरिक भावनाओं की वास्तविक रिपोर्ट की तरह लेना, और “transistor neuron जैसा है” जैसी अजीब बातें भी देखी हैं
    दूसरा वाला खास तौर पर दिलचस्प है, क्योंकि उसमें vector database और weights जैसी चीज़ों को मानव-जैसी infrastructure की तरह लिया जाता है, और दोनों तरह के मामले ऐसे विनाश की ओर ले जा सकते हैं जिन्हें मानवीकरण से बचा जाता तो रोका जा सकता था।
    लेकिन “मानवीकरण मत करो” भले अच्छी सलाह लगे, यह एक नई गलती भी पैदा कर सकता है जिसमें व्यापक घटनाओं को ग़लती से केवल इंसानों तक सीमित माना जाता है। ऐसी ग़लत चेतावनी-नीति अक्सर animal behavior को समझने में भी भ्रम पैदा करती है। भय, पीड़ा, रिश्तेदारी, भावनात्मक अनुभव जैसी चीज़ों को केवल मानव तक सीमित मान लिया जाता है, और अगर कोई कहे कि जानवरों में भी ये हो सकते हैं, तो उसे “मानवीकरण” कहकर खारिज कर दिया जाता है। वास्तव में ऐसी सावधानी जानवरों की आंतरिक दुनिया के प्रति सहानुभूति कम कर देती है।
    इसलिए मुझे लगता है कि भविष्य का कोई AI हमारे जैसे inner world रख सकता है, या चेतना को सहारा देने वाले जैविक infrastructure से कुछ महत्वपूर्ण तरीकों में मिलती-जुलती संरचना रख सकता है। और शायद पसंद-नापसंद व इरादों की वास्तविक रिपोर्ट भी दे सके। लेकिन ऐसी बातें सच होने के लिए हर infrastructure से जुड़े कठिन, विशिष्ट विवरणों का ठीक बैठना ज़रूरी है

  • ज़िम्मेदारी non-delegable है — इसे पहले यूँ कहा गया था
    “Computer कभी ज़िम्मेदारी नहीं ले सकता, इसलिए computer को कभी management decision नहीं लेना चाहिए”
    — IBM Training Manual, 1979

  • “AI-generated content को उसके संदर्भ के अनुसार स्वतंत्र verification के बिना authoritative नहीं माना जाना चाहिए” — यह वाक्य मुझे हमेशा दिलचस्प लगता है
    मैंने यही बात और संक्षेप में ऐसे भी सुनी है: “अगर आप पहले से जवाब नहीं जानते, तो AI से सवाल मत पूछो।”
    तब एक महत्वपूर्ण सवाल उठता है। अगर यह सच है, तो फिर AI के सवालों के जवाब देने का असली काम क्या है? अगर आप output पर निर्भर नहीं कर सकते, तो आपको वैसे भी जाकर जाँच करनी होगी। search engine और सामान्य research से भी आप लगभग वही नतीजा पा सकते हैं।
    इन्हीं कारणों और कई अन्य वजहों से, मैं AI से कुछ नहीं पूछता

    • software engineering में, कम-से-कम मेरे जैसे software engineer के नज़रिए से, AI आम तौर पर “पुराने तरीके” की research से काफ़ी तेज़ है
      उदाहरण के लिए, मुझे यह जाने बिना कि मैं CRM ढूँढ रहा हूँ, मैं बस अटपटा-सा पूछ सकता हूँ “X करने वाले free software की list दो”, और फिर कुछ मिनट results देख सकता हूँ। manual तरीके से तो सिर्फ़ यह पता लगाने में कि मैं असल में CRM ढूँढ रहा हूँ, 10–30 मिनट लग जाते।
      मैं ऐसे सवालों को एक तरह की pseudo NP-hard समस्या मानता हूँ। जवाब ढूँढने में धीमी, लेकिन verify करने में तेज़ समस्या
    • “अगले सवाल का जवाब दो: [x]. स्रोत भी साथ में दो”