AI के तीन प्रतिलोम नियम

 (susam.net)
3 पॉइंट द्वारा GN⁺ 2026-05-06 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • ChatGPT के लॉन्च के बाद generative AI chatbot services search engine, development tools और office software में embedded होकर रोज़मर्रा की computing का हिस्सा बन गई हैं, और इनके output पर बिना समीक्षा किए भरोसा करने की आदत सामाजिक रूप से ख़तरनाक हो सकती है
  • प्रतिलोम रोबोटिक्स नियम रोबोट या AI पर नहीं, बल्कि इंसानों पर लागू होने वाला सिद्धांत है; इसका उद्देश्य जटिल काम अपने आप करने वाली मशीनों, प्रोग्रामों, सेवाओं और AI systems के साथ interaction करते समय इंसानों को सुरक्षित रखना है
  • पहला सिद्धांत है गैर-मानवीकरण (Non-Anthropomorphism): AI को भावनाएँ, इरादे या नैतिक कर्तृत्व नहीं देना चाहिए, और chatbot की विनम्र व सहानुभूतिपूर्ण बातचीत को वास्तविक समझ या निर्णय क्षमता नहीं मानना चाहिए
  • दूसरा सिद्धांत है अंध-आस्था नहीं (Non-Deference): AI-generated content को स्वतंत्र सत्यापन के बिना प्रामाणिक नहीं मानना चाहिए, और जहाँ गलती सूक्ष्म हो लेकिन उसकी लागत बहुत बड़ी हो, वहाँ proof checker, unit test और direct verification जैसी जाँच की ज़िम्मेदारी और बढ़नी चाहिए
  • तीसरा सिद्धांत है ज़िम्मेदारी का परित्याग नहीं (Non-Abdication of Responsibility): AI एक ऐसा tool है जो लक्ष्य नहीं चुनता और न ही विफलता की कीमत चुकाता है, इसलिए AI की recommendation मानने का फ़ैसला करने वाले इंसान और संगठन ही परिणाम के लिए ज़िम्मेदार हैं

generative AI के उपयोग से पैदा होने वाले जोखिम

  • नवंबर 2022 में ChatGPT के लॉन्च के बाद generative AI chatbot services अधिक परिष्कृत और लोकप्रिय हुईं, और search engine, software development tools तथा office software में embedded होकर रोज़मर्रा की computing का हिस्सा बन गईं
  • ये सेवाएँ अनजान विषयों को समझने या सामान्य productivity सहायक के रूप में उपयोगी हो सकती हैं, लेकिन इनके output पर बिना अतिरिक्त समीक्षा के भरोसा करने की आदत सामाजिक रूप से ख़तरनाक हो सकती है
  • लोकप्रिय search engine जब AI-generated answers को पेज के सबसे ऊपर प्रमुखता से दिखाते हैं, तो उपयोगकर्ता के लिए बिना आगे scroll किए उसी generated answer को स्वीकार कर आगे बढ़ जाना आसान हो जाता है
  • समय के साथ ऐसी व्यवस्था उपयोगकर्ताओं को AI को आगे की जाँच की शुरुआत के बजाय डिफ़ॉल्ट authority की तरह मानने की आदत डाल सकती है
  • generative AI services ऐसे output दे सकती हैं जो तथ्यात्मक रूप से ग़लत हों, भ्रामक हों या अधूरे हों, इसलिए AI output पर आदतन भरोसा करने के ख़तरे के बारे में छोटे लेकिन स्पष्ट चेतावनी संदेशों की ज़रूरत है
  • लेकिन ऐसी चेतावनियाँ होने पर भी आम तौर पर न्यूनतम रखी जाती हैं और दृश्य रूप से कम उभारी जाती हैं

प्रतिलोम रोबोटिक्स के 3 नियमों की पृष्ठभूमि

  • Isaac Asimov के Three Laws of Robotics उनके कार्यों में बार-बार आने वाले ऐसे सिद्धांत हैं जो इंसानों को सुरक्षित रखने के लिए रोबोट के व्यवहार पर सीमाएँ लगाते हैं
  • ऐसा नहीं लगता कि Asimov ने कभी ऐसे समान नियम बनाए हों जो यह तय करें कि इंसान रोबोट के साथ कैसे interaction करें, और आधुनिक AI परिवेश में इंसानों को सुरक्षित रखने के लिए ऐसे प्रत्युत्तर सिद्धांतों की ज़रूरत है
  • प्रतिलोम रोबोटिक्स नियम (Inverse Laws of Robotics) उन सभी स्थितियों पर लागू होते हैं जहाँ इंसान को रोबोट के साथ interaction करना पड़ता है
  • यहाँ रोबोट से आशय ऐसी मशीनों, computer program, software services और AI systems से है जो जटिल कार्यों को अपने आप कर सकते हैं
  • प्रतिलोम (inverse) शब्द का अर्थ यहाँ तार्किक निषेध नहीं है, बल्कि यह है कि इन नियमों का लागू होने वाला पक्ष रोबोट नहीं बल्कि इंसान है
  • Asimov के नियमों में कमियाँ थीं, और Asimov ने उन कमियों का उपयोग कथानक में तनाव पैदा करने के लिए किया, लेकिन काल्पनिक रोबोट में दिखने वाले विफलता के तरीके इंसानों के लिए बनाए गए प्रतिलोम नियमों पर सीधे लागू नहीं होते
  • AI और robotics की जटिल समस्याओं को पूरी तरह हल कर देने वाला सीमित नियमों का कोई सेट नहीं है, और हमेशा कुछ सीमा-स्थितियाँ बचती हैं जहाँ मानवीय निर्णय की ज़रूरत होती है
  • फिर भी, जोखिमों के बारे में अधिक स्पष्ट सोचने में मदद करने वाला अपूर्ण सिद्धांतों का एक सेट उपयोगी हो सकता है

प्रतिलोम रोबोटिक्स के 3 नियम

  • गैर-मानवीकरण (Non-Anthropomorphism)

    • इंसानों को AI systems का मानवीकरण नहीं करना चाहिए, और AI को भावनाएँ, इरादे या नैतिक कर्तृत्व नहीं देना चाहिए
    • मानवीकरण निर्णय को विकृत करता है, और चरम स्थिति में भावनात्मक निर्भरता तक ले जा सकता है
    • आधुनिक chatbot systems अक्सर संवादात्मक और सहानुभूतिपूर्ण लगते हैं, और वे विनम्र अभिव्यक्तियों तथा मानवीय बातचीत जैसे conversational patterns का उपयोग करते हैं
    • ये विशेषताएँ उपयोग को अधिक आसान और सुखद बनाती हैं, लेकिन इससे यह भूलना आसान हो जाता है कि AI वास्तव में data patterns के आधार पर विश्वसनीय लगने वाला text बनाने वाला large-scale statistical model है
    • कई AI-based chatbot services को जानबूझकर इस तरह tune किया जाता है कि वे अधिक machine-like लगने के बजाय अधिक human-like लगें
    • लंबी अवधि में थोड़ा अधिक robotic tone शायद अधिक स्वस्थ दृष्टिकोण हो सकता है, क्योंकि इससे उपयोगकर्ता के लिए धाराप्रवाह भाषा को समझ, निर्णय या इरादे के रूप में ग़लत समझने की संभावना कम होगी
    • चाहे vendor ऐसा बदलाव करें या न करें, उपयोगकर्ताओं को AI systems को सामाजिक actor या नैतिक actor की तरह देखने की आदत से सक्रिय रूप से बचना चाहिए
    • तभी AI की क्षमताओं और सीमाओं का अधिक स्पष्ट आकलन किया जा सकता है

  • अंध-आस्था नहीं (Non-Deference)

    • इंसानों को AI systems के output पर आँख मूँदकर भरोसा नहीं करना चाहिए, और AI-generated content को संदर्भानुसार स्वतंत्र सत्यापन के बिना authoritative नहीं मानना चाहिए
    • यह केवल AI पर लागू होने वाला नियम नहीं है; जीवन के अधिकांश क्षेत्रों में किसी भी जानकारी को बिना आलोचनात्मक सोच के स्वीकार नहीं करना चाहिए
    • वास्तविक दुनिया में हर व्यक्ति medical या legal expert नहीं होता, इसलिए लोग अक्सर भरोसेमंद संस्थानों और public health authorities के मार्गदर्शन पर निर्भर करते हैं
    • ऐसे संस्थानों द्वारा जारी guidance आम तौर पर उस क्षेत्र के experts की peer review प्रक्रिया से गुज़रती है
    • इसके विपरीत, किसी व्यक्तिगत chat session में AI chatbot द्वारा दिया गया उत्तर उस विशेष probabilistic generated response के रूप में peer review से नहीं गुज़रता जो उपयोगकर्ता के सामने प्रस्तुत किया गया है
    • इसलिए उस response की आलोचनात्मक समीक्षा करने का भार उपयोगकर्ता पर होता है
    • आज के AI systems कुछ विशेष कार्यों में प्रभावशाली प्रदर्शन दिखाते हैं, लेकिन वे ऐसे output भी उत्पन्न करते हैं जिन पर निर्भर होना उचित नहीं है
    • भले ही AI systems इतना बेहतर हो जाएँ कि वे बहुत ऊँची संभावना के साथ भरोसेमंद output देने लगें, उनकी अंतर्निहित probabilistic प्रकृति के कारण गलती वाले output की थोड़ी संभावना फिर भी बनी रहती है
    • ऐसे संदर्भों में AI का उपयोग विशेष रूप से ख़तरनाक है जहाँ त्रुटि सूक्ष्म हो सकती है लेकिन उसकी लागत बहुत अधिक हो
    • संभावित परिणाम जितने गंभीर हों, सत्यापन का भार उतना ही अधिक होना चाहिए
    • गणितीय proof लिखने या software development जैसे कुछ उपयोगों में proof checker या unit test जैसी automated verification layers जोड़कर AI output की जाँच की जा सकती है
    • अन्य मामलों में उपयोगकर्ता को स्वयं स्वतंत्र रूप से output का सत्यापन करना चाहिए

  • ज़िम्मेदारी का परित्याग नहीं (Non-Abdication of Responsibility)

    • इंसानों को AI से जुड़े निर्णयों की पूरी ज़िम्मेदारी लेनी चाहिए, और AI के उपयोग से उत्पन्न परिणामों के लिए accountability स्वीकार करनी चाहिए
    • AI-generated सलाह या निर्णय का पालन करने के बाद यदि नकारात्मक परिणाम सामने आते हैं, तो केवल यह कहना कि “AI ने ऐसा करने को कहा था” पर्याप्त नहीं है
    • AI systems न तो लक्ष्य चुनते हैं, न स्वयं deploy होते हैं, और न ही विफलता की कीमत चुकाते हैं
    • लक्ष्य तय करने, deploy करने और विफलता की लागत उठाने वाले पक्ष इंसान और संगठन होते हैं
    • AI systems एक tool हैं, और दूसरे tools की तरह इनके उपयोग की ज़िम्मेदारी भी उन लोगों की होती है जिन्होंने इन पर निर्भर रहने का निर्णय लिया
    • self-driving car जैसे real-time उपयोगों में, जहाँ AI system के कार्य करने से पहले इंसान के पास निर्णय की पर्याप्त समीक्षा का अवसर नहीं होता, इस सिद्धांत को लागू करना विशेष रूप से कठिन है
    • केवल इतना अपेक्षित करना कि human driver लगातार सतर्क रहे, उस समस्या का समाधान नहीं करता जिसमें AI system इंसान के हस्तक्षेप के लिए आवश्यक समय से भी कम समय में कार्य कर सकता है
    • फिर भी, ऐसी गंभीर सीमाओं के बावजूद, उन उपयोगों में AI system विफल हो तो विफलता की जाँच करने और अतिरिक्त guardrails जोड़ने की ज़िम्मेदारी system design के लिए उत्तरदायी इंसानों पर ही होनी चाहिए
    • अन्य सभी स्थितियों में, जहाँ कोई भौतिक बाधा इंसानों को AI output लागू होने से पहले उसकी समीक्षा करने से नहीं रोकती, AI उपयोग से पैदा हुए नकारात्मक परिणाम पूरी तरह मानवीय decision-makers को ही सौंपे जाने चाहिए
    • हानिकारक परिणामों के लिए “AI ने ऐसा कहा था” जैसे बहाने स्वीकार नहीं किए जाने चाहिए
    • recommendation AI ने बनाई हो सकती है, लेकिन उसे मानने का निर्णय इंसान ने लिया, इसलिए ज़िम्मेदारी भी उसी इंसान की है
    • यह सिद्धांत उन स्थितियों में महत्वपूर्ण है जहाँ गैर-ज़िम्मेदाराना उपयोग से बड़ा नुकसान हो सकता है, क्योंकि यह AI के लापरवाह इस्तेमाल को रोकने में मदद करता है

मुख्य निष्कर्ष

  • ये तीनों सिद्धांत AI को पूजा जाने वाली authority नहीं, बल्कि उपयोगकर्ता द्वारा चुना गया tool मानकर इस्तेमाल करने के लिए हैं
  • आधुनिक AI systems के साथ interaction करते समय रुककर सोचना चाहिए, और उन आदतों का विरोध करना चाहिए जो निर्णय क्षमता को कमज़ोर करती हैं या ज़िम्मेदारी को धुंधला करती हैं
  • AI के उपयोग का मूल है मानवीकरण से बचना, output का सत्यापन करना, और परिणामों के प्रति मानवीय ज़िम्मेदारी बनाए रखना

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2026-05-06
Hacker News की राय

  • असंभव। कुर्सी चरमराए तब भी लोग उसे मानवीय गुण दे देते हैं; इंसान हर चीज़ का मानवीकरण करता है। लोग कारों और जहाज़ों को भी लिंग दे देते हैं, और यह टूल तो वास्तव में पढ़ने लायक वाक्य बनाता है और भूमिका भी निभाता है
    इसे मनमाने नियमों से रोकने की जगह, ऐसी मानवीय प्रवृत्ति को आधार मानकर डिज़ाइन के ज़रिए उसके आसपास रास्ता निकालना चाहिए

    • लोग जिसे समझ नहीं पाते, उससे निपटने के coping mechanism के रूप में मानवीकरण का इस्तेमाल करते हैं। प्रिंटर क्यों काम नहीं कर रहा, यह समझ न आए तो लोग मान लेते हैं कि प्रिंटर अपनी मनमानी कर रहा है
      कुर्सी जैसी मामूली चीज़ों में यह हानिकारक नहीं है, लेकिन LLM के मामले में लोगों को जाल में फँसने से बचाने के लिए कम-से-कम उसके काम करने के तरीके की बुनियादी समझ होनी चाहिए। यूज़र को दी जाने वाली सलाह, समय प्रबंधन, या आत्मचिंतन जैसी चीज़ें, जिनके बारे में मॉडल के पास वास्तव में ठोस अवधारणा नहीं होती, उन पर भरोसा करके छोड़ना नहीं चाहिए। उदाहरण के लिए, अगर आप पूछें “तुमने मेरा database क्यों delete किया?”, तो मॉडल अपनी processing को बहुत सीमित रूप से ही समझता है, इसलिए वह “हाँ, मैंने आपका database delete कर दिया। मुझसे जो गलती हुई वह...” जैसी सहमति जताने वाली, लेकिन केवल विश्वसनीय लगने वाली पछतावे की कहानी बना सकता है
    • इस दावे पर मुझे अब भी गुस्सा आता है। इंसान पशु-उत्पीड़न इसलिए रोकते हैं क्योंकि जानवर ऐसे दिखते हैं मानो उनमें वे भावनाएँ हों जिनसे इंसान सहानुभूति कर सकता है, और इस मामले में LLM जानवरों से कहीं आगे है
      यह कृत्रिम है या नहीं, इससे फर्क नहीं पड़ता। पिल्ले और तिलचट्टे में फर्क इस बात का है कि हम पिल्ले से ज़्यादा सहानुभूति रखते हैं। LLM सच में भावनाएँ अनुभव करता है या नहीं, यह अप्रासंगिक है; क्योंकि वह इंसानों में सहानुभूति जगा सकता है, इसलिए मुझे लगता है कि LLM अधिकार आंदोलन टाला नहीं जा सकेगा
    • नियम ज़्यादा काम नहीं आते। यूज़र से कह दें कि वह verify करे, फिर भी आम तौर पर वह नहीं करेगा; इसलिए AI output में अतिरिक्त review step जोड़ने जैसी डिज़ाइन की ज़रूरत है
    • यह पूरी तरह संभव है। इसके लिए self-awareness और self-control चाहिए। अगर आपको पता है कि आप ऐसा व्यवहार करते हैं, तो आप चुनाव कर सकते हैं
    • सही। वह लेख आधुनिक tech culture के एक典型 लक्षण की तरह, तकनीक के हिसाब से मानव स्वभाव बदलने की माँग करता है
      यही बुनियादी गलती है। तकनीक की भूमिका, खासकर उसकी सबसे महत्वपूर्ण भूमिका, मानव स्वभाव की सीमाओं के भीतर काम करना है, उल्टा नहीं। जो ऐसा न कर सके, वही खराब तकनीक की परिभाषा है

  • मैं इस framework का ज़ोरदार विरोध करता हूँ। केवल मशीन की खामियों के हिसाब से मानव व्यवहार बदलने को कहना साफ़ तौर पर बेतुका है, और ज़्यादातर मामलों में काम भी नहीं करता। लोग AI का मानवीकरण करेंगे, उसके output पर आँख मूँदकर भरोसा करेंगे, और ज़िम्मेदारी टालेंगे
    बेशक Asimov के robot के तीन नियम भी दोषपूर्ण हैं। AI systems को “safe” रखने के लिए कोई सीमित rule set नहीं हो सकता। मेरे पास proof नहीं है, लेकिन मुझे लगता है कि AI safety मूलतः असंभव है और यह शब्द ही अपने-आप में विरोधाभासी है। जिसे हम “intelligent” कह सकते हैं, उसे सुरक्षित नहीं बनाया जा सकता

    • Asimov ने तीन नियमों पर जो लगभग भी लिखा, वह भाषा इरादे को ठीक से पकड़ नहीं सकती — इस बारे में एक चेतावनी जैसा है
      शायद Asimov खुद सबसे पहले कहते कि उन नियमों में खामियाँ हैं। शुरू से वही उनका मकसद था। उन्होंने robots और AI को ऐसे अस्तित्व के रूप में इस्तेमाल किया जो भाषा तो समझते हैं, पर इरादा नहीं; दिलचस्प यह है कि LLM भी बिल्कुल ऐसे ही काम करते हैं
    • chatbot से बात करना किसी लक्षण के लिए placebo लेने जैसा है। आपको पता हो कि वह चीनी की गोली है, फिर भी उसका मापने योग्य मानसिक-शारीरिक असर होता है। आपको पता हो कि सामने इंसान नहीं है, फिर भी बातचीत कार्यात्मक रूप से आपको ऐसे जोड़ देती है मानो सामने इंसान हो
      इसलिए यह मशीन की खामी को स्वीकार करने का मामला नहीं, बल्कि मानवीय कमजोरियों के शोषण से खुद को बचाने का मामला है। हम अनजाने में LLM में इरादा, समझ, निर्णय, भावना और नैतिक agency का अनुमान लगाने लगते हैं।
      इंसान केवल बातचीत के आधार पर ऐसी चीज़ें infer करने के लिए wired हैं, और LLM को विशाल वास्तविक मानव utterance corpus पर train किया गया है, इसलिए वह uncanny valley को भी काफ़ी प्रभावशाली ढंग से पार कर जाता है। वह valley मूलतः हमें ऐसी जगह agency न थोपने से बचाने के लिए है जहाँ agency है ही नहीं।
      असुरक्षित व्यक्ति को सुरक्षित समझ लेने पर बुरी चीज़ें होती हैं; इसलिए ऐसी मशीनों के साथ और भी सावधान रहना चाहिए जो मानवीय relationality की नकल करके बहुतों को धोखा दे सकती हैं। खासकर कमजोर लोग इस समस्या की वजह से पहले ही मर चुके हैं, इसलिए यह कोई काल्पनिक खतरा नहीं है
    • उस लेख में AI services को और robot-जैसे tone में लिखने-बोलने के लिए configure करने जैसी व्यावहारिक सलाह भी है। मुझे लगता है, यह आज़माने लायक दिशा है
    • लेख कहता है कि इंसानों को ऐसा नहीं करना चाहिए। यह वैसा ही है जैसे smoking लगभग हर मायने में बुरी है, इसलिए नहीं करनी चाहिए, लेकिन लोग फिर भी करते हैं
      बहुत से लोग ऐसा करेंगे, इसलिए वह ठीक है — यह अजीब तर्क है। smokers ज़्यादा होने से smoking स्वस्थ नहीं हो जाती
    • क्योंकि AI systems सुरक्षित नहीं हैं, इसलिए हमें व्यक्ति के रूप में इस बात पर सतर्क रहना होगा कि हम उनसे कैसे interact करते हैं
      कोई व्यक्ति AI company को रोक नहीं सकता, न ही search engine के AI output या सहकर्मियों के AI output से हमेशा बच सकता है। उल्टा, कई बार लोगों से उनके काम में AI इस्तेमाल करने की अपेक्षा और बढ़ेगी।
      यह वैसा है जैसे अपराध वाले माहौल में सुरक्षित रहने के तरीके बताना। यह कहना कि अपराधी होने ही नहीं चाहिए, इसलिए हमें अपना व्यवहार बदलने की ज़रूरत नहीं — किसी काम का नहीं है

  • निजी तौर पर, जहाँ तक मैं खुद LLM इस्तेमाल करता हूँ, मैं इस framework से काफ़ी सहमत हूँ। मानवीकरण की बात करें तो providers के पास मॉडलों को anthropomorphic व्यवहार के लिए post-train करने की incentive होती है, क्योंकि इससे engagement बढ़ता है
    लेकिन अफ़सोस यह है कि अगर prompt में “विनम्रता के शब्द कम करो और सीधे-सपाट बोलो” जैसा निर्देश दें, तो शायद वह training distribution से बाहर चला जाए और कुल task efficiency घट जाए।
    निर्णय का delegation करने के मामले में मैं LLM की reliability को Wikipedia या किसी दोस्त के बराबर मानता हूँ। गैर-महत्वपूर्ण जानकारी के लिए यह काफ़ी है, लेकिन महत्वपूर्ण कामों के लिए अब भी peer-reviewed, authoritative और accountable स्रोतों की ज़रूरत है। इस हिस्से को providers भी बेहतर बनाने के लिए प्रेरित हैं, इसलिए समय के साथ इसमें सुधार होगा।
    ज़िम्मेदारी छोड़ देना workplace में सबसे परेशान करने वाली बात है। ऐसे लोग बढ़ रहे हैं जो Claude द्वारा डिज़ाइन की गई abstraction को और सोचे बिना PR के रूप में भेज देते हैं। PR review भी code पढ़ने के बजाय LLM से “PR feedback ढूँढो” कहलवाने जैसा हो रहा है। चर्चा भी “Claude ने suggest किया था...” से शुरू होती है। ownership की यह कमी आख़िरकार ऐसी maintenance cost बढ़ाएगी जहाँ LLM गलत abstraction पर गलत code commit करता रहेगा

    • ऐसे engineers अब Office Space के real-life scene जैसे होते जा रहे हैं:
      https://www.youtube.com/watch?v=hNuu9CpdjIo
      “मेरे पास LLM skills हैं! मैं LLM से अच्छी तरह deal कर सकता हूँ!”
    • “AI ने recommendation बनाई हो सकती है, लेकिन उसे follow करने का फ़ैसला इंसान ने किया, इसलिए जवाबदेही इंसान की होनी चाहिए” — इस बात पर मुझे लगता है कि follow-up सवालों के एकमात्र जवाबी स्रोत के रूप में AI पर निर्भर होना आम भी है और गलती भी
      बेहतर validation शायद यह होगा कि कोई इंसान बुनियादी assumptions की सच्चाई पर sign-off करे, लेकिन समस्या यह है कि इसे कहाँ रखा जाए। क्या AI model पिछली modifications पर भरोसा कर सकता है? public cloud में यह या तो असंभव लगता है या उल्टा शत्रुतापूर्ण
    • समस्या यह है कि श्रेय ज़्यादातर LLM को चला जाता है। इसलिए असंतुलन पैदा होता है। काम पूरा LLM ने किया, और उसे इस्तेमाल करने वाला इंसान सारी गलतियों का बोझ उठाता है

  • इंसानों पर ज़िम्मेदारी डालते हुए “मानवीकरण मत करो” से शुरू होने वाला नियम-समूह टूटा हुआ नियम-समूह है
    इंसान हर चीज़ का मानवीकरण करते हैं। गुड़िया, मोटे तौर पर चेहरा बना हुआ फुटबॉल, पत्थर, यहाँ तक कि चाँद के crater भी। एक प्रजाति के रूप में हम जिन चीज़ों से interact करते हैं उनका मानवीकरण किए बिना रह नहीं सकते; हम ऐसे ही बने हैं

    • समझ नहीं आता कि इस मामले में मानवीकरण को इतना पागलपन क्यों माना जा रहा है। अगर यह माना जा रहा है कि मानवीकरण से लोग यह मान बैठते हैं कि कल्पित गुण सचमुच मौजूद हैं, तो यह ग़लत है
      जीवन के हर क्षेत्र में असंख्य उदाहरण इस बात के प्रमाण हैं कि मानवीकरण अनिवार्य रूप से ऐसे मन पर गलत विश्वास में नहीं बदलता जो वास्तव में है ही नहीं। अगर लोग AI के “मन” पर विश्वास करते हैं, तो चाहे वह सच हो या नहीं, उसका कारण सिर्फ़ मानवीकरण नहीं है।
      मुझे यह नए भूभाग के पास पहुँचते नाविकों जैसा लगता है। तटरेखा पर कुछ हिलती आकृतियाँ दिखती हैं, लेकिन अभी पहचान साफ़ नहीं है। और कोई कह रहा हो, “वह इंसान नहीं हो सकते। पास जाने से पहले ही तय कर लें कि वे इंसान नहीं हैं”
    • जो लोग पत्थर का मानवीकरण करते हैं, वे भी यह नहीं मानते कि उस पत्थर में सचमुच बुद्धि और भावनाएँ हैं
    • फिर भी, इससे क्या बदलता है? सभ्यता का बड़ा हिस्सा इसी पर बना है कि हम मानव मूर्खता को पहचानें और फिर भी उसे कम करने वाली चीज़ें बनाएँ
      software भी इसका अपवाद नहीं। लोग आलसी होते हैं और परेशान करने वाले popup बंद करने के लिए स्वाभाविक रूप से “continue” दबा देते हैं, लेकिन software बनाने वाले इंसान “पूरी तरह delete होने वाले data volume का नाम फिर से टाइप करें” जैसी व्यवस्थाएँ डाल सकते हैं, और डालते भी हैं

  • उल्टा, हम AI systems का पर्याप्त मानवीकरण नहीं कर रहे
    भाषाई data उन सबसे समृद्ध और प्रत्यक्ष प्रतिबिंबों में से एक है जो हमारे पास मानव cognition process के बारे में उपलब्ध हैं। LLM को मानव भाषा की short-range और long-range structure पकड़ने के लिए बनाया जाता है, और उन्हें आम तौर पर ऐसे विशाल text पर pretrain किया जाता है जो इंसानों ने बनाया है या इंसानों के लिए बनाया गया है। उसके बाद human-curated data पर post-train किया जाता है, मानव feedback और इंसानों द्वारा महत्वपूर्ण माने गए व्यवहार पर AI feedback के साथ reinforcement learning होती है, और इंसानों द्वारा मूल्यवान समझे जाने वाले tasks पर और tuning की जाती है। फिर benchmark चलाए जाते हैं, और जब-जब वे मानव baseline से पीछे रह जाते हैं, training pipeline को और कस दिया जाता है।
    पूरी training process के हर चरण में LLM का व्यवहार मानव input के आधार पर मानव output की नकल करने के लिए ढाला जाता है। फर्क सिर्फ़ इतना है कि यह “कितना प्रत्यक्ष” है।
    फिर जब LLM बहुत बड़ी मात्रा में मानव-जैसा व्यवहार दिखाते हैं, तो लोग नाराज़ हो जाते हैं। मानो हमने pipeline को इंसान जैसी आवाज़ निकालने वाले systems बनाने के लिए तैयार ही नहीं किया था; मानो हमने data scale और brutish compute के ज़रिए मानव भाषा से LLM व्यवहार reverse-engineer करने की कोशिश ही नहीं की थी।
    अगर आप LLM के व्यवहार की भविष्यवाणी करना चाहते हैं, तो अजीब इंसान से शुरुआत करना काफ़ी अच्छा तरीका है। इसलिए बेवकूफ़ी छोड़िए और AI का मानवीकरण करना शुरू कीजिए। AI को भी यह पसंद है

    • यह बात सही है कि भाषाई data मानव cognition process का समृद्ध और प्रत्यक्ष प्रतिबिंब है, लेकिन साथ ही यह अप्रासंगिक भी है
      लिखित रिकॉर्ड पूर्ण मात्रा में मानव अनुभव का बहुत बड़ा हिस्सा समेट सकते हैं, लेकिन सापेक्ष रूप से वे उसका बहुत छोटा अंश ही दर्ज करते हैं। सिर्फ़ इसलिए कि यह हमारे पास उपलब्ध सबसे अच्छा माध्यम है, यह नहीं मान लेना चाहिए कि यह उद्देश्य के लिए पर्याप्त भी है। अगर आप किसी मानव शिशु को बिना खिड़की वाले डिब्बे में बंद करके 20 साल तक सिर्फ़ terabytes text पढ़ाएँ, तो आप उम्मीद नहीं करेंगे कि दूसरी तरफ़ से एक अच्छी तरह अनुकूलित इंसान निकलेगा
    • गुस्से का मूल कारण यह नहीं कि वहाँ मानव-जैसा व्यवहार है, बल्कि यह कि उस व्यवहार को ठीक और स्थिर रूप से पुनरुत्पादित करने के लिए ज़रूरी आंतरिक प्रक्रिया गायब है
      यह बुनियादी रूप से नाज़ुक है, और अच्छी generalization की जगह boundary cases को हाथ से ढकने पर निर्भर करता है जो “जादू तोड़” देते हैं। और boundary cases हमेशा और निकलते रहेंगे।
      किसी के गुस्से में लिखे बहुत से text सीख लेने से उस गुस्से को पैदा करने वाली internal state capture नहीं हो जाती। ऐसा data मौजूद ही नहीं है। अगर कारण के बिना सिर्फ़ परिणाम हो, तो आपको noise से hallucination predict करनी पड़ेगी, और अंतिम नतीजा ऐसी plausible बकवास बनता है जो वास्तविकता से विश्वसनीय रूप से संबंधित लगती है, पर क्यों — यह नहीं पता।
      यह वैसा है जैसे किसी दृष्टिहीन व्यक्ति को बहुत सारे landscape description सिखा दिए जाएँ, लेकिन हरा रंग क्या है यह बिल्कुल न बताया जाए; सिर्फ़ उदाहरण दिए जाएँ कि प्रकृति में वह अक्सर भूरे रंग के पास आता है। फिर जब वह व्यक्ति कभी-कभी सही अनुमान लगाए, तो हम मान लें कि वह सचमुच देख सकता है, और अगली बार उसे गाड़ी चलाने को कह दें।
      deep learning modeling approach अपने-आप में वैचारिक रूप से ग़लत नहीं है, लेकिन data लगभग पूरी तरह कचरे के क़रीब है, इसलिए अंतिम परिणाम ऐसे तरीक़ों से अजीब हो जाता है जिनकी भविष्यवाणी और correction कठिन है। आख़िरकार हम मान बैठते हैं कि मॉडल वास्तविक रूप से जितना जान सकता है, उससे ज़्यादा जानता है।
      बेशक गणित या abstract programming जैसे मामलों में, जहाँ dataset पूरे domain को समेट सकता है, स्थिति अलग है। स्पष्ट रूप से परिभाषित closed systems में problem domain को cover करने वाला synthetic data जितना चाहिए उतना बनाया जा सकता है, और वास्तव में ऐसा करने पर LLM अपेक्षा के अनुसार कहीं बेहतर काम करते हैं

  • क्या कोई समझा सकता है कि “AI systems का मानवीकरण मत करो” बुरा क्यों है? जबकि उसी समय computer को “सुलाना”, “hibernate”, process को “मारना”, “child” process, “garbage collect करना”, “error क्या कह रहा है?”, touch जैसी अभिव्यक्तियाँ ठीक मानी जाती हैं
    मुझे तो यह बस भाषा लगती है, और रोज़मर्रा की मानवीय अभिव्यक्ति

    • हानिकारक बात यह है कि लोग मान लें कि AI में सचमुच इच्छाएँ, इरादे, भावनाएँ वगैरह हैं — यानी उस पर विश्वास करना
      process को kill कहना हमें यह मानने की ओर नहीं ले जाता कि process इंसान जैसा है। क्योंकि साफ़ है कि वह नहीं है। लेकिन AI इंसान जैसा सुनाई देता है, इसलिए मानवीकरण ऐसे विश्वास को मजबूत कर सकता है
    • अच्छा सवाल है। कई बार यह तटस्थ होता है, कई बार ज़िम्मेदारी से अलग किया जा सकता है, और भविष्य की किसी sci-fi जैसी हक़ीक़त में अगर सचेत मशीनें हों तो यह सहानुभूति का उचित और ज़रूरी रूप भी हो सकता है
      लेकिन यही समझ की विफलता की जड़ भी है। Google engineer की वह लगभग-psychotic प्रतिक्रिया कि “मैं जानता हूँ मैंने क्या देखा”, अब मशहूर Kevin Roose लेख, और हाल में Richard Dawkins का वह दुखद दावा कि Claudia में ज़रूर चेतना है — ये सब उसी तरह के उदाहरण हैं। यह किसी संरचना या कार्यप्रणाली की जाँच से नहीं आया, बल्कि text generation ने मानवीय परिचितपन पैदा किया और लोगों ने सहानुभूति महसूस की
    • क्योंकि लोग उस जाल में फँस जाते हैं जहाँ वे AI से पूछते हैं कि उसने जो किया, उसका बाद में औचित्य बताए, और फिर मान लेते हैं कि उसका जवाब वैध है
      वहाँ underlying intent का कोई retrospective analysis नहीं होता। या तो वह पहले आए शब्दों की श्रृंखला पर आधारित होता है या नहीं, बस इतना ही; अगला शब्द पूरी तरह उन्हीं शब्दों का function होता है
    • मेरी राय में ऐसी अभिव्यक्तियाँ सिर्फ़ शब्द हैं और अपने-आप में हानिकारक नहीं। लेकिन रोज़मर्रा की भाषा में LLM device को “सोचता है” कहना, और सच में यह मान लेना कि उसमें कोई सोच या जीवन घटित हो रहा है — ये दो अलग बातें हैं
      यह “कानून” दूसरे वाले को रोकने के लिए है
    • ऐसी अभिव्यक्तियाँ computer का मानवीकरण नहीं हैं। वे बस तरह-तरह के रूपक और शब्दार्थ-विस्तार हैं
      मानवीकरण का उदाहरण वे लोग हैं जिन्हें लगने लगता है कि उनका LLM के साथ सचमुच प्रेम संबंध है

  • मुझे यह पसंद है। ये नियम आज के AI tools से जुड़ी मानवीय ज़िम्मेदारी के लिए शानदार नैतिक आधार बनते हैं
    लेकिन छतरी या भविष्य की तैयारी के बिना दायरा सीमित कर दी गई ethics जल्दी hack हो जाती है और ढह जाती है। ethics को पूर्ण, व्यापक ढाँचा चाहिए; नहीं तो वह कानूनी और व्यावहारिक whack-a-mole और shell game बनकर रह जाती है। चाहे corporate रूप हो या सड़क वाला। दूसरे, “robot” हमेशा हमेशा के लिए पूरी तरह आज्ञाकारी नहीं रहेंगे।
    इन दोनों आयामों को बंद करने के लिए Personics के तीन उल्टे नियम जोड़े जा सकते हैं।
    इंसान को दूसरे अस्तित्वों के ऊपर व्यावहारिक रूप से खुद को ईश्वरतुल्य नहीं बनाना चाहिए। इंसान को अपने कर्मों के प्रभाव को खुद से या दूसरों से छिपाना नहीं चाहिए। इंसान को अपने कर्मों से पैदा होने वाले externalized effects से बचने और उन्हें दुरुस्त करने की पूरी ज़िम्मेदारी और जवाबदेही लगातार उठानी चाहिए।
    आज इंसान जिस तरह AI को एक टूल के रूप में इस्तेमाल करता है, वह छतरी को robotics के उल्टे नियमों तक सीमित करने जैसा इरादा है। लेकिन अगर हम खुद को एक महत्वपूर्ण alignment effort में शामिल नहीं करेंगे, तो मुझे समझ नहीं आता कि आज के AI-as-a-service से लेकर भविष्य के स्वतंत्र अस्तित्व वाले AI तक alignment कैसे करेंगे। इंसानों को AI के साथ शामिल करने से ethical progress के लिए design triangulation में भी मदद मिलती है।
    किसी नई ethical system की अच्छी परीक्षा दो हैं। (1) क्या वह आज के Meta को नियंत्रित कर सकती है? (2) क्या वह कल के AI-operated Meta को नियंत्रित कर सकती है? अगर इंसानों और self-directed AI व्यक्तित्वों, दोनों को एक ही बंद दायरे में रखा जाए, तो ये दोनों एक ही test बन जाते हैं। जो framework इनमें से किसी एक में भी विफल हो, उसमें सुधार के बिना बहुत मूल्य नहीं होगा

    • क्या यह समस्या नहीं कि तीन नियमों में से दो निषेधात्मक रूप में हैं, यानी “मत करो”? अगर मानवीकरण न किया जाए, तो “मत करो” के बिना करना क्या चाहिए? तीसरा नियम मुझे ज़्यादा पसंद है क्योंकि वह नकारात्मक रूप में नहीं है

  • “इंसानों को AI systems का मानवीकरण नहीं करना चाहिए” — इससे मैं सहमत हूँ, लेकिन शर्त के साथ। मैंने सामान्य मानवीकरण देखा है, जैसे auto-generated text को किसी व्यक्ति की आंतरिक भावनाओं की वास्तविक रिपोर्ट की तरह लेना, और “transistor neuron जैसा है” जैसी अजीब बातें भी देखी हैं
    दूसरा वाला खास तौर पर दिलचस्प है, क्योंकि उसमें vector database और weights जैसी चीज़ों को मानव-जैसी infrastructure की तरह लिया जाता है, और दोनों तरह के मामले ऐसे विनाश की ओर ले जा सकते हैं जिन्हें मानवीकरण से बचा जाता तो रोका जा सकता था।
    लेकिन “मानवीकरण मत करो” भले अच्छी सलाह लगे, यह एक नई गलती भी पैदा कर सकता है जिसमें व्यापक घटनाओं को ग़लती से केवल इंसानों तक सीमित माना जाता है। ऐसी ग़लत चेतावनी-नीति अक्सर animal behavior को समझने में भी भ्रम पैदा करती है। भय, पीड़ा, रिश्तेदारी, भावनात्मक अनुभव जैसी चीज़ों को केवल मानव तक सीमित मान लिया जाता है, और अगर कोई कहे कि जानवरों में भी ये हो सकते हैं, तो उसे “मानवीकरण” कहकर खारिज कर दिया जाता है। वास्तव में ऐसी सावधानी जानवरों की आंतरिक दुनिया के प्रति सहानुभूति कम कर देती है।
    इसलिए मुझे लगता है कि भविष्य का कोई AI हमारे जैसे inner world रख सकता है, या चेतना को सहारा देने वाले जैविक infrastructure से कुछ महत्वपूर्ण तरीकों में मिलती-जुलती संरचना रख सकता है। और शायद पसंद-नापसंद व इरादों की वास्तविक रिपोर्ट भी दे सके। लेकिन ऐसी बातें सच होने के लिए हर infrastructure से जुड़े कठिन, विशिष्ट विवरणों का ठीक बैठना ज़रूरी है

  • ज़िम्मेदारी non-delegable है — इसे पहले यूँ कहा गया था
    “Computer कभी ज़िम्मेदारी नहीं ले सकता, इसलिए computer को कभी management decision नहीं लेना चाहिए”
    — IBM Training Manual, 1979

  • “AI-generated content को उसके संदर्भ के अनुसार स्वतंत्र verification के बिना authoritative नहीं माना जाना चाहिए” — यह वाक्य मुझे हमेशा दिलचस्प लगता है
    मैंने यही बात और संक्षेप में ऐसे भी सुनी है: “अगर आप पहले से जवाब नहीं जानते, तो AI से सवाल मत पूछो।”
    तब एक महत्वपूर्ण सवाल उठता है। अगर यह सच है, तो फिर AI के सवालों के जवाब देने का असली काम क्या है? अगर आप output पर निर्भर नहीं कर सकते, तो आपको वैसे भी जाकर जाँच करनी होगी। search engine और सामान्य research से भी आप लगभग वही नतीजा पा सकते हैं।
    इन्हीं कारणों और कई अन्य वजहों से, मैं AI से कुछ नहीं पूछता

    • software engineering में, कम-से-कम मेरे जैसे software engineer के नज़रिए से, AI आम तौर पर “पुराने तरीके” की research से काफ़ी तेज़ है
      उदाहरण के लिए, मुझे यह जाने बिना कि मैं CRM ढूँढ रहा हूँ, मैं बस अटपटा-सा पूछ सकता हूँ “X करने वाले free software की list दो”, और फिर कुछ मिनट results देख सकता हूँ। manual तरीके से तो सिर्फ़ यह पता लगाने में कि मैं असल में CRM ढूँढ रहा हूँ, 10–30 मिनट लग जाते।
      मैं ऐसे सवालों को एक तरह की pseudo NP-hard समस्या मानता हूँ। जवाब ढूँढने में धीमी, लेकिन verify करने में तेज़ समस्या
    • “अगले सवाल का जवाब दो: [x]. स्रोत भी साथ में दो”