भाषा मॉडल hallucinations क्यों पैदा करते हैं? by OpenAI

AI सिस्टम की विश्वसनीयता की समस्या

1. AI सिस्टम की उपयोगिता और विश्वसनीयता बढ़ाने के प्रयास

   • OpenAI AI सिस्टम को और अधिक उपयोगी और भरोसेमंद बनाने के लिए काम कर रहा है।
   • इन प्रयासों के बावजूद, भाषा मॉडल जितने अधिक सक्षम होते जाते हैं, फिर भी जिन समस्याओं को हल करना कठिन है उनमें से एक hallucinations है।

2. hallucinations की परिभाषा और समस्या

   • hallucination का अर्थ है वह स्थिति जब मॉडल आत्मविश्वास के साथ ऐसा उत्तर देता है जो तथ्यात्मक रूप से गलत होता है।
   • यह AI सिस्टम की विश्वसनीयता को कम कर सकने वाली एक महत्वपूर्ण समस्या है।

3. शोध परिणाम और hallucinations के कारण

   • एक नए शोध पत्र में कहा गया है कि भाषा मॉडल hallucinations इसलिए पैदा करते हैं क्योंकि मानक training और evaluation प्रक्रियाएँ अनिश्चितता स्वीकार करने की बजाय अनुमान लगाने को पुरस्कृत करती हैं।
   • इससे AI मॉडल द्वारा गलत जानकारी पैदा करने की संभावना बढ़ जाती है।

4. ChatGPT और GPT-5 में hallucinations

   • ChatGPT भी hallucinations का अनुभव करता है।
   • GPT-5 में खासकर reasoning के दौरान hallucinations काफी कम हुए हैं, लेकिन वे अब भी हो सकते हैं।
   • यह दिखाता है कि AI सिस्टम की विश्वसनीयता बढ़ाने के लिए लगातार शोध और सुधार की आवश्यकता है।

hallucinations की परिभाषा

• hallucination भाषा मॉडल द्वारा उत्पन्न एक विश्वसनीय दिखने वाला लेकिन गलत कथन है।
• ऐसे hallucinations अप्रत्याशित तरीकों से सामने आ सकते हैं, और साधारण प्रश्नों में भी हो सकते हैं।

hallucinations का उदाहरण

• उदाहरण के लिए, जब एक व्यापक रूप से इस्तेमाल होने वाले chatbot से Adam Tauman Kalai की PhD thesis का शीर्षक पूछा गया, तो chatbot ने आत्मविश्वास के साथ तीन अलग-अलग उत्तर दिए।
• लेकिन दिए गए उत्तर सभी गलत थे।

evaluation method की समस्याएँ

• मौजूदा evaluation methods गलत incentives सेट करते हैं।
• evaluation स्वयं सीधे hallucinations पैदा नहीं करता, लेकिन अधिकतर evaluations मॉडल प्रदर्शन को ऐसे मापते हैं कि वे अनुमान लगाने को बढ़ावा देते हैं और अनिश्चितता के बारे में ईमानदारी को हतोत्साहित करते हैं।
• उदाहरण के लिए, multiple-choice test में यदि सही उत्तर न पता हो, तो अंधाधुंध अनुमान लगाने पर किस्मत से सही उत्तर मिल सकता है।
• यह तरीका सटीक मूल्यांकन की बजाय random guessing के जरिये बेहतर प्रदर्शन पाने वाला माहौल बनाता है।

मॉडल के प्रदर्शन का मूल्यांकन कैसे होता है

1. मॉडल performance evaluation की अवधारणा
   मॉडल के प्रदर्शन का मूल्यांकन दिए गए प्रश्नों के उत्तरों की सटीकता के आधार पर किया जाता है.

2. अनिश्चितता का प्रबंधन
   अगर मॉडल किसी प्रश्न का उत्तर नहीं जानता, तो 'मुझे नहीं पता' कहना सटीक स्कोर की गारंटी नहीं देता।

3. अनुमान की संभावना
   उदाहरण के लिए, यदि मॉडल किसी व्यक्ति की जन्मतिथि के प्रश्न पर '10 सितंबर' का अनुमान लगाए, तो उसके सही होने की संभावना 1/365 है।

4. प्रदर्शन स्कोर का अंतर
   हजारों test questions पर, अनुमान लगाने वाला मॉडल scoreboard पर अनिश्चितता स्वीकार करने वाले सावधान मॉडल से बेहतर दिख सकता है।

निष्कर्ष और संकेत

• मॉडल performance evaluation की सीमाएँ
  अनुमान लगाने वाला मॉडल अधिक स्कोर कर सकता है, लेकिन यह ज़रूरी नहीं कि वह वास्तव में सही जानकारी दे रहा हो।

• विश्वसनीयता का महत्व
  इसलिए, मॉडल की विश्वसनीयता और सटीकता का मूल्यांकन करते समय केवल स्कोर ही नहीं, बल्कि सही जानकारी उपलब्ध कराने के महत्व को भी ध्यान में रखना चाहिए।

मॉडल की सटीकता और error rate की तुलना

• सटीकता: पुराना OpenAI o4-mini मॉडल थोड़ा बेहतर प्रदर्शन दिखाता है।
• error rate: लेकिन इस मॉडल का error rate (यानी hallucinations की दर) काफी अधिक है।
• रणनीतिक अनुमान: अनिश्चित होने पर रणनीतिक रूप से अनुमान लगाना सटीकता बढ़ाता है, लेकिन errors और hallucinations भी बढ़ाता है।
• evaluation criteria: दर्जनों evaluations के परिणामों का औसत निकालते समय, अधिकतर benchmarks सटीकता metrics पर ज़ोर देते हैं। इससे सही और गलत के बीच एक गलत द्वैत पैदा होता है।

evaluation के लिए नया दृष्टिकोण

1. समस्या की पहचान
   मौजूदा evaluation approach केवल सटीकता पर केंद्रित है। यह मूल्यांकन की विश्वसनीयता को कम कर सकता है।

2. समाधान का प्रस्ताव
   evaluation में आत्मविश्वास के साथ की गई गलतियों पर अधिक penalty दी जा सकती है, और अनिश्चितता पर कम penalty। यह मूल्यांकन को अधिक निष्पक्ष बना सकता है।

3. partial credit देना
   अनिश्चितता को उचित रूप से व्यक्त करने पर partial credit देना महत्वपूर्ण है। इससे शिक्षार्थियों को अपने विचार व्यक्त करने का अवसर मिलता है।

4. शोध की दिशा
   कई research groups अनिश्चितता और calibration को ध्यान में रखकर evaluation methods की खोज कर रहे हैं। यह दृष्टिकोण सटीकता से आगे जाने वाले नए मानक पेश कर सकता है।

hallucinations के कारण को समझना

• hallucinations ऐसी घटनाएँ हैं जिनमें विशिष्ट तथ्यात्मक अशुद्धियाँ उत्पन्न होती हैं।
• इन अशुद्धियों का स्रोत भाषा मॉडल की learning process में है।
• भाषा मॉडल pretraining के माध्यम से विशाल मात्रा के text में अगला शब्द predict करना सीखते हैं।
• पारंपरिक machine learning समस्याओं से अलग, हर कथन के साथ 'सही/गलत' label नहीं जुड़ा होता।

hallucinations की लगातार बनी रहने वाली समस्या

• hallucinations को समाप्त करना कठिन होने के कई कारण हैं।
• hallucinations के कारणों में भाषा मॉडल की learning method एक महत्वपूर्ण भूमिका निभाती है।
• यह learning method हमेशा सटीक जानकारी उपलब्ध नहीं कराती, इसलिए hallucinations हो सकते हैं।
• hallucinations की विशिष्टता और जटिलता का भाषा मॉडल के training data से गहरा संबंध है।

सांख्यिकीय दृष्टिकोण का महत्व

• इस शोध पत्र का उद्देश्य hallucinations की प्रकृति को स्पष्ट करना और आम गलतफहमियों का खंडन करना है।
• यह statistical approach के माध्यम से hallucinations का विश्लेषण और समझ विकसित करने में योगदान देना चाहता है।
• hallucinations, AI मॉडल की सटीकता से गहराई से जुड़े हुए हैं।

hallucinations और सटीकता का संबंध

• दावा: यह विश्वास मौजूद है कि सटीकता में सुधार करने से hallucinations समाप्त हो जाएंगे।
• कहा जाता है कि 100% accurate मॉडल कभी hallucinations नहीं करेगा।
• लेकिन यह hallucinations की प्रकृति को नज़रअंदाज़ करता है।

सटीकता की सीमाएँ

• निष्कर्ष: सटीकता कभी 100% तक नहीं पहुँच सकती।
• कारण:
  1. मॉडल के आकार की परवाह किए बिना
  2. retrieval और reasoning क्षमताओं की परवाह किए बिना
  3. वास्तविक दुनिया के कुछ प्रश्न स्वभावतः अनुत्तरित किए जा सकने योग्य नहीं होते हैं।
• ये सीमाएँ संकेत देती हैं कि hallucinations को पूरी तरह समाप्त नहीं किया जा सकता।

भविष्य के शोध की दिशा

• भविष्य के शोध को hallucinations कम करने के लिए वैकल्पिक approaches तलाशनी चाहिए।
• मॉडल की सटीकता बढ़ाने के अलावा, hallucinations के कारणों को समझने और उनसे निपटने के लिए विभिन्न methodologies की आवश्यकता है।
• hallucinations की अधिक गहरी समझ AI की विश्वसनीयता बढ़ाने में योगदान देगी।