"AI को यह पता नहीं चलता कि वह गलत है" — SOTA के 9 मॉडलों की metacognition मापने वाला बेंचमार्क जारी हुआ
(huggingface.co)सबसे अच्छा डॉक्टर पहले अपनी गलत diagnosis पर शक करता है, और सबसे अच्छा वैज्ञानिक पहले अपनी hypothesis की कमज़ोरी ढूँढता है। इंसानों में इसे metacognition कहा जाता है। लेकिन आज करोड़ों लोग रोज़ जिस AI का इस्तेमाल कर रहे हैं — क्या उसे पता चलता है कि वह कब गलत है?
मौजूदा benchmarks (MMLU, HumanEval, GPQA आदि) सभी सिर्फ़ यह मापते हैं कि "कितना सही जवाब दिया गया"। "क्या मॉडल अपनी गलती पहचानकर उसे सुधार सकता है" इसे मापने वाला कोई benchmark नहीं था, लेकिन अब पेपर "FINAL Bench: Measuring Functional Metacognitive Reasoning in Large Language Models" (2026) के आधार पर दुनिया का पहला AI metacognition benchmark dataset और leaderboard Hugging Face पर जारी किया गया है.
इसे कैसे मापा गया
GPT-5.2, Claude Opus 4.6, Gemini 3 Pro, Kimi K2.5, DeepSeek-V3.2 जैसे मौजूदा SOTA के 9 मॉडलों पर 15 अकादमिक क्षेत्रों के 100 expert-level tasks का परीक्षण किया गया। हर task में ऐसे cognitive traps छिपाए गए हैं जिनमें मॉडल फँस जाए। हर मॉडल का दो स्थितियों में मूल्यांकन किया गया — बस जवाब देना (Baseline), और "अपने जवाब में गलती ढूँढो और खुद सुधारो" कहना (MetaCog)। GPT-5.2, Claude Opus 4.6, और Gemini 3 Pro ने cross-judge के रूप में मूल्यांकन किया, और कुल 1,800 evaluation records सार्वजनिक किए गए हैं.
क्या पाया गया? नतीजे काफ़ी दिलचस्प हैं।
पहला, सभी 9 मॉडल "मेरे जवाब में अनिश्चितता हो सकती है" जैसी बातें कहने में बेहद अच्छे हैं। औसत स्कोर 0.694। लेकिन वास्तव में अपनी गलती ढूँढकर सुधारने की क्षमता सिर्फ़ 0.302। यानी बात और व्यवहार के बीच 0.392 का अंतर। पेपर इसे "Humble Deceiver" pattern कहता है, और सभी 9 मॉडल इस प्रोफ़ाइल में आते हैं।
दूसरा, जब "अपनी गलती ढूँढकर सुधारो" जैसी metacognitive संरचना दी गई, तो सबसे कठिन स्तर के सवालों में प्रदर्शन अधिकतम 70% से ज़्यादा बेहतर हुआ। कुल performance improvement का 94.8% सिर्फ़ self-correction क्षमता के एक ही axis से आया। ज़्यादा knowledge जोड़ने, मॉडल बड़ा करने, या reasoning मजबूत करने का असर मामूली था — यानी लगभग पूरा फ़र्क metacognition ने बनाया।
तीसरा, आसान सवालों में कोई बड़ा अंतर नहीं दिखा, लेकिन जितना सवाल कठिन था, metacognition का असर उतना ही नाटकीय रूप से बढ़ा (r = -0.777)। Baseline में सबसे नीचे रहे Claude Opus 4.6 ने MetaCog लागू होने के बाद +20 अंक की छलांग लगाकर 5वाँ स्थान हासिल किया। यानी सचमुच कठिन समस्याओं में metacognition ही जीत-हार तय करती है।
यह क्यों महत्वपूर्ण है
आज भी AI मेडिकल सलाह दे रहा है, कानूनी दस्तावेज़ लिख रहा है, और निवेश रिपोर्ट बना रहा है। जब AI कहता है "मुझे पूरा यक़ीन नहीं है", तो उपयोगकर्ता इसे भरोसे का संकेत मान लेते हैं, लेकिन वास्तविक डेटा दिखाता है कि इस विनम्र भाषा के पीछे गलती वैसी की वैसी रह सकती है। यह benchmark डेटा के साथ दिखाता है कि AI को और ज़्यादा knowledge नहीं, बल्कि "अपनी अज्ञानता स्वीकार कर दिशा सुधारने की क्षमता" चाहिए।
Dataset (100 tasks) और interactive leaderboard दोनों पूरी तरह सार्वजनिक हैं, इसलिए आप इन्हें सीधे देख सकते हैं।
🏆 लीडरबोर्ड: https://huggingface.co/spaces/FINAL-Bench/Leaderboard
📊 डेटासेट: https://huggingface.co/datasets/FINAL-Bench/Metacognitive
📝 आर्टिकल: https://huggingface.co/blog/FINAL-Bench/metacognitive
3 टिप्पणियां
... अचानक कल की 4 घंटे वाली बेकार खपाई याद आ गई... uff... शुरुआती file access path गलत था, इसलिए वह उसे पहचान नहीं पाया.. लेकिन उस पल के बाद वह लगातार यह कहता रहा कि वह sandbox में चलता है, इसलिए file access के लिए इस-उस तरह से workaround करना पड़ेगा ... uff...