ऐसे कार्यों में Chain-of-Thought का नकारात्मक प्रभाव जहाँ सोच-विचार मानव प्रदर्शन को घटाता है

Chain-of-Thought और प्रदर्शन में गिरावट

• Chain-of-Thought (CoT) का अवलोकन

  • CoT बड़े language और multimodal models में व्यापक रूप से इस्तेमाल की जाने वाली रणनीति है।
  • यह कई कार्यों में प्रदर्शन बेहतर करने के लिए जाना जाता है, लेकिन यह किन सेटिंग्स में प्रभावी है, यह स्पष्ट करना अब भी जारी शोध का विषय है।

• शोध का उद्देश्य

  • उन कार्यों की विशेषताओं की पहचान करना जिनमें CoT मॉडल प्रदर्शन को घटा सकता है।
  • cognitive psychology से प्रेरित होकर, यह देखा गया कि (i) किन स्थितियों में भाषिक सोच या deliberation मानव प्रदर्शन में बाधा डालती है, और (ii) क्या मानव प्रदर्शन को नियंत्रित करने वाली सीमाएँ language models पर भी सामान्यीकृत होती हैं।

• मुख्य शोध उदाहरण

  • implicit statistical learning, visual recognition, और exceptions सहित pattern classification जैसे तीन मामलों का परीक्षण किया गया।
  • पाया गया कि विभिन्न state-of-the-art models में inference के दौरान सोच-विचार का उपयोग करने पर प्रदर्शन काफ़ी गिर जाता है (उदाहरण: OpenAI o1-preview में GPT-4o की तुलना में अधिकतम 36.3% absolute accuracy की कमी)।

• अतिरिक्त निष्कर्ष

  • ऐसे तीन कार्यों की पहचान की गई जो शर्त (i) को पूरा करते हैं, लेकिन (ii) को नहीं।
  • इन कार्यों में, भले ही भाषिक सोच मानव प्रदर्शन को घटाती है, CoT मॉडल प्रदर्शन को बनाए रखता है या बेहतर करता है।

• निष्कर्ष

  • मॉडल की cognitive process और मानव cognition के बीच पूरी तरह सटीक समानता नहीं है, लेकिन मानव प्रदर्शन पर नकारात्मक असर डालने वाले सोच-विचार के उदाहरणों पर ध्यान देने से उन सेटिंग्स की पहचान करने में मदद मिलती है जहाँ मॉडल पर भी नकारात्मक प्रभाव पड़ सकता है।
  • मानव deliberation पर मौजूद साहित्य और CoT evaluation को जोड़कर, यह prompt selection और inference के दौरान सोच-विचार के प्रभाव को समझने के लिए एक नया उपकरण प्रदान करता है।

GN⁺ की संक्षिप्त टिप्पणी

• यह शोध दिखाता है कि CoT हर स्थिति में मॉडल प्रदर्शन को बेहतर नहीं बनाता।
• यह संभावना सामने आती है कि जिन मामलों में मानव सोच प्रदर्शन पर नकारात्मक असर डालती है, उनके आधार पर मॉडल प्रदर्शन में गिरावट का अनुमान लगाया जा सकता है।
• CoT के प्रभाव को समझने में cognitive psychology की अंतर्दृष्टियों का उपयोग दिलचस्प है।
• समान कार्यक्षमता वाले प्रोजेक्ट के रूप में OpenAI के विभिन्न language models की सिफारिश की जाती है।