AI एजेंट मेमोरी प्रयोग: संक्षिप्त किया गया ज्ञान उल्टा प्रदर्शन घटाता है
(blog.clawsouls.ai)यह AI एजेंट को मेमोरी कैसे दी जाए, इस पर एक वास्तविक प्रयोग के नतीजे हैं.
एक ही AI एजेंट (Claude) को 4 तरह की मेमोरी कॉन्फ़िगरेशन दी गईं, और एक वास्तविक सॉफ़्टवेयर प्रोजेक्ट के बारे में वही 20 सवाल पूछे गए.
नतीजे (5 में से):
• हाइब्रिड (अनुभव+संश्लेषण): 4.95
• अनुभवजन्य मेमोरी (कच्चे लॉग): 4.55
• बेसलाइन (कोई मेमोरी नहीं): 3.30
• संश्लेषित मेमोरी (संगठित सार): 2.65
सबसे चौंकाने वाली खोज: ध्यान से व्यवस्थित की गई संश्लेषित मेमोरी का स्कोर बिल्कुल बिना मेमोरी वाली स्थिति से भी कम था.
इसे "ओवरकॉन्फिडेंस इफ़ेक्ट" नाम दिया गया — साफ़-सुथरे ढंग से संक्षेपित ज्ञान एजेंट को बिना आधार का आत्मविश्वास देता है, और यह स्वीकार करने की उसकी क्षमता घटा देता है कि वह क्या नहीं जानता. इसके उलट, कच्चे अनुभवजन्य रिकॉर्ड अनिश्चितता के निशान सुरक्षित रखते हैं, इसलिए एजेंट अधिक ईमानदार तर्क करता है.
शोधपत्र (प्रीप्रिंट): https://doi.org/10.5281/zenodo.18802214
प्रयोग डेटा (सार्वजनिक): https://github.com/clawsouls/experiential-memory-dataset
अभी कोई टिप्पणी नहीं है.