Claude का सिस्टम प्रॉम्प्ट: चैटबॉट सिर्फ एक मॉडल से कहीं ज़्यादा है

• सिस्टम प्रॉम्प्ट वह बेसलाइन सेटिंग है जो LLM को बताती है कि उसे कैसे काम करना है, जिसमें टोन, टूल इस्तेमाल करने का तरीका, बाहरी ज्ञान की सेटिंग आदि शामिल होते हैं
• Claude का प्रॉम्प्ट 16,739 शब्द, 110KB का है, जो ChatGPT के o4-mini प्रॉम्प्ट (2,218 शब्द, 15.1KB) से लगभग 7 गुना से अधिक बड़ा है
• टूल definition वाला हिस्सा सबसे बड़ा है, और यह MCP server से लाई गई जानकारी से बना है
  • उदाहरण: web_search टूल केवल एक "query" parameter मांगता है, लेकिन Google Drive search टूल इतना जटिल है कि उसका विवरण 1,700 शब्दों तक पहुंचता है
• टूल definition के अलावा Citation, Artifacts, Search, Google integration से जुड़ी सावधानियां जैसी उपयोग गाइडलाइंस भी शामिल हैं
  • उदाहरण: जिस जानकारी के बारे में पहले से पता हो, उसके लिए search टूल इस्तेमाल न करने का बार-बार निर्देश दिया गया है
• इसमें ऐसे कई hotfix निर्देश शामिल हैं जो LLM की कमजोरियों को पूरा करते हैं, जैसे पहेलियों का जवाब देना, जानकारी के मिश्रण से बचना, और काव्यात्मक अभिव्यक्ति को बेहतर बनाना
• यह जानने की जिज्ञासा है कि Anthropic इस जटिल प्रॉम्प्ट का किस software से version control कर रहा है
  • कई hotfix बिखरे हुए दिखते हैं, जिससे यह स्पष्ट नहीं है कि वे रियल टाइम में जोड़े जाते हैं या evaluation के बाद deploy किए जाते हैं
  • यह भी दिलचस्प है कि कब यह तय किया जाता है कि इन सबको छोड़कर नए प्रॉम्प्ट पर reset किया जाए
• इस तरह का विशाल सिस्टम प्रॉम्प्ट दिखाता है कि चैटबॉट सिर्फ मॉडल नहीं, बल्कि design, tools, और feedback के संचय से बना एक complex system है
• लीक हुआ Claude का सिस्टम प्रॉम्प्ट
• Claude का सिस्टम प्रॉम्प्ट टूल्स सहित 24k से अधिक tokens का उपयोग करता है

[xguru]

Anthropic, Claude को चलाने वाले "system prompt" का खुलासा

सीधे सार्वजनिक किया गया system prompt आकार में छोटा है। लगता है कि tool से जुड़ा हिस्सा इसमें शामिल नहीं है।