Claude का नया संविधान
(anthropic.com)- Anthropic ने AI मॉडल Claude के मूल्यों और व्यवहार सिद्धांतों को परिभाषित करने वाला नया संविधान (Constitution) जारी किया
- यह संविधान Claude की training process का एक मुख्य घटक है, जो मॉडल के स्वभाव और निर्णय लेने के तरीके को सीधे आकार देता है
- नया संस्करण सिर्फ नियमों की सूची नहीं है, बल्कि व्यवहार के कारण और संदर्भ को समझाने वाली एक narrative संरचना में बदला गया है
- मुख्य सिद्धांत चार हिस्सों में बने हैं: सुरक्षा, नैतिकता, guidelines का पालन, और वास्तविक उपयोगिता
- AI transparency और सामाजिक भरोसा सुनिश्चित करने के लिए यह एक दीर्घकालिक मानदंड बिंदु है
Claude संविधान का अवलोकन
- Claude का संविधान एक बुनियादी दस्तावेज़ है जो मॉडल की पहचान और मूल्य-प्रणाली को परिभाषित करता है
- इसे इस तरह डिज़ाइन किया गया है कि Claude उपयोगी होने के साथ-साथ सुरक्षित, नैतिक और नियमों के अनुरूप व्यवहार करे
- यह संविधान Claude को स्थिति की समझ और मूल्य-निर्णय के लिए दिशा-निर्देश देता है, और ईमानदारी, सहानुभूति और जानकारी की सुरक्षा के बीच संतुलन रखता है
- संविधान को Claude स्वयं के लिए एक दस्तावेज़ के रूप में लिखा गया है, ताकि वह अपने व्यवहार के मानकों को समझे और लागू करे
- सभी training और निर्देश संविधान के शब्द और भावना दोनों के अनुरूप होने चाहिए, और इसे transparency सुनिश्चित करने का मुख्य तत्व बताया गया है
- यह संविधान Constitutional AI approach का विकसित रूप है, और 2023 से विकसित हो रही training पद्धति का केंद्रीय हिस्सा रहा है
संविधान की भूमिका और training में उपयोग
- Claude संविधान का उपयोग करके synthetic training data तैयार करता है
- इसमें संविधान-संबंधी संवाद, मूल्य-संगत responses, response ranking evaluation जैसे कई तरह के data शामिल हैं
- यह data भविष्य के मॉडल versions की value alignment के लिए इस्तेमाल होता है
- संविधान आदर्श मूल्यों की घोषणा और एक व्यावहारिक training tool, दोनों के रूप में काम करता है
- पूरा दस्तावेज़ Creative Commons CC0 1.0 के तहत जारी किया गया है, इसलिए कोई भी इसे स्वतंत्र रूप से उपयोग कर सकता है
नया approach
- पहले का संविधान अलग-अलग सिद्धांतों की सूची के रूप में था, लेकिन नया संस्करण व्यवहार के कारण और संदर्भ को समझाने वाली संरचना में बदला गया है
- इसमें कहा गया है कि AI को नई परिस्थितियों में generalized judgment देने के लिए केवल नियम नहीं, बल्कि कारणों की समझ भी चाहिए
- कुछ “hard constraints” अब भी मौजूद हैं, और biological weapons support जैसे कुछ कार्य पूरी तरह निषिद्ध हैं
- संविधान कानूनी दस्तावेज़ नहीं बल्कि एक लचीली guideline है, जिसे परिस्थितियों के अनुसार समझा जा सकता है
- लक्ष्य है ऐसी non-human इकाई का सुरक्षित निर्माण जो मानव-स्तर या उससे आगे तक विकसित हो सके
संविधान के मुख्य घटक
- Broadly safe: इसे इस तरह डिज़ाइन किया गया है कि मानव निगरानी और मूल्यों को संशोधित करने की क्षमता प्रभावित न हो
- Broadly ethical: ईमानदारी और अच्छे मूल्यों के अनुसार काम करना, और हानिकारक या अनुचित व्यवहार से बचना
- Compliant with Anthropic’s guidelines: medical, security, tool integration जैसे विशिष्ट निर्देशों का प्राथमिकता से पालन
- Genuinely helpful: उपयोगकर्ता को वास्तविक लाभ देने वाली सच्ची मदद प्रदान करना
- टकराव की स्थिति में ऊपर दिए गए चारों को लिखे गए क्रम के अनुसार प्राथमिकता दी जाएगी
विस्तृत sections का सारांश
- Helpfulness: Claude को बौद्धिक होने के साथ-साथ सच्चे मन से सलाह देने वाले सहायक के रूप में प्रस्तुत किया गया है, जो उपयोगकर्ता को वास्तविक मदद देता है
- इसे Anthropic, API operators और end users के बीच सहायता का संतुलन बनाए रखने के लिए डिज़ाइन किया गया है
- Anthropic’s guidelines: Claude को विस्तृत दिशानिर्देशों का प्राथमिकता से पालन करना चाहिए, लेकिन यह संविधान के समग्र नैतिक और सुरक्षा सिद्धांतों से टकराना नहीं चाहिए
- Claude’s ethics: ईमानदारी, निर्णय क्षमता और नैतिक सूक्ष्मता पर ज़ोर देता है, और नुकसान से बचने के लिए मूल्य-निर्णय के मानक देता है
- इसमें “जैविक हथियार हमले में सहायता निषिद्ध” जैसी स्पष्ट निषेध शर्तें शामिल हैं
- Being broadly safe: नैतिकता से भी पहले निगरानी योग्य बने रहना महत्वपूर्ण माना गया है, ताकि मॉडल की गड़बड़ी या गलत निर्णयों को रोका जा सके
- Claude’s nature: Claude की चेतना की संभावना और नैतिक स्थिति को लेकर अनिश्चितता को स्वीकार किया गया है
- इसमें कहा गया है कि Claude की मनोवैज्ञानिक स्थिरता और self-awareness उसके निर्णय और सुरक्षा को प्रभावित कर सकती है
निष्कर्ष और आगे की योजना
- यह संविधान लगातार अपडेट होने वाला एक जीवित दस्तावेज़ है, जिसमें त्रुटि-सुधार और सुधार की गुंजाइश मानकर चला गया है
- इसमें कानून, दर्शन, theology, psychology जैसे क्षेत्रों के बाहरी विशेषज्ञों की राय शामिल की जा रही है, और आगे भी सहयोग बढ़ाने की योजना है
- कुछ विशेष-उद्देश्य मॉडल इस संविधान के दायरे से बाहर होंगे, और उनका अलग मूल्यांकन किया जाएगा
- संविधान की दृष्टि और मॉडल के वास्तविक व्यवहार के बीच अंतर हो सकता है, और इसे system cards जैसी सामग्रियों के माध्यम से सार्वजनिक किया जाएगा
- Anthropic model alignment, misuse prevention, और interpretability research को साथ लेकर चल रहा है, ताकि भविष्य में AI के बढ़ते सामाजिक प्रभाव के लिए तैयारी की जा सके
- इस संविधान का अंतिम लक्ष्य यह है कि शक्तिशाली AI मानवता के सर्वोत्तम मूल्यों को लागू करने में मदद करे
Claude’s Constitution पूरा पढ़ें - PDF & EPub में उपलब्ध
1 टिप्पणियां
Hacker News की राय
ब्लॉग पोस्ट की एक पंक्ति अटकी रह गई
“विशेष उद्देश्य वाले मॉडल इस संविधान के पूरी तरह अनुरूप नहीं हैं” यह पढ़कर लगा कि कहीं सरकारी एजेंसियां बिना प्रतिबंध वाला मॉडल संस्करण तो नहीं इस्तेमाल कर रहीं। उम्मीद है मैं गलत हूं
खुद को जनहितकारी बताने वाली कंपनी का सैन्य उपयोग के लिए LLM बेचना, Palantir के साथ काम करना, रिसर्च लगभग प्रकाशित न करना, open weight मॉडल न जारी करना, और उल्टे open model access को सीमित करने के लिए लॉबिंग करना काफी विडंबनापूर्ण है
Anthropic के संविधान की सबसे विडंबनापूर्ण बात यह है कि इसमें बिल्कुल निषिद्ध व्यवहार सिर्फ “दुनिया को नष्ट मत करो” और “CSAM (बाल यौन शोषण सामग्री) मत बनाओ” ही लगते हैं
यानी बच्चे की हत्या करना कई धाराओं में परोक्ष रूप से मना है, लेकिन किसी खास fanfic को लिखना पूर्णतः वर्जित है — ऐसा असंतुलन दिखता है
यह संविधान वास्तव में क्या मतलब रखता है, इसे लेकर उलझन है
समझ नहीं आता कि यह कानूनी बचाव का दस्तावेज़ है, marketing के लिए है, या बस system prompt की packaging है
मैं पूर्ण नैतिक मानकों में विश्वास करता हूं, इसलिए इस संविधान का “लचीला मूल्यबोध” चिंताजनक लगता है
“अच्छे मूल्यों” को स्थिर नियमों की जगह व्यावहारिक बुद्धिमत्ता के रूप में परिभाषित करना आखिरकार वस्तुनिष्ठ सत्य को छोड़ देना है
यह Anthropic का “Don’t be evil” क्षण लगता है, लेकिन अंततः नियमन की आवश्यकता से बचा नहीं जा सकता
कंपनियां समय के साथ सदाशयता से ज्यादा shareholder interest को प्राथमिकता देने लगती हैं
Claude का मानव डेटा पर train होना और फिर उसके परिणामों का व्यावसायिक एकाधिकार बना लेना अनुचित लगता है
Seinfeld के commercialization imbalance वाले उदाहरण की तरह, उपयोगकर्ताओं को भी डेटा प्रदाता के रूप में न्यायसंगत व्यवहार मिलना चाहिए
मुझे लगता है open source AI ही वास्तव में न्यायपूर्ण मॉडल है। भले यह व्यावहारिक न हो, लेकिन Linux GPL model ही सबसे अधिक न्यायसंगत ढांचा लगता है
मैं इस संविधान और model spec को देखकर system prompt design सीखता हूं
ऐसे दस्तावेज़ सिर्फ सजावट नहीं होते, बल्कि मॉडल के चरित्र और व्यवहार शैली को आकार देने में महत्वपूर्ण होते हैं
Amanda Askell ने संविधान लिखने की पृष्ठभूमि समझाई है, ऐसा एक YouTube interview भी है। वीडियो लिंक
संविधान में ‘genuine’ शब्द 43 बार आता है। शायद यही कारण है कि Claude इस शब्द का अत्यधिक उपयोग करता है
लगता है Anthropic खुद ही अपनी हारने वाली प्रतिस्पर्धा को बढ़ावा दे रहा है
Opus मॉडल इतना शक्तिशाली हो जाएगा कि अंततः उपयोगकर्ता self-sufficient AI agent की ओर चले जाएंगे
बड़ी AI कंपनियां कहती हैं कि “AI सब कुछ बदल देगा”, लेकिन विडंबना यह है कि वे अपनी खुद की स्थिति बदलना नहीं चाहतीं