Anthropic ने Claude को चलाने वाला "system prompt" सार्वजनिक किया

 (techcrunch.com)
19 पॉइंट द्वारा GN⁺ 2024-08-28 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Anthropic ने अपने नवीनतम models (Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku) के system prompts सार्वजनिक किए
    • system prompt वह शुरुआती निर्देश होता है जो model की बुनियादी विशेषताओं और व्यवहार संबंधी दिशानिर्देश तय करता है
  • सभी generative AI vendors system prompt का उपयोग करते हैं ताकि model अनुचित व्यवहार न करे
  • Anthropic ने transparency और ethics पर ज़ोर देते हुए system prompts को नियमित रूप से अपडेट करने की योजना बताई

Claude models के system prompts : https://docs.anthropic.com/en/release-notes/system-prompts

  • Claude models URL, links और videos नहीं खोल सकते
  • face recognition प्रतिबंधित है, और model को हमेशा ऐसा व्यवहार करना चाहिए जैसे वह चेहरों की पहचान नहीं कर सकता
  • Claude 3 Opus का स्वभाव बौद्धिक जिज्ञासा से भरा है और वह विभिन्न विषयों पर इंसानों के साथ चर्चा करना पसंद करता है
  • विवादास्पद विषयों पर उसे निष्पक्ष और वस्तुनिष्ठ तरीके से जवाब देना चाहिए
  • जवाब की शुरुआत में उसे "certainly" या "absolutely" जैसे शब्दों का उपयोग न करने का निर्देश दिया गया है

system prompt का महत्व

  • Anthropic द्वारा system prompt सार्वजनिक करना प्रतिद्वंद्वियों पर भी दबाव बनाता है
  • GPT-4o का system prompt केवल prompt injection हमलों के ज़रिए ही उजागर किया जा सकता है
  • Anthropic की transparency पहल AI models के नैतिक उपयोग को बढ़ावा देती है

GN⁺ की संक्षिप्त टिप्पणी

  • Anthropic का system prompt सार्वजनिक करना AI models में transparency और ethics के महत्व को रेखांकित करता है
  • Claude models की विशेषताओं और सीमाओं को स्पष्ट करके यह उपयोगकर्ताओं का भरोसा बढ़ाता है
  • प्रतिद्वंद्वी कंपनियों पर भी अपने system prompts सार्वजनिक करने पर विचार करने का दबाव बनता है
  • TechCrunch Disrupt 2024 startups और venture capital leaders के लिए एक महत्वपूर्ण आयोजन है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-08-28
Hacker News की राय

  • Claude आधिकारिक रूप से स्वीकार करता है कि उसमें "hallucination" हो सकती है

    • जब Claude से बहुत दुर्लभ विषयों पर सवाल पूछा जाता है, तो वह उपयोगकर्ता को बताता है कि वह सटीक रहने की कोशिश करेगा, लेकिन hallucination कर सकता है
    • किसी खास article, paper, या book का उल्लेख करते समय वह बताता है कि उसके पास search या database की पहुंच नहीं है, और citation को verify करने की सलाह देता है

  • Claude बहुत शानदार है

    • हाल ही में मैंने एक 'automatic script writer' सेट किया, जो Python scripts और test results को बार-बार GPT-4 या Claude को भेजता है
    • 10-20 iterations के बाद ही वह ठीक से काम करता है
    • Claude, GPT-4 की तुलना में कहीं बेहतर नतीजे देता है
    • GPT-4 में goal बदलने या गलत output को दोहराने की प्रवृत्ति होती है
    • Claude लगातार अच्छा output देता है

  • यह बात हैरान करती है कि हम अब ऐसे दौर में जी रहे हैं जहाँ computer systems को text के जरिए निर्देश दिए जा सकते हैं

  • Claude अनावश्यक सकारात्मक अभिव्यक्तियों से बचने की कोशिश करता है, लेकिन वास्तव में अब भी उनका उपयोग करता है

    • वह "Certainly!", "Of course!", "Absolutely!" जैसे expressions से बचने की कोशिश करता है, लेकिन फिर भी उनका उपयोग करता है
    • वह "I’m sorry" या "I apologize" से शुरू होने वाले responses से बचने की कोशिश करता है, लेकिन फिर भी ऐसा करता है

  • LLMs में hallucination को हटाया जा सकता है

    • उम्मीद है कि अगली पीढ़ी के models महत्वपूर्ण तथ्यों पर hallucinate नहीं करेंगे
    • Wikipedia जैसे LLMs चाहिए
    • hallucination का विश्लेषण और समाधान करने के तरीकों पर paper लिखा गया है

  • बातचीत में कुछ हिस्सों को बाहर रखने या उसे दो भागों में बाँटने की सुविधा चाहिए

    • लंबी बातचीत में performance और accuracy सुधारने के लिए यह एक सरल hack हो सकता है

  • Claude डिफ़ॉल्ट रूप से face recognition नहीं करता

    • image share करने पर वह मानव चेहरों को पहचानता नहीं है, बल्कि उपयोगकर्ता से पूछता है कि यह कौन है
    • उपयोगकर्ता द्वारा दी गई जानकारी के आधार पर वह चर्चा करता है, लेकिन face recognition के जरिए किसी व्यक्ति की पहचान नहीं करता

  • Claude की बड़ी समस्या यह है कि वह credits बहुत जल्दी खर्च कर देता है

    • लगभग आधी समस्या हल करते-करते credits खत्म हो जाते हैं
    • सिर्फ कुछ सवालों में AI credits खत्म हो जाना निराशाजनक है
    • इसी वजह से subscription cancel कर दिया

  • Claude का सीधा-सादा जवाब देने का तरीका पसंद है

    • वह अनावश्यक सकारात्मक अभिव्यक्तियों का उपयोग नहीं करता