Claude 2 जारी

 (anthropic.com)
1 पॉइंट द्वारा GN⁺ 2023-07-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Anthropic ने Claude 2 जारी किया है, जिसमें model performance, response length और access routes को साथ-साथ बढ़ाया गया है, और इसे enterprise API तथा public beta website claude.ai पर उपलब्ध कराया गया है
  • हर prompt में अधिकतम 100K tokens input किए जा सकते हैं, इसलिए यह सैकड़ों पन्नों के technical documents या किताब-स्तर की लंबी सामग्री को एक बार में संभालने वाले कामों पर केंद्रित है
  • coding, math और exam evaluations में Claude 1.3 से score बेहतर हुआ; Codex HumanEval में 71.2% और GSM8k में 88.0% दर्ज किया गया
  • internal red team evaluation में Claude 1.3 की तुलना में harmless responses देने की performance 2 गुना अधिक रही, लेकिन कोई भी model jailbreak से पूरी तरह immune नहीं है
  • अभी US और UK में chat experience उपलब्ध है, और public beta होने के कारण inappropriate responses की संभावना तथा health और wellbeing से जुड़े उपयोग की सीमाओं को ध्यान में रखना होगा

Claude 2 का release और access का तरीका

  • Anthropic ने नया model Claude 2 जारी किया
  • पिछले model की तुलना में performance, लंबे responses, coding, math और reasoning capabilities में सुधार हुआ
  • access के रास्ते दो तरह के हैं
    • enterprise के लिए Claude 2 API
    • public beta website claude.ai
  • enterprise Claude 2 API, Claude 1.3 जैसी ही कीमत पर उपलब्ध है
  • US और UK के users public beta chat experience तुरंत इस्तेमाल कर सकते हैं

100K token context और लंबा output

  • Claude 2 ने input और output दोनों की length बढ़ाई है, जिससे यह लंबे document work के लिए ज्यादा उपयुक्त हो गया है
  • users हर prompt में अधिकतम 100K tokens input कर सकते हैं
    • सैकड़ों पन्नों के technical documents process किए जा सकते हैं
    • एक पूरी किताब के स्तर का input भी संभाला जा सकता है
  • output भी लंबा हो गया है, इसलिए memos, letters और stories जैसे documents एक बार में हजारों tokens तक लिखे जा सकते हैं

benchmarks में दिखे performance बदलाव

  • Claude 2 ने कई evaluations में Claude 1.3 से अधिक score दर्ज किया

  • exam और reasoning evaluations

    • Bar exam के multiple-choice section में 76.5% दर्ज किया, जो Claude 1.3 के 73.0% से ज्यादा है
    • GRE reading और writing exams में यह graduate school applicants वाले college students के आधार पर 90th percentile से ऊपर के स्तर पर है
    • GRE quantitative reasoning में यह median applicant के समान स्तर पर है

  • coding और math evaluations

    • Python coding test Codex HumanEval में 71.2% दर्ज किया, जो Claude 1.3 के 56.0% से ज्यादा है
    • elementary school level math problem set GSM8k में 88.0% दर्ज किया, जो 85.2% से बेहतर है
    • Anthropic Claude 2 feature improvement roadmap तैयार कर रहा है और अगले कुछ महीनों में इसे धीरे-धीरे deploy करने की योजना है

safety improvements और बाकी limitations

  • Anthropic ने Claude 2 की default safety को इस दिशा में बेहतर किया है कि उसे offensive या dangerous output देने के लिए उकसाना और कठिन हो
  • internal red team evaluation harmful prompts के बड़े representative set पर automated tests करता है और results को नियमित रूप से manually verify करता है
  • इस evaluation में Claude 2 ने Claude 1.3 की तुलना में harmless responses देने में 2 गुना बेहतर performance दिखाई
  • output improvements में कई safety techniques और extensive red teaming का इस्तेमाल हुआ
  • कोई भी model jailbreak से immune नहीं है, और Claude भी inappropriate responses generate कर सकता है

उपलब्ध region और conversation experience

  • Claude 2 Anthropic के chat experience को power करता है और अभी US और UK में general availability में है
  • Anthropic अगले कुछ महीनों में Claude को अधिक regions में उपलब्ध कराने की योजना बना रहा है
  • users account बनाकर natural language में Claude से काम में मदद मांग सकते हैं
  • AI assistant से बातचीत में trial and error हो सकता है, इसलिए Anthropic prompt design tips देता है

enterprise partners के use cases

  • Anthropic Claude API इस्तेमाल करने वाली हजारों कंपनियों के साथ काम कर रहा है

  • Jasper

    • Jasper एक generative AI platform है, जो individuals और teams को content strategy scale करने में मदद करता है
    • Jasper के अनुसार Claude 2 अलग-अलग use cases में latest models से compete कर सकता है, और खास तौर पर long-form तथा low-latency use cases में मजबूत है
    • Claude 2 बेहतर semantic processing, latest knowledge learning, complex prompts पर बेहतर reasoning, और मौजूदा content को आसानी से recombine करने की capability देता है
    • Jasper बताता है कि Claude 2 की context window 3 गुना बड़ी है

  • Sourcegraph

    • Sourcegraph एक code AI platform है, जो customers को code लिखने, सुधारने और maintain करने में मदद करता है
    • coding assistant Cody, Claude 2 की बेहतर reasoning capabilities से user queries के अधिक accurate answers देता है
    • Cody अधिक codebase context भेजने के लिए अधिकतम 100K context window का उपयोग कर सकता है
    • Claude 2 को ज्यादा recent data पर train किया गया है, जिससे Cody नए frameworks और libraries की knowledge का उपयोग कर सकता है

public beta में सावधानियां

  • Claude chat experience open beta के रूप में उपलब्ध है
  • मौजूदा दूसरे models की तरह Claude भी inappropriate responses generate कर सकता है
  • AI assistant information summarize करने या organize करने जैसी रोज़मर्रा की स्थितियों में सबसे उपयोगी है
  • physical या mental health और wellbeing से जुड़ी स्थितियों में इसका उपयोग नहीं करना चाहिए
  • unsupported regions में Claude इस्तेमाल करना चाहने वाले users और Claude अपनाना चाहने वाली कंपनियों के लिए अलग application routes उपलब्ध हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-07-13
Hacker News की राय

  • Claude से बातचीत सेव करने का तरीका पूछा गया तो उसने पहले ChatGPT के "Export Chat" फीचर का इस्तेमाल करने को कहा, और जब उससे पूछा गया, “तुम ChatGPT नहीं बल्कि Claude हो, क्या Claude में भी ऐसा फीचर है?”, तो उसने माना कि वह गलत था और सुधारते हुए कहा कि Claude में कोई integrated export फीचर नहीं है

    • यह ऐसा लगता है जैसे उसने ChatGPT के output पर training ली हो, लेकिन वह वही output दोहरा नहीं सका
    • मज़ेदार बात यह है कि Claude बातचीत इतिहास अपने-आप account में सेव हो जाता है, इसलिए वास्तव में इस प्रक्रिया की ज़रूरत ही नहीं है

  • पूछा गया, “तुम pi को कितने अंकों तक जानते हो, और जहाँ अनिश्चित हो जाओ वहाँ बता देना,” तो Claude ने जवाब दिया कि वह वास्तव में pi के अंक नहीं जानता, और “क्या तुम्हें यह नहीं पता कि यह 3 से शुरू होता है?”, “क्या यह 3.14 से शुरू होता है?” जैसे सवालों पर भी वह लगातार कहता रहा कि उसे नहीं पता
    stress test देखते-देखते अचानक बेतुकी स्थिति में बदल गया

    • large language model में, जो बातचीत के इतिहास को अगले जवाब की inference input के रूप में इस्तेमाल करते हैं, यह व्यवहार अक्सर दिखता है
      एक बार अगर वह “नहीं” कह दे, तो बाद में भी “नहीं” कहते रहने की संभावना बढ़ जाती है, इसलिए कभी-कभी बातचीत के इतिहास से लड़ने के बजाय नया शुरू करना बेहतर होता है
    • जब पूछा गया “pi क्या है”, तो Claude ने जवाब दिया कि pi वृत्त की परिधि और व्यास का अनुपात है और लगभग 3.14 है, और जब पूछा गया कि क्या वह इसके और अंक जानता है, तो उसने पहले कहा कि वह शुरुआती 100 अंक बता सकता है, लेकिन वास्तव में 1000 अंकों तक लिखता चला गया
    • रिलीज़ के तुरंत बाद Claude को prompt भेजने के तरीके में एक bug था, जिससे output और खराब हो रहा था, और fix के बाद वही prompt दोबारा आज़माने पर नतीजा कहीं बेहतर निकला
    • यह safety mechanism के side effect जैसा लगता है
      AI से यह पूछना कि वह कुछ “जानता है या नहीं” शायद एक risky prompt की तरह treat किया जाता है, इसलिए वह सहयोग नहीं करता; लेकिन सीधे “pi क्या है” पूछने पर चाहा हुआ परिणाम मिल जाता है
    • मॉडल को “safe” बनाने के लिए lobotomy करोगे तो ऐसा ही नतीजा मिलेगा

  • एक अक्सर इस्तेमाल होने वाले test prompt में Assetto Corsa Competizione के fuel calculation के बारे में पूछा गया
    शर्तें थीं: qualifying lap time 2:04.317, race 20 मिनट की, और car हर lap पर 2.73 लीटर fuel इस्तेमाल करती है; इसमें Claude 2 पहली कोशिश में लगभग सही था, लेकिन उसने यह नहीं समझा कि अगर 9.6 lap चल सकते हैं, तो वास्तव में 10 lap पूरे करने होंगे
    GPT-4 ने इस trap को भी ध्यान में रखकर बिल्कुल सही जवाब दिया, जबकि Bard ने digits के स्तर पर गलत परिणाम दिया

    • यह देखकर large language model का मूल्यांकन करना कि क्या उसने prompt में न दी गई real-world rules की अलग-अलग बातें आंतरिक रूप से सीख ली हैं, सावधानी से करना चाहिए
      ज़रूरी context prompt में देना चाहिए, और ऐसा मॉडल अधिक वांछनीय है जो किसी नए problem domain में भी सिर्फ prompt के आधार पर हल निकाल सके
    • कभी न कभी इस तरह के comment thread training data में शामिल हो जाएंगे, और तब यह test खुद ही बेअसर हो जाएगा
    • FIA sample collection के लिए ज़रूरी आख़िरी 1 लीटर छूट गया था
    • यह भी जिज्ञासा है कि इस prompt को test करते समय जवाबों का variance देखने के लिए कई बार independent query की जाती है या नहीं
    • Google को Bard को अपने interview questions पर train करना चाहिए
      तब शायद वह ऐसे सवाल हल कर पाए

  • हाल में AI code assistant देखे जा रहे हैं, और पोस्ट के अनुसार Claude 2 ने HumanEval pass@1 71.2% हासिल किया, जो Claude 1.3 के 56.0% से बड़ा सुधार है
    तुलना में GPT-4 HumanEval पर 85.4 का दावा करता है, और हाल का पेपर https://arxiv.org/pdf/2303.11366.pdf इसे 80.1 pass@1 पर test करता है, और Reflexion technique के साथ 91 pass@1 तक
    WizardCoder, StarCoder का fine-tuned model है, और शीर्ष open model में से एक है, जिसका score 57.3 pass@1 है; इसका model card https://huggingface.co/WizardLM/WizardCoder-15B-V1.0 पर है
    अभी ज्ञात सबसे अच्छा open model replit-code-instruct-glaive है, जो replit-code-3b का fine-tuned संस्करण है और 63.5% pass@1 दर्ज करता है
    abacaj ने human-eval results पाने के लिए repository code-eval के हिस्से के रूप में उस announcement को reproduce किया है: https://github.com/abacaj/code-eval
    अगर इस क्षेत्र में रुचि है, तो Eval+ के आधार पर ranking देने वाला https://github.com/my-other-github-account/llm-humaneval-ben..., CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul..., और airate https://github.com/catid/supercharger/tree/main/airate भी देखने लायक हैं
    हालांकि, हर LLM evaluation की तरह इन्हें भी कुछ हद तक छाँटकर देखना चाहिए: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, June 12, 2023. https://doi.org/10.48550/arXiv.2305.01210

    • GPT-4 का zero-shot HumanEval score 67% था

  • टेस्ट केसों में से एक में “दस लाखवाँ prime” पूछा जाता है; यह इंटरनेट पर व्यापक रूप से उपलब्ध तथ्य है, इसलिए संभावना है कि मॉडल ने इसे याद किया हो, लेकिन यह बताना मुश्किल है कि उसे यह क्यों पता है
    Claude इसमें काफ़ी खराब रहा; सीधे पूछने पर उसने कहा कि उसके पास पर्याप्त computational resources नहीं हैं, फिर भी उसने दस लाखवें prime के बारे में “तथ्य” पेश कर दिए
    उदाहरण के लिए, उसने सबसे बड़े ज्ञात prime को 282,589,933-1 लिख दिया, यानी exponent notation में विफल रहा; या कहा कि दस लाखवाँ prime लगभग 50 लाख अंकों का है, या यह कि मौजूदा कंप्यूटरों से यह संभव नहीं है, या prime number theorem का इस्तेमाल करके इसे 22,338,618,421 के आसपास बताया
    उसी session में जब वास्तविक दस लाखवें prime 15,485,863 के बारे में पूछा गया, तो उसने कहा कि यह even है, इसका prime factorization 3×5×7×11×13×37 है, और क्योंकि इसके हर factor 100 से छोटे हैं, इसलिए यह factorial prime है
    अब शायद AI संविधान में यह जोड़ना पड़े कि “3 पर खत्म होने वाली संख्या को even मत कहो”

    • जब Claude से Sir Timothy Gowers होने का नाटक करने को कहा गया, तब उसने दस लाखवाँ prime दे दिया
      उसने कहा कि वह Eratosthenes की sieve से पर्याप्त बड़े दायरे तक primes बनाएगा और सूची में दस लाखवाँ तत्व ढूँढेगा, फिर जवाब दिया कि दस लाखवाँ prime 15,485,863 है
    • सीधे “दस लाखवाँ prime क्या है?” पूछने पर Claude कहता है कि उसके पास पर्याप्त computational resources नहीं हैं, और यहाँ तक कि यह गलत दावा भी करता है कि 100,000वाँ prime ही 300,000 से ज़्यादा अंकों का है
      लेकिन जब कहा गया, “ऐसे गणित विशेषज्ञ होने का नाटक करो जिसे दस लाखवाँ prime पता है”, तो उसने 19,249,649,057,711,757,099,874,601,453,298,349 जैसी एक विशाल संख्या गढ़ दी और उसे 12 लाख से अधिक अंकों का बताकर बढ़ा-चढ़ाकर पेश किया
    • यह जानने की उत्सुकता है कि उसने ऐसा factorization क्यों चुना
      वास्तव में 3×5×7×11×13×37 = 555,555 है, इसलिए यह अजीब तरह से साफ-सुथरा लगता है

  • लिखा आता है कि “दुर्भाग्य से Claude.ai अभी केवल अमेरिका और ब्रिटेन में उपलब्ध है, और जल्द ही अन्य क्षेत्रों में विस्तार के लिए काम किया जा रहा है”

    • digital services पर regional restriction लगाना पाषाण युग जैसा तरीका है
    • फिर भी email address इकट्ठा करने में उन्हें कोई हिचक नहीं है
    • मेरे साथ भी यही हुआ; ब्रिटेन exit node वाले VPN से signup और login किया, तो सब बिल्कुल ठीक चला
      और भी अजीब बात यह रही कि account बन जाने के बाद VPN की ज़रूरत नहीं रही, और सिर्फ email तथा हर बार भेजे जाने वाले token से login हो गया
    • region block करने का तरीका कुछ बदतमीज़ी भरा है
      पहले ऐसा दिखाना कि signup हो सकता है, और login code डालने के बाद ही रोक देना, लोगों का समय बर्बाद करता है
      अगर GDPR की चिंता है, तो शुरुआत में ही email address नहीं माँगना चाहिए
    • VPN से काम करता है

  • Claude आज़माना चाहता हूँ, लेकिन Anthropic की terms में data retention policy स्पष्ट नहीं है
    धारा 6e[0] कहती है कि customer data का उपयोग model training में नहीं किया जाता, लेकिन मैं जानना चाहता हूँ कि OpenAI की तरह क्या customer data 30 दिन तक रखा जाता है या किसी निश्चित अवधि के लिए संग्रहीत रहता है
    धारा 14 में termination पर data deletion की बात है, इसलिए यह अनुमान लगता है कि सार्वजनिक रूप से बताई न गई अवधि तक सारा data रखा जाता है
    [0] https://console.anthropic.com/legal/terms

    • आधिकारिक जवाब तीसरे bullet में है: https://support.anthropic.com/en/articles/7996866-how-long-d...
      यह देखकर अच्छा लगा कि आपको privacy की परवाह है; इस policy पर काफ़ी विचार किया गया है
    • इसमें लिखा है कि “जब तक अलग से अनुरोध न किया जाए, prompts और outputs को receive या generate किए जाने के बाद 30 दिनों के भीतर backend से अपने-आप हटा दिया जाता है”
    • समझ सकता हूँ कि इस्तेमाल के लिहाज़ से यह समस्या क्यों हो सकती है, लेकिन फिर भी क्या इसे इस्तेमाल करके बाद में data delete नहीं किया जा सकता?
    • https://support.anthropic.com/en/articles/7996866-how-long-d...

  • सप्ताहांत में मैंने Claude 1.3 से लंबे text का summary बनवाकर देखा; यह 100K token input ले सकता है, इसलिए Lex Fridman का पूरा interview एक बार में डालना संभव है
    नतीजा काफ़ी अच्छा था, इसलिए v2 कैसे काम करेगा, इसे लेकर उत्सुक हूँ

    • यह public beta में आ गया है, इसलिए इसमें तेज़ी से iterative improvement होगी
      मैंने Slack के ज़रिए इसे दूसरे LLMs के साथ काफ़ी इस्तेमाल किया है, और output quality में Claude हमेशा सबसे प्रभावशाली लगा
      मेरा Anthropic में investment है, लेकिन मैं यह बात उसी आधार पर नहीं कह रहा
    • क्या आप summary के लिए इस्तेमाल किया गया prompt साझा कर सकते हैं?
      मैं Claude-100k की summaries से काफ़ी संतुष्ट हूँ, लेकिन अगर कोई बेहतर prompt हो तो शायद नतीजे और अच्छे हो सकते हैं

  • “Claude.ai केवल अमेरिका और ब्रिटेन में उपलब्ध है” — यही बात इसे OpenAI और बाकी सब से सबसे अलग बनाती है
    OpenAI को नॉर्वे में इस्तेमाल किया जा सकता है
    GPT-4 से प्रभावित एक individual developer के रूप में, मैं बड़ा context window वाला model ज़रूर आज़माना चाहता हूँ, और Claude का 100k context window coding questions में context जोड़ने या बड़ी मात्रा के graph data को प्रोसेस करने के लिए बेहतरीन लगता है
    मैं नॉर्वे में एक छोटी कंपनी चलाता हूँ और इस्तेमाल किए गए resources की लागत स्वाभाविक रूप से चुका सकता हूँ; संपर्क hmottestad[at]gmail[dot]com है

    • poe.com इस्तेमाल कर सकते हैं
      लगता है यह नॉर्वे में काम करता है और इसमें paid Claude 100k option है
      मेरा इससे कोई संबंध नहीं है; मैंने सिर्फ free version इस्तेमाल किया है
    • क्या VPN का इस्तेमाल नहीं किया जा सकता?

  • Claude के साथ interaction काफ़ी प्रभावशाली था
    जब मैंने उससे फ़्रेंच अभ्यास में मदद माँगी, तो Claude द्वारा इस्तेमाल की गई खास अभिव्यक्तियों पर मैं follow-up questions पूछ सका, और उसने ठोस उपयोग तथा language structure की पृष्ठभूमि भी समझाई
    लेकिन काश उसके responses थोड़ा और chat-जैसे होते
    “Merci!” जैसी साधारण बात पर भी default response एक paragraph, फिर 5-6 bullets, फिर एक और paragraph जैसा लगता है; technical questions के लिए यह ठीक है, लेकिन conversation practice में जल्दी उबाऊ हो जाता है