Anthropic ने Claude Opus 4.8 लॉन्च किया
(anthropic.com)Anthropic ने अपने शीर्ष-स्तरीय मॉडल Claude Opus का अपग्रेडेड वर्ज़न Claude Opus 4.8 लॉन्च किया है। यह पिछले वर्ज़न 4.7 पर आधारित है, जिसमें benchmark performance में सुधार और collaboration क्षमता को मजबूत किया गया है, जबकि कीमत वही रखी गई है.
मुख्य सुधार और विशेषताएँ
- परफॉर्मेंस में सुधार: coding, agent skills, reasoning और practical knowledge tasks में यह पिछले मॉडल और GPT-5.5 जैसे प्रतिस्पर्धी मॉडलों की तुलना में बेहतर प्रदर्शन दिखाता है।
- ईमानदारी (Honesty) में मजबूती: AI द्वारा बिना आधार के दावे करने या जल्दी निष्कर्ष निकालने की समस्या में सुधार किया गया है। Opus 4.8 अनिश्चित हिस्सों को खुद चिह्नित करता है, और code में defects छूट जाने की संभावना पिछले मॉडल की तुलना में लगभग 4 गुना कम हो गई है।
- विश्वसनीय agent क्षमता: शुरुआती टेस्ट के अनुसार, जटिल multi-step tasks करते समय इसका judgement अधिक sharp हुआ है, और यह अपनी गलतियों को पकड़ने, तथा योजना सही न होने पर आपत्ति उठाने जैसी बेहतर collaboration क्षमता दिखाता है।
- लागत दक्षता: 'Fast Mode' की speed 2.5 गुना तेज हो गई है, और लागत पिछले मॉडल की तुलना में 3 गुना सस्ती हो गई है।
साथ में लॉन्च किए गए नए फीचर्स
- Dynamic Workflows: Claude Code का एक research preview फीचर, जिसके जरिए सैकड़ों parallel sub-agents चलाकर large-scale codebase migration जैसे जटिल काम किए जा सकते हैं।
- Effort Control: यूज़र चुन सकते हैं कि Claude किसी काम में कितना प्रयास लगाए। High setting पर यह अधिक गहराई से सोचकर high-quality responses देता है, जबकि low setting पर यह अधिक तेज़ी से जवाब देता है।
- Messages API अपडेट: अब system entries को message array के भीतर शामिल किया जा सकता है, जिससे prompt cache को तोड़े बिना काम के बीच में instructions अपडेट की जा सकती हैं।
आगे की योजना
Anthropic कम लागत पर Opus-स्तर की performance देने वाले मॉडल विकसित कर रहा है, और Project Glasswing के जरिए Opus से भी अधिक intelligence वाले नए model class (Claude Mythos) की तैयारी कर रहा है। यह अभी कुछ organizations में security testing के तहत है, और कुछ हफ्तों में सभी customers के लिए उपलब्ध कराया जाएगा।
कीमत और उपयोग जानकारी
- सामान्य मोड: इनपुट $5 / 1M tokens, आउटपुट $25 / 1M tokens (Opus 4.7 जैसा ही)
- Fast Mode: इनपुट $10 / 1M tokens, आउटपुट $50 / 1M tokens
- मॉडल नाम:
claude-opus-4-8
11 टिप्पणियां
यह बार-बार बेवजह मशक्कत करवाता है, इसलिए लगता है कि सीधा stable GPT ही बेहतर है।
Claude का $200 वाला प्लान इस्तेमाल कर रहा था, फिर GPT $100 + Claude $100 पर गया,
लेकिन अगले महीने से Claude पर सिर्फ $20 ही खर्च करने वाला हूँ। वैसे भी वह अब सिर्फ review के लिए है, इसलिए ज़्यादा ज़रूरत भी नहीं रही, और अगर कमी पड़ी तो AGY का paid प्लान भी ले रखा है, तो वही इस्तेमाल कर लूँगा हाहा
Sonnet और Haiku को क्यों छोड़ दिया जा रहा है? क्या वे बस GPT से मुकाबले के बारे में ही ज़्यादा सोच रहे हैं?
कहा जा रहा है कि fast mode वेरिएंट पहले की तुलना में 2.5 गुना तेज़ चलता है और लागत 3 गुना कम हो गई है।
मैंने Claude की subscription को Pro पर डाउनग्रेड करके GPT इस्तेमाल कर रहा हूँ, लेकिन एक चल रहे काम की वजह से उससे review करवाया तो Pro usage सिर्फ 10 मिनट में ही पूरा खत्म होकर रुक गया।
कमाल है, Claude!
आज सुबह के दौरान मेरे मामले में मीटिंग या रिकॉर्डिंग को व्यवस्थित करने वाला एक skill इस्तेमाल हो रहा था, इसलिए इसे 4.8 में effort को ultracode पर बदलकर इस्तेमाल करके देखा तो उम्मीद से काफ़ी अच्छा लगा। व्यक्तिगत तौर पर महसूस हुआ कि इसकी प्रवृत्ति codex जैसी है। token efficiency अभी भी codex से कम है, लेकिन context window काफ़ी उदार है, और workflow की वजह से sub-agent स्क्रीन भी थोड़ी बदली है, जो हिस्सा भी मुझे पसंद आया।
4.7 सच में इस्तेमाल के हिसाब से लगभग बेकार-सा लग रहा था, उम्मीद है 4.8 कम से कम बेहतर हुआ होगा।
ऐसा भी लगता है कि शायद इसे इसलिए जल्दबाज़ी में जारी किया गया, क्योंकि बहुत से लोग ChatGPT/Codex की तरफ़ जा रहे हैं..
/effortकरने पर जो असर निकलता है, वह मज़ेदार है hahaनीचे दिए गए Hacker News कमेंट के अनुवाद में "low-hanging fruit" जैसा जो भाव था, वह क्या है यह देखने के लिए मैंने मूल पाठ ढूँढा, और वह था
low hanging juice to squeeze out of smaller models << यह मूल वाक्य है,
इसे इस तरह समझा जा सकता है कि नीचे लटके हुए फल बहुत हैं = यानी छोटे models से अभी भी आसानी से निकाल सकने वाली क्षमता/संभावना काफ़ी बाकी है।
बस करो, बहुत मार लिया बच्चे को~
Hacker News की राय
लगता है Anthropic के frontier मॉडल में तीसरी minor version bump पहली बार आई है
यहाँ 0.5 वाली jumps गैर-क्रमिक रही हैं और performance jump भी बड़ा था, इसलिए उन्हें major माना जाता है। जैसे Sonnet 3.5, Opus 4.5
अब Opus 4.5 लाइन को 4.6, 4.7, 4.8 जैसे follow-up मिले हैं, और दावा किए गए सुधार भी काफ़ी gradual हैं
मैंने खुद 4.6/4.7 इस्तेमाल किए, लेकिन 4.5 की याद की तुलना में कौन-सी क्षमता बेहतर हुई यह साफ़ पकड़ में नहीं आया; फ़र्क इतना धुंधला लगा कि निर्णय करना मुश्किल है
हो सकता है मेरी पसंद पहले ही saturation पर पहुँच गई हो, या मॉडल मुझसे इतना ज़्यादा स्मार्ट हो गया हो कि अब आगे की प्रगति महसूस ही न हो; या फिर यह भी हो सकता है कि अगर अभी का 4.7 workflow 4.5 पर चलाऊँ तो incremental सुधार तुरंत पकड़ में आ जाए
lab की स्थिति भी असहज लगती है। अगर ज़्यादा शक्तिशाली product है तो उसे release करके इस्तेमाल करने देना चाहिए, लेकिन अगर यह trend जारी रहा तो असली सुधार होने पर भी end user को वे कम दिखेंगे, और यह बिना इनाम के बार-बार replacement जैसा लग सकता है
छोटे मॉडलों से निकालने के लिए low-hanging fruit अभी भी कई orders of magnitude तक बाकी है
2–3 साल के भीतर 60–90B मॉडल coding tasks में आज के top-tier स्तर को पार कर जाएँ, यह लगभग तय-सा लगता है। architecture तय नहीं है और शायद आसान भी नहीं होगा
दूसरी ओर, 1.2T मॉडल को train करने लायक meaningful अतिरिक्त सुधार मिलेगा या नहीं, यह कहीं ज़्यादा अनिश्चित है
reasoning की तरफ़, हाल की GRAM घोषणा को देखें तो छोटे मॉडलों में reasoning सुधार की गुंजाइश शायद 4 orders of magnitude तक हो सकती है
Google, OpenAI, Anthropic कुछ ही दिनों में 30B GRAM-आधारित मॉडल train कर सकते हैं, और संभव है कि यह मॉडल local reasoning में आज के 1T+ parameter वाले best models से बेहतर निकले। फिर इसे कुछ ही दिनों में लगभग 600B MoE मॉडल तक बढ़ाया जाए तो सामान्य general knowledge में भी यह top models की बराबरी कर सकता है
1T+ parameter models को इतनी तेज़ी से train नहीं किया जा सकता। GRAM वास्तव में कितना सुधार लाता है यह बड़ा variable है, लेकिन इसके मामूली या महत्वहीन होने की संभावना कम लगती है
बड़े मॉडल पहले ही लगभग हर चीज़ के बारे में कुछ न कुछ बता सकते हैं। जब तक वे LLM हैं, वे सब कुछ सही नहीं बता पाएँगे
Gemini पहले से ही Ke$ha की height या Brittney Spears आख़िरी बार कब जेल गई थीं जैसी बातों का सही जवाब दे देता है; वहाँ से और कितना निचोड़ा जा सकता है, यह सीमित लगता है
व्यक्तिगत रूप से, मुझे लगता है कि 4.5 release के बाद productivity gains मॉडल से ज़्यादा harness सुधारों और context window के 200k से 1M होने की वजह से आए। cc, cursor cli, codex, opencode आदि में यही अनुभव रहा
मॉडल की “pure” intelligence या अच्छे decisions लेने की क्षमता 4.5 के बाद ठहरी हुई लगती है। 4.6 शायद थोड़ा बेहतर रहा हो, लेकिन 1M window में in-context learning के असर से उसे अलग करना मुश्किल था; और 4.7 ने तो मुझे और मेरे साथियों को उल्टा wisdom में गिरावट जैसा महसूस कराया, और उसने लगातार बदतर, ज़्यादा lazy decisions लिए
end user को दिखने वाले नए control features के पीछे, user type के हिसाब से meta-tuning करने वाले कहीं अधिक granular internal sub-controls भी होंगे, ऐसा लगता है
मेरा मतलब finer effort control, “dynamic workflow”, “fast mode” जैसे speed controls से है। इन्हें user features की तरह पैक किया जाता है, लेकिन IPO के बाद quarterly reporting के प्रमुख metrics पूरे करने के लिए cost, margin, ARR, user growth और retention के बीच संतुलन बैठाने वाले backend knobs जैसे भी लगते हैं
अभी तक Opus 4.8 भी उसी दिशा में जाता दिख रहा है। यह इस्तेमाल न कर पाने जितना धीमा है, हालाँकि यह release-day rollout issue भी हो सकता है। पूरा Opus 4.8 test अभी चल रहा है
डेटा https://gertlabs.com/rankings पर है
“users को Opus 4.8 पिछली version के मुकाबले gradual लेकिन महसूस होने वाला सुधार लगेगा” — यह रवैया ताज़गीभरा है
मैंने यह भी देखा कि web UI में adaptive thinking को बंद किया जा सकता है, जो अच्छा है। अक्सर thinking ठीक से काम नहीं करती थी और model output बहुत खराब हो जाता था
अच्छा है कि अब इसे आखिरकार बंद किया जा सकता है। अगर यह पहले से कभी भी बंद किया जा सकता था, तो थोड़ी शर्म की बात है
मैं मुख्यतः web research देखता हूँ, और Opus 4.7 BrowseComp में Opus 4.6 से पीछे चला गया था, और वास्तविक इस्तेमाल में भी यही लगा
Opus 4.8, 4.7 या 4.6 से काफ़ी बेहतर हो गया है, और chatbot में web search एक मुख्य use case है
जैसे दूसरे model providers हर x महीने में बड़ा update देते हैं, जबकि हम हर x/2 महीने में incremental updates देते हैं
मेरे लिए इससे ज़्यादा महत्वपूर्ण यह है कि CC thinking से जुड़े 4.6 “exclusive” flags पर कैसे react करता है, और अभी तो यह मेरी settings को override करता नहीं दिख रहा
उम्मीद थी कि इस बदलाव से वह कम से कम बराबरी के करीब आएगा, लेकिन खुद इस्तेमाल करके लगा कि अभी नहीं
ChatGPT जहाँ साधारण factual सवालों पर बस search करके fact verify करके जवाब दे देता, वहीं Claude नया मॉडल और thinking high होने पर भी “अच्छा सवाल है!” कहकर पूरी तरह गढ़ा हुआ जवाब दे देता है। GPT की तरह यह खुद नहीं पहचानता कि search की ज़रूरत है; basic facts के लिए भी इसे साफ़-साफ़ search करने को कहना पड़ता है
Claude Mythos Preview वाला हिस्सा, जिसमें कहा गया है कि “हम Opus से भी अधिक बुद्धिमत्ता वाले नए प्रकार के मॉडल जारी करने की योजना बना रहे हैं”, 4.8 रिलीज़ से भी ज़्यादा दिलचस्प लग रहा है
कहा गया है कि Project Glasswing के हिस्से के रूप में कुछ चुनिंदा संगठन इसे साइबरसिक्योरिटी कामों में इस्तेमाल कर रहे हैं, और इस स्तर के मॉडल को आम तौर पर जारी करने से पहले ज़्यादा मज़बूत साइबर सेफ्टी गार्डरेल्स की ज़रूरत है
IPO करीब आ रहा है, यह बात भी उसकी सार्वजनिक टिप्पणियों में साफ़ तौर पर झलकेगी। निष्पक्ष रूप से कहें तो यह उसकी ज़िम्मेदारी भी है
मॉडल में देरी की वजह “इसे सुरक्षित बना रहे हैं” नहीं, बल्कि “इसे बड़े पैमाने पर या लागत-प्रभावी तरीके से होस्ट करना नहीं आता” भी हो सकती है
GPT 5.5 पहले से ही vulnerability hunting में Mythos जितना सक्षम दिखा था
और आखिर में, गैर-विशेषज्ञ मॉडल प्रदर्शन में harness के महत्व को बहुत कम आंकते हैं। OpenHands, Claude Code से काफ़ी पहले से था, लेकिन Claude Code ने अपनी चतुर scaffolding की वजह से खेल बदल दिया। Mythos भी सिर्फ़ एक साधारण मॉडल से बढ़कर कुछ हो सकता है
अभी के चीनी प्रतिस्पर्धी मॉडलों से तुलना करें तो Sonnet और Haiku price-performance में काफ़ी पीछे लगते हैं
तो क्या इसका मतलब यह है कि Mythos के साथ भी वही किया जा रहा है, और हमें जो Mythos मिलेगा वह उसी मामले में कमजोर किया हुआ वर्ज़न होगा?
और अधिक सटीक रूप से, शायद Mythos दो वर्ज़न में बंटेगा, और डरावने वाले वर्ज़न के लिए आगे भी बहुत कागज़ी प्रक्रिया की ज़रूरत होगी
/mythos-security-auditजैसा कुछ ही मिल सकता हैउम्मीद है कि इस तरह आम लोगों को पहुंच से बाहर नहीं किया जाएगा
मैंने साइकिल चलाता पेलिकन low और high, दोनों thinking level पर जनरेट करके देखा
https://gist.github.com/simonw/68560eddb0b268a8417f80ceb7304dc6?permalink_comment_id=6172953#gistcomment-6172953
high का नतीजा साफ़ तौर पर बेहतर है। low के उलट, इसमें साइकिल फ्रेम का आकार सही है
तुलना के लिए Opus 4.7 का नतीजा यहाँ है: https://gist.github.com/simonw/afcb19addf3f38eb1996e1ebe749c118?permalink_comment_id=6104087#gistcomment-6104087
handlebar आगे के पहिए को मोड़ने के बजाय फ्रेम को मोड़ रहा है। handlebar को आगे के पहिए की ही लाइन में लगा होना चाहिए
उम्मीद है 4.9 मेरी टिप्पणी पढ़ेगा
https://www.gianlucagimini.it/portfolio-item/velocipedia/
इंसान भी साइकिल काफ़ी बुरी तरह बना सकते हैं
https://tools.simonwillison.net/markdown-svg-renderer#url=https%3A%2F%2Fgist.github.com%2Fsimonw%2Ffea4f7546626d627862dc241a4e3a86a
फ्रंटियर मॉडल्स के लिए मेरा पसंदीदा coding benchmark यह है कि उन्हें एक ही फ़ाइल (js/html/css) में एक साधारण real-time strategy game बनाने को कहा जाए।
ultracode mode वाला Claude Code + Opus 4.8 ने यह सही से कर दिखाया, और अब तक का यह सबसे अच्छा परिणाम था।
https://bsky.app/profile/senko.net/post/3mmwnrkwboc2v
prompt यह था: “पुराने WarCraft, StarCraft, Command & Conquer जैसे एक साधारण लेकिन काम करने वाले RTS game बनाओ। खिलाड़ी को इमारतें बनानी हों, units तैयार करने हों, resources इकट्ठे करने हों, और पूरा map उजागर करना हो। AI या multiplayer की ज़रूरत नहीं है। simple लेकिन अच्छे दिखने वाले graphics इस्तेमाल करो। sound नहीं होगा। सब कुछ HTML/CSS/JS में implement करो और इसे single file बनाओ। CDN के जरिए third-party js/css libraries या frameworks का इस्तेमाल किया जा सकता है।”
यह भी दिलचस्प है कि visual style उन चीज़ों से काफ़ी मिलता-जुलता है जो उसने मेरे लिए बनाई थीं।
सोचता हूँ कि क्या कोई इन releases को खंगालकर यह देखता है कि दूसरी कंपनियाँ अपने model को शानदार दिखाने के लिए चुने गए मनमाने metrics को कैसे cherry-pick करती हैं।
benchmark इतने ज़्यादा लगते हैं मानो 80 लाख हों। हर release में हर model 5~10 को random तरीके से चुनता हुआ लगता है और दिखाता है कि उसने एक को छोड़कर बाकी सबको हरा दिया, जैसे यह छिपाने की कोशिश हो कि शायद उन्होंने benchmark-max होने की संभावना वाले benchmarks को random cherry-pick नहीं किया।
इसकी exact methodology मुझे नहीं पता, लेकिन Claude/GPT models के साथ रोज़मर्रा की programming करते समय इनके reported results मेरी qualitative feeling से मेल खाते हैं।
4.7 में report किए गए metrics में से 4.8 में BrowseComp, CharXiv Reasoning, CyberGym, GPQA Diamond, MCP Atlas, MMMLU, SWE-bench Verified हटा दिए गए। आख़िरी 4 का ज़िक्र पिछले Opus releases में लगभग हमेशा होता था।
“5% अधिक smart” का आख़िर मतलब क्या है? मेरा actual usage experience अलग हो सकता है। बेहतर है कि बस खुद इस्तेमाल करके देखो।
मुझे नहीं लगता कि Anthropic अंदरूनी तौर पर किसी खास benchmark को बेहतर करने का लक्ष्य रखता है। यह शायद सिर्फ progress को visualize करने का तरीका है, और अंदर कहीं ज़्यादा complex metrics होंगे।
शुरुआती ArtificialAnalysis.ai results के हिसाब से अभी भी GPT 5.5 price-to-performance के लिहाज़ से बेहतर दिखता है।
OpenAI task solve करने में लगभग 50% कम output tokens इस्तेमाल करता है।
https://artificialanalysis.ai/?intelligence=coding-index&intelligence-efficiency=intelligence-efficiency-vs-output-tokens&models=gpt-5-5%2Cgpt-5-5-pro%2Cgemini-3-1-pro-preview%2Cclaude-opus-4-8%2Cclaude-opus-4-7%2Cnvidia-nemotron-3-super-120b-a12b
Claude को मुझसे बदलवाने के लिए उसे बहुत ज़्यादा महँगा होना पड़ेगा।
system card के page 102 पर creative proficiency का evaluation देखना अच्छा लगा।
हमारे काम में हमने कई frontier AI से ज़रूरी APIs design करने को कहा और Opus 4.7, GPT-5.5 वगैरह की तुलना की। Opus 4.7 ने सबसे ज़्यादा creative और intelligent API design दिए, जिससे सुखद आश्चर्य हुआ, खासकर इसलिए कि GPT-5.5 कई coding benchmarks में आगे है।
इससे महसूस हुआ कि “creativity” और “originality” को मापने के लिए कोई common benchmark नहीं है, और कुछ मायनों में ऐसा benchmark आम IFBench से टकरा भी सकता है।
फिर भी system design में यह बहुत महत्वपूर्ण क्षमता है। अच्छा है कि Anthropic इस पर ध्यान दे रहा है, और उम्मीद है कि ऐसा कोई public benchmark भी आए जिससे दूसरे models की तुलना की जा सके।
https://cdn.sanity.io/files/4zrzovbb/website/c886650a2e96fc0925c805a1a7ca77314ccbf4a6.pdf
5.5 coding में दोनों से बहुत बेहतर है, लेकिन महँगा भी है। इसलिए 4.7 planning/architecture करता है, 4.6 coding करता है, और फिर 5.5 critique और fixes करता है।
GPT ऐसा robot लगता है जो instructions लेकर उन्हें वैसे का वैसा पूरा करता है, जबकि Opus कभी-कभी सच में अच्छे ideas देता है और बुरे ideas का विरोध भी करता है, लगभग इंसान जैसा।
इसलिए अभी मैं planning/architecture/strategy के लिए Opus और pure coding के लिए GPT का इस्तेमाल करता हूँ।
agentic coding में GPT के लिए उपलब्ध बड़ा token budget भी मदद करता है।
दुर्भाग्य से, इस बार के backend release या नए CC version की वजह से Claude Code पूरी तरह टूट गया लगता है
“thinking blocks को modify नहीं किया जा सकता” वाली error long-running sessions को brick बना रही है: https://github.com/anthropics/claude-code/issues?q=is%3Aissue%20state%3Aopen%20blocks%20modified
stablebranch में भी हुई थीमैंने Claude से session को unbrick करने के लिए recovery script बनवाई थी और उससे समस्या हल हो गई, लेकिन environment के हिसाब से फर्क पड़ सकता है
https://gist.github.com/robertfw/993dbe8643c4fbdf12005dff2eca1f90
/rewindसे recover करके आगे बढ़ सकामेरी testing में Opus 4.8 थोड़ा और खराब है, और Opus 4.7 से लगभग 2 गुना महंगा है
Data extraction test में इसका fail होना चौंकाने वाला था. 3 में से 2 बार यह सही करता है, लेकिन एक बार किसी value को random तरीके से null लौटा देता है
Trivia/domain-specific knowledge tasks में इसका ज़्यादा fail होना कुछ हद तक समझ में आता है. लगता है models को general intelligence की तुलना में agentic use cases की तरफ़ ज़्यादा train किया जा रहा है
https://aibenchy.com/compare/anthropic-claude-opus-4-7-medium/anthropic-claude-opus-4-8-medium/
मैं test harness को फिर से जाँच रहा हूँ, लेकिन यह पहला model है जिसने ऐसा behavior दिखाया है, इसलिए मुझे नहीं लगता कि समस्या मेरी तरफ़ है
संशोधन: harness सही लगता है, और pure coding tasks में performance वही है: https://i.snipboard.io/5xbpzY.jpg
“Claude Opus 4.8 is available everywhere today. Pricing for regular usage is unchanged from Opus 4.7: $5 per million input tokens and $25 per million output tokens. Pricing for fast mode is $10 per million input tokens and $50 per million output tokens.”
मैं सोच रहा हूँ कि 2 गुना cost कहाँ दिख रही है