Qwen3-Coder जारी - एक अभिनव agentic code मॉडल

 (qwenlm.github.io)
3 पॉइंट द्वारा GN⁺ 2025-07-23 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Qwen3-Coder ने 480B पैरामीटर वाले Mixture-of-Experts आर्किटेक्चर, 35B active parameters, और 256K~1M token context सपोर्ट के साथ सार्वजनिक मॉडलों में agentic coding क्षेत्र में शीर्ष प्रदर्शन हासिल किया है
  • Code RL, long-horizon RL जैसी बड़े पैमाने की reinforcement learning तकनीकों को, जो वास्तविक software engineering समस्याओं के लिए अनुकूलित हैं, अपनाकर execution success rate और विविध task performance में बड़ा सुधार किया गया है
  • Qwen Code और Claude Code जैसे command-line tools तथा API के साथ इंटीग्रेशन, और Node.js व OpenAI-compatible API के जरिए विभिन्न development environments में तुरंत उपयोग संभव है
  • बड़े पैमाने के parallel environments और infrastructure के माध्यम से वास्तविक coding tasks में आवश्यक planning, feedback, tool use जैसी जटिल interactions को भी संभाला जा सकता है
  • आगे चलकर अलग-अलग model sizes, कम-लागत deployment, और coding agents की self-improvement क्षमता जैसे क्षेत्रों में और प्रयोग तथा प्रगति का संकेत दिया गया है

Qwen3-Coder

  • Qwen3-Coder मौजूदा code generation मॉडलों में सबसे अधिक agentic क्षमताओं वाला open source AI मॉडल है
  • इसका पहला सार्वजनिक flagship संस्करण Qwen3-Coder-480B-A35B-Instruct है, जिसमें 480B पैरामीटर में से 35B सक्रिय होने वाली Mixture-of-Experts संरचना लागू की गई है
    • यह डिफ़ॉल्ट रूप से 256K token context सपोर्ट करता है और 1M tokens तक विस्तार किया जा सकता है
  • उत्कृष्ट प्रदर्शन के साथ इसने Agentic Coding, Browser-Use, Tool-Use जैसे प्रमुख benchmarks में open models के बीच सर्वोच्च स्तर के परिणाम दिखाए हैं, और Claude Sonnet 4 के बराबर मानी जा सकने वाली code/agent task quality प्रदर्शित की है
  • साथ में जारी किया गया Qwen Code CLI tool, Gemini Code को आधार बनाकर fork किया गया है, जिसमें विशेष prompts और function-calling protocol लागू किए गए हैं ताकि Qwen3-Coder की agent capabilities को अधिकतम किया जा सके
  • Qwen3-Coder, OpenAI SDK, Claude Code और अन्य community development tools के साथ भी सहज इंटीग्रेशन प्रदान करता है
  • इसका लक्ष्य एक general-purpose base model के रूप में पूरे software ecosystem में agentic coding को सक्षम बनाना है

प्री-ट्रेनिंग (Pre-Training)

  • टोकन का बड़े पैमाने पर विस्तार: कुल 7.5 ट्रिलियन tokens (जिसमें 70% code) का उपयोग कर code capability के साथ-साथ सामान्य और गणितीय क्षमताओं को भी संतुलित रूप से मजबूत किया गया
  • context range विस्तार: डिफ़ॉल्ट 256K, और YaRN-आधारित 1M token support के साथ बड़े repository स्तर के dynamic data (जैसे Pull Request) तक को संभाल सकता है
  • synthetic data की गुणवत्ता सुधार: मौजूदा Qwen2.5-Coder से noise हटाकर और rewrite किए गए data के उपयोग से समग्र data quality में बड़ा सुधार किया गया

पोस्ट-ट्रेनिंग (Post-Training)

  • Code reinforcement learning (Code RL) का विस्तार: हल करना कठिन, verify करना आसान

    • code generation community के competition-केंद्रित दृष्टिकोण से अलग, सभी code tasks को बड़े पैमाने के reinforcement learning (RL) आधारित execution/verification के जरिए चलाने की पद्धति अपनाई गई
    • विविध वास्तविक coding tasks के लिए automated test cases का विस्तार किया गया, reinforcement learning training instances बड़े पैमाने पर बनाए गए, और success rate को अधिकतम किया गया
    • इस पद्धति ने सिर्फ code execution success rate ही नहीं, बल्कि अन्य task performance में भी सुधार दिखाया
    • आगे भी ऐसे नए क्षेत्रों पर ध्यान रहेगा जो हल करने में कठिन लेकिन verify करने में आसान हों

  • Long-Horizon reinforcement learning (Long-Horizon RL)

    • SWE-Bench जैसे वास्तविक software engineering tasks में planning, tool use, feedback processing, decision making जैसी multi-turn interactions अनिवार्य होती हैं
    • Qwen3-Coder को Long-Horizon RL (Agent RL) के साथ प्रशिक्षित किया गया है, ताकि यह वास्तविक environments में tools के साथ interact करते हुए multi-turn tasks हल कर सके
    • Alibaba Cloud infrastructure पर 20,000 स्वतंत्र parallel environments बनाए गए, जो बड़े पैमाने की reinforcement learning और real-time evaluation को सपोर्ट करते हैं
    • SWE-Bench Verified benchmark में इसने open source मॉडलों के बीच सर्वोच्च प्रदर्शन हासिल किया

Qwen3-Coder का उपयोग

  • Qwen Code: command-line agent coding

    • Qwen Code एक research-oriented CLI tool है, जो Gemini CLI पर आधारित है और Qwen-Coder के लिए अतिरिक्त parser और tools सपोर्ट करता है
    • इसके लिए Node.js 20+ environment आवश्यक है, और npm के माध्यम से इसे आसानी से install और run किया जा सकता है
    • यह OpenAI SDK protocol सपोर्ट करता है, इसलिए environment variables या .env file के जरिए इसे विभिन्न LLM infrastructures में उपयोग किया जा सकता है
    • Qwen-Code command के माध्यम से Qwen3-Coder की शक्ति को आसानी से इस्तेमाल किया जा सकता है

  • Claude Code इंटीग्रेशन

    • Qwen3-Coder को Claude Code environment में भी उपयोग किया जा सकता है
    • Alibaba Cloud Model Studio से API key जारी कराकर Claude Code के साथ इंटीग्रेशन install किया जा सकता है
    • proxy API और claude-code-config package के जरिए विभिन्न backend models का चयन और आसान configuration संभव है

  • Cline इंटीग्रेशन

    • Cline development environment में भी Qwen3-Coder-480B-A35B-Instruct मॉडल को configure करके उपयोग किया जा सकता है
    • API Provider के रूप में OpenAI Compatible चुना जाता है, और Dashscope से प्राप्त API Key तथा Custom Base URL दिया जाता है

उपयोग के उदाहरण (Use Cases)

  • physics-based chimney demolition simulation
  • Qwen + Cline integration उपयोग उदाहरण
  • Qwen Chat आधारित web development
  • प्रसिद्ध उद्धरणों का उपयोग कर typing speed measurement
  • rotating hypercube के भीतर bouncing ball simulation
  • solar system environment simulation
  • DUET game generation सहित विविध coding और simulation उदाहरण प्रदान किए गए हैं

API इंटीग्रेशन

  • Alibaba Cloud Model Studio के माध्यम से Qwen3-Coder का API सीधे उपयोग किया जा सकता है
  • Python OpenAI SDK का उपयोग करके Qwen API के साथ conversational code generation का प्रदर्शन किया गया है

आगे की विकास दिशा

  • Coding Agent के performance improvement और software engineering के जटिल व दोहराए जाने वाले कार्यों को संभालने के लिए सक्रिय रूप से research जारी है
  • अधिक विविध model sizes जारी करने की तैयारी चल रही है, साथ ही deployment cost कम करने का भी लक्ष्य है
  • Coding Agent की self-improvement क्षमता सहित, अंतिम लक्ष्य जटिल और दोहराए जाने वाले software engineering tasks में मानव उत्पादकता को अधिकतम करना है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-07-23
Hacker News टिप्पणियाँ

  • मैं अभी लोकल उपयोग के लिए 2bit से 8bit तक के GGUF बना रहा हूँ
    इन्हें एक घंटे के भीतर HuggingFace Unsloth Qwen3-Coder-480B-A35B-Instruct-GGUF पर उपलब्ध करा दूँगा
    24GB GPU और 128~256GB RAM के आधार पर रन करने का दस्तावेज़ यहाँ है

    • लगता है दस्तावेज़ में टाइपो है
      "Recommended context: 65,536 tokens (can be increased)" की जगह, आधिकारिक दस्तावेज़ में आउटपुट लंबाई के बारे में "We recommend using an output length of 65,536 tokens for most queries, which is adequate for instruct models" लिखा है
      यानी यह recommended output length है

  • Qwen3-Coder कई साइज़ में आ रहा है, लेकिन व्यक्तिगत रूप से मुझे छोटे साइज़ का सबसे ज़्यादा इंतज़ार है
    मुझे लगता है कि लोकल में हल्के तौर पर चल सकने वाले मॉडल अब धीरे-धीरे काफ़ी अच्छा कोड लिखने लगे हैं
    कुछ समय तक बड़े मॉडल की ज़रूरत पड़ सकती है, लेकिन जब self-hosting व्यावहारिक रूप से मुश्किल हो, तब open weights वाले high-quality मॉडल चुनकर इस्तेमाल कर पाना अच्छा है
    छोटे मॉडल को आज़ादी से आज़माना, और ज़रूरत पड़ने पर बड़े मॉडल को paid तौर पर इस्तेमाल करना भी अच्छा अनुभव है
    Qwen टीम को इस रिलीज़ के लिए बधाई, मैं इसे तुरंत आज़माने वाला हूँ

    • मुझे नहीं लगता कि छोटे मॉडल वास्तव में बड़े मॉडल को अक्सर पीछे छोड़ते हैं
      बड़े मॉडल के पास कहीं ज़्यादा ज्ञान और स्मार्टनेस होती है
      छोटे मॉडल भी बेहतर होते हैं, लेकिन बड़े मॉडल भी साथ-साथ बेहतर होते रहते हैं
      एक समय HN, LLM क्षेत्र का तकनीकी केंद्र था, लेकिन आजकल Reddit पर कहीं ज़्यादा यूज़र खुद ultra-large मॉडल चला रहे हैं
      अगर आप खुद खोजें और कोशिश करें, तो self-hosting काफ़ी हद तक व्यावहारिक है

  • "qwen-code" ऐप gemini-cli के fork version जैसा दिखता है
    QwenLM/qwen-code
    लाइसेंस
    उम्मीद है कि OSS CC (open source code companion) clones कभी न कभी एक standard पर एकजुट होंगे
    दरअसल पेज पर साफ़ लिखा है: "we’re also open-sourcing a command-line tool for agentic coding: Qwen Code. Forked from Gemini Code"

    • मैं अभी मुख्य रूप से claude-code इस्तेमाल करता हूँ, लेकिन heavy reasoning के लिए openai, gemini pro को zen mcp के ज़रिए इस्तेमाल करता हूँ
      gemini-cli भी zen में supported है, इसलिए उसे भी बदले में इस्तेमाल किया जा सकता है, और अगर qwen-coder gemini-cli आधारित है तो उसके लिए support जोड़ना भी शायद ज़्यादा मुश्किल नहीं होगा

    • हमने '24 के आखिर में RA.Aid पहले ही रिलीज़ कर दिया था
      यह aider द्वारा शुरू की गई दिशा से एक कदम आगे बढ़ा हुआ, CLI-first और सचमुच open-source community उन्मुख प्रोजेक्ट है
      अलग-अलग कंपनियों से जुड़े 5 independent maintainers के पास full commit अधिकार हैं (उनमें से एक मेरी कंपनी Gobii में शामिल होकर web browsing agent पर काम कर रहा है)
      मुझे लगता है कि हम Cursor, Windsurf और दूसरे agentic coding solutions की तुलना में भी काफ़ी प्रतिस्पर्धी हैं
      किसी एक बड़ी कंपनी या मॉडल पर निर्भर न रहने वाला FOSS standard ज़रूरी है

    • मेरी समझ में Claude Code भी supported है, लेकिन यह closed source है और सिर्फ Anthropic API endpoint को support करता है, तो यह अंदर से कैसे काम करता है, यह जानने की उत्सुकता है

    • मैं अपना प्रोजेक्ट Plandex भी एक बार बताना चाहूँगा
      यह Claude Code से पहले शुरू हुआ था, और कई providers (Anthropic, Google, OpenAI) के मॉडल संयोजन के support के साथ-साथ open source और local मॉडल का उपयोग भी कर सकता है
      इसका ख़ास फ़ोकस बड़े context और कई चरणों वाले long-running tasks पर है
      plandex-ai/plandex GitHub

  • repository में agent manual के रूप में QWEN.md जोड़ने का सुझाव है
    लेकिन आजकल team repositories में हर agent के लिए अलग-अलग Markdown files बढ़ती जा रही हैं, जो अक्षम लगता है

    • मैं तो बस AGENTS.md पर symbolic link जोड़ देता हूँ
      सारी हिदायतें एक जैसी हैं, इसलिए मॉडल-वार अलग रखने की ज़रूरत नहीं
      और gitignore से मॉडल-विशिष्ट versions को बाहर रखता हूँ

  • समझ नहीं आता कि इस बदलाव की रफ़्तार के साथ कैसे चला जाए
    2~3 साल बाद शायद एक ही winning tool तय हो चुका होगा, ऐसा सोचने का मन करता है
    तब शायद सब बिना हिचक सिर्फ वही इस्तेमाल करेंगे

    • लोग अपने interest वाले क्षेत्र को स्वाभाविक रूप से follow कर ही लेते हैं
      वीकेंड पर Kimi K2 चलाया, पिछले 2 दिनों से Ernie4.5-300B चला रहा था
      आज सुबह नवीनतम Qwen3-235b डाउनलोड किया, और आज शाम से इस्तेमाल शुरू किया
      आज रात Qwen3-Coder-480B डाउनलोड हो रहा है—मेरी इंटरनेट स्पीड से 2~3 दिन लगेंगे
      क्या यह obsession है?

    • जब तक उपयोगी न लगे, बस इसे नज़रअंदाज़ कर दो
      ईमानदारी से कहूँ तो prompt box में text टाइप करने के लिए 3 साल के अनुभव की ज़रूरत नहीं होती, इसलिए इस पर ज़्यादा सोचने की ज़रूरत नहीं

    • इस पर ध्यान न भी दें तो चलेगा
      जब तक profitability जैसी कोई बड़ी समस्या सामने नहीं आती, किसी समय एक ऐसा टूल सामने आ ही जाएगा जो साफ़ तौर पर मुख्यधारा बन जाएगा

    • ऐसा क्यों सोचते हो?
      इस क्षेत्र के leaderboards बहुत अस्थिर हैं, और ऐसा नहीं लगता कि यह अस्थिरता जल्दी ख़त्म होने वाली है
      2~3 साल बाद भी स्थिति मिलती-जुलती हो सकती है, बस खिलाड़ी थोड़े अलग होंगे

  • Qwen3-Coder-480B-A35B-Instruct चलाने के लिए कितने स्तर का हार्डवेयर चाहिए होगा, यह जानने की जिज्ञासा है
    अगर इसका प्रदर्शन Sonnet के क़रीब है, तो बहुत से Claude Code यूज़र local running में रुचि ले सकते हैं
    अगर टीम स्तर पर एक local instance साझा किया जाए, तो क्या यह वास्तव में आर्थिक रूप से उपयोगी होगा, यह भी जानना चाहता हूँ
    Claude Code के साथ जोड़कर इस्तेमाल करने का दस्तावेज़ भी है
    X (Twitter) पर भारी-भरकम usage bills साझा करने के मामले भी आम हैं

    • मैं अभी deep learning मॉडल के लिए dynamic GGUF quantized version तैयार कर रहा हूँ
      मोटे तौर पर 24GB VRAM + 128GB RAM में 2bit dynamic पर चल सकेगा, और एक घंटे के भीतर जारी कर दूँगा
      संदर्भ दस्तावेज़: docs.unsloth.ai/basics/qwen3-coder

    • 4bit version, 512GB M3 Mac Studio पर लगभग 272GB RAM इस्तेमाल करता है
      डाउनलोड लिंक
      वास्तविक डेमो वीडियो: X वीडियो
      उस मशीन की कीमत लगभग 10,000 डॉलर है

    • non-quantized, non-distilled version के benchmark चलाने के लिए शायद लगभग 8 H200 का cluster चाहिए होगा
      नया B200 तेज़ है, लेकिन बहुत महँगा भी है
      अनुमानतः 300,000 डॉलर से ज़्यादा
      लोग जब quantized/distilled versions जारी करते हैं, तब benchmark results अक्सर साझा नहीं करते

    • सिर्फ RAM ही 500GB से ज़्यादा चाहिए, और context को ध्यान में रखें तो 100~200GB अतिरिक्त headroom भी चाहिए
      24GB GPU के साथ जोड़ें तो लगभग 10 tokens प्रति सेकंड की रफ़्तार का अनुमान है

    • ज़रूरी नहीं कि बहुत ही विशाल सेटअप हो
      RTX Pro 6000 और 256GB RAM का संयोजन काफ़ी है

  • Cloud 4 से मुकाबला करने वाला open weights मॉडल होना दिलचस्प है
    यह MoE आर्किटेक्चर है, इसलिए सचमुच local run की संभावना दिखती है

    • तब सवाल उठता है कि 480GB कहाँ रखा जाए ताकि ऐसा प्रदर्शन मिले
      क्या किसी के पास इतनी RAM है?

    • Coder का आना काफ़ी रोमांचक है

  • हाल के प्रमुख benchmarks में OpenHands(All-Hands-AI/OpenHands) को default scaffold की तरह इस्तेमाल होते देखना अच्छा लगा
    public benchmarks में जब सिर्फ "private scaffold" लिखा होता है, उससे ज़्यादा निराशाजनक कुछ नहीं

    • robert का AllHands पर विस्तार से बोलता हुआ YouTube वीडियो है

    • Cognition इतना अक्षम दिख सकता है, यह हैरान करने वाला है
      लाखों डॉलर की फंडिंग लेने के बाद भी Cursor, Claude Code से पीछे रह गया, और अब अपना ही clone (जिसे पहले OpenDevin कहा जाता था) उससे मार्केट छीन रहा है

  • मैंने पुष्टि की कि यह OpenRouter पर सीधे इस्तेमाल के लिए उपलब्ध है (openrouter.ai/qwen/qwen3-coder)

  • काश कोई इसे Rust/Ratatui के साथ CLI के रूप में बना दे