GLM-5.1: दीर्घकालिक कार्य निष्पादन की ओर विकास

 (z.ai)
8 पॉइंट द्वारा GN⁺ 22 일 전 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • अगली पीढ़ी का agentic engineering model GLM-5.1 कोडिंग और समस्या-समाधान क्षमता को बड़े स्तर पर मजबूत करने वाला फ्लैगशिप संस्करण है, जिसे दीर्घकालिक optimization और निरंतर improvement को केंद्र में रखकर डिज़ाइन किया गया है
  • SWE-Bench Pro, NL2Repo, Terminal-Bench 2.0 जैसे प्रमुख benchmarks में इसने शीर्ष स्तर का प्रदर्शन दर्ज किया और लंबे समय तक दोहराए गए रन में भी उत्पादक स्थायित्व बनाए रखा
  • VectorDBBench, KernelBench, और web app निर्माण scenarios में सैकड़ों से हज़ारों iterations के दौरान प्रदर्शन को लगातार बेहतर किया गया, जहाँ इसने अपने logs का विश्लेषण कर और strategy बदलकर bottlenecks हटाए
  • मॉडल self-evaluation और structural transitions के माध्यम से जटिल software engineering tasks में भी कुशलतापूर्वक काम करता है, और लंबे रन के दौरान परिणामों की गुणवत्ता लगातार सुधरती रहती है
  • इसे MIT license open source के रूप में जारी किया गया है, इसलिए यह विभिन्न platforms और frameworks पर उपयोग किया जा सकता है, और इसे दीर्घकालिक optimization-उन्मुख AI model के नए मानक के रूप में पेश किया गया है

GLM-5.1 का अवलोकन

  • GLM-5.1 अगली पीढ़ी का agentic engineering मॉडल है, जो पिछले संस्करण की तुलना में काफी बेहतर coding performance वाला flagship model है
  • इसने SWE-Bench Pro में सर्वोच्च प्रदर्शन दर्ज किया, और NL2Repo (repository generation) तथा Terminal-Bench 2.0 (वास्तविक terminal tasks) में भी GLM-5 पर बड़े अंतर से बढ़त बनाई
  • इसे केवल एक बार के रन प्रदर्शन के लिए नहीं, बल्कि दीर्घकालिक optimization क्षमता और निरंतर problem-solving पर ज़ोर देकर डिज़ाइन किया गया है
  • यह अस्पष्ट समस्याओं का बेहतर आकलन करता है, लंबी sessions में भी उत्पादकता बनाए रखता है, और दोहराए गए experiments व strategy adjustments के ज़रिए सैकड़ों iterations में भी प्रदर्शन को बेहतर करता रहता है
  • इसकी संरचना ऐसी है कि जितनी देर तक इसे चलाया जाए, परिणाम उतने बेहतर होते जाते हैं; यही इसकी long-horizon capability की मुख्य विशेषता है

जटिल software engineering कार्य

  • GLM-5.1 ने जटिल software engineering tasks में शीर्ष स्तर का प्रदर्शन हासिल किया
  • जहाँ पिछले models शुरुआती प्रदर्शन सुधार के बाद जल्दी स्थिर हो जाते थे, वहीं GLM-5.1 दीर्घकालिक agentic tasks में भी दक्षता बनाए रखता है
  • मॉडल समस्या को छोटे हिस्सों में बाँटता है, experiments चलाता है, परिणामों का विश्लेषण कर bottlenecks पहचानता है, और iterative reasoning के ज़रिए strategy बदलता है
  • यह बात तीन ऐसे tasks में साबित हुई जिनकी संरचना क्रमशः कम स्पष्ट थी
    • vector search optimization problem (एकल संख्यात्मक metric पर आधारित)
    • GPU kernel benchmark (प्रति-समस्या speedup माप)
    • web application निर्माण (स्पष्ट metrics के बिना, स्वयं के आकलन पर आधारित सुधार)

Scenario 1: 600 iterations के जरिए vector database optimization

  • VectorDBBench एक open source challenge है, जो approximate nearest-neighbor search के लिए high-performance database बनाने में मॉडल की coding क्षमता का मूल्यांकन करता है
  • मॉडल को Rust-आधारित skeleton code और HTTP API endpoints दिए जाते हैं, और उसे 50 tool calls के भीतर file read/write, compile, test, और profiling करनी होती है
  • पहले का सर्वोच्च प्रदर्शन Claude Opus 4.6 के 3,547 QPS (Recall ≥ 95%) था
  • GLM-5.1 ने एक external optimization loop जोड़कर 600 से अधिक iterations (6,000 से अधिक tool calls) चलाए और अंततः 21.5k QPS हासिल किया
    • यह एकल 50-call session की तुलना में लगभग 6 गुना सुधार है
  • प्रदर्शन सुधार की प्रक्रिया staircase pattern दिखाती है, जहाँ gradual tuning और structural transitions बारी-बारी से आते हैं
    • लगभग iteration 90: IVF cluster probing + f16 vector compression लागू → 6.4k QPS
    • लगभग iteration 240: u8 pre-scoring + f16 re-ranking की 2-stage pipeline लागू → 13.4k QPS
  • कुल 6 structural transitions हुए, और हर transition मॉडल द्वारा अपने logs का विश्लेषण कर bottlenecks पहचानने का परिणाम था
  • जिन बिंदुओं पर Recall 95% से नीचे गिरा, वे अधिकतर नई strategies की खोज के चरणों में केंद्रित थे

Scenario 2: 1,000 से अधिक iterations के जरिए machine learning workload optimization

  • KernelBench PyTorch reference implementation को उसी output वाले लेकिन अधिक तेज़ GPU kernels में बदलने की मॉडल क्षमता का मूल्यांकन करता है
  • यह तीन चरणों (Level 1~3) में बना है, जहाँ Level 3 में MobileNet, VGG, MiniGPT, Mamba जैसे पूरे model-unit optimization शामिल हैं
  • torch.compile की default setting ने 1.15×, और max-autotune ने 1.49× speedup हासिल किया
  • GLM-5.1 ने Level 3 में 3.6× speedup दर्ज किया और GLM-5 की तुलना में काफ़ी लंबे समय तक प्रभावी optimization जारी रखा
  • GLM-5 शुरुआती तेज़ उछाल के बाद स्थिर हो गया, जबकि Claude Opus 4.5 अधिक देर तक चला लेकिन बाद के चरण में धीमा पड़ा
  • Claude Opus 4.6 ने अंततः 4.2× के साथ सबसे ऊँचा प्रदर्शन बनाए रखा, और उसमें भी आगे सुधार की गुंजाइश बनी हुई है

Scenario 3: 8 घंटे तक Linux desktop web app बनाना

  • website generation एक subjective task है, जिसमें स्पष्ट संख्यात्मक metrics नहीं होते; पूर्णता, visual quality, और interaction quality इसके मूल्यांकन मानदंड हैं
  • test prompt: “Linux style desktop environment को web application के रूप में बनाओ”
    • शुरुआत बिना initial code, design, या intermediate feedback के की गई
  • अधिकतर models बुनियादी UI बनाकर रुक जाते हैं, लेकिन GLM-5.1 ने अपने परिणाम की समीक्षा और improvement loop के माध्यम से निरंतर प्रगति जारी रखी
  • 8 घंटे तक repeated execution के दौरान यह शुरुआती साधारण layout से धीरे-धीरे एक पूर्ण desktop environment में विस्तृत हुआ
    • file browser, terminal, text editor, system monitor, calculator, game आदि जोड़े गए
    • हर feature को सुसंगत UI में एकीकृत किया गया, और style तथा interaction quality क्रमशः बेहतर हुई
  • अंतिम परिणाम browser के भीतर चलने वाला पूर्ण और दृश्य रूप से सुसंगत desktop environment था

दीर्घकालिक optimization का अर्थ और चुनौतियाँ

  • तीनों scenarios में मुख्य चर सिर्फ execution time नहीं, बल्कि यह था कि अतिरिक्त समय वास्तव में उपयोगी साबित होता है या नहीं
  • GLM-5.1 ने GLM-5 की तुलना में productive horizon को काफ़ी बढ़ाया
  • लेकिन KernelBench जैसे कुछ tasks में अभी भी सुधार की गुंजाइश है
  • शेष चुनौतियाँ
    • जब gradual tuning अपनी सीमा पर पहुँच जाए, तब local optimum से बाहर निकलना
    • हज़ारों tool calls के दौरान consistency बनाए रखना
    • स्पष्ट संख्यात्मक metrics के बिना tasks में विश्वसनीय self-evaluation
  • GLM-5.1 को इस तरह की दीर्घकालिक optimization दिशा में पहला कदम बताया गया है

benchmark तुलना सारांश

  • GLM-5.1 ने SWE-Bench Pro 58.4, NL2Repo 42.7, Terminal-Bench 2.0 63.5 जैसे प्रमुख coding benchmarks में GLM-5 को पीछे छोड़ा
  • Reasoning, Coding, Agentic सभी क्षेत्रों में प्रतिस्पर्धी models की तुलना में उच्च स्तर का प्रदर्शन दिखाया
  • Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.4 जैसे नवीनतम models से तुलना में भी कई मदों में बराबरी या बढ़त दिखाई

रिलीज़ और उपयोग का तरीका

  • MIT license के तहत open source जारी
  • api.z.ai, BigModel.cn पर उपलब्ध, और Claude Code तथा OpenClaw के साथ compatible
  • GLM Coding Plan subscribers मॉडल नाम "GLM-5.1" में बदलकर इसे तुरंत इस्तेमाल कर सकते हैं
    • peak time (UTC+8 14:00–18:00) में 3× quota consumption, और off-peak time में 2×
    • अप्रैल के अंत तक off-peak time पर 1× promotional rate लागू
  • GUI environment के लिए Z Code उपलब्ध है, जो SSH के जरिए remote development और mobile workflows को support करता है
  • model weights HuggingFace और ModelScope पर जारी किए गए हैं
  • vLLM, SGLang जैसे प्रमुख inference frameworks supported हैं, और GitHub पर deployment guide उपलब्ध है
  • जल्द ही Z.ai chat platform पर भी उपलब्ध कराया जाएगा

मूल्यांकन सेटअप और टिप्पणियाँ

  • HLE और अन्य reasoning tasks: अधिकतम 163,840 token generation, और GPT-5.2 को judge model के रूप में उपयोग किया गया
  • SWE-Bench Pro: 200K context window, OpenHands-आधारित execution
  • NL2Repo: malicious command detection और blocking शामिल
  • Terminal-Bench 2.0: 16 CPU, 32GB RAM सीमा, 3 घंटे timeout
  • KernelBench Level 3: H100 GPU environment, 1,200 tool-call limit, independent audit किया गया
  • CyberGym, MCP-Atlas, τ³-bench, Vending Bench 2 जैसे विभिन्न बाहरी benchmarks में independent evaluation किया गया

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.