Kimi K2.6 जारी - ओपन सोर्स कोडिंग की प्रगति

 (kimi.com)
5 पॉइंट द्वारा GN⁺ 2026-04-21 | 3 टिप्पणियां | WhatsApp पर शेयर करें
  • लॉन्ग-होराइज़न कोडिंग और एजेंटिक कार्यों में प्रदर्शन बढ़ाने वाला मॉडल, कई भाषाओं और फ्रंटएंड·devops·परफॉर्मेंस ऑप्टिमाइज़ेशन समेत पूरे क्षेत्र में generalization performance को मजबूत करता है
  • जटिल इंजीनियरिंग कार्यों को persistent coding के रूप में संभालते हुए, हज़ारों tool calls और 12 घंटे से अधिक लगातार रन के बाद Zig inference optimization और exchange-core के पूर्ण पुनर्गठन में throughput में बड़ा सुधार दर्ज किया
  • साधारण prompts को पूर्ण फ्रंटएंड इंटरफेस में बदलता है और image·video generation tools का भी उपयोग करता है, साथ ही authentication और database कार्यों सहित सरल full-stack workflows को सपोर्ट करता है
  • Agent Swarm आर्किटेक्चर को 300 sub-agents और 4,000 coordination steps तक स्केल कर search·research·document writing·file generation कार्यों को parallel में चलाता है, और PDF·slides·spreadsheets·Word documents के format और style को reusable skills में बदलता है
  • proactive agents और Claw Groups तक दायरा बढ़ाकर लंबे समय तक autonomous operation, multi-agent collaboration, और task reallocation करता है, तथा benchmarks और enterprise beta tests में coding·tool calling·long-run reliability में सुधार की पुष्टि हुई

लॉन्ग-होराइज़न कोडिंग

  • लॉन्ग-होराइज़न कोडिंग कार्यों में प्रदर्शन सुधार की पुष्टि, Rust·Go·Python जैसी कई भाषाओं और फ्रंटएंड·devops·परफॉर्मेंस ऑप्टिमाइज़ेशन जैसे कई कार्यों में generalization performance को मजबूत किया गया
    • आंतरिक coding benchmark Kimi Code Bench में जटिल end-to-end कार्यों के पूरे दायरे में Kimi K2.5 की तुलना में बड़ा सुधार दर्ज किया गया
  • जटिल इंजीनियरिंग कार्यों में persistent coding का निष्पादन
    • Mac लोकल वातावरण में Qwen3.5-0.8B मॉडल का डाउनलोड और deployment सफल
    • अपेक्षाकृत niche भाषा Zig में model inference को implement और optimize कर, out-of-distribution generalization performance साबित की
    • 4,000 से अधिक tool calls, 12 घंटे से अधिक लगातार रन, और 14 iterations के बाद throughput को लगभग 15 tokens/sec से बढ़ाकर लगभग 193 tokens/sec तक पहुंचाया
    • अंतिम गति LM Studio की तुलना में लगभग 20% तेज़
  • 8 साल पुराने ओपन सोर्स वित्तीय matching engine exchange-core का पूर्ण पुनर्गठन किया गया
    • 13 घंटे के रन के दौरान 12 optimization strategies दोहराईं, और 1,000 से अधिक tool calls के साथ 4,000 से अधिक lines of code को सटीक रूप से संशोधित किया
    • CPU और memory allocation के flame graph विश्लेषण से छिपे bottlenecks की पहचान की
    • core thread topology को 4ME+2RE से 2ME+1RE में पुनर्गठित किया
    • पहले से परफॉर्मेंस सीमा के करीब पहुंच चुके engine में median throughput 185% बढ़ा (0.43→1.24 MT/s), और performance throughput 133% बढ़ा (1.23→2.86 MT/s)
  • beta test की enterprise evaluations में भी लॉन्ग-होराइज़न coding reliability और tool calling quality पर कई सकारात्मक प्रतिक्रियाएँ दर्ज हुईं
    • Baseten ने leading closed models के समान coding task performance, third-party frameworks की समझ पर आधारित मजबूत tool calling quality, और जटिल व लंबे इंजीनियरिंग कार्यों के लिए उपयुक्तता का उल्लेख किया
    • Blackbox ने long-horizon·agentic coding workflows में ओपन सोर्स मॉडल के लिए नया मानक, जटिल multi-step task handling, उच्च code quality, लंबी sessions की stability, और non-obvious bugs पकड़ने की क्षमता का उल्लेख किया
    • CodeBuddy ने K2.5 की तुलना में code generation accuracy में 12% वृद्धि, long-context stability में 18% सुधार, और tool calling success rate 96.60% दर्ज की
    • Factory ने अपने benchmark के साथ side-by-side evaluation में 15% improvement की रिपोर्ट दी
    • Fireworks ने long-horizon reliability और instruction following ability को सबसे बड़ा सुधार बिंदु बताया
    • Hermes Agent ने tool calling और agent loops की घनिष्ठता, coding improvements, और creative scope के विस्तार का उल्लेख किया
    • Kilo ने कम लागत पर SOTA-स्तरीय प्रदर्शन और पूरे codebase में long-context कार्यों की ताकत का उल्लेख किया
    • Ollama ने coding और agent tools के लिए उपयुक्तता, लंबी multi-step sessions की stability, और मौजूदा integrations के साथ immediate compatibility का उल्लेख किया
    • OpenCode ने task decomposition और tool calling की stability, iteration overhead में कमी, और end-to-end experience की reliability का उल्लेख किया
    • Qoder ने tool calling और model call frequency में वृद्धि, task execution के दौरान अधिक proactiveness, और user interruptions व latency में कमी का उल्लेख किया
    • Vercel ने Next.js benchmark में 50% से अधिक सुधार, platform पर top-tier performance, और cost efficiency के आधार पर agentic coding व frontend generation के लिए उपयुक्तता का उल्लेख किया

कोडिंग-केंद्रित डिज़ाइन

  • मजबूत coding capability के आधार पर साधारण prompts को पूर्ण फ्रंटएंड इंटरफेस में बदला जा सकता है
    • aesthetic hero section, interactive elements, scroll-triggered effects और समृद्ध animations सहित structured layouts का निर्माण
  • image·video generation tools के उपयोग की क्षमता के आधार पर visually consistent assets के निर्माण का समर्थन
    • इससे उच्च गुणवत्ता और अधिक आकर्षक hero section बनाने में योगदान मिलता है
  • static frontend से आगे बढ़कर सरल full-stack workflows तक विस्तार
    • authentication, user interaction, और database कार्य शामिल
    • transaction records या session management जैसे lightweight use cases का समर्थन
    विज्ञापन
  • आंतरिक Kimi Design Bench का निर्माण
    • Visual Input Tasks, Landing Page Construction, Full-Stack Application Development, General Creative Programming इन चार श्रेणियों से बना
    • Google AI Studio की तुलना में कई श्रेणियों में promising results और अच्छा performance दर्ज किया गया
  • K2.6 Agent के उदाहरण outputs प्रदान किए गए
    • एक prompt और पहले से configured harness·tools का उपयोग कर परिणाम तैयार किए गए
    • aesthetics के लिहाज़ से समृद्ध interaction वाले सुंदर frontend designs शामिल
    • functionality के लिहाज़ से built-in database और authentication शामिल
    • tool usage के लिहाज़ से image·video generation tools का उपयोग कर polished websites शामिल

उन्नत Agent Swarm

  • केवल vertical scaling नहीं, बल्कि horizontal scaling पर केंद्रित आर्किटेक्चर अपनाया गया
    • Agent Swarm कार्यों को dynamic तरीके से heterogeneous subtasks में तोड़ता है, और स्वयं बनाए गए domain-specific agents उन्हें parallel में execute करते हैं
  • K2.5 Agent Swarm research preview के आधार पर, Kimi K2.6 Agent Swarm में अनुभव में गुणात्मक छलांग प्रस्तुत की गई
    • broad search और deep research का संयोजन
    • large-scale document analysis और long-form writing का संयोजन
    • कई formats में content generation को parallel में चलाना
    • एक ही autonomous run के भीतर documents·websites·slides·spreadsheets को कवर करने वाले end-to-end outputs प्रदान करना
  • आर्किटेक्चर की horizontal scaling capacity बढ़ाई गई
    • 300 sub-agents एक साथ 4,000 coordination steps चलाते हैं
    • K2.5 के 100 sub-agents और 1,500 steps की तुलना में बड़ा विस्तार
    • बड़े पैमाने के parallelization से end-to-end latency कम हुई, output quality बेहतर हुई, और Agent Swarm की operational सीमा विस्तृत हुई
  • PDF·spreadsheets·slides·Word documents जैसी उच्च-गुणवत्ता वाली files को Skills में बदला जा सकता है
    • document की structure और style characteristics को capture और preserve किया जाता है
    • बाद के कार्यों में वही quality और format फिर से तैयार किया जा सकता है
  • कई example tasks प्रस्तुत किए गए
    • 100 global semiconductor assets पर 5 quant strategies को design और execute किया गया, McKinsey-style PPT को reusable skill में बदला गया, और detailed modeling spreadsheet तथा complete executive presentation materials प्रदान किए गए
    • समृद्ध visual data वाले उच्च-गुणवत्ता के astrophysics paper को reusable academic skill में बदला गया, reasoning flow और visualization methods निकाले गए, और 40-पेज·7,000-शब्द का research paper, 20,000 से अधिक items वाला structured dataset, तथा 14 astronomy-grade charts तैयार किए गए
    • अपलोड किए गए resume के आधार पर 100 sub-agents बनाकर California में संबंधित 100 jobs match की गईं, और structured opportunity dataset तथा 100 customized resumes प्रदान किए गए
    • Google Maps पर Los Angeles में official website न रखने वाली 30 retail stores की पहचान की गई, और हर store के लिए conversion-focused landing page तैयार किया गया
    विज्ञापन

proactive agents

  • OpenClaw और Hermes जैसे autonomous·proactive agents में मजबूत प्रदर्शन दर्ज किया गया
    • कई applications में 24x7 continuous operation वाले उपयोग प्रकारों का समर्थन
  • साधारण chat-based interaction से अलग workflows को सपोर्ट करता है
    • scheduling, code execution, और cross-platform task orchestration को persistent background agents के रूप में चलाने की आवश्यकता होती है
  • RL infrastructure team ने K2.6-based agent का उपयोग कर 5 दिनों तक autonomous operation चलाया
    • monitoring, incident response, और system operations संभाले
    • persistent context बनाए रखना, multi-threaded tasks संभालना, और alert generation से resolution तक पूरे lifecycle का निष्पादन साबित किया
    • sensitive information हटाने के बाद के task logs के अस्तित्व का उल्लेख किया गया
  • वास्तविक वातावरण में reliability improvements को मापा गया
    • अधिक सटीक API interpretation
    • अधिक स्थिर long-running execution performance
    • लंबी research tasks के दौरान बेहतर safety awareness
  • आंतरिक evaluation suite Claw Bench से प्रदर्शन सुधार को quantify किया गया
    • Coding Tasks, IM Ecosystem Integration, Information Research & Analysis, Scheduled Task Management, Memory Utilization इन पाँच क्षेत्रों को शामिल किया गया
    • सभी metrics पर Kimi K2.5 की तुलना में task completion rate और tool calling accuracy में बड़ा सुधार हुआ
    • खासकर उन workflows में मजबूत सुधार दर्ज हुआ जिनमें मानव निगरानी के बिना लगातार autonomous operation की आवश्यकता होती है

Bring Your Own Agents

  • मजबूत orchestration capability के आधार पर proactive agents को Claw Groups तक विस्तारित किया गया
    • Agent Swarm आर्किटेक्चर के एक नए implementation form के रूप में research preview प्रदान किया गया
  • खुले और heterogeneous ecosystem को अपनाया गया
    • कई agents और मनुष्य वास्तविक collaborators के रूप में साथ काम करते हैं
    • उपयोगकर्ता किसी भी device से, किसी भी model पर चल रहे agent को onboard कर सकते हैं
    • हर agent के पास अपना toolset, skill, और persistent memory context होता है
    • local laptops, mobile devices, cloud instances जैसे विभिन्न environments के agents एक shared operating space में स्वाभाविक रूप से integrate होते हैं
    विज्ञापन
  • केंद्र में Kimi K2.6 adaptive coordinator की भूमिका निभाता है
    • हर agent की skill profile और available tools के आधार पर tasks को dynamic तरीके से assign करता है
    • उपयुक्त capabilities के अनुसार tasks को optimize करता है
    • agent failure या stagnation होने पर उसे detect कर task reallocation या subtask regeneration करता है
    • शुरुआत से validation और completion तक outputs के पूरे lifecycle को सक्रिय रूप से manage करता है
  • Claw Groups के अपने usage cases भी शामिल हैं
    • human-agent workflows को वास्तविक रूप से refine करने के लिए internally agent marketing team का उपयोग किया गया
    • Demo Makers, Benchmark Makers, Social Media Agents, Video Makers जैसे specialized agents साथ मिलकर काम करते हैं
    • end-to-end content production और launch campaign संचालन करते हैं
    • K2.6 intermediate results को share करने और ideas को consistent finished outputs में बदलने का coordination करता है
  • मानव और AI के रिश्ते को question answering या simple task assignment से आगे बढ़ाकर वास्तविक collaborative partnership तक विस्तारित किया गया
    • सहयोगी सिस्टम के भीतर "my agent", "your agent", "our team" की सीमाएँ स्वाभाविक रूप से धुंधली हो जाने वाले भविष्य की दिशा प्रस्तुत की गई

benchmark तालिका

  • Agentic क्षेत्र के प्रमुख आँकड़े
    • HLE-Full w/ tools 54.0, GPT-5.4 52.1, Claude Opus 4.6 53.0, Gemini 3.1 Pro 51.4, Kimi K2.5 50.2
    • BrowseComp 83.2, BrowseComp(agent swarm) 86.3, Kimi K2.5 क्रमशः 74.9, 78.4
    • DeepSearchQA f1-score 92.5, accuracy 83.0
    • WideSearch item-f1 80.8
    • Toolathlon 50.0, Kimi K2.5 27.8
    • MCPMark 55.9
    • Claw Eval pass^3 62.3, pass@3 80.9
    • APEX-Agents 27.9
    • OSWorld-Verified 73.1
  • Coding क्षेत्र के प्रमुख आँकड़े
    • Terminal-Bench 2.0 (Terminus-2) 66.7
    • SWE-Bench Pro 58.6
    • SWE-Bench Multilingual 76.7
    • SWE-Bench Verified 80.2
    • SciCode 52.2
    • OJBench (python) 60.6
    • LiveCodeBench (v6) 89.6
  • Reasoning & Knowledge क्षेत्र के प्रमुख आँकड़े
    • HLE-Full 34.7
    • AIME 2026 96.4
    • HMMT 2026 (Feb) 92.7
    • IMO-AnswerBench 86.0
    • GPQA-Diamond 90.5
  • Vision क्षेत्र के प्रमुख आँकड़े
    • MMMU-Pro 79.4, MMMU-Pro w/ python 80.1
    • CharXiv (RQ) 80.4, CharXiv (RQ) w/ python 86.7
    • MathVision 87.4, MathVision w/ python 93.2
    • BabyVision 39.8, BabyVision w/ python 68.5
    • V* w/ python 96.9
    विज्ञापन
  • आधिकारिक Kimi-K2.6 benchmark results को reproduce करने के लिए official API के उपयोग की सिफारिश की गई
    • third-party providers चुनने के लिए Kimi Vendor Verifier (KVV) का संदर्भ भी दिया गया

फुटनोट्स

  • सामान्य test details

    • Kimi K2.6 और Kimi K2.5 के परिणाम thinking mode enabled, Claude Opus 4.6 के max effort, GPT-5.4 के xhigh reasoning effort, और Gemini 3.1 Pro के high thinking level शर्तों पर रिपोर्ट किए गए
    • अलग से उल्लेख न होने पर Kimi K2.6 के experiments temperature 1.0, top-p 1.0, और 262,144 tokens context length पर किए गए
    • जिन benchmarks के public scores उपलब्ध नहीं थे, उन्हें Kimi K2.6 जैसी ही शर्तों पर दोबारा evaluate किया गया और asterisk(*) से चिह्नित किया गया
    • जिन परिणामों पर asterisk नहीं है, वे official reports से उद्धृत हैं

  • reasoning benchmarks

    • GPT-5.4 और Claude 4.6 के IMO-AnswerBench scores z.ai blog से लिए गए
    • Humanity's Last Exam (HLE) और अन्य reasoning tasks का evaluation अधिकतम 98,304 tokens generation length पर किया गया
    • default reported value HLE full set है
    • text-only subset में Kimi K2.6 ने tools के बिना 36.4% accuracy, और tools के साथ 55.5% accuracy दर्ज की

  • tool-augmented और agentic tasks

    • HLE with tools, BrowseComp, DeepSearchQA, WideSearch में search, code-interpreter, web-browsing tools लगाए गए
    • HLE-Full with tools के लिए अधिकतम generation length 262,144 tokens, और per-step limit 49,152 tokens थी
    • context window threshold पार होने पर केवल सबसे हाल की tool-related message rounds को बनाए रखने वाली simple context management strategy का उपयोग किया गया
    • BrowseComp scores Kimi K2.5 और DeepSeek-V3.2 के समान discard-all strategy context management से प्राप्त किए गए
    • DeepSearchQA में Kimi K2.6 test पर context management लागू नहीं किया गया, और supported context length से अधिक tasks को सीधे failure के रूप में गिना गया
    • Claude Opus 4.6, GPT-5.4, और Gemini 3.1 Pro के DeepSearchQA scores Claude Opus 4.7 System Card से उद्धृत हैं
    • WideSearch के परिणाम hide tool result context management setting के साथ रिपोर्ट किए गए
    • test system prompt Kimi K2.5 technical report के समान था
    • Claw Eval version 1.1, max-tokens-per-step 16384 पर चलाया गया
    • APEX-Agents में public 480 tasks में से 452 tasks का evaluation किया गया
      • Artificial Analysis के समान Investment Banking Worlds 244, 246 को बाहर रखा गया
      • बाहर रखने का कारण external runtime dependency था

  • coding tasks

    • Terminal-Bench 2.0 score base agent framework Terminus-2 और दिए गए JSON parser का उपयोग कर preserve thinking mode में प्राप्त किया गया
    • SWE-Bench series evaluations (Verified, Multilingual, Pro सहित) के लिए SWE-agent पर आधारित संशोधित in-house evaluation framework का उपयोग किया गया
    • इस framework का tool configuration bash tool, createfile tool, insert tool, view tool, strreplace tool, submit tool के न्यूनतम सेट पर आधारित था
    • coding tasks के सभी reported scores 10 स्वतंत्र runs के average हैं

  • vision benchmarks

    • max-tokens 98,304, 3 runs का average(avg@3) लागू किया गया
    • Python tool enabled setting में max-tokens-per-step 65,536, max-steps 50 के साथ multi-step reasoning चलाई गई
    • MMMU-Pro official protocol का पालन करता है, input order बनाए रखता है, और images को आगे रखता है

संबंधित पढ़ाई

3 टिप्पणियां

 
GN⁺ 2026-04-21
Hacker News की राय

  • OpenRouter से जोड़कर देखा तो यह बात प्रभावशाली लगी कि इस मॉडल ने सिर्फ SVG pelican बनाकर नहीं छोड़ा, बल्कि उसे animation speed control वाली HTML wrapper में export भी किया। बातचीत का रिकॉर्ड और HTML इस gist में हैं, और चलती हुई example इस लिंक पर देखी जा सकती है

    • अब लगता है कि ऐसे pelican SVG शायद training dataset में शामिल हो चुके होंगे
    • इसमें पूरी तरह overachiever जैसा एहसास था, और Kimi नाम भी किसी मेधावी छात्र जैसा लगता है
    • अफसोस, pelican की टाँगों और पैरों पर उतना ही ध्यान नहीं दिया गया लगता। बायाँ पैर मानो लकवाग्रस्त हो और हिलता ही नहीं, जबकि दायाँ टखना अस्थिर रूप से बहुत तेज़ घूमता है
    • मैंने इसे beta के समय इस्तेमाल किया था, और यह काफ़ी अच्छा मॉडल था; कुछ पलों में तो मैं भूल गया कि मैं Opus या GPT नहीं बल्कि कोई और मॉडल इस्तेमाल कर रहा हूँ। फिर भी Opus अब भी बेहतर है, और मेरी नज़र में GPT तरफ़ ज़्यादा संघर्ष दिखा। backend कामों में इसकी कुछ niche ताकतें थीं, लेकिन कौशल हो तो Opus से भी मिलती-जुलती चीज़ें हल की जा सकती थीं, और कुल मिलाकर इसकी कमियाँ ज़्यादा दिखीं
    • सच में जिज्ञासा है, लगभग हर नए मॉडल थ्रेड में यह पोस्ट करने का मकसद क्या है, समझ नहीं आता। हो सकता है मैं थोड़ा बूढ़ा और चिड़चिड़ा हो गया हूँ, लेकिन यह काफ़ी पहले ही बासी हो चुका था और कम-मेहनत वाले Reddit comment जैसा लगता है

  • शुरुआती benchmarks देखें तो Kimi K2.6, Kimi K2 Thinking की तुलना में काफ़ी बेहतर हुआ है। पिछला मॉडल हमारे benchmark में अच्छा नहीं चला था, और quantization भी सबसे अच्छे settings पर किया गया था। अभी Kimi K2.6 one-shot coding reasoning में open-weight models के शीर्ष स्तर पर है, GLM 5.1 से थोड़ा बेहतर है, और लगभग 3 महीने पहले के SOTA models से भी टक्कर ले सकता है, इसलिए Gemini 3.1 Pro Preview जैसी श्रेणी में दिखता है। agent-style tests अभी चल रहे हैं, और open-weight models आम तौर पर long-context agent workflows में कमज़ोर रहते हैं, लेकिन GLM 5.1 ने काफ़ी अच्छा टिकाव दिखाया था, इसलिए Kimi का परिणाम दिलचस्प होगा। हालाँकि पुराने और नए दोनों versions धीमे हैं, इसलिए agent coding की practical usability सीमित हो सकती है। पुराना Kimi K2 benchmark optimization पर ज़्यादा केंद्रित था और कठिन समस्याएँ सुलझाने से ज़्यादा variation और temperature बढ़ाने में दिलचस्पी रखता था, लेकिन यह मॉडल कहीं ज़्यादा मज़बूत general-purpose model लगता है। कुल मिलाकर open-weight पक्ष बहुत अच्छा दिख रहा है, और लगभग हर हफ़्ते frontier स्तर का नया मॉडल आता दिख रहा है। विस्तृत benchmark gertlabs पर देखे जा सकते हैं

    • जानना चाहूँगा कि K2.6 की Sonnet 4.6 के मुकाबले कीमत और performance कैसी है
    • अलग-अलग भाषाओं के हिसाब से performance में इतना बड़ा अंतर काफ़ी चौंकाने वाला था

  • यह एक तरह की विडंबनापूर्ण हास्य जैसी बात लगती है कि चीन शायद दुनिया की सबसे महत्वपूर्ण तकनीक को open source तरीके से आगे बढ़ा रहा है, जबकि अमेरिका ठीक उलटी दिशा में जा रहा है

    • मुझे लगता है कि एक मकसद अमेरिकी कंपनियों को counter करना भी है। OpenAI और Anthropic सबसे बड़े खिलाड़ी हैं और दोनों अमेरिकी कंपनियाँ हैं, इसलिए जितने ज़्यादा open-weight models होंगे, उतना ही इन दोनों का industry dominance कम होगा। अगर चीनी कंपनियाँ अमेरिकी शैली की closed-model strategy अपनाएँ, तो ज़्यादातर लोग फिर भी ChatGPT या Claude ही इस्तेमाल करेंगे; ऐसे में अगर बहुत बड़ा मुनाफ़ा कमाना मुश्किल ही है, तो open-weight जारी करके अमेरिकी कंपनियों के excess profits कम करना ज़्यादा व्यावहारिक रणनीति लगती है
    • मेरा मानना है कि महान तकनीकी प्रगति अंततः खुलेपन से तेज़ होती है। iPhone को ही देख लें: GPS, इंटरनेट, voice assistant, touchscreen, microprocessor, lithium-ion battery जैसी कई मुख्य तकनीकें सरकारी research या सार्वजनिक रूप से काफ़ी खुली research से निकलीं। निजी कंपनियाँ अपने breakthroughs प्रतिस्पर्धियों के लिए यूँ ही नहीं खोलतीं, इसलिए पूरे क्षेत्र को आगे बढ़ाना हो तो तकनीक खोलनी ही पड़ती है
    • इस update के साथ Kimi K2.6 अब सबसे मज़बूत open multimodal AI model लगता है। बेशक मैं अंदरूनी व्यक्ति नहीं हूँ। सार्वजनिक AI benchmarks को जोड़कर देखें तो Opus 4.6 max effort की तुलना में agents में 5 बनाम 5, coding में Kimi 5 बनाम Opus 1, reasoning और knowledge में Kimi 1 बनाम Opus 4, और vision में Kimi 9 बनाम Opus 0 था। हालाँकि benchmark model बनाने वाली कंपनियाँ ही चुनती हैं, इसलिए bias को ध्यान में रखना चाहिए, फिर भी coding और reasoning के कई benchmarks काफ़ी standard थे
    • इसे सिर्फ़ ऐसे देखना ठीक नहीं होगा। Google ने हाल में Gemma 4 जारी किया है और Allen AI भी open Olmo family ला रहा है। फिर भी यह सही है कि चीनी open models ज़्यादा मज़बूत दिख रहे हैं, और खासकर Qwen 3 family अपेक्षा से अधिक तेज़ी से ऊपर आती दिखती है
    • चीन की labs मॉडल open source क्यों कर रही हैं, इस पर कई अटकलें हैं, लेकिन मेरे हिसाब से कारण सरल और स्पष्ट है। उनके लिए व्यावहारिक रूप से संभव commercialization strategy वही है। मैंने यह बात अपनी इस पोस्ट में लिखी है

  • मुझे हमेशा हैरानी हुई कि Kimi को जितना ध्यान मिलना चाहिए, उतना नहीं मिला। creativity और quality के मामले में यह लगातार अलग दिखा, और काफ़ी समय तक यह मेरा पसंदीदा मॉडल था। हालाँकि मैं कोई authority नहीं हूँ

    • अच्छा तो है, लेकिन अभी Claude-स्तर का नहीं लगा। ऊपर से API को अक्सर capacity issues आते हैं। फिर भी price-to-quality अनुपात इतना अविश्वसनीय है कि कुछ हफ़्ते या महीनों पहले डाले गए 40 डॉलर में से अभी आधा भी खर्च नहीं हुआ
    • यह भी मज़ेदार था कि यह उन कुछ मॉडलों में है जो SVG clock बना सकते हैं। उदाहरण इस साइट पर देखे जा सकते हैं
    • इस performance के लिए OpenRouter पर यह बहुत सस्ता था, इसलिए और अच्छा लगा। उम्मीद है 2.6 भी यह परंपरा जारी रखेगा
    • मैंने इसे Kagi Assistant में option के रूप में इस्तेमाल किया, और search तथा summary-भरे माहौल में इसके नतीजे पसंद आए। खासकर जब मैंने सूची-जैसी या Markdown से भरी सामान्य LLM शैली के बजाय स्वाभाविक गद्य माँगा। आत्मविश्वास से तुलना करना मुश्किल है, लेकिन output का flow बेहतर बनाने के लिए यह मूल पाठ को काफ़ी साहस के साथ rearrange करता था, और कभी-कभी अलग-अलग संभाले गए संबंधित विचारों को जोड़ने या request का ठीक से जवाब देने के लिए ऐसी editing वास्तव में मददगार थी
    • मुझे याद है जब पहला K2 आया था, तब कुछ समय तक creative writing में यह दूसरे मॉडलों से साफ़ आगे था

  • जानना चाहूँगा कि यहाँ किसी ने Kimi को वास्तविक काम में इस्तेमाल किया है या नहीं। मैंने एक बार इस्तेमाल किया, लेकिन benchmarks भले चमकदार दिखें, वास्तविक उपयोग में इसका असर बस ठीक-ठाक था। दूसरी तरफ़ Qwen 3.6 काफ़ी अच्छा लगा, और Opus जितना नहीं सही, पर Sonnet से अच्छी टक्कर देता लगा

    • जब Codex quota खत्म हो जाता था तो मैं Kimi K2.5 इस्तेमाल करता था, और छोटे व मध्यम आकार के कामों में यह ठीक था। लेकिन जटिल कामों में इसे इस्तेमाल करने पर बाद में Codex के साथ दो दिन तक cleanup करना पड़ता था, इसलिए उम्मीद है 2.6 बेहतर हुआ होगा
    • GLM-5.1 से पहले मैं Opus 4.5 और Kimi 4.5 के बीच आना-जाना करके इस्तेमाल करता था, और Kimi की तरफ़ से भी काफ़ी अच्छे परिणाम मिले
    • मुमकिन है कि आप पहले से ही इसे इस्तेमाल कर रहे हों। Cursor का composer-2 model इस्तेमाल करें तो वह Kimi family का ही है। planning में यह शीर्ष स्तर का लगता है, और execution भी composer-2 में अच्छा चलता है

  • अगर benchmark का एहसास और वास्तविक अनुभव मेल खाते हैं, तो यह शायद चीनी AI का DeepSeek-मोमेंट जैसा मामला हो सकता है, जहाँ वह अमेरिकी शीर्ष labs के मॉडलों के लगभग कंधे से कंधा मिलाकर खड़ा दिखे

    • पिछली पीढ़ी के models से तुलना करें तो हाँ, लेकिन तथाकथित 10T-स्तर के पौराणिक models से तुलना करें तो अभी यह बिलकुल पास भी नहीं है

  • मेरे tests और aibenchy comparison के आधार पर Kimi K2.6, Kimi K2.5 से बस थोड़ा बेहतर लगा। खासकर puzzles, domain-specific problems, और trap-style accuracy tasks में निर्देशों का पालन न करना और गलत जवाब बार-बार दिखे। coding model के रूप में यह शानदार हो सकता है, लेकिन overall intelligence की भावना अब भी शीर्ष SOTA से थोड़ा नीचे लगी

    • मैंने OpenRouter पर max tokens 8192 रखकर इस्तेमाल किया, लेकिन non-thinking mode में भी हर response कटकर आया। यह deployment issue हो सकता है, लेकिन तुम्हारे लिंक में भी output tokens बहुत ज़्यादा generate होते दिखे

  • कभी-कभी सोचता हूँ कि जैसे पुराने कंप्यूटर एक पूरा कमरा घेरते थे और आज जेब में आ जाते हैं, क्या भविष्य में किसी data center जितनी computing फ़ोन जैसे एकल device में आ सकती है। तकनीकी प्रगति की रफ़्तार हर साल तेज़ होती दिखती है, तो लगता है शायद ऐसा बदलाव भी जल्दी आ सकता है

    • इस दिशा में शुरुआती काम पहले से हो रहा है। उदाहरण के लिए Taalas जैसी कंपनियाँ LLM ASIC बना रही हैं, और HC1 कथित रूप से llama 8b पर 17k tokens प्रति सेकंड देता है। अभी यह 2.5kW स्तर पर है, इसलिए फ़ोन से ज़्यादा एक single server जैसा है, लेकिन पहले chip के रूप में यह महत्वपूर्ण है। photonic computing जैसे विकल्प power को बहुत कम कर सकते हैं, लेकिन अभी वे research stage में हैं। AI में बहुत पैसा जा रहा है और मौजूदा GPU inference बहुत बिजली खाता है, इसलिए उम्मीद है इस क्षेत्र में सुधार काफ़ी तेज़ होंगे
    • मुझे नहीं लगता कि यह इतना तेज़ होगा। ऐतिहासिक रूप से ज़्यादातर घातीय संकुचन ही हुआ है, और अगर वही trend जारी रहता है तो कमरे जितनी computing को जेब जितना होने में लगभग उतना ही समय लगना चाहिए। ऊपर से हाल के वर्षों में हम उस घातीय trend से भी नीचे रहे हैं, और वैसे भी शुद्ध exponential growth बहुत लंबे समय तक चलना मुश्किल है। मैं मानता हूँ कि तकनीकी प्रगति जारी रहेगी और compute devices छोटे होते जाएँगे, लेकिन सिर्फ़ इस वजह से अगला miniaturization चरण कम समय में आ जाएगा, ऐसा मुझे नहीं लगता

  • आज सुबह भर मैंने इसे app से जोड़कर test किया, और एहसास के स्तर पर परिणाम Sonnet 4.6 जैसे लगे। बिना औपचारिक validation के यह पूरी तरह vibe-based impression है, लेकिन frontier models में वास्तविक competition आना अच्छी बात है

    • K2.6 और GLM 5.1 की वजह से अब ऐसा लग रहा है कि Sonnet-स्तर की intelligence Haiku-स्तर की कीमत पर मिल रही है। यह सच में बढ़िया है। Anthropic को भी जल्दी नया Haiku लाना चाहिए, और सस्ते मॉडलों से मुकाबले के लिए अभी के Haiku की कीमत के एक-तिहाई से एक-पाँचवें के दायरे में कुछ चाहिए। उस price band में Gemma-4 काफ़ी अच्छा कर रहा है

  • मैं जानना चाहता था कि क्या इस मॉडल के लिए coding का कोई flat-rate plan है। यानी token limit की जगह सिर्फ़ API call limit हो, ऐसा कुछ है या नहीं। हाल में z.ai पर GLM billing fail होने से subscription टूट गया, और कीमत भी कुछ महीनों में बहुत बढ़ गई

    • Kimi की भी बाकी services जैसी अपनी subscription है, और उसे Kimi Code पर देखा जा सकता है
 
ingwannu 2026-04-21

व्यक्तिगत रूप से मैं Fireworks.ai के firepass पर $30 प्रति माह में kimi2.5 को अनलिमिटेड बहुत अच्छी तरह इस्तेमाल कर रहा था, इसलिए जल्द ही firepass में लागू होने वाले इस 2.6 के performance improvement को लेकर काफी उत्साहित हूं

API के जरिए थोड़ी देर इस्तेमाल करके लगा कि 2.5 के मुकाबले इसमें बहुत बड़ी प्रगति हुई है
 
chlrhdmltkfkd 2026-04-22

वाह, इसने नए sign-up बंद कर दिए हैं