Kimi K3 और Pelican benchmark से अब भी क्या सीखा जा सकता है

 (simonwillison.net)
1 पॉइंट द्वारा GN⁺ 3 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Moonshot AI द्वारा जारी Kimi K3 कंपनी का सबसे बेहतर प्रदर्शन वाला मॉडल है, जिसमें 2.8 ट्रिलियन parameters हैं। यह वेबसाइट और API पर उपलब्ध है, और open weights 27 जुलाई 2026 तक जारी किए जाने की योजना है
  • अपने benchmarks में इसने आम तौर पर Claude Opus 4.8 max और GPT-5.5 high को पीछे छोड़ा, लेकिन Claude Fable 5 और GPT-5.6 Sol से पीछे रहा; Arena.ai Frontend Code arena में यह पहले स्थान पर पहुंचा
  • input के प्रति 1 मिलियन tokens पर $3 और output के प्रति 1 मिलियन tokens पर $15 की कीमत के साथ यह चीनी AI labs के models में सबसे महंगा है; एक pelican SVG बनाने में reasoning tokens 13,241 सहित output के 16,658 tokens और $0.25 खर्च हुए
  • साइकिल चलाते pelican का SVG test आज के महत्वपूर्ण agent tool calling या लंबी बातचीत में tools को भरोसेमंद तरीके से चलाने की क्षमता नहीं मापता, इसलिए models के समग्र प्रदर्शन की तुलना के लिए उपयुक्त नहीं है
  • फिर भी वही सरल prompt सीधे चलाने से API accessibility और cost, reasoning मात्रा, SVG validity, spatial awareness, vision performance, और product family में पीढ़ी-दर-पीढ़ी सुधार को जल्दी देखा जा सकता है

Kimi K3 की रिलीज़ और प्रदर्शन

  • Moonshot AI ने Kimi K3 को 2.8 ट्रिलियन parameters वाले अपने सबसे बेहतर प्रदर्शन वाले model के रूप में जारी किया
    • यह वेबसाइट और API पर उपलब्ध है
    • open weights 27 जुलाई 2026 तक जारी करने की योजना है
  • K3 को पहला “open 3T-class model” कहा गया है, जहां 2.8 ट्रिलियन को round up करके 3 ट्रिलियन class में रखा गया है
    • अब तक सबसे बड़े models में गिने गए DeepSeek V4 Pro में 1.6 ट्रिलियन parameters हैं
    • K3, 1 ट्रिलियन parameters वाले Kimi K2.6 से दोगुने से भी अधिक बड़ा है
  • अपने benchmarks में इसने आम तौर पर Claude Opus 4.8 max और GPT-5.5 high को पीछे छोड़ा, लेकिन Claude Fable 5 और GPT-5.6 Sol से पीछे रहा

बाहरी मूल्यांकन और कीमत

  • Artificial Analysis evaluation के private long-horizon knowledge tasks में इसने कुल Elo 1,547 दर्ज किया
    • यह Kimi K2.6 से 732 points अधिक है
    • Claude Fable 5 के बाद दूसरे स्थान पर है
  • प्रति task लागत $0.94 है, जो GPT-5.6 Sol के $1.04 के करीब है
    • यह Claude Opus 4.8 के $1.80 से लगभग आधी है
    • अन्य open-weight models की तुलना में महंगी है
  • Artificial Analysis Intelligence Index में output token usage K2.6 से 21% कम हुआ
  • Arena.ai Frontend Code arena में यह Claude Fable 5 को पार कर पहले स्थान पर पहुंचा
  • API pricing input के प्रति 1 मिलियन tokens पर $3 और output के प्रति 1 मिलियन tokens पर $15 है
    • यह Anthropic Claude Sonnet family के बराबर है
    • चीनी AI labs द्वारा जारी models में सबसे महंगा है
    • Kimi K2.6 के $0.95/$4 से काफी अधिक है

Pelican SVG generation experiment

  • OpenRouter और llm-openrouter plugin का उपयोग करके Generate an SVG of a pelican riding a bicycle prompt चलाया गया
  • generation process में input के 95 tokens और output के 16,658 tokens इस्तेमाल हुए
    • output में से 13,241 reasoning tokens थे
    • कुल लागत $0.25 थी
  • image input भी support होने के कारण generated SVG पर alt-text prompt लागू किया गया
    • analysis result ने लाल scarf पहने सफेद pelican और लाल bicycle, lane markings और motion indicators, sky, clouds, sun, birds, grass और flowers को सटीक रूप से पहचाना
    • image analysis में input के 822 tokens और output के 243 tokens, यानी $0.006 खर्च हुए

समग्र benchmark के रूप में सीमाएं

  • साइकिल चलाते pelican का SVG test 21 महीने पहले model comparison की कठिनाइयों पर व्यंग्य करने वाले मजाक के रूप में शुरू हुआ था, लेकिन पहले एक साल में इसका वास्तविक model quality से अप्रत्याशित रूप से मजबूत correlation दिखा
  • अब वह correlation काफी हद तक खत्म हो गया है
    • GPT-5.6 और Claude Fable 5 द्वारा बनाए गए pelicans, GLM-5.2 के results से खराब हैं
    • लेकिन GLM-5.2 को Claude Fable-level model मानना मुश्किल है
  • यह पक्का नहीं है कि labs ने इस test के लिए models को train किया है
    • अगर सच में optimize किया गया होता, तो results बहुत बेहतर आने चाहिए थे
    • Gemini के “जानवर किसी वाहन पर सवार हो” जैसे combinations के लिए optimize होने की संभावना फिर भी बनी रहती है
  • सबसे बड़ी सीमा यह है कि यह आज के models में महत्वपूर्ण agent tool calling का बिल्कुल मूल्यांकन नहीं करता
    • बातचीत लंबी होने पर tools को stable तरीके से operate करने की क्षमता भी नहीं मापता
    • इसलिए pelican results को models के समग्र प्रदर्शन की तुलना में इस्तेमाल नहीं करना चाहिए

खुद चलाने को मजबूर करने वाला experiment

  • pelican test नए model को सच में call करवाने वाला forcing function की तरह काम करता है
    • output आ गया, इसका मतलब है कि prompt कम से कम सफलतापूर्वक चला
    • official API होने पर उसी का उपयोग किया जाता है
    • 128GB M5 MacBook Pro में फिट होने जितने छोटे open-weight models को llama.cpp, LM Studio, Ollama से locally चलाया जाता है
    • नए API key के बिना official API proxy इस्तेमाल की जा सके, इसलिए OpenRouter अक्सर इस्तेमाल किया जाता है
  • ज्यादातर results LLM CLI tool से generate किए जाते हैं, और इस प्रक्रिया में plugin के latest model support की भी जांच हो जाती है
  • केवल एक SVG prompt भी model की cost, reasoning style और input handling से जुड़ी खूबियां सामने ला सकता है

Kimi K3 में दिखीं खूबियां

  • फिलहाल K3 का reasoning effort level सिर्फ max है, और response के 3,417 tokens बनाने में 13,241 reasoning tokens खर्च हुए
    • एक साधारण pelican generate करने की लागत $0.25 तक पहुंचती है, जो भारी है
  • छोटे prompt का input 95 tokens के रूप में गिना जाना hidden input की मौजूदगी का संकेत देता है
    • OpenAI tokenizer वही prompt 10 tokens गिनता है
    • Anthropic token calculator Opus 4.6 में 10 tokens, Opus 4.7 में 30 tokens, और Sonnet 5/Fable 5 में 25 tokens गिनता है
    • K3 को hi भेजने पर भी 86 tokens गिने गए, जिससे लगभग 85 tokens के hidden system prompt की संभावना है
    • K3 ने उस system prompt को reveal करने के request को मना कर दिया
  • generated SVG का analysis करने वाले alt-text की quality में vision capability अच्छी तरह काम करती दिखी
  • K3 में reasoning effort level सिर्फ एक है, लेकिन अन्य models में इसी prompt को कई effort levels पर चलाकर असर की तुरंत तुलना की जा सकती है

Pelican test अब भी क्या बताता है

  • इसे नए model को prompt भेजने की “Hello World” exercise के रूप में इस्तेमाल किया जा सकता है
  • सरल task के लिए लगने वाली cost और reasoning मात्रा का मोटा अंदाजा मिलता है
  • valid SVG output और बुनियादी geometry/spatial awareness को देखा जा सकता है
    • खासकर laptop पर चलने वाले छोटे models में यह क्षमता ज्यादा महत्वपूर्ण है
  • एक ही model family की releases के बीच तुलना अब भी सार्थक है
    • K3 का pelican Kimi 2.5 से साफ तौर पर बेहतर है
  • यह साझा किया जा सकता है कि model को खुद इस्तेमाल करके देखा गया है, और Hacker News में नए model से जुड़े comments में pelican results पोस्ट करना एक तरह की tradition बन चुका है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 3 시간 전
Hacker News की राय

  • Pelican benchmark tech industry की hiring की समस्या को हूबहू दिखाता है। यह उन interviews से अलग नहीं है जहाँ असली काम से कोई संबंध न होते हुए भी उम्मीदवार से pelican बनवाकर उसकी क्षमता आँकी जाती है

    • यह बात वही कहेगा जिसके पास pelican बनाने वाले 10x developer के रूप में 9 साल का अनुभव नहीं है

  • “साइकिल चलाते pelican का SVG बनाओ” वाला prompt input 95 tokens क्यों गिना गया, इसकी वजह यह हो सकती है कि custom reasoning intensity सेट करते समय start token से पहले reasoning intensity के लिए prompt insert किया जाता है। DeepSeek-V4 max mode का उदाहरण भी देखने लायक है: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main...

  • गंभीरता से SWE-bench-adversarial-pelican-gen प्रस्तावित कर रहा हूँ। यह SWE-bench जैसा होगा, लेकिन हर 5 conversations या tool calls के बाद रोककर किसी random animal का SVG बनवाएगा और फिर काम resume कराएगा; tool output में जगह-जगह pelican SVG से जुड़ी comments भी घुसाई जाएँगी
    context 8 लाख tokens तक पहुँचने पर फिर से pelican SVG बनवाएँ, और pelican की quality के साथ मूल काम की completeness और efficiency को भी evaluate करें। SVG pelicans के हमले के बीच भी problem solve कर सके, तभी असली skill मानी जाएगी

    • Codex पर चलाएँ तो शायद लगभग 5 डॉलर लगेंगे, यह सोचने लायक है कि कोई इसे run करके देखना क्यों नहीं चाहता

  • Simon के निष्कर्ष की तरह, इस benchmark का मुख्य उपयोग यह तय करना नहीं है कि कौन-सा model बेहतर है, बल्कि quality·cost·speed के रिश्ते को देखना है। हाल में Opus, Fable, Kimi की सरल तुलना की तो Kimi 5 गुना सस्ता था, लेकिन 2 गुना धीमा
    https://9gpyw4uxr2.evvl.io/

    • बीच के तीन results को मैं उस classic Gemini/Google-style failure की तरह देखता हूँ जिसमें prompt से माँगी गई चीज़ से ज्यादा बना दिया जाता है। K2.6 ने भी pure SVG के बजाय HTML+CSS+SVG इस्तेमाल किया, इसलिए वह borderline failure के करीब है
      website के top-right में “Expires in 6 days” भी अजीब है। कुछ KB data वाली page को expire क्यों होना चाहिए, समझना मुश्किल है

  • blogs, forums और GitHub पर साइकिल चलाते pelicans के सैकड़ों examples होने के बावजूद Simon का यह मानना कि ये training data में नहीं हैं, हैरान करता है। हमारी company का blog Simon की site से 1,000 गुना कम traffic पाता है, लेकिन posts 6 महीने बाद LLMs को पता होती हैं

    • मौजूदा pelican drawings अब भी बेहद खराब हैं। training data में शामिल होने पर भी बेहतर pelican generation में मदद नहीं मिलेगी, बल्कि performance घट भी सकती है
    • Simon ने भी कई बार माना है कि pelican training data में शामिल हो सकता है, और उसके पास कुछ दूसरे tests भी हैं जिन्हें वह public नहीं करता। वह बस pelicans पसंद करता है
    • pelican और bicycle का अलग-अलग training data में होना इस बात का मतलब नहीं कि इस specific benchmark पर training हुई है
    • साइकिल चलाता pelican अपने आप में कोई खास विषय नहीं है। किसी भी model से earthworm और robin की boxing जैसे कोई भी combinations SVG में बनवाए जा सकते हैं, और vision model है या नहीं, इससे अलग, जितना smart model होगा उतना बेहतर result मिलेगा—ऐसा मजबूत correlation दिखता है
      शुरुआत में यह evaluation देखकर बेतुका लगा था, लेकिन training data में बिल्कुल न होने योग्य combinations test करने के बाद इसकी validity confirm हुई
    • पिछले साल training data खत्म हो रहा है वाली news trend और वह दावा कितना हास्यास्पद था, यह याद आता है

  • pelican benchmark पर हमारा जवाब MacBook SVG benchmark है: https://playcode.io/blog/macbook-svg-benchmark

    • Terra xhigh का result सच में अच्छा है
    • यह बात मजेदार है कि Fable 5 ने इतना लंबा reasoning किया कि drawing खत्म करने से पहले ही output budget खत्म कर दिया

  • हर model से pelican सिर्फ एक बार generate कराना मुझे लगातार खटकता है। वही model भी हर run में अलग result देता है, इसलिए कौन-सा result चुना गया, यह “यह model बेहतर है” वाले judgement को प्रभावित कर सकता है
    हर model के 8 runs के results साथ-साथ देखना चाहूँगा। अगर दो models मिलते-जुलते हों, तो मेरा मानना है कि individual runs के बीच variance भी model-to-model difference जितना बड़ा हो सकता है

    • पहले तीन बार run करके सबसे अच्छा result चुना जाता था। कभी same model family के LLM judge से best result चुनवाकर उसे next competition में भेजने की automation करना चाहता हूँ
      पहले ELO scoring system भी बनाया था: https://simonwillison.net/2025/Jun/6/six-months-in-llms/#ai-...
      benchmark खुद थोड़ा पुराना लगता है, लेकिन results gallery की demand ज्यादा है, इसलिए फिर से समय लगाना बनता है

  • gap कम हो रहा है। Kimi 3 अमेरिकी models से करीब 3 महीने पीछे के स्तर पर है, और अप्रैल के अंत में release हुए GPT 5.5-level model जैसा दिखता है

  • हैरानी है कि Chinese labs, जिनके पास compute resources बहुत कम होने चाहिए, 3 trillion parameter models कैसे train कर रही हैं। अगर अमेरिका की compute resources में बढ़त जारी रही तो physical रूप से China का हमेशा बराबरी कर पाना मुश्किल होगा, लेकिन अब तक वे अच्छा कर रहे हैं

    • असल में शायद meaningful compute resource access restrictions हैं ही नहीं। Chinese companies Malaysia जैसे export restrictions से मुक्त पड़ोसी देशों के GPUs इस्तेमाल कर सकती हैं, और ByteDance ने public तौर पर ऐसा किया भी है: https://www.tomshardware.com/pc-components/gpus/chinas-byted...
      Tencent के Japan के जरिए access करने की भी rumor है: https://wccftech.com/china-tencent-gains-access-to-nvidia-bl...
      Singapore से खरीदकर smuggle करने का तरीका भी है, और AI-specific chips high-performance CPU/GPU की तुलना में design और production में अपेक्षाकृत आसान हैं, इसलिए यह मानने की वजह नहीं कि China की अपनी designs हमेशा पीछे रहेंगी। आखिरकार वे वही foundries इस्तेमाल कर सकते हैं
    • Gamers Nexus का China में जाकर किया गया अच्छा video है: https://www.youtube.com/watch?v=1H3xQaf7BFI
      export restrictions के対象 GB202-based 5090 और RTX 6000 Pro Blackwell TSMC में बनते हैं और फिर China में packaging/finishing होती है, इसलिए loophole शुरू से ही बड़ा है। NVIDIA और distribution partners भी Singapore जैसे देशों में बिना खास verification के बेचते हैं, और अगर private couriers उन्हें खुद लेकर आएँ तो Chinese customs के पास China की जमीन पर अमेरिकी कानून लागू करने की कोई वजह नहीं है
    • Huawei Ascend chips 4 महीने से भी पहले DeepSeek v4 training में इस्तेमाल किए गए थे, और Huawei ने kernels अन्य Chinese labs के साथ share किए थे। China के पास अपनी DDR5 foundry भी है
    • parameters की संख्या समान होने से models समान नहीं हो जाते, इसलिए मुझे यह संख्या quality या compute requirements बताने वाला metric नहीं लगती। अच्छे models बनाने के लिए सिर्फ parameters की संख्या बढ़ाने से ज्यादा चाहिए
    • China ने विशाल oil reserves release करके global economy को बचाया था जिनके बारे में किसी को पता नहीं था, इसलिए छिपे हुए compute resources बहुत हों तो आश्चर्य नहीं

  • यह दिलचस्प है कि pelican quality और overall model quality अलग-अलग चलती हैं। मुझे उम्मीद थी कि general ability pretraining में बनती है, इसलिए high-quality pretraining बेहतर pelicans बनाएगी और reinforcement learning का pelican quality पर बहुत कम असर होगा
    लेकिन GLM 5.2 का GPT 5.6 और Claude Fable से आगे निकलना इस hypothesis से मेल नहीं खाता। ज्यादा से ज्यादा यही लगता है कि GLM 5.2 ने SVG generation के लिए अलग से reinforcement learning करके strong performance हासिल की होगी