GPT-5.6, Grok 4.5, Claude, Muse Spark से एक जैसी 4 ऐप्स बनवाने के नतीजे

 (tryai.dev)
2 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 12 मॉडलों से raycaster maze, 3D Rubik’s Cube, calculator और Conway’s Game of Life बनवाने पर, GPT-5.6 Sol और Claude Fable 5 ने जटिल tasks में बढ़त बांट ली
  • हर मॉडल ने हर task पर 5-5 attempts किए, और success count, cost, time व सभी outputs सार्वजनिक किए गए, लेकिन यह वैज्ञानिक मूल्यांकन नहीं बल्कि generated outputs को सीधे देखकर की गई subjective comparison है—यह इसकी सीमा है
  • raycaster में GPT-5.6 Sol और Rubik’s Cube में Claude Fable 5 ने क्रमशः 5/5 score किया, जबकि Claude Opus 4.8 और GPT-5.6 Luna cube में 0/5 पर रहे, जिससे model और task के हिसाब से बड़ा अंतर दिखा
  • open-weight models जटिल या नए tasks में top-tier models से पीछे रहे, लेकिन example code से भरपूर Game of Life में Qwen 3.7 Plus और GLM-5.2 ने काफी कम cost पर अच्छे नतीजे दिए
  • Grok 4.5 कुछ tasks में Claude Opus 4.8 स्तर का सस्ता विकल्प था और Muse Spark 1.1 भी कुल मिलाकर open-weight models से बेहतर रहा, लेकिन नया और सबसे महंगा flagship हर task में अपने-आप विजेता नहीं बना

तुलना का तरीका और 12 मॉडल

  • पिछली comparison पर मिले feedback को शामिल करते हुए scale को 12 models, 4 apps, और प्रति task 5 attempts तक बढ़ाया गया
  • इस feedback के आधार पर कि एक ही result से evaluate करना मुश्किल है, हर task के लिए success count और preferred output अलग से दर्ज किए गए, और run-to-run variance देखने के लिए सभी attempts सार्वजनिक किए गए
  • यह generated outputs को देखकर की गई subjective comparison है; objective या scientific फैसला नहीं

Doom-style raycaster maze

  • WASD movement, rotation, depth-based wall shading, floor/ceiling और collision handling वाला first-person maze बनवाया गया
  • visual polish के बजाय केवल इस आधार पर success तय किया गया कि user सच में maze के अंदर चल और घूम सकता है या नहीं
  • GPT-5.6 Sol ने 5/5, cost $1.35, 120 seconds दर्ज किए, और GPT-5.5 से ज्यादा consistent तथा game details में अधिक rich होने के कारण best result माना गया
    • GPT-5.6 Luna भी 5/5, $0.15, 23 seconds था, लेकिन output quality GPT-5.5 से कम आंकी गई
    • GPT-5.6 Terra ने 3/5, $0.44, 39 seconds दर्ज किए; details अच्छी थीं, लेकिन कुछ outputs में चलना संभव नहीं था
  • Grok 4.5 ने 5/5, $0.27, 62 seconds के साथ price-performance के लिहाज से practical alternative दिया, और GPT-5.5 ने 4/5, $1.44, 138 seconds दर्ज किए
  • Claude series उम्मीद से कमजोर रही
    • Claude Opus 4.8 4/5 के साथ consistent था, लेकिन outputs monotonous थे
    • Claude Fable 5 ने 3/5 पर अच्छे results बनाए, लेकिन consistency कम थी
  • open-weight models में Qwen 3.7 Plus और Kimi K2.6 ने क्रमशः 2/5, और DeepSeek V4 Pro ने 3/5 score किया
    • GLM-5.2 ने detailed screen render किया, लेकिन character एक बार भी नहीं चला, इसलिए 0/5 पर रहा
  • Muse Spark 1.1 2/5 था, लेकिन जो outputs काम कर रहे थे वे Fable/Sol जैसे और Grok/Opus से बेहतर माने गए, इसलिए यह unexpected performance रही

3D Rubik’s Cube

  • रंगों वाला 3D cube और Scramble, Solve buttons बनवाए गए, और rotations को screen पर animation के रूप में दिखाने को कहा गया
  • scramble और solve animations दोनों smooth चलें और कोई error या color changes न हों, तभी success माना गया
  • Claude Fable 5 ने 5/5, $2.03, 92 seconds के साथ अकेले सभी पांच attempts साफ-सुथरे तरीके से सफल किए
    • Claude Opus 4.8 के सभी outputs में छोटी errors या color changes थे, इसलिए वह 0/5 पर रहा
  • GPT-5.6 Sol और Terra ने क्रमशः 4/5 दर्ज किए
    • Sol के working outputs की quality अच्छी थी, लेकिन एक output में अजीब animation था और एक पूरी तरह black render हुआ था
    • Terra में scramble animation अजीब था, लेकिन GPT-5.5 से थोड़ा बेहतर था
    • Luna कई बार शुरुआत में normal दिखा, लेकिन scramble शुरू करते ही तुरंत टूट गया, इसलिए 0/5 रहा
  • GPT-5.5 4/5 था, लेकिन color flickering और unsmooth rotations थे; Grok 4.5 ने simple लेकिन good result के साथ 3/5 score किया
  • Qwen 3.7 Plus, Kimi K2.6, DeepSeek V4 Pro प्रत्येक 1/5 रहे और GLM-5.2 0/5 रहा
  • Muse Spark 1.1 ने 2/5 के साथ open-weight models से एक स्तर बेहतर perform किया, लेकिन price को देखते हुए Grok के बजाय इसे चुनने की वजह कम मानी गई
  • raycaster में आगे रहे GPT models अपेक्षा से कमजोर रहे, जबकि Claude में Fable ने performance संभाली—यानी task-specific reversal दिखा

Calculator

  • number, operator, clear और equals buttons, सही operator precedence, और real calculator जैसी appearance मांगी गई
  • (((5 × 5) − 100) / 10) जैसे basic calculations से operation order और result rendering check किया गया; यह comprehensive feature test नहीं था
  • Claude Opus 4.8 और Claude Fable 5 दोनों ने 5/5 दर्ज किए
    • Fable का result style के मामले में सबसे ज्यादा पसंद किया गया
  • Grok 4.5 5/5 के साथ simple और consistent रहा, और GPT-5.6 Luna ने भी 5/5 पर Grok जैसा experience दिया
  • GPT-5.6 Sol 5/5 था, लेकिन उसने excessive styling और 3D presentation की कोशिश करके साफ और consistent calculator experience को नुकसान पहुंचाया
    • GPT-5.6 Terra और GPT-5.5 क्रमशः 4/5 रहे; GPT-5.5 ने कभी-कभी unnecessary buttons या clipped 3D presentation भी बनाया
  • Muse Spark 1.1 5/5 के साथ Grok 4.5 जैसा level था, लेकिन कुछ outputs में button order और layout अटपटे थे
  • open-weight models में Qwen 3.7 Plus ने $0.04, 12 seconds में 4/5 दर्ज किया, लेकिन एक output negative numbers handle नहीं कर पाया
    • DeepSeek V4 Pro 3/5 रहा, जिसमें number order errors और result न दिखने की समस्या थी
    • GLM-5.2 2/5 था, लेकिन successful outputs की quality अच्छी थी
    • Kimi K2.6 negative numbers handle नहीं कर पाया, इसलिए 0/5 माना गया
  • simple GPT models बिना अलग corrections के तुरंत काम कर गए, और जटिल visual effects जोड़ने वाले outputs की तुलना में core functionality-focused implementation ने बेहतर experience दिया

Conway’s Game of Life

  • grid canvas, Play, Pause, Step, Randomize, Clear, cell click toggle और generation animation implement कराए गए
  • इस task पर अलग से 5-attempt success judgment लागू नहीं किया गया; केवल cost/time और overall impression की तुलना की गई
  • Grok 4.5 ने अच्छे results दिए, और task खुद simple है व public example code भी पर्याप्त है, इसलिए open-weight models ने भी बहुत अच्छा perform किया
  • Qwen 3.7 Plus ने $0.04, 11 seconds और GLM-5.2 ने $0.10, 121 seconds में कम cost पर अच्छे results दिए, जिससे उन्हें इस type के task के लिए suitable माना गया
  • दूसरे complex tasks में open-weight models लगातार संघर्ष करते दिखे, इसलिए Game of Life के result को general performance तक expand करके लागू करना मुश्किल है
  • बाकी प्रमुख cost/time: Grok 4.5 $0.14·38 seconds, GPT-5.6 Luna $0.13·18 seconds, Terra $0.36·25 seconds, Sol $0.99·62 seconds, Muse Spark 1.1 $0.32·98 seconds थे

Short answers की speed और cost

  • short prompts में GPT-5.6 family ने सबसे तेज response start times दर्ज किए
    • Luna: 1.0 seconds·97 tok/s·$0.001
    • Terra: 1.5 seconds·62 tok/s·$0.001
    • Sol: 1.8 seconds·45 tok/s·$0.003
  • Qwen 3.7 Plus 2.1 seconds·204 tok/s·$0.001 के साथ बहुत सस्ता और तेज था; Grok 4.5 3.0 seconds·112 tok/s·$0.003, Muse Spark 1.1 3.1 seconds·125 tok/s·$0.002 रहे
  • Claude Opus 4.8 2.5 seconds·44 tok/s·$0.004 था, लेकिन Claude Fable 5 6.6 seconds·30 tok/s·$0.01 के साथ धीमा और महंगा था
  • DeepSeek V4 Pro 9.3 seconds·37 tok/s·$0.001 और GLM-5.2 7.0 seconds·58 tok/s·$0.001 के साथ response start में धीमे थे
  • कुछ open-weight models पूरा answer एक साथ output करते हुए 400-token cap तक पहुंच गए, इसलिए दिखाया गया tok/s actual decoding speed नहीं बल्कि upper bound है

SVG bonus task

  • बिना libraries के एक बार में SVG generate करने को कहा गया, और 5 outputs में से valid SVG को प्राथमिकता देकर सबसे detailed result चुना गया
  • घोड़े पर astronaut को बिठाए scene में Claude Fable 5 ने quality और humor के मामले में अच्छा result दिया
    • GPT-5.6 family घोड़े और astronaut को साफ render नहीं कर पाई, इसलिए उम्मीद से कमजोर रही
    • Grok 4.5 ने भी अच्छे results बनाए
  • Elon Musk और Jeff Bezos को समुद्र पर landing pad की ओर उतरते Blue Origin booster को देखते हुए दिखाने वाले ज्यादा कठिन scene में भी Claude Fable 5 सबसे आगे रहा
    • Bezos के माथे की चमक और landing pad के आसपास धुएं तक details में compose करके साफ render किया
    • GPT family ने cartoonish results बनाए और हर generated output में छोटी errors रह गईं
    • GLM-5.2 और Qwen 3.7 ने भी इस SVG task में अच्छे results दिए

Task के हिसाब से बदलता model selection

  • जटिल और नए raycaster तथा Rubik’s Cube में top-tier models की बढ़त साफ दिखी; GPT-5.6 Sol और Claude Fable 5 ने अपनी-अपनी strengths दिखाईं
  • simple और widely implemented tasks में Qwen 3.7 Plus और GLM-5.2 काफी कम cost पर competitive results बना सकते हैं
  • Grok 4.5 कुछ tasks में Claude Opus 4.8 level तक पहुंचा, इसलिए cost-sensitive cases में auxiliary execution model के रूप में use करने लायक performance दी
  • Muse Spark 1.1, Grok 4.5 से एक स्तर नीचे है लेकिन overall open-weight models से बेहतर रहा; फिर भी अभी primary choice बनने के level तक नहीं था
  • task के हिसाब से Sol, Fable, Grok और low-cost open-weight models की ranking बदलती है, इसलिए नया और सबसे महंगा flagship हमेशा नहीं जीतता

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News टिप्पणियाँ

  • “ईमानदारी से कहें तो एक बात”, “न कोई त्रुटि, न रंग में बदलाव” जैसी अभिव्यक्तियाँ अच्छे पहचान संकेत हैं। मैंने अंत तक पढ़ा, लेकिन अगर यह किसी इंसान द्वारा सीधे लिखा गया लेख होता तो बेहतर लगता

    • लगता है कि Anthropic से मैं “Honestly” शब्द बाकी सभी लोगों को मिलाकर भी ज़्यादा सुनता हूँ
    • क्या LLM की इस अजीब नई भाषा को किसी दूसरे transformer में डालकर उन परेशान करने वाले वाक्यों को हटाया नहीं जा सकता? यह मुश्किल भी नहीं लगता और सबके लिए बेहतर होगा

  • मानता हूँ कि यह मेहनत से लिखा गया अच्छा लेख है, लेकिन नीचे जैसे पैराग्राफ पढ़कर पूरे लेख से लगाव खत्म हो जाता है
    “हर प्रश्न के लिए अलग तालिका इस्तेमाल की गई। यह build task नहीं बल्कि standard latency test harness है…”, “इसलिए प्रति सेकंड tokens की संख्या एक upper bound है, वास्तविक decoding speed नहीं…”
    क्या इन दो वाक्यों को अपनी सामान्य बोलचाल में सीधे लिखना सच में इतना मुश्किल था?

    • पता नहीं यह खास लेखन शैली कहाँ से आती है, और इसे हटाना भी लगभग असंभव है, इसलिए यह बहुत खटकती है
    • यह बहुत साफ दिखता है और अप्रिय लगता है। जो कहना है, उसे एक सामान्य इंसान की तरह सीधे लिखना चाहिए
      AI से लेख लिखवाना सिर्फ आलस्य नहीं, बल्कि फीका, उबाऊ और पाठक के समय का अनादर भी है
    • चर्चा के लिए पूछूँ तो, अगर यह सच में लेखक की स्वाभाविक शैली हो तो?
    • LLM आने से बहुत पहले से मैं भी कभी-कभी ऐसे ही लिखता था। ऐसी आलोचना पढ़-पढ़कर अब मैं भी थक गया हूँ
    • AI आने के बाद लोग बहुत ज़्यादा संवेदनशील हो गए हैं। जैसे कोई programmer अपनी पसंद की prose में नहीं लिखता, तो लोग उसी पर नखरे कर रहे हों

  • हो सकता है कि मैं ज़रूरत से ज़्यादा नियंत्रण पसंद करने वाला हूँ, लेकिन agent से किसी random app को एक ही बार में पूरा करवा देने का तरीका, असली software engineering में AI इस्तेमाल करने के तरीके से बिल्कुल अलग है

    • solo creators के लिए one-shot benchmark काफ़ी उपयोगी है। बेहतर frontier models, मेरे मामले में Opus और Fable, क्या उन चीज़ों पर भी बेहतर फैसले लेते हैं जिन्हें मैंने explicitly नहीं लिखा, क्या वे शुरुआत से बेहतर सुझाव देते हैं—इससे इसका कुछ संबंध है
    • LLM के समय-पैमाने पर देखें तो models काफ़ी समय से नए apps बनाना अच्छी तरह कर रहे हैं
      नए apps को और बेहतर बनाने का तरीका दिलचस्प है, लेकिन उससे भी ज़्यादा दिलचस्प यह है कि वे जटिल और उलझे हुए मौजूदा codebase की कठिन समस्याओं को कैसे सुलझाते हैं
    • अगर पहले एक basic app एक ही बार में बनवाकर फिर feature requests एक-एक करके जोड़ी जाएँ, तो architecture और maintainability को आँकने का यह एक साफ़ तरीका हो सकता है
    • यह वास्तविक उपयोग जैसा नहीं है, लेकिन तभी Twitter/X पर मशहूर हुआ जा सकता है
    • भले ही यह असली उपयोग जैसा न हो, फिर भी यह सिर्फ़ अंदाज़े पर निर्भर रहने के बजाय इस क्षेत्र में थोड़ा-सा भी objective measurement लाने की कोशिश है

  • (LM)Arena लगभग यही काम करता है, और benchmark scores पर ही हद से ज़्यादा optimize करने वाले व्यवहार से बचने वाली tests में यह सबसे बेहतर लगता है
    agent: https://arena.ai/leaderboard/agent
    web development: https://arena.ai/leaderboard/code/webdev
    अभी web development में Fable और 5.6 लगभग बराबरी पर हैं, और यह इस लेख के नतीजों से काफ़ी मिलता है

    • अगर कोई ठान ले, तो Arena के लिए भी कुछ हद तक score-targeted optimization संभव है। वहाँ के prompts का distribution सामान्य developers के वास्तविक उपयोग से काफ़ी अलग है, खासकर ऐसे अनुरोध बहुत हैं जिनमें शुरू से एक ही बार में game बनाने को कहा जाता है
      अगर किसी model को अधूरे prompts से एक ही बार में मज़ेदार game बनाने के लिए fine-tune किया जाए, तो उसकी coding performance सामान्य कार्यों की तुलना में बेहतर दिख सकती है। मैं OpenAI में काम करता हूँ, लेकिन हम score बढ़ाने की कोशिश नहीं करते, क्योंकि ऐसा करने से Arena सबके लिए और खराब metric बन जाएगा
    • खासकर Facebook के इर्द-गिर्द Arena score-targeted optimization काफ़ी हो रहा है, लेकिन फिर भी मैं मानता हूँ कि यह असली benchmarks में बेहतर विकल्पों में से है
      पुराने demoscene effects को फिर से बनवाना हमेशा मज़ेदार होता है। music generation अभी भी खराब है, लेकिन Claude कम-से-कम एक ठीक-ठाक synthesizer तो बनाता दिखता है। Agenda Circling Forth के fluid/particle effects को implementation विवरण और screenshots देकर दोहराने को कहें, तब भी यह अभी ठीक से नहीं कर पाता
    • सोचता हूँ कि Grok 4.5 अब तक सूची में क्यों नहीं है। बाद में जारी हुआ 5.6 तो पहले से चढ़ा हुआ है

  • ऐसे visual benchmarks शायद reasoning ability से ज़्यादा knowledge दिखाते हैं—यानी training data कितना व्यापक है और model उसे कितनी अच्छी तरह निकालकर इस्तेमाल कर पाता है
    cube की geometric structure और animation को latent space की representations से जोड़ने वाली विचार-प्रक्रिया (CoT), बिना काफ़ी prior information के model कैसे बना सकता है, यह मुझे समझ नहीं आता

    • क्या इस बात का कोई सबूत है कि LLM में सचमुच नई reasoning ability होती है? मैंने बहुत कोशिश की लेकिन इसे कामयाब नहीं बना पाया, और पहले आया Apple paper भी मेरे हिसाब से ऐसी क्षमता न होने का काफ़ी मज़बूत सबूत था
      मेरे अनुभव में, अगर latent space sparse हो, तो reasoning पूरी तरह, बल्कि हास्यास्पद तरीके से विफल हो जाती है
    • संभव है कि Anthropic को Canva से मिले data की वजह से ऐसे tests में बढ़त मिल रही हो

  • हमने भी model Arena में, जहाँ 26 models ने 52-52 apps बनाए हैं, आज GPT 5.6 Sol, Terra, Luna जोड़ दिए हैं
    https://arena.logic.inc/
    इन तीनों models के apps को साथ-साथ तुलना करना काफ़ी दिलचस्प है। UI में अभी stats जोड़ने बाकी हैं, लेकिन Terra का वास्तविक elapsed time Sol का आधा था, जबकि Luna ने उलटे Sol से लगभग 23% ज़्यादा समय लिया
    Luna काफ़ी सस्ता ज़रूर है, लेकिन ज़्यादातर उपयोगों में Terra समय और लागत का बेहतर संतुलन लगता है। Terra की quality कुल मिलाकर Sol के लगभग बराबर है, जबकि वह काफ़ी तेज़ और सस्ता है। हाँ, audio sequencer जैसी चीज़ों में Sol की design sense की तारीफ़ करनी होगी। कुछ समय से सभी models के visual outputs एक जैसे लगने लगे थे, और इस पहलू में यह लंबे समय बाद साफ़ तौर पर अलग दिखने वाला model है

    • एक ध्यान खींचने वाला आँकड़ा यह था कि GPT-5.6 Sol का code 1,264 lines, file 35.5KB, gzip 10.0KB था, जबकि GPT-5.6 Terra 827 lines, 20.0KB, gzip 6.7KB था

  • GLM जैसे models benchmarks के लिए over-optimized हैं, और यह उस आलोचना का समर्थन करता दिखता है कि सिर्फ़ numbers देखकर वे उतने frontier-level models के करीब नहीं हैं जितना लोग सोचते हैं

  • दूसरी benchmarks की तुलना में AI evaluation methodology का यह तरीका मुझे कहीं ज़्यादा पसंद है
    वास्तविक दुनिया जटिल है, और बाकी benchmarks साफ़ तौर पर ऐसे हैं जिन्हें चीनी open models के लिए target करना आसान है। लेखन शैली भी मुझे परेशान नहीं करती और लेख आराम से पढ़ने लायक है

  • हाल की संबंधित पोस्ट: Grok 4.5, GPT-5.5, Claude से वही app बनवाकर की गई तुलना
    https://news.ycombinator.com/item?id=48838772 — जुलाई 2026, 92 टिप्पणियाँ

  • सटीक prompt गायब है, इसलिए इसे दोहराकर देखना चाहें तो मुश्किल है
    यह भी जानना दिलचस्प होगा कि prompts कैसे लिखे गए थे। GLM 5.2 जैसे कुछ models के SVG rendering में पूरी तरह विफल होने का यह एक बड़ा कारण हो सकता है