GLM 5.2 और आने वाला AI inference margin collapse

 (martinalderson.com)
1 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • GLM 5.2 दिखाता है कि open weights मॉडल Opus·GPT-स्तर के agent कामों के काफ़ी करीब पहुँच चुके हैं, और इससे बंद frontier models के ऊँचे inference margins पर दबाव पड़ सकता है
  • AI लागत का असली मुद्दा एक बार होने वाला training cost नहीं, बल्कि मांग के साथ बढ़ने वाला inference cost है, और $25/MTok स्तर की API pricing में बहुत ऊँचा gross margin शामिल होने की संभावना है
  • quality ऐसी है कि Opus से अलग पहचानना मुश्किल है, लेकिन ज़्यादा “सोचने” की प्रवृत्ति के कारण speed और token usage बढ़ जाते हैं, जबकि vision support का न होना और कमज़ोर web search इसकी कमजोरियाँ बनी रहती हैं
  • Z.ai और Fireworks के OpenAI·Anthropic-compatible endpoints की वजह से Claude Code और Codex में सिर्फ base URL और API key बदलकर इसका परीक्षण किया जा सकता है
  • GLM 5.2 की कीमत लगभग $4.40/MTok है, जो Opus retail price के 20% से कम और GPT5.5 के लगभग 15% स्तर पर है; serving stack optimization और AMD उपयोग से यह और नीचे जा सकती है

लागत संरचना: training cost नहीं, inference cost margin तय करता है

  • DeepSeek R1 के समय बाज़ार ने V3 model training cost 6 million डॉलर से कम होने की रिपोर्ट पर प्रतिक्रिया देते हुए यह मान लिया कि model training के लिए बड़े पैमाने का infra investment अब ख़त्म हो गया है, लेकिन यह AI cost structure को ग़लत पढ़ने के क़रीब था
  • training cost में बड़ा capital लगता है, लेकिन इसकी प्रकृति मूल रूप से upfront fixed cost जैसी होती है
    • frontier labs प्रतिस्पर्धा बनाए रखने के लिए लगातार नए models train करते हैं, इसलिए यह पूरी तरह one-time cost नहीं है
    • फिर भी यह customer usage के अनुपात में बढ़ने वाले inference cost से स्वभाव में अलग है
  • inference cost मांग के साथ बढ़ता है और वास्तविक marginal cost बनाता है
  • जब Anthropic और OpenAI inference के लिए $25/MTok चार्ज करते हैं, तो एक गणना के अनुसार compute cost के मुक़ाबले लगभग 90% gross margin होने की संभावना बनती है
    • OpenAI के लीक हुए financial documents revenue basis पर लगभग 60% gross margin का संकेत देते हैं, लेकिन इसमें support, payment processing और अन्य service costs शामिल हो सकती हैं
  • frontier AI labs का business model यह है कि महंगे talent और compute से models train किए जाएँ, फिर high-margin बड़े पैमाने के inference से उस लागत की भरपाई की जाए

GLM 5.2 की quality और उपयोग अनुभव

  • Z.ai का GLM 5.2 Opus और GPT को चुनौती देने वाला पहला वास्तविक open weights प्रतिस्पर्धी model माना जा सकता है
    • लिखे जाने के समय का नवीनतम GPT, GPT 5.5 बताया गया है
    • साथ ही यह संकेत भी है कि आगे आने वाले models इस स्तर से ऊपर जा सकते हैं
  • वास्तविक उपयोग में इसकी quality इतनी ऊँची थी कि रोज़मर्रा में इस्तेमाल होने वाले Opus से इसे अलग पहचानना मुश्किल था
  • सबसे बड़ा नुकसान धीमी महसूस होने वाली speed है
    • background PR review जैसे कम time-sensitive non-interactive agent tasks में यह बड़ी समस्या नहीं है
    • interactive उपयोग में ध्यान बनाए रखने के लिए यह कुछ धीमा महसूस होता है
    • यह धीमापन serving से ज़्यादा model के बहुत ज़्यादा “सोचने” से आता है
    • Fireworks का GLM 5.2 tokens/sec के हिसाब से तेज़ी से लॉन्च हुआ, लेकिन वास्तविक speed में कुछ उतार-चढ़ाव थे
  • ज़्यादा सोचने की इस प्रवृत्ति के कारण token usage बढ़ता है, जिससे cost efficiency कुछ कम हो जाती है

vision और web search की कमजोरियाँ

  • GLM 5.2 में vision support नहीं है
    • Opus 4.7 की high-resolution vision capability के बाद image-based PDF, screenshots और design files पढ़ने का उपयोग बढ़ गया है, इसलिए यह कमी व्यवहार में बड़ी महसूस होती है
    • frontier labs की तुलना में यह एक महत्वपूर्ण कमजोरी बनी रहती है
  • web search की अनुपस्थिति या कम quality भी agent tasks को सीमित करती है
    • लगभग हर agent session items ढूँढने के लिए बहुत सारे web searches करता है
    • Z.ai web search के लिए alternative MCP देता है, लेकिन यह धीमा था और इसकी quality कम थी
    • Fireworks web search feature नहीं देता
  • अस्थायी workaround के रूप में agent को ddgr जैसी CLI-आधारित web search इस्तेमाल करने का निर्देश दिया जा सकता है
  • अच्छा third-party web search API उस बड़े gap को भर सकता है जिसे open weights model providers अभी तक नहीं भर पाए हैं
  • web search capability कई agent tasks के लिए आवश्यक है, और search index बनाने वाले पक्षों के साथ सही partnership और integration होने पर यह समय के साथ सुलझ सकता है

कम switching cost वाले open weights models

  • frontier labs के लिए ज़्यादा ख़तरनाक बात यह है कि open weights models पर migration difficulty कम है
  • Z.ai और Fireworks दोनों OpenAI-compatible और Anthropic-compatible endpoints देते हैं
    • Claude Code और Codex में base URL को inference provider पर बदलें
    • API key सेट करें
    • इस्तेमाल होने वाला model GLM 5.2 चुनें
  • Anthropic ने claude -p के non-interactive agent उपयोग पर API billing लागू करने की घोषणा की थी और फिर उसे वापस ले लिया; ऐसे में कई use cases को GLM से बदला जा सकता है
  • interactive उपयोग में भी vision की कमी और धीमी speed को छोड़ दें, तो Claude Code के भीतर यह पहचानना लगभग मुश्किल था कि Opus के बजाय कोई और model इस्तेमाल हो रहा है
  • यह बदलाव Microsoft या Salesforce जैसे lock-in वाले migration की तरह वर्षों की planning नहीं मांगता
    • switching cost कम है
    • यह frontier labs की policies और terms changes के पीछे-पीछे चलने की लागत से भी कम हो सकती है
    • Claude Code भविष्य में third-party providers का उपयोग कठिन बना सकता है
    • Codex और OpenCode सहित अच्छे open source alternatives बहुत हैं

enterprise adoption: data protection और deployment options

  • enterprise में अक्सर उठने वाली चिंता data privacy और security होती है
  • Z.ai का official API और subscription कमज़ोर terms और mainland China से गहरे संबंधों के कारण enterprise के लिए उपयुक्त विकल्प मानना कठिन है
  • open weights models में दूसरे providers चुनने की गुंजाइश होती है
    • बाज़ार में बेहतर contract terms वाले कई providers हैं
    • ज़रूरत हो तो on-premise hosting भी संभव है
  • on-premise deployment से ऐसे अधिक sensitive data को भी Opus-स्तर के agent workflows में इस्तेमाल किया जा सकता है जिसे किसी third party को भेजना संभव नहीं था

pricing और margin pressure

  • GLM 5.2 की मौजूदा कीमत लगभग $4.40/MTok है
    • Opus retail price के 20% से कम
    • GPT5.5 cost के लगभग 15%
  • एक ही काम में GLM 5.2 ज़्यादा tokens इस्तेमाल करता है, इसलिए यह पूरी तरह apples-to-apples comparison नहीं है
  • फिर भी लगभग हर workflow में यह समान quality को 50% से ज़्यादा सस्ता देने की संभावना रखता है
  • Z.ai, Anthropic और OpenAI जैसी plans के समान “coding plan” subscription देता है और ऊँची usage limits का दावा करता है
    • लेकिन training और data retention से जुड़े ढीले terms professional उपयोग में इसकी बिक्री मुश्किल बना सकते हैं
    • अगर frontier labs कीमतें काफ़ी बढ़ाते हैं, तो यह budget-conscious users के लिए भरोसेमंद विकल्प बन सकता है
  • उम्मीद है कि आने वाले महीनों में serving stack optimization से GLM 5.2 की cost काफ़ी नीचे जाएगी
    • Wafer ने AMD hardware पर GLM 5.2 चलाने का विवरण दिया है
    • इसमें कहा गया है कि AMD पर inference चलाने से Nvidia Blackwell की तुलना में per-token cost 2.75 गुना सस्ती पड़ती है
  • Fireworks ने GLM experiments के लिए free credits दिए थे

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News की राय

  • मुझे यकीन नहीं कि लागत अपने-आप में इतनी अहम है

    1. cloud आने के बाद computing costs काफी घटे, लेकिन hyperscalers अब भी ऊंचे margin बनाए हुए हैं
    2. open source office suites कई हैं, लेकिन वे G Suite या Office की सर्वव्यापकता से मुकाबला नहीं कर पाए; GitHub और Slack के साथ भी कुछ ऐसा ही है
    3. Windows और macOS के free alternatives बहुत पहले से मौजूद थे, फिर भी वे home desktop पर हावी हैं
    4. Redis और Elastic Search जैसे infrastructure components, जो पहले open source थे, उनके Apache-family alternatives हैं, फिर भी वे अच्छा margin कमाते हैं
      margin collapse वाली दलील समझ में आती है, लेकिन इतिहास में वैसी मिलती-जुलती मिसालें ज्यादा नहीं दिखतीं। लगता है कंपनियां service guarantees, integration, और उस party के लिए महंगा पैसा देंगी जिस पर मुकदमा किया जा सके; आखिर में “IBM खरीदकर कोई नौकरी से नहीं निकाला गया” वाली बात दोहराई जाती दिखती है
    • मुझे नहीं लगता यह तुलना इतनी साफ है। पहली बात, LLM में input-output text होता है, इसलिए lock-in effect लगभग नहीं है और आसानी से move किया जा सकता है। दूसरी बात, मुझे लगता है आप companies के bills कितने बड़े हैं इसे कम आंक रहे हैं; finance departments को already, भारी subsidies के बावजूद, खर्च रोकने के निर्देश मिल रहे हैं
      तीसरी बात, US strategy powerful models तक access को artificial तरीके से limit करने की दिशा में लगती है, लेकिन अगर China मौजूदा रफ्तार बनाए रखता है तो 6 महीने के अंदर Fable जितना अच्छा model निकालेगा और उसे बंद भी नहीं रखेगा। जब ज्यादा सस्ता और बेहतर model खुला उपलब्ध हो, तो switch करने की incentive बहुत बड़ी होती है, और अगर China share जीत रहा हो तो prices बढ़ाने की motivation काफी कम होती है। David Sacks और US government की AI strategy बहुत shortsighted है और लगता है इसका उलटा असर होगा
    • ऐतिहासिक समानताएं सोचते समय survivor bias बहुत बड़ा है। जिन मामलों में margins collapse हुए और competition से industry commodity बन गई, उस समय के बड़े monopolistic names अब बचे ही नहीं हैं
      1980s में memory chip margins टूट गए और Intel ने memory chip business पूरी तरह छोड़ दिया; उस समय Intel microprocessor company से ज्यादा memory chip company के रूप में जाना जाता था। high-end workstation margins भी सस्ते IBM PC compatibles और MS Windows software के विस्फोट के सामने ढह गए, और SGI, Sun, Symbolics, Lucid, LMI आदि के गायब होने का यह direct कारण बना
      HP-UX, IRIX, AIX, SCO Unix जैसे proprietary UNIX variants लगभग गायब हो गए, और उनकी जगह सस्ते proprietary operating systems Windows और MacOS, या Linux और BSD के open source descendants ने ले ली। Oracle, dBase, Sybase, FoxPro, Microsoft के SQL Server और Access जैसे commercial database vendors पर भी PostGres, MySQL, SQLite से strong margin pressure आया; Oracle अपने विशाल installed base और legal team की वजह से, और Microsoft OS व Office monopoly से cross-subsidize कर पाने की वजह से बच गया, लेकिन dBase, Sybase, FoxPro गायब हो गए
    • इन examples के उलट, LLM replacement सस्ता और आसान है। हर 3 महीने में नया model आता है तो लोग तुरंत उसे इस्तेमाल करना शुरू कर देते हैं
      providers अलग हों तब भी user experience वही रहता है: prompt भेजो और answer वापस आता है। दूसरे मामलों में support खोना या मुश्किल transition period झेलना पड़ता था, लेकिन LLM में शुरू से support लगभग नहीं था, और transition भी बस मौजूदा harness को दूसरे model के बारे में aware कराने जितना है
      ज्यादा सही तुलना AMD के उभार से लगती है। भले ही उसने market dominance हासिल न किया हो, लेकिन उसने बड़ा dent जरूर लगाया; AMD x86 का Intel x86 के काफी करीब और compatible होना, साथ ही बहुत सस्ता होना, बड़ा factor था
    • इन्हें सिर्फ अच्छे margins की जरूरत नहीं है; इन्हें कुछ सालों में लगभग 1 trillion dollars recover करने हैं। Elastic Search या Redis से तुलना करना बहुत सही नहीं है
      hyperscalers इसलिए चलते हैं क्योंकि free alternatives की तुलना में उनकी real value है, और provider switch करने की cost बहुत ज्यादा है। Windows और macOS को किसी और चीज से बदलने की cost भी बहुत high है, और कई cases में possible भी नहीं। Office में भी compatibility issues और employee retraining की वजह से switching cost बड़ी है
      आखिरकार core issue lock-in effect है, और अभी तक LLM में ऐसा कुछ दिखता नहीं। इसलिए मुझे लगता है कि ऊपर के points यहां अच्छी तरह fit नहीं होते
    • मुझे लगता है open source office suites G Suite या Office की सर्वव्यापकता से इसलिए compete नहीं कर पाते क्योंकि collaboration solve करना मुश्किल है। collaboration न हो तो G Suite/Office बहुत ज्यादा कुछ offer नहीं करते
      Mac OS भी free ही है। free as in beer वाले अर्थ में
      यह बात सही है कि companies service guarantees, integration, और sue किए जा सकने वाले counterparty के लिए ज्यादा पैसा देती हैं, लेकिन बड़े picture में US companies बेहद rich हैं, इसलिए वे rational spenders के अच्छे examples शायद नहीं हैं

  • पिछले महीने मैंने Claude Pro subscription cancel कर दिया और उस 20 dollars से Openrouter credits खरीद लिए। knowledge exploration वाले ज्यादातर सवालों का जवाब Gemma4 दे सकता है, basic code editing के लिए Qwen3.6 27b काफी है, और सचमुच मुश्किल कामों में भी GLM5.2 टिक जाता है
    मैं AI बहुत ज्यादा इस्तेमाल करने वालों में भी नहीं हूं, इसलिए task complexity के हिसाब से जितना संभव हो सबसे छोटा model इस्तेमाल करने वाले API credits तरीके से उल्टा पैसे बचा रहा हूं

  • उलटी दिशा से सहमत हूं। AI, C/C++ सीनियर सिस्टम्स सॉफ्टवेयर इंजीनियर के रूप में मेरा काम लगातार सोख रहा है, लेकिन पिछले कुछ महीनों में gpt-5.5/5.6 और codex इस्तेमाल करने पर मैंने सिर्फ कुछ सौ डॉलर ही खर्च किए हैं
    लोग आखिर ऐसा क्या करते हैं कि इतने सारे tokens जला देते हैं, समझ नहीं आता; मेरे लिए यह हास्यास्पद रूप से सस्ता है और मैं हर दिन नए फीचर खोजता हूं। लागत बढ़े या घटे, जो मिल रहा है उसके मुकाबले यह इतना सस्ता है कि मैं परवाह नहीं करता

    • क्योंकि हम retail consumer price, यानी subscription fee, चुकाते हैं। वही tokens भी enterprise billing में हजारों डॉलर के पड़ते हैं
    • Agentic workflows बहुत खपत करते हैं। यानी automated agent loops किसी लक्ष्य की ओर लगातार बढ़ते रहते हैं
      LLM को अपने काम के assistant की तरह इस्तेमाल करें तो इतने tokens नहीं लगते, लेकिन कई agents को स्वतंत्र रूप से काम करने और एक-दूसरे के काम की review करने दें तो budget सचमुच बहुत तेजी से जल जाता है
    • अज्ञानता, खराब code hygiene और कमजोर prompts की वजह से। मैं coding लगभग नहीं कर पाता; agent से पहले के दौर में, जब Gemini IDE की usage limits लगभग नहीं थीं, मेरे कुछ पुराने projects थे जिन्हें मैंने vibe coding से बनाया था, और files हजारों lines से ज्यादा फूल गई थीं व bugs का backlog जमा हो गया था
      बेवकूफ models उस point पर टूटने लगे, और project मेरी जरूरतों के लिए किसी तरह usable था, इसलिए मैंने रोक दिया। बाद में agent coding और ऐसे models आए जो समस्याएं ठीक करने लायक smart थे, लेकिन codebase इतना गड़बड़ था कि वे उसे बेहद inefficient तरीके से संभालते थे। कुछ prompts में ही 5 घंटे का quota खत्म हो जाता था
      कुछ दिन लगाकर ठीक-ठाक agent.md बनाया और codebase refactor किया, तो अब tokens थोड़ा-थोड़ा ही लगते हैं। मुझे लगता है अब भी बहुत लोग उसी नाव में हैं। हममें से कई लोग best practices बिल्कुल नहीं जानते, और agents को कैसे behave करना है यह बताना भी नहीं जानते
      पीछे मुड़कर देखें तो basics सीखने में कुछ दिन लगाने चाहिए थे, लेकिन समस्या यही है कि आपको पता ही नहीं होता कि आप क्या नहीं जानते। मुझे मुश्किल से भरोसा है कि companies नए users को onboard करते समय agents को considerate तरीके से behave करने के लिए prompt कर रही होंगी; उनके लिए तो मुझ जैसे लोगों को hooked रखना और ज्यादा से ज्यादा tokens खर्च करवाना फायदेमंद है। मैंने गैर-जरूरी subscriptions और tiers पर कुछ सौ डॉलर और खर्च किए, लेकिन उस समय 0 से 1 तक की productivity jump के मुकाबले यह छोटी रकम थी
    • मेरा भी यही अनुभव है। लोग जितनी token consumption का दावा करते हैं, उसे वे कैसे जला देते हैं, सच में समझ नहीं आता
    • लगभग 5 लाख lines के code का लेखन drive किया है

  • model में native vision capability नहीं है, इसलिए इसे पूरा करने के लिए vision MCP है: https://docs.z.ai/devpack/mcp/vision-mcp-server
    web search भी कुल मिलाकर ठीक थी। ZCode harness इस्तेमाल करें तो Coding Plan quota बड़ा हो जाता है: https://zcode.z.ai/en
    थोड़ा इस्तेमाल किया, यह OpenCode Desktop और Claude Desktop के बीच जैसा है। OpenCode Desktop अभी नया है लेकिन ठीक है, और Claude Desktop का हालिया version अच्छा है
    model के तौर पर GLM 5.2 maximum thinking mode में कुल मिलाकर संतोषजनक है, Sonnet 5 और Opus 4.8 के बीच जैसा है, और DeepSeek V4 Pro से निश्चित रूप से बेहतर है
    pricing के लिहाज से subscription उतना अच्छा नहीं दिखता जितनी उम्मीद थी। Pro plan के 50 dollar वाले weekly limit का करीब 60% मैंने एक ही दिन में इस्तेमाल कर लिया, वह भी इसलिए कि हर 5-hour limit में केवल 20% ही इस्तेमाल हो पाता था; नहीं तो 80–100% होता। कोई खास पागलपन वाला काम भी नहीं किया था—करीब 96% cache hit rate के साथ, ज्यादा से ज्यादा 3 parallel code review sub-agents और 2 projects पर लंबे tasks parallel में चलाए थे
    Max 100 dollar subscription हो तो शायद पूरा हफ्ता निकल जाए, लेकिन Anthropic भी उसी पैसे में ऐसा करता है, और OpenAI भी शायद करेगा। off-peak time बेहतर है, लेकिन local time सुबह 9 बजे से दोपहर 1 बजे तक हाथ पर हाथ धरे नहीं बैठा जा सकता
    असली saving शायद Max plan में annual billing जोड़ने पर ही निकलेगी, लेकिन उसे justify करना और मुश्किल है

  • जरूरी बात यह है कि ये companies मिलीभगत करके prices fix नहीं कर सकतीं। China का competitor होना यह सुनिश्चित करता है
    token economy समझने का सबसे आसान तरीका अब भी basic microeconomics है। यह competitive market, यानी ऐसा market जहां profit 0 की ओर जाता है, क्यों नहीं होगा?
    A या O margin ज्यादा रखने के लिए जो भी करें, competitor उसे copy कर सकता है या उससे कम price लगा सकता है, और price घटाने का फायदा यह भी है कि training data इकट्ठा हो सकता है। collusion या price fixing के अलावा tokens का gross profit 0 की ओर जाने से क्या रोक सकता है?

    • एक चीज छूट गई है: इसे रोकने वाली चीज federal government industrial policy होगी
    • single market के अंदर की conditions देखना भी अब भी microeconomics ही है। सहमत हूं, लेकिन companies market power कहां से हासिल करेंगी, यह देखना मुश्किल है, इसलिए profits 0 के करीब जाएंगे लगता है
      हालांकि GPU के बारे में भी मैंने यही सोचा था, लेकिन Nvidia के पास data center में अब भी कोई ढंग का competitor नहीं दिखता

  • मेरी पसंदीदा analogy यह है कि AI electricity जितना सस्ता हो जाएगा
    बिजली इस्तेमाल करते समय क्या आपको पता होता है कि इसे कौन supply कर रहा है, किस power plant से आ रही है? शायद नहीं। electricity एक commodity है, काफी हद तक settled है, और energy resources बहुत हैं। alternative energy भी है और coal mines भी। ये सब real-time energy supply-demand trading में compete करते हैं। यहां OpenRouter को याद करें
    आखिर में abundance की वजह से consumer जीतता है
    सस्ती और असीम intelligence की abundance दिखाने वाला सबसे बड़ा उदाहरण शायद GLM5.2 नहीं, बल्कि DeepSeek V4 Pro max होगा, जिसकी कीमत input के लिए 0.435 dollar प्रति 1 million tokens और output के लिए 0.87 dollar प्रति 1 million tokens है

  • “ट्रेनिंग में पूंजीगत खर्च बहुत लगता है, लेकिन यह एक fixed upfront cost है; करोड़ों डॉलर खर्च करके मॉडल train कर दिया तो बात खत्म” — यह तर्क समझ नहीं आता
    अगर competitors हैं और लोग लगातार ज़्यादा की उम्मीद करते हैं, इसलिए आपको नए मॉडल लगातार train करने पड़ते हैं, और improvement rate के मुकाबले training cost बढ़ती ही लगती है, तो क्या यह लगातार उठाई जाने वाली ongoing cost नहीं है? Footnote इस बात की ओर इशारा तो करता है, लेकिन अंत में इसे बस यूँ ही टालता हुआ लगता है
    यह भी जानना चाहूँगा कि मॉडल को relevant बनाए रखने के लिए incremental training cost भी होती है या नहीं। या फिर मॉडल सिर्फ उस दिन तक की घटनाएँ जानता है जिस दिन तक उसे train किया गया?

    • ये मॉडल weights में embedded knowledge पर निर्भर करते हैं। नई library आती है, नया Linux version आता है, कोई नया protocol पुराने को replace करता है, तो आप चाहेंगे कि LLM को उसकी जानकारी हो
      बेशक उसे context window में डाला जा सकता है, लेकिन उसकी अपनी समस्याएँ हैं
      जब तक कुछ promising नए research नए तरीके नहीं देते, training cost लगातार पैसा खींचने वाला छेद बनी रहेगी
      ऊपर से, अगर training रोक दी तो 6 महीने बाद कोई open weights model निकाल देगा, और फिर वही product सबसे कम कीमत पर देने की race शुरू हो जाएगी
      यह भी नहीं भूलना चाहिए कि यह business कोई साधारण technical tool नहीं, बल्कि global labour market में अनिवार्य रूप से घुसने वाला business है। 1 trillion dollar valuation को justify करने के लिए model को कहीं ज़्यादा बेहतर होना होगा

  • “AI economy में सबसे कम समझा गया आने वाला बदलाव” कहकर वही बात कर रहे हैं जो रोज़ AI news में आती है। ऐसा लगता है मानो उन्होंने कभी सुना ही नहीं कि open source models सस्ते हो रहे हैं और quality बढ़ रही है
    सबसे पहले, किसी भी benchmark से GLM5.2 Opus जितना अच्छा नहीं है
    दूसरा, open source models आखिरकार margins पर pressure डालेंगे, यह सही है और सबको पता है। लेकिन क्या आज का AI business model कल भी वैसा ही रहेगा?

    • GLM-5.2 Opus जितना अच्छा नहीं, उससे बेहतर है। GLM-5.2 को unrestrict करके उन projects में लगाया जा सकता है जिन्हें Opus refuse कर देता है
    • यह इस पर निर्भर करता है कि आप क्या कर रहे हैं। Complex tasks या poorly defined tasks के लिए Opus सही होगा, लेकिन अपेक्षाकृत simple या बहुत अच्छी तरह defined tasks में GLM-5.2 उतना ही अच्छा है और आमतौर पर काफी तेज़ है
      इसका personality भी ज़्यादा neutral है और Opus की तुलना में कम confrontational है। Opus हमेशा “इस पर आपत्ति उठाएँ तो...” जैसा लगता है, जबकि GLM ज़्यादा “हाँ, समझ गया!” जैसा है। मैं दोनों इस्तेमाल करता हूँ और दोनों को अच्छा मानता हूँ, लेकिन अगर Opus कल गायब हो जाए तो मैं रोऊँगा नहीं। GLM-5.2 से ही जल्दी adapt कर लूँगा

  • लोग कहते हैं कि GLM 5.2 की web search capability खराब है, लेकिन मुझे लगता है कि यह harness की जिम्मेदारी है
    मैंने VPS पर खुद SearXNG instance चलाया और उसे webfetch tool के साथ Pi में integrate किया, और GLM 5.2 ने अब तक चीज़ें अच्छी तरह खोजकर दी हैं। मैंने एक Austrian online newspaper की latest news माँगी, जिसकी aggressive ad overlay की वजह से parsing मुश्किल है; ChatGPT और Claude की default chat apps दोनों fail हो गईं। Pi के अंदर GLM 5.2 इतना smart था कि RSS feed search कर ले और detailed overview दे सके
    Vision का न होना वाकई अफसोसजनक है। मैंने Pi में workaround implement किया है और वह ठीक-ठाक है, लेकिन इतना अच्छा नहीं, और overall experience awkward है

  • यह output tokens पर ही केंद्रित एक काफी बेकार-सा लेख लगता है
    Agent coding में cached input tokens API “cost” का 90% होते हैं। इसमें GPU compute की जरूरत नहीं होती, और DeepSeek ने दिखाया है कि MLA/CSA/HCA और बहुत सारे disk के साथ इसे 50–100 गुना सस्ता किया जा सकता है। यही margins को तोड़ेगा

    • क्या अमेरिकी AI labs agent coding के अलावा दूसरे markets खोजने की बेताबी से कोशिश नहीं कर रही हैं?
    • क्या MLA/CSA/HCA सभी lossy compression techniques नहीं हैं? सोच रहा हूँ कि context size बढ़ने पर quality degradation की शिकायत की एक वजह यही तो नहीं
    • https://lobste.rs/s/ua1gxl/glm_5_2_coming_ai_margin_collapse पर मौजूदा top comment ने cached input tokens को सही पकड़ा, लेकिन उलटे निष्कर्ष पर पहुँचा
      उसका मतलब था: “महीने के 100 डॉलर plan में API usage के 3600 डॉलर के बराबर मिलते हैं। शायद इसलिए कि Anthropic ने model routing और input caching में smart तरीके निकाल लिए हैं, investor money से subsidy दे रहा है, और operating margin losses भी झेल सकता है”
      मेरी interpretation यह है कि यही वह तस्वीर है जिस पर Anthropic चाहता है कि सब यकीन करें। असल में उस 3600 डॉलर का 90% cached input tokens है, और DeepSeek ने जैसा दिखाया, उसे लगभग मुफ्त के बराबर बनाया जा सकता है