मेमोरी अब AI chip component लागत का लगभग दो-तिहाई हो गई है

 (epoch.ai)
1 पॉइंट द्वारा GN⁺ 2 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • HBM Nvidia, AMD, Google और Amazon के AI chips के production-weighted average के आधार पर 2024 की पहली तिमाही में 52% से बढ़कर 2025 की चौथी तिमाही में 63% तक पहुंच गया
  • इसी अवधि में logic die का हिस्सा लगभग 13% पर लगभग स्थिर रहा, advanced packaging 19% से 15% पर आया, और auxiliary components 15% से 9% तक घटे
  • इन चार डिजाइनरों का HBM spend 2024 में लगभग 12 अरब डॉलर से बढ़कर 2025 में 32 अरब डॉलर हो गया, जो दूसरे components की तुलना में year-over-year अधिक तेज़ी से बढ़ा
  • कुल AI chip component spend लगभग 22 अरब डॉलर से बढ़कर 52 अरब डॉलर हुआ, और केवल HBM ने लगभग 20 अरब डॉलर की वृद्धि में योगदान दिया
  • 2026 में memory supply shortage और price increase के कारण cost pressure और बढ़ सकता है, और Microsoft व Meta ने भी component price increases को capex बढ़ने के कारणों में गिनाया है

मुख्य बदलाव

  • High Bandwidth Memory (HBM) का AI chip component spend में हिस्सा 2024 की पहली तिमाही के 52% से बढ़कर 2025 की चौथी तिमाही में 63% हो गया
  • यह अनुमान Nvidia, AMD, Google और Amazon द्वारा डिजाइन किए गए सभी AI chips के production-weighted average पर आधारित है
  • इसी अवधि में logic die लगभग 13% पर लगभग अपरिवर्तित रहा, advanced packaging 19% से 15% पर आया, और auxiliary components 15% से 9% तक घटे
  • इन चार डिजाइनरों का HBM spend 2024 में लगभग 12 अरब डॉलर से बढ़कर 2025 में 32 अरब डॉलर हो गया, और इसकी year-over-year growth दूसरे components से तेज़ रही
  • कुल AI chip component spend 2024 में लगभग 22 अरब डॉलर से बढ़कर 2025 में लगभग 52 अरब डॉलर हो गया, और केवल HBM spend ने लगभग 20 अरब डॉलर की वृद्धि में योगदान दिया

2026 में cost pressure

गणना का तरीका और data scope

  • Nvidia, AMD, Google और Amazon द्वारा डिजाइन किए गए हर AI chip के लिए memory, logic die, advanced packaging और auxiliary components की per-chip cost का अनुमान लगाया गया
  • हर chip की component cost को quarterly estimated production volume से गुणा करके category-wise total component spend निकाला गया, और 2024 की पहली तिमाही से 2025 की चौथी तिमाही तक कुल component spend के मुकाबले उसका हिस्सा निकाला गया
  • component cost estimates AI Chip Components explorer से लिए गए हैं, जहां financial disclosures, supplier materials और analyst reports के आधार पर chip-level bill of materials तैयार किया गया
  • विस्तृत methodology explorer’s methodology documentation में देखी जा सकती है

component categories

  • memory

    • इसमें HBM stacks शामिल हैं, और HBM3 तथा HBM3e को कवर किया गया है

  • logic

    • इसमें 3~5nm advanced-process logic die शामिल हैं

  • packaging

    • इसमें TSMC CoWoS advanced packaging शामिल है

  • auxiliary components

    • इसमें substrate, power delivery, और दूसरे non-logic व non-memory input elements शामिल हैं

uncertainty handling

  • HBM stack price, logic die price, और CoWoS package price जैसे हर unit component cost में cost uncertainty मौजूद है
  • हर chip की per-component cost को 90% confidence interval के साथ model किया गया
  • component share, component cost को total cost से भाग देकर निकाला जाता है, इसलिए numerator और denominator दोनों अनिश्चित हैं
  • दो तरह की ranges साथ में दी गई हैं
    • वह range जहां केवल संबंधित component cost बदलती है: जब उस component cost का मान 5वें या 95वें percentile पर हो और बाकी तीन components median पर हों
    • वह range जहां सभी components extreme values पर बदलते हैं: जब संबंधित component confidence interval के एक छोर पर हो और बाकी सभी components एक साथ विपरीत छोर पर हों

तिमाहीवार component share

  • 2024 की पहली तिमाही

    • memory share 52% था; केवल उसी component cost के बदलने पर range 48~56% थी, और सभी components के extreme values पर बदलने पर 42~62% थी
    • logic share 14% था; केवल उसी component cost के बदलने पर range 12~17% थी, और सभी components के extreme values पर बदलने पर 10~20% थी
    • packaging share 19% था; केवल उसी component cost के बदलने पर range 14~24% थी, और सभी components ke extreme values पर बदलने पर 12~27% थी
    • auxiliary component share 15% था; केवल उसी component cost के बदलने पर range 13~18% थी, और सभी components के extreme values पर बदलने पर 11~21% थी

  • 2025 की चौथी तिमाही

    • memory share 63% था; केवल उसी component cost के बदलने पर range 60~67% थी, और सभी components के extreme values पर बदलने पर 54~73% थी
    • logic share 13% था; केवल उसी component cost के बदलने पर range 10~16% थी, और सभी components के extreme values पर बदलने पर 9~19% थी
    • packaging share 15% था; केवल उसी component cost के बदलने पर range 11~19% थी, और सभी components के extreme values पर बदलने पर 9~22% थी
    • auxiliary component share 10% था; केवल उसी component cost के बदलने पर range 8~10% थी, और सभी components के extreme values पर बदलने पर 7~12% थी

assumptions और limitations

  • contract, supplier और timing के अनुसार component costs बदल सकती हैं, इसलिए per-chip cost estimates में अनिश्चितता है
  • quarterly chip production volume estimates और chip-type mix में भी अनिश्चितता है, और यही reported shares में दिखाई देती है

data और exploration tools

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2 시간 전
Hacker News टिप्पणियाँ

  • AI inference और training में, तकनीकी नवाचार बिल्कुल न भी हो तो भी हार्डवेयर लागत को लगभग 3 गुना और कुल लागत को लगभग 2 गुना कम करने का रास्ता दिखता है
    बस DRAM की सप्लाई मांग तक पहुँच जाए; चाहे manufacturing expansion से हो या मौजूदा उत्पादन गति पर मांग में आई उछाल को पूरा करने से, बस समय लगेगा

    • अगर मौजूदा cutting-edge chips की कमी की वजह से जुड़े Nvidia margins को भी ध्यान में रखें, तो लागत घटाने की गुंजाइश इससे भी कहीं ज्यादा हो सकती है
      Sam Altman ने सांस्कृतिक रूप से जो बातें फैलायी हैं, उनमें आलोचना करने लायक बहुत कुछ है, लेकिन लंबी अवधि में “अभी सबसे बुरा है, आगे इससे बेहतर होगा” वाली बात काफ़ी दिलचस्प और कम आंकी गई लगती है
      10 साल बाद शायद आज के स्तर के LLM को train करना उतनी ही बुनियादी बात लगेगा जितना आज database चलाना है। मौजूदा स्तर भी काफ़ी उन्नत है, और हार्डवेयर प्रगति से अलग भी, सिर्फ़ बेहतर reinforcement learning training pipelines बना लेने से काफी अतिरिक्त उछाल की गुंजाइश है
      Allen Institute के GitHub और HF projects ज़रूर देखें। वहाँ Common Crawl से शुरू से LLM train करने की सामग्री और qwen की दिलचस्प tuning जैसी open source training सामग्री है, जिससे अंदाज़ा मिलता है कि जल्द ही afternoon projects या educational material बनने वाली चीज़ें कैसी दिखेंगी
    • memory कंपनियाँ मांग के हिसाब से सप्लाई में बड़ा इज़ाफ़ा नहीं करेंगी
      इस उद्योग की प्रवृत्ति बाज़ार को supply shortage की स्थिति में बनाए रखने की है, क्योंकि नहीं तो उसके बाद आने वाला oversupply कंपनियों को बर्बाद कर देता है। इसकी बजाय mobile और personal computing जैसे कम मुनाफ़े वाले क्षेत्रों की सप्लाई को ज्यादा मुनाफ़े वाले हिस्सों की तरफ़ reallocatе किया जाएगा
    • लगता है Sam Altman की memory market पर कब्ज़ा करने की चाल ने अनपेक्षित नतीजा पैदा कर दिया
    • सोचता हूँ कि क्या floating-point formats को अपनाना बढ़ेगा
      IEEE floating point कम bit width, खासकर 16-bit या उससे नीचे, पर बदनाम रूप से खराब है। posit जैसे formats 16-bit या 8-bit पर कहीं बेहतर हैं। अगर प्रति value 32-bit की जगह 16-bit में training की जा सके, और IEEE32 से IEEE16 जाने की तुलना में accuracy loss भी बहुत कम हो, तो यह काफी मायने रखता है
    • सोच रहा हूँ कि capital expenditure components जैसे “GPU” modules या उनमें soldered DRAM की उम्र और refurbishment की क्षमता कितनी होती है

  • कुछ साल पहले मैंने 96GB RAM लगभग 250 डॉलर में खरीदी थी, और वही RAM अब 1200 डॉलर की है

    • पिछले साल 22 अक्टूबर को मैंने Crucial 96GB DDR5 5600MHz SO-DIMM RAM 279 डॉलर में खरीदी थी
      Amazon पर वही kit अभी 1,048.90 डॉलर की है
    • मौका होने पर अपने मुख्य server को पूरी तरह max out न कर पाने पर बहुत गुस्सा आता है
      eBay पर used enterprise memory modules सच में कौड़ियों के भाव मिल रहे थे
    • एक साल पहले मैंने 192GB DDR3 सचमुच 60 डॉलर में खरीदी थी, यानी 5 डॉलर प्रति module
      अब यह लगभग 22 डॉलर प्रति module है, तो कुल मिलाकर करीब 350 डॉलर पड़ते हैं। समझ नहीं आता कि आखिर DDR3 के साथ कौन क्या कर रहा है
    • यह पुरानी धारणा पूरी तरह टूट गई कि दर्जनों GB RAM सस्ते में मिल सकती है
      Optane जैसी ultra-fast SSDs की अहमियत काफी बढ़ सकती है
    • garage साफ़ करते समय मुझे दो unused Samsung EVO 4TB drives मिल गईं

  • जितनी भी चीज़ें पढ़ रहा हूँ, उनमें RAM capacity सालाना 20~25% बढ़ने की बात दिखती है, लेकिन वह काफी नहीं लगती
    consumer इस्तेमाल में भी phones और laptops में RAM दोगुनी हो जाए तो बड़ा फ़र्क पड़ेगा, और AI की मांग तो खैर बहुत विशाल है
    यह रुझान जाता हुआ नहीं लगता। हो सकता है अभी जैसी रफ़्तार से न बढ़े, लेकिन गायब भी नहीं होगा। समझ में आता है कि memory कंपनियाँ खुद को दिवालिया नहीं करना चाहतीं, लेकिन लगता है कि कोई ऐसा तरीका होना चाहिए जिससे उस जोखिम को model providers या ecosystem के दूसरे हिस्सेदारों की तरफ़ शिफ्ट करके RAM capacity को सालाना 50% के करीब बढ़ाया जा सके

    • सिर्फ़ OpenAI deals ही ऐसी growth के 2 साल के हिस्से को absorb कर सकती हैं
      competitive market में RAM कंपनियों का संभावित खरीदारों को छोड़े रखना और बेचने से बचना अक्षम है
      अक्टूबर से पहले वास्तविक growth rate क्या थी, यह नहीं पता, लेकिन यहाँ किसी को शायद पता होगा
    • सबसे बड़ा जोखिम यह है कि चीन की CXML तरफ़ फायदा उठा ले, दूसरे vendors द्वारा छोड़े गए बाज़ार पर कब्ज़ा कर ले, और फिर जब लागत सामान्य होने लगे तो प्रतिस्पर्धा करके मौजूदा कंपनियों को पीछे धकेल दे
      जहाँ तक 20~25% growth के अपर्याप्त होने की बात है, अगर मान लें कि datacenter expansion plans दीवार से टकराएँ, बहुत धीमे पड़ जाएँ, और AI hype ठंडी हो जाए, तो यह कोई बहुत अवास्तविक संख्या नहीं लगती
      short term में 20~25% काफी नहीं हो सकती, लेकिन अगर इस साल के भीतर AI expansion रुक जाए, तो shortage नहीं बल्कि बहुत बड़ा oversupply पैदा होगा
    • सैद्धांतिक रूप से chips components के लिए नया futures market मददगार हो सकता है
      क्योंकि इससे DRAM suppliers उस जोखिम को hedge कर पाएँगे
    • हाल की एक रिपोर्ट के मुताबिक HBM, wafer area के हिसाब से LPDDR की तुलना में 3 गुना कम कुशल है, लेकिन bandwidth 3 गुना से भी ज्यादा देती है
      अगर सब लोग कंप्यूटर, मान लें, 1/3 कम गति से खरीदें और पूरी तरह HBM पर चले जाएँ, तो क्या वह फायदेमंद होगा?
      compute performance और memory के बीच का अंतर बहुत समय से बढ़ता आ रहा है, और शायद HBM पर जाना, भले ही दर्दनाक हो, वही चीज़ है जिसकी ज़रूरत है
      क्या कम memory bandwidth वाले 3 mid-range computers रखना बेहतर है, या सांख्यिकीय रूप से थोड़ा ज़्यादा इंतज़ार करना ताकि सब लोग area ratio के हिसाब से 1/3 गति वाले नए computers खरीदें लेकिन कहीं अधिक bandwidth पाएँ?

  • मौजूदा रुझान देखकर सच में सोचता हूँ कि gaming या machine learning जैसे consumer markets को कैसे संभाला जाएगा
    cloud gaming साफ़ तौर पर भविष्य में आएगा, और शायद मेरे जैसे purists ही RTX 5090 खरीदकर offline gaming के लिए premium देंगे

    • लंबी अवधि में cloud gaming से बचा नहीं जा सकता
      क्योंकि graphics rendering के लिए ज़रूरी हार्डवेयर लागत को कई consumers में बाँटकर amortize करना, idle समय में उसे बेकार न जाने देना, और game assets के साथ POP पर deploy करना आर्थिक रूप से ज्यादा कुशल है
      अगर पर्याप्त gaming compute edge पर चलने लगे, तो तकनीकी रूप से और अधिक उन्नत गेम भी संभव होंगे, जो आज आर्थिक रूप से viable नहीं हैं। मुझे लगता है कि आज ऐसे games कम होने की मुख्य वजह cloud gaming market और adoption की कमी है, और उसके साथ जुड़ी technical know-how की भी कमी है
      जैसे ही consumer hardware पर मनचाहे games render करने की लागत उठाना मुश्किल हो जाएगा, अंततः जो लोग अब तक टिके हुए हैं वे भी मान जाएँगे और यह मॉडल स्थापित हो जाएगा

  • जब तक कीमतें कम से कम कुछ हद तक सामान्य नहीं हो जातीं, मैं DDR4 build से आगे नहीं बढ़ूँगा
    मेरे पास पहले से खरीदी हुई DDR4 2133MHz backup memory 32GB भी है, और अभी 3200MHz इस्तेमाल कर रहा हूँ। इसका मतलब यह भी है कि CPU निर्माता को मेरा पैसा नहीं मिलेगा। 5800X अभी कुछ समय तक काफी है, और नया GPU लेने की भी कोई वजह नहीं है। हाँ, B580 परफेक्ट नहीं है, लेकिन

    • क्या होगा अगर अभी ही आगे का सबसे निचला दाम हो?

  • यह बहुत विडंबनापूर्ण है कि ईरान ने helium supply रोक दी
    उसी समय ईरान अपने दुश्मनों को अस्थिर करने के लिए AI-निर्मित low-quality propaganda पर निर्भर है। यह इतिहास की उन विडंबनाओं में से एक लगती है जो बाद में साफ़ होती हैं

  • जो gamers और PC hobbyists AI में पूरी तरह डूबे नहीं हैं, उनके लिए यह सच में भयानक समय है

    • यह घर पर assemble होने वाले PC market को 100% खत्म कर देगा
      जब मैंने gaming PC assemble करना शुरू किया था, तब top-end graphics card 750 न्यूज़ीलैंड डॉलर का था। अब सिर्फ़ GPU ही 10,000 डॉलर का है और RAM पर अलग से 1,000~2,000 डॉलर लगते हैं
      पहले gaming PC एक संभालने लायक hobby थी, लेकिन अब हालत यह है कि सामान्य aviation hobby ही विकल्प जैसी लगती है
    • मुझे तो उल्टा लगता है
      short term में hobbyist समुदाय पर दबाव आना सही है, लेकिन cutting edge को आगे धकेलने के लिए जितनी पूँजी चाहिए, वह Fortune 500 कंपनियों की तुलना में छोटी है। जल्द ही hobbyists को भी इसका फायदा मिलेगा, खासकर अगर बाजार ढहता है तो और ज्यादा
    • AI में पूरी तरह डूबे लोगों के लिए भी यह भयानक समय है

  • सोचता हूँ कि hyperscalers और ज्यादा vertical integration करके अपने खुद के fabs क्यों नहीं बनाते
    अगर एक fab 1 billion dollars की भी हो, तब भी वे अभी Nvidia और दूसरी कंपनियों से chips खरीदने में सैकड़ों billions खर्च कर रहे हैं

    • ज़रूरी नहीं कि उन्हें vertical integration ही करनी पड़े; Apple की तरह, जब वह iPhone के लिए नई तकनीक scale करता है, शायद capacity expansion को सीधे fund करना ज्यादा बेहतर हो
      लेकिन hyperscalers और AI कंपनियाँ ऐसा नहीं कर रहीं, यह अपने आप में बहुत कुछ बताता है कि वे AI की भविष्य की demand पर सच में कितना भरोसा करती हैं
      AI कंपनियाँ कहती हैं कि भारी पैमाने पर expansion चाहिए, लेकिन उस expansion के लिए ज़रूरी capital risk उठाना नहीं चाहतीं
      AI पक्ष की तरफ़ से chips manufacturers को bottleneck बताने वाली दुखभरी शिकायतें बहुत सुनते हैं, लेकिन उस expansion को आसानी से finance कर सकने वाला पैसा वास्तव में किसके पास है? chip manufacturers यह खेल उनसे कहीं ज्यादा समय से खेल रहे हैं। जब Sam Altman 7 trillion dollar fabs की बात करता फिर रहा था, तब AI कंपनियों ने दिखा दिया कि वे बेहूदा दावे करने को तैयार हैं, और उन्होंने भरोसा खो दिया
      अभी ज़रूरत बस इतनी है कि वे अपने जमा किए विशाल cash में से बहुत छोटा हिस्सा सीधे fab financing में लगाएँ
    • fabs मौजूदा cutting-edge technologies में भी सबसे जटिल चीज़ों में गिनी जाती हैं
      यह आज के ज़माने की “rocket science” जैसी चीज़ है, और सिर्फ़ पैसे से काम नहीं चलता। अरबों डॉलर फूंककर भी कुछ हासिल न होने की पूरी संभावना रहती है
      पिछले कुछ सालों में Intel ने प्रतिस्पर्धा में कितनी मुश्किल झेली है, बस वही देख लें। वे यह काम दशकों से कर रहे हैं
    • fab बनाने में, ज़रूरी know-how हो तब भी, कई साल लग जाते हैं
      और अगर know-how ही न हो, तो मौजूदा manufacturers से प्रतिस्पर्धा करने से पहले अतिरिक्त experiments की ज़रूरत होगी। जब तक कामचलाऊ chips बननी शुरू होंगी, तब तक shortage खत्म भी हो चुकी हो सकती है
    • fab की औसत margins, big tech कंपनियों की margins की तुलना में बहुत पतली होती हैं, और जोखिम भी उतना ही ज्यादा होता है
      शायद यह ऐसा कारोबार नहीं है जिसमें वे integrate करना चाहें
    • एक fab की लागत 15~20 billion dollars होती है, और उसे बनाने में कम से कम 5 साल लगते हैं
      ऊपर से इसमें ऐसी expertise चाहिए जो इन कंपनियों में से किसी के पास नहीं है

  • मैंने एक हफ्ते पहले used Dell server खरीदा
    12-core CPU और 32GB DDR4 ECC RAM वाले पूरे सिस्टम की कीमत लगभग उतनी ही थी जितनी सिर्फ़ 64GB DDR RAM खरीदने की। उम्मीद है यह absurd स्थिति जल्दी खत्म होगी। नहीं तो यह दर्द दूसरे बाज़ारों में भी फैल जाएगा। हाल ही में मैंने पढ़ा कि PC cases की बिक्री 40% से ज्यादा गिर गई है

    • RAM की बढ़ी हुई unit cost की वजह से गरीब लोग low-end phones से भी पहले ही बाहर धकेले जा रहे हैं
      https://www.cnet.com/tech/mobile/smartphone-sales-to-plummet...
    • लगता है जब तक AI bubble फूटेगा, PC market शायद अपूरणीय रूप से टूट चुका होगा
      जो manufacturers “enterprise” parts बना रहे हैं, वे consumer parts market में वापस नहीं आएँगे। क्योंकि तब तक वह बाजार रहेगा ही नहीं
      और अगर low-quality generated output से पैसा नहीं कमा पाने वाले datacenters की भरमार हो गई, तो उन्हें SaaS उपयोगों के लिए repurpose कर दिया जाएगा। जैसे OnShape वाली चीज़ हर application तक फैल जाए
      ज़्यादातर users को शायद इस बात से खास फर्क नहीं पड़ता कि वे जो कुछ बनाते हैं वह सब cloud service में store हो, और इसे “महंगे” desktop या laptop hardware own करने के विकल्प के रूप में आसानी से बेचा जा सकता है
    • एक दूसरा नज़रिया भी है
      अगर hyperscalers ज्यादा RAM इस्तेमाल करते हैं और वही RAM consumers तक नहीं पहुँचती, तो इसका मतलब है कि सारे heavy workloads cloud में होंगे
      फिर hyperscalers और consumers दोनों के पास एक साथ RAM होने की ज़रूरत ही क्या है? consumers local models चलाने के लिए ज्यादा RAM चाहेंगे, लेकिन तब hyperscalers की capacity खाली बैठी रहेगी

  • memory manufacturers के पास intellectual property का पहाड़ जमा है
    इसलिए अगर किसी के पास extra fab capacity हो भी और वह memory manufacturing में उतरना चाहे, तो उसे भारी patent barriers से लड़ना पड़ेगा
    ज़्यादातर memory कंपनियाँ एक-दूसरे के patent infringement को आपस में offset करने वाले backroom deals कर चुकी हैं
    समझ नहीं आता कि कोई नई memory manufacturer licensing costs में डूबे बिना कैसे उभर सकती है