AI capital expenditure इतना बड़ा हो गया है कि वह आर्थिक आँकड़ों तक को हिला रहा है

• AI data center capital expenditure अब अमेरिका और वैश्विक अर्थव्यवस्था में अभूतपूर्व रूप से बड़ा हिस्सा ले रहा है
• अमेरिका में 2025 का AI-संबंधित data center investment GDP के लगभग 2% तक पहुँच रहा है, और इसका GDP growth में 0.7% योगदान अनुमानित है
• यह विशाल निवेश राशि मौजूदा manufacturing, infrastructure, और अन्य venture investment से निकलकर AI-केंद्रित क्षेत्रों में सिमट रही है
• यह रुझान railroad और telecom infrastructure निवेश बूम की तुलना में भी तेज़ी से फैल रहा है, और पहले के telecom infrastructure investment peak को पहले ही पार कर चुका है
• नतीजतन AI data center investment एक ओर आर्थिक गिरावट को नरम कर रहा है, तो दूसरी ओर दूसरे उद्योगों में पूंजी की कमी, बड़े पैमाने पर restructuring, और रोजगार में कमी भी पैदा कर रहा है

---

Updates & Erasures

• अमेरिका के Federal Reserve मुख्यालय के renovation को लेकर विवाद जारी है, और public spending पर आलोचना भी जारी है
• हाल की रिपोर्टों में central bank building renovation को लेकर सरकारी अधिकारियों की नाराज़गी दिखाई दे रही है
• Fed chair Powell की leadership और building renovation को लेकर व्यंग्य और असंतोष साथ-साथ चल रहे हैं

Honey, AI Capex Ate the Economy

AI data center capital expenditure की स्थिति

• AI data center investment का पैमाना इतना बड़ा हो गया है कि चीन के Xi Jinping ने भी स्थानीय सरकारों को AI, computing, और new energy industries में निवेश को लेकर सावधानी बरतने की चेतावनी दी है
• सिर्फ़ चीन में data center की नई परियोजनाएँ 250 से अधिक हैं, और दुनिया भर में AI infrastructure में निवेश की लहर फैल रही है
• अमेरिका के मामले में Nvidia data center revenue के आधार पर अनुमान लगाने पर, 2025 में AI capital expenditure (Capex) अमेरिकी GDP के 2% स्तर तक पहुँच सकता है, और AI से GDP growth contribution 0.7% तक होने की संभावना है

AI investment scale की निचली सीमा की जाँच

• 2025 में अनुमानित अमेरिकी GDP लगभग $25T(3 क्वाड्रिलियन 4000 ट्रिलियन वॉन) आँका गया है
• Nvidia की data center के लिए annual revenue: लगभग $156.4B(216 ट्रिलियन वॉन), जिसमें से 99% AI-संबंधित माना गया है
• कुल data center capital expenditure में Nvidia की हिस्सेदारी: 25~35%
• आर्थिक multiplier 1.5~2x लागू करने पर, सालाना कुल data center capex का अनुमान लगभग $520B तक बढ़ता है
• 2022 से पहले AI capex GDP के 0.1% से कम था, लेकिन 3 साल में यह 10 गुना से अधिक बढ़ गया
• railroad, telecom जैसे पुराने बड़े infrastructure investment से तुलना करने पर भी इसका पैमाना काफ़ी बढ़ चुका है
• खासकर यह dot-com bubble के telecom investment peak को पहले ही पार कर चुका है और अभी भी ऊपर जा रहा है
• data center investment 19वीं सदी के railroad boom के मुकाबले 20% स्तर पर है, लेकिन बहुत कम समय में तेज़ी से बढ़ा है

AI capital expenditure कहाँ से आ रहा है

• data center और AI infrastructure investment का पैसा मुख्य रूप से इन स्रोतों से आ रहा है
  • internal cash flow (Microsoft, Google, Amazon, Meta जैसी बड़ी tech कंपनियाँ)
  • debt issuance (bonds आदि, जिनका हिस्सा बढ़ रहा है)
  • equity और follow-on offerings
  • venture capital/private equity (CoreWeave, Lambda जैसी AI infrastructure startups)
  • SPV(special purpose vehicles), lease, asset-backed alternative financing (जैसे Meta)
  • cloud usage commitments (मुख्यतः hyperscaler कंपनियाँ)
• AI-केंद्रित investment के कारण दूसरे उद्योगों में पूंजी का प्रवाह कमज़ोर पड़ रहा है
  • venture capital का पैसा AI के अलावा लगभग कहीं और नहीं जा रहा
  • non-life-sciences VC अभी व्यावहारिक रूप से केवल AI investment पर केंद्रित हैं
  • cloud compute कंपनियाँ अपने पुराने cloud business की जगह GPU-केंद्रित IDC में निवेश बढ़ा रही हैं
  • Amazon, Microsoft जैसी बड़ी कंपनियों में AI data center cost बढ़ने से hiring, labor cost, और business restructuring पर असर दिख रहा है
  • AI-संबंधित listed companies का price-to-earnings ratio तेज़ी से बढ़ा है, जबकि दूसरे क्षेत्रों की कंपनियों के लिए capital raise करना मुश्किल हुआ है
  • AI कंपनियों में निवेश का बड़ा जमावड़ा होने से manufacturing/other infrastructure को तुलनात्मक रूप से फंड की कमी हो रही है

AI investment से अर्थव्यवस्था की संरचना में बदलाव

• AI investment boom दूसरे infrastructure sectors में investment slowdown और industrial restructuring को तेज़ कर रहा है
• यह अतीत के telecom infrastructure bubble की तरह है, जहाँ दूसरे infrastructure investments में तेज़ गिरावट देखने को मिली थी
• मौजूदा AI data center investment frenzy से भी non-AI sectors में capital depletion, mass restructuring, और job losses जैसे नकारात्मक प्रभावों की आशंका बढ़ रही है

आर्थिक रहस्य का समाधान

• हाल के समय में trade disputes, political uncertainty, और bureaucratic risk जैसे जोखिमों के बावजूद यह एक पहेली थी कि recession की आशंका अपेक्षाकृत कम क्यों दिख रही है
• इसका कारण यह है कि private sector-led AI data center investment के रूप में एक बड़े पैमाने का "private stimulus" चल रहा है
• यह पहले ही dot-com bubble काल के telecom investment peak को पार कर चुका है और 19वीं सदी के railroad investment peak के क़रीब पहुँच रहा है
• उलटी गणना के अनुसार, अगर AI data center investment न होता तो 2025 की पहली तिमाही में अमेरिकी GDP growth –2.1% तक गिर सकती थी
• नतीजतन AI capital expenditure आर्थिक गिरावट की भरपाई कर रहा है, जबकि वास्तव में यह अर्थव्यवस्था की कमज़ोरियों को भी छिपा रहा है

निष्कर्ष

• कम समय में AI और data center पर निवेश का यह विस्फोट आर्थिक इतिहास में भी दुर्लभ और असाधारण क्षण है
• AI और data center की explosive growth के पक्ष या विपक्ष से अलग, तकनीकी प्रगति और पूंजी निवेश की रफ़्तार असामान्य रूप से तेज़ है
• AI data centers railroad या roads जैसी ऐसी infrastructure नहीं हैं जो दशकों या सदियों तक टिकें; उनकी short lifespan और rapid depreciation प्रमुख विशेषताएँ हैं
• इस तरह छोटे तकनीकी चक्र के अनुरूप बड़े निवेश के साथ-साथ दूसरे उद्योगों में investment slowdown, mass layoffs, और non-AI sectors की growth slowdown भी साथ चल रही है
• पूंजी अभी venture funding और internal budgets से निकलकर तेज़ी से IT-केंद्रित क्षेत्रों में दोबारा बाँटी जा रही है, और इसका असर कुछ क्षेत्रों में long-term investment depletion तथा large-scale restructuring के रूप में दिख रहा है
• विडंबना यह है कि AI का व्यापक वास्तविक उपयोग अभी शुरू भी नहीं हुआ, फिर भी job losses और industrial restructuring तेज़ी से आगे बढ़ रहे हैं

Rougher Notes

• University of California ने hedge fund investments से पूरी तरह बाहर निकलते हुए कड़ी आलोचना की है
• Jane Street की India trading probe जारी है
• एक Nazi officer द्वारा लूटी गई mosaic artwork को Pompeii लौटाया गया
• erythritol sweetener मस्तिष्क कोशिकाओं को प्रभावित कर सकता है और stroke risk बढ़ा सकता है
• culture critics के लुप्तप्राय होने का जोखिम बताया गया है
• मानव मस्तिष्क के आकार में वृद्धि ने प्रारंभिक मानवों के विलुप्ति जोखिम को कैसे प्रभावित किया, इस पर अध्ययन किया गया है
• वैश्विक अर्थव्यवस्था की resilience के धीरे-धीरे कमज़ोर होने की चिंता उठाई गई है
• KKR का 2025 mid-year outlook जारी हुआ, जिसमें "अपनी किस्मत खुद बनानी पड़ती है" संदेश पर ज़ोर है
• robot metabolism: दूसरी मशीनों को consume करके बढ़ने वाली मशीनों पर शोध
• अमेरिका में whey protein boom से dairy industry बदल रही है
• Waymo के पूर्व engineers ने construction automation robot startup शुरू किया है
• चीनी drugmakers अमेरिकी Big Pharma को तेज़ी से पकड़ रहे हैं

[youknowone]

कमेंट का सार देखकर लगता है कि अभी 2% को ज़्यादा नहीं माना जा रहा, लेकिन अगर यह इसी रफ़्तार से बढ़ता रहा तो 2026 में यह कितना होगा, इस पर भी सोचना चाहिए। अगर AGI बहुत निकट भविष्य में संभव नहीं है, तो 2026, शायद 2027 तक भी, आशावादियों और निराशावादियों के बीच टकराव की वजह से सच में काफी भ्रम की स्थिति रह सकती है।

[GN⁺]

Hacker News राय

• लगता है शी जिनपिंग की टिप्पणी FT की बढ़ा-चढ़ाकर लिखी गई रिपोर्टिंग से आई है। मूल चीनी लेख का स्वर कहीं अधिक संयमित है। AI और EV बैठक या रिपोर्ट के मुख्य विषय नहीं थे, बस उनका उल्लेख किया गया था। शी जिनपिंग की चेतावनी वास्तव में AI और EV उद्योगों में फिर से दिख रही “राजनीतिक उपलब्धि की प्रतिस्पर्धा” को लेकर थी। जब केंद्र सरकार औद्योगिक नीति के लक्ष्य तय करती है, तो स्थानीय सरकारें कंपनियों से मिलकर दिखावटी “प्रोजेक्ट” चलाती हैं, और अंत में ज़्यादातर मामलों में बस फैक्ट्रियाँ बनती हैं और काम रुक जाता है। यह पहले से ही केंद्र सरकार के लिए बड़ी सिरदर्दी रही है, और शी जिनपिंग की मुख्य चेतावनी यही थी कि AI और EV क्षेत्र में भी वही समस्या मौजूद है। मूल लेख: https://paper.people.com.cn/rmrb/pc/content/202507/17/content_30088242.html

• GDP का 1.2% इतना चरम नहीं लगता। दूसरे transformative projects से तुलना करें तो यह काफी कम है। उदाहरण के लिए Apollo program 4%, रेलमार्ग 6%, COVID प्रोत्साहन पैकेज 27%, और द्वितीय विश्व युद्ध के रक्षा खर्च 40% तक गए थे

  • मेरी शुरुआती प्रतिक्रिया भी ऐसी ही थी। 1.2% बहुत ज़्यादा नहीं लगता। बस मीडिया ने सनसनीखेज headline बना दी है। अगर इसे पानी और ऊर्जा खपत जैसे आँकड़ों में देखें तो शायद ज़्यादा चिंता हो। थोड़ा विषयांतर है, लेकिन अमेरिकी GDP का लगभग 9% financial services से आता है, और व्यक्तिगत रूप से मुझे वह ज़्यादा चिंताजनक आँकड़ा लगता है

  • कुल GDP के अनुपात में यह छोटा लगता है, लेकिन हमारी GDP खुद ही बहुत बड़ी है। यह 1.2% की रकम भी नॉर्वे की पूरी GDP के बराबर है। मामूली लग सकती है, लेकिन इस साल के 3.4% सैन्य खर्च से तुलना करें तो भी यह बहुत बड़ी राशि है

  • मेरा मानना है कि अभी सिर्फ संख्या नहीं, बल्कि बदलाव की दिशा, ट्रेंड और उसकी ढलान के मतलब पर ध्यान देना चाहिए। पूंजी कई क्षेत्रों से AI की ओर जा रही है, और assets की उम्र भी अलग है (रेलमार्ग दशकों या सदियों तक, AI शायद कुछ साल ही चले, वगैरह)। लेखक की यह बात भी है कि “अगर AI data center निवेश नहीं होता, तो पहली तिमाही में GDP गिरावट –2.1% तक जाती”

  • इसे शुरू हुए अभी सिर्फ 2 साल ही हुए हैं! 1.2% भी बहुत बड़ा आँकड़ा है। सिर्फ इसकी तुलना हो पाना ही चौंकाने वाला है

  • लेख का असली सवाल यह है कि क्या इतना विशाल निवेश उचित ठहराया जा सकता है। सिर्फ यह कहकर जवाब देना कि यह GDP का कुछ प्रतिशत ही है, मुद्दे के मूल से बचना है

• रेलमार्ग ने पूंजी को पूरे समाज में फैलाया और लंबे समय में बहुतों की समृद्धि बढ़ाई। लेकिन AI से पूंजी मौजूदा अमीरों के पास और केंद्रित हो सकती है, और इससे लंबे समय में middle class की संपत्ति घट सकती है। अगर आबादी की purchasing power घटती है, तो वह आर्थिक वृद्धि में मदद नहीं करेगी, इसलिए इस AI निवेश उछाल पर सवाल हैं

  • मुझे “रेलमार्ग ने पूंजी फैलायी” वाली बात पर संदेह है। पुराने समय में रेलमार्ग भी Vanderbilt जैसे बड़े monopolies थे। सरकार को antitrust नियम लाने पड़े थे क्योंकि price-fixing और किसानों पर ढुलाई शुल्क बढ़ाना आम था। “AI पूंजी के केंद्रीकरण को बढ़ाता है” यह सही है, लेकिन सच यह है कि हर capital-intensive industry ऐसा करती है। सिर्फ AI को अलग से निशाना बनाने की वजह नहीं है, और AI कोई natural monopoly भी नहीं है; इसमें प्रतिस्पर्धा संभव है

• उम्मीद है कि जब AI और data centers का bandwagon खत्म होगा, तो उस capacity को कुछ ज़्यादा उपयोगी कामों में लगाया जा सकेगा, जैसे नई दवाओं की खोज

  • 1990s के dot-com boom में भी बेधड़क ज़रूरत से ज़्यादा fiber optic networks बिछाए गए थे, और dot-com bubble फूटने के बाद ये assets कौड़ियों के दाम बिके, जिससे नई startups ने सस्ते में nationwide networks खड़े किए। इस तरह के bubbles के “अवशेष” अगली पीढ़ी की कंपनियों के लिए सस्ता ईंधन बनते रहे हैं। data centers भी शायद यही पैटर्न अपनाएँगे; भले अभी यह overbuild लगे, बाद में इसका कोई न कोई नया उपयोग ज़रूर निकलेगा

  • इस hype को लेकर, मुझे समझ नहीं आता कि इतने लोग क्यों इस बात पर अटके हुए हैं कि AI developers और दूसरे white-collar jobs को 100% replace कर देगा। यह अजीब तरह की प्रलयकारी और nihilistic fantasy लगती है, और मैं इस तरह की hype से सहमत नहीं हूँ। सोचता हूँ क्या सिर्फ मैं ही ऐसा महसूस करता हूँ

  • वैश्विक स्तर पर अभी मौजूदा LLM (large language model) क्षमताएँ भी पूरी तरह adopt नहीं हुई हैं। अगर हम इसी स्तर से आगे और ज़्यादा intelligent systems न भी बना पाएँ, तब भी आने वाले कई वर्षों तक अलग-अलग industries में repetitive work का automation चलता रह सकता है

  • मुझे हैरानी होती है कि यहाँ बार-बार ऐसे लोग मिल जाते हैं जो AI और उसकी supposedly unstoppable progress को हल्के में लेते हैं। सिर्फ शतरंज, Go, strategy games, protein structure prediction जैसे पहले से हुए उदाहरणों को देखें तो साफ है कि लगभग हर ऐसा problem जिसे formalize और verify किया जा सकता है, अंततः AI हल कर सकता है। domain-specific ASI (artificial superintelligence) भी मुझे सिर्फ समय का सवाल लगता है। मैं सबको The Bitter Lesson और Verifier’s Law पढ़ने की ज़ोरदार सलाह देता हूँ

  • हम ऐसा नहीं कर पाएँगे। आखिरकार benchmark पूरे करने के लिए engineers की छँटनी होगी और बचा हुआ equipment भी हटा दिया जाएगा

• काश नई data centers को अनिवार्य रूप से renewable energy पर ही बनाया जाए। कुल लागत के मुकाबले अतिरिक्त लागत इतनी भी बड़ी नहीं होगी, और इस स्तर की बड़ी कंपनियाँ उसे आराम से वहन कर सकती हैं। शायद ऐसी नीति next-generation small modular reactors की प्रगति को भी आगे बढ़ाए

  • कई बड़ी कंपनियाँ पहले से ही data center power source के रूप में छोटे nuclear technologies में रुचि रखती हैं। सबसे बड़ी समस्या ऐसे facilities को चलाने लायक grid capacity के siting की है। अगर आप इस क्षेत्र के किसी व्यक्ति से 30 मिनट भी बात करें, तो आखिर में मुख्य विषय nuclear ही निकलता है। अगर निवेश की यह लहर काफ़ी समय तक बनी रही, और ज़मीन पर सच में uranium reactors लग गए, तो यह एक बड़ा सकारात्मक side effect होगा। उम्मीद है कि रेलमार्ग और fiber optic की तरह कुछ बची हुई physical infrastructure भी रह जाएगी। पुराने “robber barons” कम से कम tangible infrastructure तो छोड़ जाते थे, जबकि हाल के booms ने लगभग कुछ नहीं छोड़ा

  • यूरोप में तो पहले से ही सभी नए data centers पर renewable energy की अनिवार्यता है। अमेरिका में भी Google, Microsoft, Meta, AWS दुनिया भर में renewable energy के सबसे बड़े purchase agreements कर रहे हैं। सिर्फ MS ने ही लगभग 20 billion dollars निवेश किए हैं। अमेरिका में समस्या demand की कमी नहीं, बल्कि permitting, zoning जैसी बाधाएँ हैं, जिनकी वजह से renewable installation bottleneck में फँसी हुई है। सिर्फ grid में जुड़ने की प्रतीक्षा कर रही capacity ही 100GW है, जो अमेरिकी कुल बिजली का लगभग 10% है। ज़्यादा ऑर्डर देने से यह लंबा bottleneck अपने-आप हल नहीं होता। अपवाद के तौर पर xAI/Grok जैसी जगहें बड़ी clusters को 100% gas पर चला रही हैं। बिजली और cooling, दोनों की हालत खराब होने वाले इलाकों में 35 trailer gas turbines और लगभग 50 refrigerated trucks लगाए गए हैं। मुझे यह बेहद अक्षम और पर्यावरण के लिए बहुत हानिकारक लगता है, और ऐसे systems को गैरकानूनी होना चाहिए

  • अमेरिका में बिना अनिवार्यता के भी बाज़ार पहले से बदल रहा है। 2024 में नई power generation capacity का 94% और 2025 में 93% renewable energy या battery storage है, और आगे भी ऐसा ही ट्रेंड दिख रहा है। नए fossil fuel plants में सिर्फ थोड़ा natural gas जुड़ रहा है, और वह भी अक्सर पुराने coal plants के conversion के रूप में। natural gas capacity expansion की नई योजनाएँ भी shale boom के बाद सबसे निचले स्तर पर हैं। renewable energy पहले ही जीत चुकी है

  • data centers महँगे assets को idle होने से बचाने के लिए firm power पसंद करते हैं। solar और wind intermittent हैं। नए gas plants कई साल की planning लेते हैं। सर्दियों की solar कमी को ध्यान में रखकर 12 घंटे से अधिक battery storage जुटाना भी पूरी तरह मुफ़्त नहीं है

  • hardware खुद भी recyclable हो तो अच्छा होगा

• यह कहना कि AI CapEx पर खर्च हुआ बहुत-सा पैसा दूसरे industries से निकलकर आया है, इसलिए वहाँ investment घटने से वे “भूखे” रह जाते हैं, और साथ ही यह दावा करना कि यही पैसा कुल GDP में multiply भी होता है, तर्कसंगत नहीं है। अगर पैसा बस इधर-उधर शिफ्ट हुआ है, तो multiplier effect दोनों तरफ समान रूप से लागू होना चाहिए

  • इसलिए लेख का शीर्षक है “Honey, AI Capex is Eating the Economy.”

• लेख का मुख्य तर्क इस धारणा पर आधारित है कि अर्थव्यवस्था zero-sum है। लेकिन अर्थव्यवस्था साफ़ तौर पर zero-sum नहीं है। AI में निवेश का बढ़ना यह नहीं दिखाता कि वही पैसा आसानी से दूसरे sectors में तुरंत लगाया जा सकता था। अभी AI में निवेश इसलिए हो रहा है क्योंकि उससे मूल्य पैदा होने की उम्मीद है। व्यक्तिगत रूप से मुझे लगता है कि वह मूल्य रेलमार्ग से कहीं ज़्यादा हो सकता है। कुछ hardware segments या कुछ regions में bubble/overinvestment हो सकता है, लेकिन अभी तो स्थिति लेखक के बताए “ढहने के कगार” जैसी नहीं लगती

  • अर्थव्यवस्था हमेशा जटिल तरीके से काम करती है, इसलिए बहुत ज़्यादा आशावादी नज़रिए से भी नहीं देखना चाहिए। लेखक की बात सही है कि short term में AI निवेश के लिए दूसरे क्षेत्रों का निवेश कम हो रहा है

  • भले बड़े पैमाने का निवेश excess साबित हो, फिर भी लंबे समय में उसके उपयोगी हो जाने की संभावना काफ़ी होती है। शुरू में pets.com के लिए internet infrastructure ज़रूरत से ज़्यादा बिछाया गया था, लेकिन बाद में Amazon, YouTube, Zoom जैसे असली “killer apps” आए और उस समय की गलत-सी लगने वाली investment भविष्य के समाज की बुनियाद बन गई। मौजूदा AI निवेश भी इसी तरह ऐतिहासिक महत्व पा सकता है। इस संदर्भ में Carlota Perez की Technological Revolutions and Financial Capital की सिफारिश करता हूँ

• इसलिए transistor progress, यानी Moore’s Law, अगले 10 साल और चल सकती है। इसी ने smartphone growth phase (2008~2023) को आगे बढ़ाया, और अभी का निवेश भी अगले 2~3 साल के semiconductor production (2nm, A20, उसके बाद A18/14) के लिए जा रहा है। 2030~2032 तक A10, A8 के लिए momentum काफ़ी हद तक सुनिश्चित हो सकता है। गति धीमी भी पड़े तो 2035 तक इसे खींचा जा सकता है। अगर 2035 तक A5 पहुँच भी जाएँ, तो भी वह लगभग 12x density increase होगा। packaging, chiplets, interconnect improvements आदि जोड़ लें तब भी शायद 30~40x तक ही पहुँचेगा। कई AI कंपनियों की माँग के 1000~10000x compute के लिए यह अभी भी बहुत कम है। memory bandwidth scaling भी उसी अनुपात में साथ चलनी होगी

• automation का paradoxical पहलू यह है कि वह अर्थव्यवस्था को बड़ा करने के बजाय कुछ industries को खत्म भी कर सकता है। वस्तुएँ अधिक हो सकती हैं, लेकिन अगर वे सामाजिक हैसियत नहीं बढ़ातीं, तो उनकी value घट जाती है। कभी एक कील अर्थव्यवस्था का 0.5% थी, लेकिन आज कील फैक्ट्री का मालिक low-margin व्यवसाय में है और उसका सामाजिक रुतबा भी नहीं है। उसी तरह, अगर software frontend development automate हो गया, तो उसका आर्थिक और सामाजिक महत्व दोनों घटेंगे। social status आखिरकार zero-sum होता है, इसलिए लोग उसे कहीं और खोजने लगते हैं

  • आपने “automation अर्थव्यवस्था के हिस्से मिटा देता है” वाली बात कही, लेकिन मैं इसे उल्टा देखता हूँ: नई capabilities दबे हुए demand को जगाती हैं और कुल pie को बड़ा करती हैं। इच्छाओं की कोई सीमा नहीं होती, और AI automation भी शायद उस demand को पूरी तरह पकड़ न पाए

• मैं उस दिन का इंतज़ार कर रहा हूँ जब FPGA पर reconfigurable computing को optimize करके LLM compute cost 90% से ज़्यादा घटाने का तरीका निकले

  • काश इस क्षेत्र में theoretical computer science (theoretical CS) पर और शोध हो। अगर हम यह मानें कि हर machine learning technique आखिरकार एक तरह की “compression” technique है, तो given parameter size में encode की जा सकने वाली जानकारी की मात्रा, information loss और performance का संबंध, और raw dataset की information content जानकर LLM का minimum size भी estimate किया जा सकता है। मुझे LLMs का आकार बहुत बड़ा लगता है, लेकिन साथ ही जिस data को वे समेटना चाहते हैं वह इतना विशाल है कि शायद उन्हें वास्तव में बड़ा होना ही पड़ता है। loose compression ही अगर LLM की “generalization” का सिद्धांत है, तो जानकारी को पर्याप्त रूप से समेटने के लिए बहुत बड़ी capacity चाहिए

  • मैं जानना चाहता हूँ कि वह performance gain आएगा कहाँ से। hardware पहले ही GEMM (general matrix-matrix multiplication) को जितना संभव हो उतनी तेज़ी से चला रहा है

  • मेरे आसपास chip industry के लोग अक्सर शिकायत करते हैं कि Qualcom के पास FPGA से जुड़े बहुत सारे patents हैं, इसलिए meaningful FPGA innovation वास्तव में रुक जाती है

  • इंतज़ार करने की ज़रूरत नहीं। FPGA इस तरह की architecture के लिए बना ही नहीं है। power efficiency अच्छी हो सकती है, लेकिन placement और routing overhead, सीमित memory (बाज़ार के ज़्यादातर FPGA में HBM नहीं है), धीमी clock, और असुविधाजनक development experience की वजह से यह main solution बनना मुश्किल है

  • ASIC पहले से आ चुके हैं। उदाहरण के लिए Google TPU देखें, उससे cost का अंदाज़ा मिल सकता है। HBM (high-bandwidth memory) खुद भी बहुत महँगी है