- हर AI query पर energy use मामूली लग सकता है, लेकिन दुनिया भर में अरबों requests जुड़कर energy grid पर वास्तविक प्रभाव डालने वाले स्तर तक पहुंच जाते हैं
- प्रमुख AI कंपनियां कई खरब won के data center और power infrastructure निवेश को तेज़ कर रही हैं, और कुछ nuclear power plant निर्माण तक की योजना बना रही हैं
- AI query की energy consumption model के size और complexity के अनुसार सैकड़ों गुना से अधिक अलग हो सकती है, और closed model के मामले में सटीक consumption लगभग ज्ञात ही नहीं है
- AI द्वारा इस्तेमाल की जाने वाली बिजली का अधिकांश हिस्सा fossil fuel आधारित grid पर निर्भर है, जिसके कारण carbon emission intensity औसत से 48% अधिक है
- अगर आगे भी AI का उपयोग लगातार बढ़ता रहा, तो 2028 तक अमेरिका के data center power का आधे से अधिक हिस्सा AI में इस्तेमाल होने का अनुमान है
Making the Model: AI मॉडल प्रशिक्षण की शुरुआत
- AI मॉडल कई महीनों तक data center में दर्जनों gigawatt-hour बिजली खर्च करके train किए जाते हैं
- सिर्फ GPT-4 के training के लिए 50 million dollar से अधिक और 50GWh बिजली की जरूरत थी, जो पूरे San Francisco को 3 दिन तक चलाने लायक है
- inference, कुल AI power use का 80~90% हिस्सा लेता है, और GPU-केंद्रित data center की भूमिका इसमें अहम है
- NVIDIA का H100 GPU, AI inference workloads का केंद्र है, और यह हजारों units वाले connected cluster के रूप में काम करता है
A Query: एक सवाल कितनी energy खर्च करता है
- एक ही AI मॉडल में भी सवाल के प्रकार, location और समय के अनुसार energy use और carbon emissions में बहुत बड़ा अंतर होता है
- Llama 3.1 8B model औसतन 114 joule (J) खर्च करता है, जबकि Llama 3.1 405B 6,706 joule खर्च करता है
- Stable Diffusion 3 Medium से एक image generate करने पर 2,282 joule खर्च होते हैं, और high-resolution image या video के मामले में यह लाखों तक पहुंच सकता है
- video generation, image की तुलना में 700 गुना से अधिक energy इस्तेमाल करता है; आगे AI video generation के आम होने पर power consumption में तेज़ उछाल संभव है
Fuel and Emissions: AI की बिजली आती कहां से है
- AI data center को solar·wind जैसी intermittent energy पर चलाना कठिन है, इसलिए वे औसतन ज़्यादा carbon-intensive बिजली इस्तेमाल करते हैं
- उदाहरण: 2024 में अमेरिका की कुल बिजली में 60% fossil fuel, 20% nuclear, और बाकी 20% renewable energy थी
- California और West Virginia की तरह इलाकों के बीच carbon emissions में लगभग 2 गुना अंतर मौजूद है
- आगे Meta, Google, Amazon आदि ने nuclear power plant विस्तार के लिए संयुक्त निवेश की घोषणा की है, लेकिन पूरा होने में कई दशक लगेंगे
AI around the corner: AI के mass adoption और बढ़ती energy demand
- ChatGPT इस समय दुनिया की 5वीं सबसे अधिक visit की जाने वाली site है, जहां रोज़ 1 billion से अधिक queries होती हैं
- अनुमान के मुताबिक, हर GPT query पर 1,080 joule energy खर्च होती है; सालाना 1,090GWh = अमेरिका के 10,400 घरों को 1 साल तक चलाने जितनी बिजली
- image और video को शामिल करने पर सालाना 35GWh से अधिक अतिरिक्त जुड़ता है; और AI agent, voice mode, video recognition आधारित AI के व्यापक होने पर यह और बढ़ने की संभावना है
- AI के खुद काम करने और user data से personalize होने वाले future में, सिर्फ single-query आधार पर energy demand का अनुमान लगाना संभव नहीं रहेगा
The Future Ahead: 2028 तक energy demand का अनुमान
- अमेरिका में AI के लिए data center ने 2024 में 76TWh उपयोग किया, जो 72 लाख घरों के बराबर है
- 2028 तक 165~326TWh उपयोग का अनुमान है, जो अमेरिका के कुल घरों की 22% बिजली खपत के बराबर है
- यह 300 billion mile ड्राइविंग से होने वाले carbon emissions के बराबर है, और data center की power share 4.4% → 12% तक तीन गुना बढ़ने का अनुमान है
- SoftBank, OpenAI आदि 500 trillion won स्तर के data center और power infrastructure निवेश के साथ दुनिया भर में football field आकार की infrastructure बना रहे हैं
Transparency Gap: आंकड़ों की कमी और नागरिकों पर बोझ
- ज़्यादातर AI कंपनियां model inference के दौरान energy consumption public नहीं करतीं, जिससे सार्वजनिक स्तर पर पूर्वानुमान की कमी पैदा होती है
- अमेरिका की government energy agency (EIA) भी AI को अलग industry category के रूप में नहीं मानती, इसलिए आंकड़े अपर्याप्त हैं
- Virginia राज्य की एक report के अनुसार, data center energy cost के कारण आम घरों के monthly electricity bill में 37.5 dollar तक बढ़ोतरी संभव है
- AI infrastructure की लागत आखिरकार नागरिकों पर डाली जा सकती है, और इस पर सामाजिक चर्चा की ज़रूरत है
2 टिप्पणियां
सच में, Google Gemini का अपने ही TPU पर चलना अब काफी प्रभावशाली लग रहा है...
Hacker News राय
http://archive.today/mnHb8 लिंक साझा
Meta, Amazon, Google जैसी टेक कंपनियों द्वारा fossil fuel समस्या से निपटने के लिए nuclear power के उपयोग का लक्ष्य घोषित करने की खबर का उल्लेख, और यह समझाया गया कि तीनों कंपनियां 2025 तक वैश्विक nuclear power क्षमता को तीन गुना करने की प्रतिज्ञा में शामिल हैं, लेकिन कल के लेख के हिसाब से यह तारीख कुछ अजीब लगती है; वास्तव में लक्ष्य 2050 है। लेख में इस तरह की अजीब बातें और 'विशेषज्ञ' स्रोतों के अति-उपयोग के बावजूद, किसी ने कम-से-कम इस मुद्दे को संख्यात्मक रूप देने की कोशिश की, इसे सकारात्मक माना गया
इस लेख की सबसे अजीब बात यह है कि big tech कंपनियां ऐसे डेटा को सार्वजनिक करने से इनकार करती हैं। विशेषज्ञों को अनुमान लगाने के लिए छोड़ना ठीक नहीं; दुनिया भर को प्रभावित करने वाले फैसलों पर समाज को जानकारी तक पहुंच होनी चाहिए
यह जिज्ञासा व्यक्त की गई कि ऐसी अजीब बात सिर्फ typo है, या वास्तव में कुछ गड़बड़ है
पुराने Usenet दौर की याद, जब पोस्ट करते समय हमेशा यह चेतावनी जुड़ी होती थी: "यह प्रोग्राम दुनिया भर के हजारों कंप्यूटरों तक समाचार भेजता है। आपकी पोस्ट नेटवर्क पर सैकड़ों या हजारों डॉलर का खर्च पैदा करती है। कृपया ध्यान से सोचें कि क्या आप सचमुच इसे पोस्ट करना चाहते हैं"। कल्पना की गई कि शायद आज के LLM clients में भी ऐसी चेतावनी होनी चाहिए, जो हर request पर बनने वाले atmospheric carbon का अनुमान दिखाए
कुछ देशों में 'rolling coal' (गाड़ियों से जानबूझकर ज्यादा धुआं निकालने) की संस्कृति होती है; ऐसी चेतावनी उल्टा असर भी डाल सकती है, इस पर चिंता जताई गई
कहा गया कि उद्धृत चेतावनी खुद ही उलटा संदेश देती है; शायद ऐसे संदेश इसलिए गायब हो गए क्योंकि लागत बहुत कम हो गई थी। AI के साथ भी कुछ ऐसा हो सकता है
ईमेल प्रिंट करने से पहले पर्यावरणीय प्रभाव पर सोचने को कहने वाले बड़े footer संदेश की याद दिलाई गई; अनुभव साझा किया गया कि असल में उससे बेवजह एक अतिरिक्त पेज छप जाता था
यह चेतावनी संदेश दिलचस्प लगा; वास्तविक लागत संदेश की नहीं, बल्कि उसे भेजने वाले कंप्यूटरों की थी। और जैसे-जैसे ज्यादा संदेश भेजे जाते हैं, प्रति इकाई लागत कम होती जाती है
यह जोर दिया गया कि जब तक हर चीज़ पर ऐसी चेतावनी नहीं लगती, तब तक सिर्फ AI तकनीक को ऊर्जा उपयोग के लिए निशाना बनाना अनुचित है
विचार रखा गया कि असली मुद्दा emissions की लागत को बिजली की कीमत में शामिल करना है; अलग-अलग उपयोगकर्ताओं की व्यक्तिगत चिंता मुख्य बात से भटकाती है। परिवहन, हीटिंग और उद्योग सबके electrify होने पर मांग वैसे भी बहुत बढ़ेगी, इसलिए बिजली का तेज़ decarbonization जरूरी है
सहमति जताई गई, लेकिन यह भी कहा गया कि खपत घटाना या efficiency सुधारना भी energy transition का महत्वपूर्ण हिस्सा है; जो उपयोग ही न हो, उसे पैदा करने की जरूरत नहीं पड़ती
कहा गया कि ऐसी लागत को शामिल करने से पहले समाज को इस पर सहमत होना होगा कि emissions की लागत आखिर है क्या। व्यावहारिक रूप से, बिजली को बहुत अधिक उपलब्ध और अधिक efficient बनाना शायद आसान रास्ता है; समाज को बदलना आसान नहीं
राय दी गई कि "DeepSeek के 600 billion parameters हैं, लेकिन वास्तव में mixture-of-experts संरचना की वजह से हर token पर लगभग 12.5% ही उपयोग होता है (अगर याद सही हो)"—अगर यह स्पष्ट न किया जाए तो लेख की विश्वसनीयता घटती है। टेक्स्ट की ऊर्जा खपत पर सबसे भरोसेमंद विश्लेषण के रूप में epoch.ai लिंक साझा किया गया: सामान्य सवाल-जवाब में औसतन 0.3Wh से लेकर अधिकतम context पर 40Wh तक खर्च हो सकता है। ज्यादातर उपयोग इससे काफी कम होता है, इसलिए टेक्स्ट उपयोग की ऊर्जा लागत उसके लाभ की तुलना में छोटी है। दूसरी ओर, video generation बहुत ज्यादा ऊर्जा खर्च करती है। LLM-आधारित code generation के लिए भी ऐसे आंकड़े देखने की इच्छा जताई गई
कहा गया कि इस थ्रेड में भारी ऊर्जा खपत को सही ठहराने वाली टिप्पणियों की संख्या, और यह तथ्य कि अभी यह तकनीक बड़े पैमाने पर बेहद बेकार चीज़ों (text/visual spam) में इस्तेमाल हो रही है, crypto दौर की ऊर्जा बहस से आश्चर्यजनक रूप से अलग है। यह भी माहौल महसूस हुआ कि big tech कंपनियां बड़े नियोक्ता हैं, इसलिए इसे ज्यादा बर्दाश्त किया जा रहा है
कहा गया कि AI में कम-से-कम सैद्धांतिक लाभ तो हैं, जबकि crypto डिजाइन के स्तर पर ही अपव्ययी है। लेकिन AI का वास्तविक cost-benefit ढांचा भी अभी स्पष्ट नहीं है
कहा गया कि Bitcoin की कीमत बढ़ने पर उसकी ऊर्जा खपत भी बढ़ती है, जबकि LLM inference की लागत तेजी से घट रही है (संदर्भ लिंक)। Apple और Google जैसी कंपनियां अपने data center और on-device AI दोनों की ओर बढ़ रही हैं। साथ ही, और महंगे algorithms भी लगातार विकसित हो रहे हैं। यह भी संभव है कि ज्यादातर उपयोग इतना सस्ता हो जाए कि वह laptop और phone जैसे battery-limited devices पर भी आसानी से चल सके
crypto boom से यह समानता दिलचस्प लगी; एक बार ऐसी लहर शुरू हो जाए तो उसे उलटना मानव स्वभाव के कारण आसान नहीं होता
किसी ने याद साझा की कि पहले HN पर crypto को लेकर माहौल आज जितना नकारात्मक नहीं था
crypto की ऊर्जा खपत, खासकर Bitcoin PoW, सचमुच बर्बादी है—इस तरह का मज़ाक किया गया
यह विडंबना बताई गई कि इस पेज को पढ़ते समय CPU पूरी तरह व्यस्त है, जबकि संदिग्ध JavaScript के कारण पेज वास्तव में कुछ खास कर ही नहीं रहा
इच्छा जताई गई कि browser हर पेज के CPU उपयोग पर कड़ी सीमा लगाए, और अतिरिक्त CPU संसाधन चाहिए होने पर camera permissions की तरह साफ़ अनुमति मांगे
किसी ने कहा कि दोपहर के खाने से पहले यह लेख पढ़कर वही विचार आया था, और tabdouse पर एक ब्लॉग पोस्ट साझा की; cgroups जैसी तरकीबों का जिक्र किया गया, लेकिन उन्हें पूरी तरह संतोषजनक नहीं बताया गया
कहा गया कि अभी AI कुछ-कुछ कंप्यूटरों के शुरुआती 'mainframe' युग जैसा है: कमरे भर की मशीनें, बहुत ज्यादा बिजली, और फिर भी आज के smartphone से कम क्षमता। आगे model efficiency और hardware specialization तेजी से बढ़ने की उम्मीद जताई गई। AI-specific chips के जरिए local inference अधिकांश कामों की ऊर्जा खपत बहुत घटा सकता है, जिससे बड़े compute resources को जटिल वैज्ञानिक समस्याओं पर केंद्रित किया जा सके—इसे सार्थक माना गया
जवाब में कहा गया कि CPU विकास की exponential curve का अक्सर हवाला दिया जाता है, लेकिन असल में वह लगभग किसी और क्षेत्र पर लागू नहीं होती। semiconductors बहुत विशेष और भाग्यशाली परिस्थितियों की वजह से तेज़ी से बढ़ सके; battery, nuclear fusion, quantum computing आदि के साथ ऐसा नहीं हुआ। semiconductor दुनिया में low-hanging fruit काफी हद तक खत्म हो चुके हैं, इसलिए AI efficiency भी इतनी तेजी से बढ़ेगी, इसकी संभावना कम है। आने वाले दशकों में धीमी, क्रमिक प्रगति ज्यादा यथार्थवादी लगती है; अरबों parameters और खरबों computations की जरूरत अचानक गायब हो जाने वाली नहीं। शायद photonic computing में कुछ संभावना हो?
किसी ने कहा कि "AI-specific chips" वाली बात उन्हें ठीक से समझ नहीं आती। LLM तो मूलतः GPU के हिसाब से बना हुआ approach है; hardware पहले से मौजूद है। समस्या यह है कि GPU लगातार बड़े, ज्यादा गर्म और ज्यादा बिजली खाने वाले होते जा रहे हैं। अगर GPU से बेहतर कुछ होता तो अब तक शिफ्ट हो चुके होते; अगर CPU पर लौटकर efficiency मिल सकती, तो वह बदलाव पहले ही आ गया होता
किसी ने आश्चर्य जताया कि उनका पुराना laptop (7 साल पुराना) भी छोटा Gemma model काफी आसानी से चला लेता है। उन्होंने कल्पना की कि कुछ काम सिर्फ LLM को देकर और बाकी पारंपरिक programs से करवाकर efficiency बढ़ाई जा सकती है
कहा गया कि AI की ऊर्जा खपत पर अब तक पढ़े गए लेखों में यह सबसे अच्छा था, और यह बात खास लगी कि big tech सामाजिक निर्णयों के लिए जरूरी डेटा देने से हिचकती है। इस विषय को गहराई से खंगालने वाली Data Vampires podcast series की सिफारिश की गई
लेख में यह बात रोचक लगी कि 2017 में AI अपनाने के बाद data centers को energy-intensive hardware के साथ बनाया गया और 2023 तक उनकी बिजली खपत दोगुनी हो गई। लेकिन वास्तव में generative AI का उभार नवंबर 2022 में ChatGPT आने के बाद तेज़ हुआ, इसलिए 2017 से 2022 तक AI की ज्यादातर वृद्धि शायद generative AI नहीं थी
जवाब में कहा गया कि 2017 AlphaGo द्वारा Lee Sedol को हराने के अगले साल का समय था, और उसी साल 'attention is all you need' पेपर भी आया था; उद्योग जगत में संकेत पहले से मौजूद थे। OpenAI ने बस 2022 में market fit ठीक से पकड़ लिया; ऐसा नहीं था कि उद्योग बिना दिशा के भटक रहा था
उसी दौर से machine learning में GPU का उपयोग गंभीरता से शुरू हुआ
कहा गया कि Meta पहले से ही search, recommendation, graph आदि अपने लगभग हर service क्षेत्र में AI को आक्रामक रूप से इस्तेमाल कर रही थी। इसी वजह से LLM boom से पहले ही उसके पास दसियों हजार से लेकर लाखों तक GPUs तैयार थे, और उसी आधार पर वह Llama जैसे बड़े projects आगे बढ़ाने की मजबूत स्थिति में थी