AI शोधकर्ताओं की ऊर्जा बचाने की तरकीब: पीछे लौटने वाले तरीके की ओर वापसी

 (quantamagazine.org)
4 पॉइंट द्वारा GN⁺ 2025-06-05 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • रिवाइंडिंग (reversible) computing एक सैद्धांतिक तरीका है, जिसमें गणना को उल्टी दिशा में चलाकर डेटा हटाए बिना ऊर्जा बचाई जा सकती है, और AI की ऊर्जा खपत की समस्या के समाधान के विकल्प के रूप में इस पर ध्यान दिया जा रहा है
  • मौजूदा कंप्यूटरों में जानकारी हटाते समय अनिवार्य रूप से ऊष्मा (ऊर्जा) निकलती है, और भौतिक सीमा (Landauer principle) के कारण इससे बचा नहीं जा सकता
  • Uncomputation की अवधारणा में केवल गणना का परिणाम रखा जाता है और बाकी को गणना को उल्टा चलाकर बिना जानकारी खोए संभाला जाता है, लेकिन गति और मेमोरी लागत जैसी व्यावहारिक सीमाएँ मौजूद हैं
  • हाल में यह अनुभवजन्य रूप से सामने आया है कि AI जैसे अधिक parallel computation वाले कार्यों में reversible chips को धीमी गति से कई इकाइयों में चलाने पर ऊर्जा बचत का असर बड़ा होता है
  • उद्योग और शोधकर्ता वास्तविक commercial reversible chips के विकास में उतर रहे हैं, जिससे AI की ऊर्जा दक्षता में क्रांति के वास्तविक होने की संभावना बढ़ रही है

कंप्यूटर गणना में ऊर्जा हानि की बुनियादी समस्या

  • जब कंप्यूटर दो संख्याएँ जोड़ता है, जैसे 2 + 2 = 4, तो दो inputs से केवल एक output बचता है
  • इस तरह कुछ जानकारी गायब हो जाती है और गणना irreversible हो जाती है; यही हटाई गई जानकारी ऊष्मा ऊर्जा में बदलती है
  • ज़्यादातर कंप्यूटर इसी तरीके से काम करते हैं, इसलिए मूल रूप से हमेशा कुछ न कुछ information loss (heat generation) अपरिहार्य रूप से होता है

Landauer का reversible computing प्रस्ताव और उसकी सीमाएँ

  • Landauer ने सोचा कि जानकारी हटाए बिना हर गणना परिणाम को रिकॉर्ड करके ऊर्जा हानि कम करने वाली computing संभव हो सकती है
  • लेकिन ऐसे कंप्यूटर में मेमोरी बहुत जल्दी भर जाती है, इसलिए इसकी व्यावहारिक उपयोगिता कम पड़ती है
  • अंततः Landauer ने निष्कर्ष निकाला कि reversible computing एक बंद गली है

Bennett का uncomputation (उलटी गणना) विचार

  • IBM के Charles Bennett ने 1973 में यह प्रस्ताव रखा कि केवल गणना का परिणाम रखा जाए और बाकी को गणना प्रक्रिया को उल्टा चलाकर (uncomputation) हटाया जाए
  • Hansel और Gretel के फिर से ब्रेडक्रम्ब्स उठाकर ले जाने वाली उपमा की तरह, ज़रूरी डेटा ही बचाकर बाकी को बिना जानकारी गंवाए हटाना संभव है
  • इस तरीके की कमी यह थी कि इसमें गणना समय दोगुना लग सकता है, इसलिए इसे अक्षम माना गया

व्यावहारिकता बढ़ाने वाले शोध

  • Bennett ने 1989 में दिखाया कि थोड़ा अधिक मेमोरी इस्तेमाल करने पर गणना समय को काफी घटाया जा सकता है
  • इसके बाद शोधकर्ताओं ने मेमोरी-समय optimization के तरीकों पर लगातार काम किया
  • लेकिन कंप्यूटरों में केवल डेटा हटाने से ही नहीं, transistor connection structure की अक्षमताओं से भी ऊर्जा नष्ट होती है
  • वास्तव में ऊर्जा बचाने वाले reversible computer बनाने के लिए डिज़ाइन स्तर से ही कम ऊष्मा-हानि वाली संरचना चाहिए

MIT का prototype chip और उद्योग की प्रतिक्रिया

  • 1990 के दशक में MIT के इंजीनियरों ने सर्किट दक्षता बढ़ाने वाला एक prototype chip बनाया
  • Frank ने एक PhD छात्र के रूप में इसमें भाग लिया और बाद में reversible computing के प्रमुख विद्वान बने
  • लेकिन उस समय जब मौजूदा chips का प्रदर्शन तेज़ी से सुधर रहा था, इस सैद्धांतिक विकल्प में उद्योग की रुचि कम होने से समर्थन सीमित रहा
  • Frank ने भी कुछ समय के लिए यह शोध छोड़कर दूसरा रास्ता तलाशा
  • लेकिन circuit miniaturization अपनी सीमा के करीब पहुँचने के साथ ऊर्जा दक्षता पर ध्यान तेजी से बढ़ा

reversible computing की ऊर्जा दक्षता और AI में उपयोग की संभावना

  • 2022 में Cambridge की Hannah Earley ने reversible computers की energy efficiency का सूक्ष्म विश्लेषण किया
  • reversible computers में पारंपरिक सिस्टम की तुलना में ऊष्मा उत्सर्जन कम होता है, लेकिन पूरी तरह बिना ऊष्मा के काम करना संभव नहीं है
  • खास तौर पर उन्होंने यह स्पष्ट किया कि reversible computers में गति कम करने पर ऊष्मा उत्सर्जन घटता है
  • AI गणनाएँ parallel processing environment में होती हैं, इसलिए हर chip को धीमा चलाकर chips की संख्या बढ़ाने से कुल ऊर्जा खपत घटने की उम्मीद की जा सकती है
  • धीमी गति के कारण cooling cost भी घट सकती है, जिससे chips को अधिक घनत्व से लगाना, जगह और सामग्री बचाना जैसे फायदे भी संभव हैं

commercialisation की दिशा और आगे की तस्वीर

  • निवेशकों की दिलचस्पी बढ़ने लगी है, और Earley तथा Frank ने Vaire Computing की स्थापना कर commercial reversible chips के विकास की शुरुआत की है
  • Copenhagen University के Mogensen आदि ने भी reversible processors के वास्तविक कार्यस्थल उपयोग को लेकर बड़ी उम्मीद जताई है
  • दशकों तक सिद्धांत तक सीमित रहा reversible computing अब AI और ऊर्जा दक्षता के क्षेत्र में वास्तविक नवाचार ला पाएगा या नहीं, इस पर नज़र है

निष्कर्ष

  • reversible computing कंप्यूटरों की उस भौतिक सीमा को पार करने का व्यावहारिक तरीका माना जा रहा है, जिसमें जानकारी हटाते समय ऊष्मा पैदा होती है, और AI युग में बड़े पैमाने पर ऊर्जा बचत तकनीक के रूप में यह उभर रहा है
  • chips को धीमी गति से और parallel रूप में चलाने का तरीका AI computation की संरचनात्मक विशेषताओं के साथ मेल खाता है, जिससे वास्तविक commercialisation निकट दिखाई देता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-06-05
Hacker News राय

  • Stephen Baxter के उपन्यास Time में बहुत दूर के भविष्य की कहानी है, जहाँ सभी तारे बुझ चुके हैं और सभी ब्लैक होल वाष्पित हो चुके हैं, जिसके बाद मानवता के वंशज अधिकतम एंट्रॉपी वाले ब्रह्मांड में बचे रहते हैं; मुक्त ऊर्जा पूरी तरह समाप्त हो जाने पर ये वंशज एक विशाल simulation के भीतर केवल reversible computation (जो बिना ऊर्जा खर्च के चलती है) के सहारे वही घटनाएँ दोहराते हुए जीते हैं, यानी computation result को uncompute करके फिर compute करने वाले एक ही event loop को दोहराते हैं

  • एक software engineer के नज़रिए से यह समझना आसान नहीं लगता; information delete करते समय electron के नष्ट हो जाने जैसा विचार पहली बार सुनकर भ्रम होता है; electron तो हर जगह dissipate होते लगते हैं, और ज़्यादातर gates current के negation से काम करते हैं, तो क्या यह सब बुरा है? अगर memory में हुए सारे बदलाव रिकॉर्ड कर लिए जाएँ तो heat loss क्यों रुक जाएगा, यह भी स्पष्ट नहीं; जब सारी memory लगातार बनाए रखनी पड़े तो क्या वह और ज़्यादा energy नहीं खाएगी? और computation में भला अतीत की ओर वापस जाने की व्यावहारिक ज़रूरत ही क्यों पड़ेगी, इस पर भी सवाल है

    • सैद्धांतिक रूप से ऐसा computer जो information को कभी न भूले, बहुत कम power पर चल सकता है और इसलिए लगभग heat पैदा नहीं करेगा; इस तरह के computer को reversible (adiabatic) computing कहा जाता है, जहाँ हर operation gate reversible होना चाहिए; input state सेट करने और output copy करने जैसे शुरुआती और अंतिम चरणों में फिर भी energy चाहिए; लेकिन वास्तविक दुनिया में ज़्यादातर power logic gate में information "delete" होने से नहीं, बल्कि wiring resistance जैसी चीज़ों में lost होती है; पूरी तरह reversible CPU बनाने के लिए superconducting wiring/components जैसे special hardware चाहिए; साथ ही computation को उल्टा चलाना भी आसान नहीं है, वरना state मिटाकर energy cost स्वीकार करनी होगी; व्यावहारिक उदाहरण के रूप में quantum computer को देखा जा सकता है, जहाँ quantum logic gate के सभी operation reversible होते हैं और उल्टी दिशा में चलाए जा सकते हैं

    • thermodynamics के हिसाब से reversible process सैद्धांतिक रूप से अधिकतम efficient होती है, और यह entropy से जुड़ा है; information मिटाते ही प्रक्रिया reversible नहीं रहती, इसलिए heat generation अनिवार्य हो जाती है; हालांकि यह सब पूरी तरह सैद्धांतिक है और वास्तविक computer अभी इन सीमाओं के आसपास भी नहीं पहुँचते; वास्तविक logic devices में AND, OR, NAND जैसी अधिकांश isolated operations स्वभावतः irreversible होती हैं

    • यह भी ध्यान दिलाया गया कि hard disk, SSD जैसे persistent storage data बनाए रखने के लिए बिल्कुल power नहीं लेते, इसलिए heat भी नहीं पैदा करते; लेकिन data delete या overwrite करते समय अनिवार्य रूप से energy चाहिए और इसी प्रक्रिया में काफी heat पैदा होती है; heat dissipation की समस्या ही chip scaling को और सूक्ष्म स्तर तक ले जाने में बड़ी बाधा है; अगर ऐसा computer बनाया जा सके जो information को delete न करे, तो heat generation बहुत कम हो सकती है, जिससे chip performance बढ़ेगी, power बचेगी और scaling की नई संभावनाएँ खुलेंगी

  • energy saving की प्रेरणा को लेकर कुछ संदेह है, लेकिन reversible deep learning architecture बनाना अपने आप में काफ़ी दिलचस्प research topic है; वास्तव में 2019~2021 के invertibleworkshop सीरीज़ जैसी जगहों पर इस पर सक्रिय चर्चा हुई थी; आजकल लोकप्रिय diffusion model को भी continuous normalizing flow का एक special case माना जा सकता है, इसलिए सिद्धांततः उसकी computation reversible है; हालाँकि production में इस्तेमाल होने वाले distilled model लगभग कभी ऐसे नहीं होते; differential equation simulation में भी floating-point rounding error के कारण backward computation का बिल्कुल match करना मुश्किल होता है, लेकिन सावधानी से बनाया जाए तो bit-to-bit पूरी तरह reversible simulation भी संभव है

    • machine learning में अगर computation को बिल्कुल सटीकता से reverse किया जा सके, तो वह उपयोगी होगा—इस पर 2015 का एक paper भी है

  • computation में directionality होने का मतलब क्या है, इस पर विचार किया गया; यह causality जैसा लगता है, लेकिन वास्तव में यह input और output का सवाल अधिक है; अंततः लगता है कि program को पहले चला कर ही समझा जा सकता है, और state को save कर देने से बस backtracking आसान हो जाती है

    • हाँ, लेकिन यहाँ बात physical level की है, इसलिए अलग hardware चाहिए; information deletion (जैसे AND operation) heat पैदा करती है, इसलिए Fredkin gate जैसे अलग logic gate की ज़रूरत पड़ती है

    • वास्तव में हर computation की एक direction होती है, और यह विषय बहुत रोचक है; उदाहरण के लिए function f(x) -> y खुद एक दिशा बताता है; अच्छा होता अगर reverse हमेशा संभव होता, लेकिन कई बार inverse संभव ही नहीं होता। जैसे f(x)=mx+b का inverse आसानी से मिल जाता है (जब m=0 न हो), जबकि f(x)=x^2 में f(x) से x वापस निकालते समय ±x दोनों संभव होते हैं, इसलिए हल unique नहीं रहता; यहाँ function image और preimage की अवधारणाएँ लागू होती हैं; इसका P=NP समस्या से भी गहरा संबंध है; machine learning में Normalizing Flow invertible है, diffusion model reversible structure रखते हैं, और GAN-Inversion जैसे विचार भी हैं; ML community में "inverse problem" शब्द के इस्तेमाल से व्यक्तिगत असहमति भी जताई गई; इस अवधारणा को समझने से स्पष्ट होता है कि prediction एक दिशा में सही क्यों चलता है और reverse में क्यों विफल हो जाता है; अंततः बात causal inference तक पहुँचती है; physics में equations को बदलकर causal map बनाना एक बड़ा लक्ष्य है, लेकिन entropy और quantum mechanics जैसी चीज़ों में अपनी जटिल समस्याएँ आती हैं; उदाहरण के लिए gas molecule state को reverse-calculate करने पर एक unique solution नहीं मिलता बल्कि कई states निकलती हैं; differentiation/integration के उदाहरण की तरह differentiation reversible नहीं है, क्योंकि f(x)+C सभी एक ही derivative देते हैं, यानी एकतरफ़ा information loss होता है; हालाँकि कई समय-बिंदुओं की states sample की जाएँ तो solution space काफी कम हो सकती है

    • निष्कर्ष यह है कि अगर irreversible operations (information deletion) को न्यूनतम रखा जाए, तो reversible computation संभव है; उदाहरण के लिए 2 + 2 + 2 जैसी गणना में अगर सारे intermediate steps रिकॉर्ड रहें तो वह reversible है, लेकिन अगर सिर्फ अंतिम परिणाम 6 बचा रहे और history मिटा दी जाए, तो वह irreversible हो जाती है

  • Mike P Frank को ट्विटर पर लंबे समय से follow किया जा रहा है, और reversible computing तथा AI पर उनकी कई दिलचस्प बातें देखने को मिलती हैं MikePFrank ट्विटर

  • उम्मीद है कि यह तकनीक तब काम आएगी जब software trends फिर से GPU datacenter की ओर लौटेंगे, लेकिन Jevons Paradox—यानी efficiency बढ़ने पर demand भी बढ़ जाती है और वास्तविक energy saving नहीं हो पाती—की तरह यह भी शायद निर्णायक मोड़ साबित न हो

  • जिज्ञासा यह है कि ठोस योजना क्या है, और क्या reversible matmul का कोई वास्तविक demo हुआ है; उस operation में भी बीच के चरणों में information deletion से बचना मुश्किल लगता है, इसलिए व्यवहारिकता पर संदेह है

    • reversible matrix के लिए reversible matmul संभव है, लेकिन ReLU जैसे irreversible operator के लिए नहीं; और लेख में जैसा दावा है कि सिर्फ computation को उल्टा चलाकर energy कम लगेगी, यह बात भी ठीक से समझ नहीं आती

  • लेख का headline पढ़ते समय यह विडंबना महसूस हुई कि वही webpage आधुनिक computer पर भी 12 सेकंड ले लेता है; लोग आम तौर पर दूसरों की समस्या की परवाह नहीं करते, और जब AI जैसी नई तकनीक आती है तो environment, लोगों की jobs, infrastructure, copyright violation, social systems जैसी सामाजिक लागतें अक्सर बाहर धकेल दी जाती हैं; efficiency मिलने पर लोग अंततः अपने लिए उसका और ज़्यादा उपयोग करते हैं, न कि दूसरों पर पड़ने वाला नुकसान कम करते हैं—यह बात कड़वी लगती है

  • कई बार यह दिखाया जा चुका है कि LLM को कई बार इस्तेमाल करने पर भी उसकी बिजली खपत electric kettle में पानी उबालने से कम होती है