AI की बिजली खपत 95% घटाने का दावा करने वाला नया L-Mul एल्गोरिदम

 (tomshardware.com)
1 पॉइंट द्वारा GN⁺ 2024-10-20 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • BitEnergy AI का दावा सामने आया है कि AI प्रोसेसिंग की मुख्य गणना floating-point multiplication (FPM) को integer addition से बदलने पर बिजली खपत को अधिकतम 95% तक घटाया जा सकता है
  • Linear-Complexity Multiplication (L-Mul) का लक्ष्य एक सरल operation से FPM के करीब परिणाम देना और accuracy व precision बनाए रखना है
  • बिजली दक्षता सुधार की संभावना बड़ी है, लेकिन Nvidia Blackwell GPU जैसे मौजूदा mainstream hardware इस एल्गोरिदम को चलाने के आधार पर डिज़ाइन नहीं किए गए हैं
  • AI hardware में पहले ही लाखों से अरबों डॉलर निवेश कर चुकी कंपनियों के लिए, L-Mul का performance साबित होने पर भी नए system अपनाने का बोझ टालना मुश्किल होगा
  • AI datacenter की बिजली मांग grid और climate goals पर दबाव डाल रही है; ऐसे में L-Mul को performance scaling और energy saving दोनों को साथ साधने वाला approach माना जा सकता है

FPM को integer addition से बदलने वाला L-Mul

  • BitEnergy AI AI inference technology में विशेषज्ञ कंपनी है, और उसने AI प्रोसेसिंग में FPM को integer addition से बदलने का तरीका विकसित किया है
  • इस नए तरीके का नाम Linear-Complexity Multiplication (L-Mul) है
  • L-Mul का दावा है कि यह अधिक सरल एल्गोरिदम से FPM के करीब परिणाम देता है और FPM की उच्च accuracy व precision बनाए रख सकता है
  • TechXplore के अनुसार, यह तरीका AI systems की बिजली खपत को अधिकतम 95% तक घटा सकता है

अपनाने में बाधा बनने वाली hardware compatibility

  • L-Mul एक नया प्रोसेसिंग तरीका है, इसलिए बाजार के मौजूदा लोकप्रिय hardware इसे तुरंत process करने के लिए डिज़ाइन नहीं किए गए हैं
  • Nvidia का अगली पीढ़ी का Blackwell GPU भी ऐसे उदाहरण के रूप में बताया गया है जिसे इस एल्गोरिदम को चलाने के आधार पर डिज़ाइन नहीं किया गया
  • भले ही BitEnergy AI का एल्गोरिदम FPM के बराबर performance दे, वास्तविक उपयोग के लिए ऐसे systems की जरूरत होगी जो इसे चला सकें
  • AI hardware में पहले ही लाखों से अरबों डॉलर निवेश कर चुकी कंपनियों के लिए नए systems की जरूरत बड़ा बोझ बन सकती है
  • अगर AI chip makers इस एल्गोरिदम के हिसाब से ASIC बनाते हैं, तो 95% बिजली बचत की संभावना बड़ी tech कंपनियों का ध्यान खींच सकती है

AI की बिजली मांग से बना दबाव

  • AI development में बिजली एक प्रमुख constraint के रूप में उभर रही है
  • बताया गया है कि पिछले साल बिके datacenter GPUs ही एक साल में 10 लाख से अधिक घरों द्वारा इस्तेमाल की जाने वाली बिजली से ज्यादा बिजली खपत करते हैं
  • AI की बिजली मांग के कारण Google के climate goals पीछे चले गए हैं, और 2019 की तुलना में greenhouse gas emissions 48% बढ़े हैं
  • Google के पूर्व CEO ने climate goals को कम करने और अधिक बिजली उत्पादन की अनुमति देकर advanced AI से global warming की समस्या हल करने की दिशा सुझाई थी

बिजली दक्षता में सुधार क्या बदल सकता है

  • अगर AI प्रोसेसिंग अधिक बिजली-कुशल हो जाए, तो advanced AI technology बनाए रखते हुए पर्यावरणीय बोझ घटाया जा सकता है
  • energy usage में 95% कमी आने पर बड़े datacenters द्वारा national grid पर डाला जाने वाला दबाव भी घटेगा
  • grid पर दबाव कम होने से भविष्य की AI infrastructure को तेजी से expand करने के लिए अधिक power plants बनाने की जरूरत भी घट सकती है

performance scaling और efficiency का संतुलन

  • नए AI chips हर generation में अधिक compute performance देने के कारण ध्यान खींच रहे हैं
  • लेकिन वास्तविक प्रगति तब संभव है जब processors अधिक शक्तिशाली होने के साथ-साथ अधिक efficient भी हों
  • अगर L-Mul दावे के अनुसार काम करता है, तो AI performance scaling और बिजली दक्षता सुधार—दोनों की उम्मीद की जा सकती है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-10-20
Hacker News की राय

  • https://arxiv.org/abs/2410.00907
    पेपर के abstract के मुताबिक, बड़े neural network की अधिकतर computation floating-point tensor multiplication में खर्च होती है, और L-Mul floating-point multiplication को integer addition से approximate करके 8-bit floating point से कम compute resources में ज़्यादा precision देता है
    दावा है कि tensor processing hardware पर लागू करने से element-wise floating-point tensor multiplication की energy को 95% तक और inner product energy को 80% तक घटाया जा सकता है। यह भी आंका गया है कि 3–4-bit mantissa L-Mul, float8 e4m3/e5m2 के बराबर या उससे बेहतर है, और Transformer के attention में इसे लगभग बिना loss के लागू किया जा सकता है

    • सोच रहा/रही हूँ कि क्या इसका मतलब है कि GPU के बिना भी efficient training की जा सकती है
      इसमें काफी रुचि बढ़ने वाली लगती है
    • लगता है यह idea मैंने कुछ बार देखा है, शायद HN पर आए posts में
      यह वाला https://news.ycombinator.com/item?id=41784591 भी है और उससे पहले भी था। इस क्षेत्र में गहराई से काम करने वालों के लिए शायद यह obvious idea हो सकता है
      intuitively देखें तो आखिर boolean के करीब decisions लेने के लिए floating point इस्तेमाल करना waste जैसा लगता है, लेकिन मुझे लगा था कि differentiable algorithms बनाने के लिए ऐसा करना पड़ता है
    • पहले कई DSP architectures में fixed-point multiplication (Q Format) को DSP algorithms में इस्तेमाल किया जाता था। https://en.wikipedia.org/wiki/Q_(number_format)
      यह बहुत तेज़ होते हुए भी floating-point multiplication के करीब accuracy देता था। तेज़ multiplication और parallelism दोनों पाने के लिए शायद ऐसे DSP blocks को Tensor/GPU का हिस्सा बनाना पड़े
    • क्या यह असल में quantize किए बिना quantization effect पैदा करने जैसा है?

  • यह काफी rough approximation है। उदाहरण के लिए 1.75 * 2.5 == 3 हो जाता है, लेकिन लगता है संख्या 0 के जितनी करीब हो, उतना बेहतर होता है
    llamafile के tinyBLAS में AVX512 के लिए implement करके Llama-3.2-3B-Instruct.F16.gguf पर लगाया, तो output टूट गया। ठीक से काम करने के लिए शायद model को शुरुआत से इसी multiplication approximation के लिए train/design करना होगा, या इसे सिर्फ खास layers या operations में इस्तेमाल करने के लिए tune करना होगा
    फिर भी speed ठीक थी; Threadripper पर prefill 850 tokens/sec से गिरकर 200 tokens/sec हो गया, लेकिन prediction speed 34 tokens/sec पर वैसी ही रही। अगर कोई इस algorithm का इस्तेमाल करने वाला LLM architecture और weights Hugging Face पर release करे, तो लगता है special hardware के बिना भी इसे काफी तेज़ चलाया जा सकेगा

    • 1.75 * 2.5 के मामले में kernel गलत लगता है
      पेपर के हिसाब से 1.75 == (1+0.75)*2^0, 2.5 == (1+0.25)*2^1 है, इसलिए result (1+0.75+0.25+2^-4)*2^1 == 4.125 होगा। सही result 4.375 है

  • असाधारण दावों के लिए असाधारण सबूत चाहिए
    यह संभव हो सकता है, लेकिन इस क्षेत्र में कई groups के smart लोग लंबे समय से मेहनत कर रहे हैं। इसलिए समान performance पर energy cost 95% घटाने का दावा असाधारण श्रेणी में आता है। खैर, पानी उतरने पर पता चल जाएगा

    • यह clickbait title है, और दावा खुद असाधारण नहीं है। arXiv preprint पहले यहां आया था
      95% improvement खास तौर पर सिर्फ multiplication operation पर लागू है। Inference में वैसे भी compute की तुलना में memory का हिस्सा बड़ा होता है, इसलिए वास्तविक लाभ काफी छोटा होगा
      tech journalism, और असल में लगभग पूरी journalism, survival के लिए clicks और revenue पर केंद्रित है, इसलिए grounded news की उम्मीद करना मुश्किल है
    • मुझे यह दावा असाधारण नहीं लगता। यह mathematically impossible या implausible नहीं है, बस verify करना बहुत झंझट वाला है
      काफी retraining और fine-tuning चाहिए, और अगर पहले से बड़े पैमाने का parallel hardware नहीं है तो cost बड़ी है। वरना investment risk वाले ASIC/FPGA बनाने होंगे
      मोटे तौर पर अंदाजा लगाएँ तो llama-2 जैसे low-resolution models ठीक हो सकते हैं, क्योंकि llama-2 बिना बड़ी दिक्कत के quantize हो जाता है। लेकिन llama-3 जैसे high-resolution models बड़े पैमाने की retraining के बिना आसान नहीं लगते
    • energy saving का दावा लगभग 70% स्तर तक verify किया जा सकता है। inference implementation यहां है:
      https://github.com/microsoft/BitNet
    • अब तक researchers मुख्य रूप से network architecture या बेहतर results देने वाले networks बनाने जैसे दूसरे पहलुओं पर काम करते रहे हैं
      low-level math operations की efficiency सुधारने वाले लोग भी थे, और यह उन कामों का फल जैसा है। ऐसी चीज़ पता लगाना बिल्कुल आसान नहीं है
    • ऊपर-नीचे की comments सब मानने के बाद भी यह अब भी असाधारण दावा है
      मैं यह नहीं कह रहा/रही कि यह possible नहीं है या झूठ है, लेकिन real machines और real energy इस्तेमाल करके समान performance संभव है, इसका सबूत चाहिए
      “उचित chip नहीं है” वाला defense थोड़ा बेईमान-सा है। अगर 95% saving वाकई संभव है, तो कोई smart chip manufacturer calculation करके chip बनाएगा। सही हुआ तो वह कंपनी खूब पैसा कमाएगी, नहीं तो बनाएगी ही नहीं

  • इस field, यानी approximate computing, पर GPU और silicon दोनों तरफ research कर चुके व्यक्ति के तौर पर कहूँ तो power consumption और accuracy दोनों दावे पूरी तरह गलत हैं
    पेपर कहता है कि “L-Mul fp8 e4m3 multiplication से अधिक accurate है”, लेकिन Mul और L-Mul के error analysis और complexity estimation में कहता है कि “nearest even rounding को consider नहीं करते।” अगर baseline algorithm से accuracy देने वाला हिस्सा निकालकर analysis करें, तो मनचाहे results चुने जा सकते हैं
    floating-point multiplication में nearest even से round करने पर result ऐसा होता है जैसे original values को infinite precision में multiply करके correctly rounded किया गया हो, और IEEE 754 भी basic operations में यही मांगता है। इसे हटाने पर कहीं अधिक quantization noise और bias noise पैदा होता है
    energy cost का बड़ा हिस्सा DRAM/HBM जैसी external memory और wiring के बीच data movement, SRAM और flip-flop buffering से आता है। combinational logic की cost आम तौर पर बड़ी समस्या नहीं होती; अगर fixed-function matrix multipliers बहुत हों तो वह cost बढ़ती जरूर है, लेकिन पूरे accelerator की power saving ज्यादा से ज्यादा करीब 10–20% ही होने की संभावना है
    साथ ही H100 जैसे environment में आने वाली rescaling या intermediate results के high-precision accumulation की details नहीं दिखतीं। इस जानकारी के बिना evaluation results पर भरोसा करना मुश्किल है

  • preprint पर original discussion: https://news.ycombinator.com/item?id=41784591

  • क्या यह बस “log(x) + log(y) = log(xy)” का इस्तेमाल करने जैसा नहीं है?
    IEEE754 floating-point representation sign, mantissa और exponent को store करता है। पहले दो को अनदेखा कर दें तो, चूंकि quantize तो कर ही दिया है, exponent बस एक integer है जो float का log() store करता है

    • बिल्कुल ऐसा नहीं है। यहां जो इस्तेमाल हो रहा है वह (1+a)(1+b) = 1 + a + b + ab है
      अगर a और b दोनों कुछ हद तक छोटे हों, तो ab बहुत छोटा होता है और उसे ignore किया जा सकता है। इसलिए (1+a)(1+b) को 1+a+b में बदल दिया जाता है। दोनों साफ तौर पर समान नहीं हैं, लेकिन machine जो अनुमान लगाने का काम करती है उसमें लगता है इस फर्क की ज्यादा परवाह नहीं होती
    • सही है। अगला सवाल बनता है, “ठीक है, तो addition कैसे करेंगे?”

  • लगभग एक हफ्ते पहले मैंने यह पोस्ट किया था:
    https://news.ycombinator.com/item?id=41816598
    इस तरह की चीजें digital circuits, FPGA, digital signal processing आदि में दशकों से की जा रही हैं। Floating-point बहुत resources और power खाता है, इसलिए dedicated floating-point processing hardware के बिना floating-point का इस्तेमाल दशकों से टाला गया है, जब तक कि वह सच में जरूरी न हो

    • सही है। ML क्षेत्र धीरे-धीरे सीख रहा है कि सिर्फ linear algebra symbols की संख्या घटाना ही नहीं, बल्कि silicon simplicity के हिसाब से optimization भी अहम है
      fixed-point को फिर से खोज लेना ही काफी frustrate करने वाला था, ऊपर से “pose को quaternion के रूप में represent करें तो सब कुछ बेहतर हो जाता है” जैसी प्रतिक्रिया पिछले 30 साल से game engine developers को भड़का देने वाली है
    • ML research space में पुराने concepts को नया नाम देकर उन्हें novel के रूप में rebrand करना आम बात है
    • जो लोग अच्छी तरह नहीं जानते, उनके लिए थोड़ा और समझा दें तो अच्छा होगा

  • शायद मैं जन्मजात skeptic हूं, इसलिए जब भी title कहता है “method x, y को z% कम करता है”, लेकिन body कहती है कि किसी step को optimize करने पर “y को अधिकतम z% तक कम किया जा सकता है”, तो मुझे शक होता है
    समझ नहीं आता कि वे ऐसे actual benchmarks क्यों नहीं publish करते जो कुछ special cases में ही सही, claim को साबित करें

    • पहली बात, वह title researchers ने नहीं दिया था, बल्कि popular media coverage से आया था, और यहां originally जो article पोस्ट हुआ था वह भी किसी दूसरे popular media article की re-reporting था। Paper ने जो दावा किया ही नहीं, उसे paper authors से benchmarks के जरिए justify करने की उम्मीद करना अजीब है
      “up to 95%” भी paper से आया वाक्य नहीं है। Cost reduction को operation और precision के हिसाब से cite किया गया है और यह maximum 97.3% तक जाता है; यह modern compute hardware में mathematical operations की energy cost पर existing research पर आधारित है। End-to-end cost reduction का कोई दावा नहीं किया गया
      दूसरी बात, असल में claimed energy cost reduction कोई experimental question भी नहीं है। Modern hardware में अलग-अलग operations के बीच energy cost का फर्क दूसरे research में पहले ही established है, और यहां experiment का मुद्दा यह था कि कम-energy operations को संभव बनाने वाली mathematical technique, LLM inference में existing implementations से output quality के मामले में compete कर सकती है या नहीं
    • उल्टा, हमारे पास यह जीवित सबूत है कि 20W power पर चौंकाने वाला बड़ा neural network चल सकता है, इसलिए power consumption को कई orders of magnitude तक घटाने की उम्मीद irrational नहीं है
    • https://github.com/microsoft/BitNet
      “bitnet.cpp की पहली release का लक्ष्य CPU inference support है। ARM CPU पर 1.37x से 5.07x speedup हासिल हुआ, और बड़े models में performance improvement और ज्यादा है। Energy consumption भी 55.4% से 70.0% तक घटा, जिससे overall efficiency बढ़ी। x86 CPU पर 2.37x से 6.17x speedup और 71.9% से 82.2% energy reduction दिखता है। इसके अलावा bitnet.cpp single CPU पर 100B BitNet b1.58 model चला सकता है और human reading speed जैसी 5–7 tokens/sec हासिल कर सकता है, जिससे local devices पर LLM चलाने की संभावना काफी बढ़ती है। अधिक जानकारी जल्द उपलब्ध कराई जाएगी”
    • Modern life भले ही disappointing हो, लेकिन traffic लाने के लिए clickbait title चाहिए होता है। फिर भी आपने article पढ़ा, यह अच्छी बात है। जानकारी title में नहीं, body में होती है

  • क्या https://en.wikipedia.org/wiki/Jevons_paradox इस मामले में भी लागू होगा?

    • दिलचस्प है
      Energy cost निश्चित रूप से entry barrier बनाती है, और cost घटे तो entry barrier भी कम होता है। फिर participants बढ़ते हैं, और demand भी बढ़ती है
    • जरूरी नहीं कि यह बुरी बात हो। शायद AI scammers को सच में उपयोगी चीजें बनाने का समय मिल जाए
    • बिल्कुल। Jevons paradox हमेशा लागू होता है

  • मुझे नहीं लगता कि algorithm energy consumption बदल देगा
    Compute के लिहाज से हमेशा maximum capacity की जरूरत होती है। अगर कल कोई नया algorithm performance को 4 गुना बढ़ा दे, तो हम बस 4 गुना ज्यादा compute करने लगेंगे