ऊर्जा-कुशल भाषा मॉडलों के लिए Addition
-
शोध पृष्ठभूमि
- बड़े neural network अपनी अधिकांश computation floating-point tensor multiplication पर खर्च करते हैं।
- इस शोध में पाया गया कि floating-point multiplier को एक integer adder से उच्च precision के साथ approximate किया जा सकता है।
-
L-Mul algorithm
- floating-point संख्याओं के multiplication को integer addition operation से approximate करने वाला linear-complexity multiplication algorithm L-Mul प्रस्तावित किया गया है।
- यह नया algorithm 8-bit floating-point multiplication की तुलना में कम computational resources का उपयोग करते हुए अधिक precision हासिल करता है।
- क्योंकि floating-point multiplication, integer addition operation की तुलना में काफ़ी अधिक energy खर्च करता है, इसलिए tensor processing hardware में L-Mul operation लागू करने पर element-wise floating-point tensor multiplication की energy cost को 95% तक और dot product की energy cost को 80% तक घटाया जा सकता है।
-
सैद्धांतिक और प्रायोगिक मूल्यांकन
- L-Mul की सैद्धांतिक error expectation की गणना की गई, और algorithm का मूल्यांकन natural language understanding, structured reasoning, mathematics, common-sense question answering जैसी विभिन्न text, vision और symbolic tasks पर किया गया।
- numerical analysis experiments के परिणाम सैद्धांतिक error estimates से मेल खाते हैं, और दिखाते हैं कि 4-bit mantissa L-Mul, float8_e4m3 multiplication जैसी precision हासिल करता है, जबकि 3-bit mantissa L-Mul, float8_e5m2 से बेहतर है।
- उल्लेखनीय benchmark evaluation परिणाम दिखाते हैं कि attention mechanism में सीधे L-Mul लागू करने पर लगभग कोई loss नहीं होता।
- transformer models में सभी floating-point multiplication को 3-bit mantissa L-Mul से बदलने पर, fine-tuning और inference में float8_e4m3 को accumulation precision के रूप में उपयोग करने के बराबर precision हासिल होती है।
GN⁺ का सार
- L-Mul algorithm ऐसा तरीका प्रस्तुत करता है जो energy efficiency को काफ़ी बढ़ाते हुए भी उच्च precision बनाए रख सकता है।
- यह floating-point operations की energy consumption समस्या को हल करने की संभावना दिखाता है, खासकर बड़े neural network models में इसके उपयोग की उम्मीद है।
- यह शोध उन क्षेत्रों में बड़ा ध्यान आकर्षित कर सकता है जहाँ energy saving महत्वपूर्ण है, और समान प्रकार की दूसरी परियोजनाओं में Google का TensorFlow Lite शामिल है।
अभी कोई टिप्पणी नहीं है.