Posits, AI के गणित को बेहतर बनाने वाली एक नई तरह की संख्या

• बड़े neural networks को train करने के लिए विशाल computational power की ज़रूरत होती है
  • OpenAI के GPT-3 जैसे मॉडल के मामले में, सिर्फ training पर ही लगभग $5m से अधिक खर्च हुआ था
• engineers इस लागत के बोझ को कम करने के लिए संख्याओं को represent करने के अलग तरीके बना रहे हैं
• 2017 में प्रस्तावित Posits, आज इस्तेमाल होने वाले floating-point arithmetic processors के लिए एक सुधार है
• इसे hardware स्तर पर लागू करने वाला पहला core विकसित किया गया है. मौजूदा FP तरीके की तुलना में computation tasks की accuracy अधिकतम 4 गुना तक बढ़ जाती है

  Moore's Law अब पहले की तरह लागू नहीं रही, इसलिए हमें उसी मशीन से अधिक performance निकालने के तरीके खोजने होंगे
  उन तरीकों में से एक है real numbers को encode करने और वास्तविक संख्याओं को represent करने का तरीका बदलना

• इस तरह संख्या प्रणाली बदलने की कोशिश सिर्फ यहीं नहीं हो रही. हाल ही में Nvidia, Arm, और Intel ने machine learning applications के लिए 32/16-bit के बजाय 8-bit floating-point numbers इस्तेमाल करने पर सहमति बनाई है
  • छोटे और कम सटीक formats का उपयोग करने से computational accuracy में कुछ कमी आती है, लेकिन efficiency और memory usage बेहतर होते हैं
• real numbers अनंत होते हैं, इसलिए hardware उन्हें पूरी तरह से represent नहीं कर सकता
• तय bit संख्या में फिट करने के लिए कई real numbers को round करना पड़ता है
• Posits का लाभ इस बात से आता है कि जिन संख्याओं को ठीक-ठीक represent करना है, वे number line पर किस तरह distributed होती हैं
  ( Posits के वास्तविक distribution तरीके के लिए लेख में शामिल चित्र देखें. )
• इससे मिलने वाला accuracy improvement नकारा नहीं जा सकता, लेकिन GPT-3 जैसे बड़े AI के training पर इसका वास्तविक प्रभाव क्या होगा, यह अभी देखना बाकी है