Nebullvm - AI Inference को 5~20 गुना तेज़ करने वाली open source लाइब्रेरी

• AI मॉडल को इनपुट के रूप में लेकर उसे तेज़ी से चलाने वाला optimized version बना देता है
• कई deep learning compilers को टेस्ट करके किसी खास hardware के लिए सबसे बेहतर तरीका खोजता है
  • Deep learning model agnostic : Transformer, LSTM, CNN, FCN आदि, किसी भी deep learning मॉडल से स्वतंत्र
  • Hardware agnostic : ज़्यादातर CPU और GPU को support करता है। जल्द ही TPU और deep learning के लिए समर्पित ASIC का भी support उपलब्ध होगा
  • Framework agnostic : PyTorch, TensorFlow, HuggingFace और अन्य के लिए भी जल्द अधिक support
• सब कुछ लोकल में चलता है, इसलिए सुरक्षित है
• कुछ ही lines of code से इस्तेमाल किया जा सकता है, इसलिए आसान है

[emilec]

(लाइब्रेरी लेखक) शेयर करने के लिए धन्यवाद! यह जानकर खुशी हुई कि आपने इसे बनाते समय आनंद लिया।
यह लगातार विकसित होती रहेगी और इसकी performance बेहतर होती जाएगी... हैप्पी acceleration!