MiniLLM - व्यक्तिगत GPU पर LLM चलाना
(github.com/kuleshov)- उपभोक्ता-स्तर के Nvidia GPU पर नवीनतम LLM चलाने के लिए एक न्यूनतम सिस्टम
- कई LLM (LLAMA, BLOOM, OPT) को अधिकतम 170B आकार तक सपोर्ट करता है
- Nvidia GPU के विभिन्न प्रकारों को सपोर्ट करता है
- Python में लिखा गया छोटा और उपयोग में आसान कोड
- अंदरूनी रूप से 3-bit compression के लिए GPTQ algorithm का उपयोग करके GPU memory उपयोग को न्यूनतम करता है
अभी कोई टिप्पणी नहीं है.