Basaran - OpenAI Text Completion API का ओपन सोर्स विकल्प
(github.com/hyperonym)- Hugging Face Transformer आधारित टेक्स्ट जनरेशन मॉडल्स के लिए OpenAI-संगत streaming API प्रदान करता है
- दूसरे LLM का उपयोग करके इसे OpenAI सेवा की तरह इस्तेमाल किया जा सकता है
- विभिन्न decoding strategies का उपयोग करके streaming generation संभव
- decoder-only और encoder-decoder, दोनों मॉडल्स का समर्थन
- surrogates और whitespace को सपोर्ट करने वाला Detokenizer
- Quantization विकल्प उपलब्ध, multi-GPU समर्थन
- SSE(Server-Sent Events) का उपयोग करके real-time progress display
अभी कोई टिप्पणी नहीं है.