OpenLLM - प्रोडक्शन में LLM चलाने के लिए ओपन प्लेटफ़ॉर्म
(github.com/bentoml)- विभिन्न प्रकार के LLM को सपोर्ट करता है, जिससे inference और deployment संभव है
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- एक ही command से LLM को RESTful API या gRPC के रूप में serve करना
- WebUI, CLI, Python/Javascript Client या किसी भी HTTP Client से कॉल किया जा सकता है
- LangChain, BentoML, HuggingFace के लिए built-in support
- LLM fine-tuning support जल्द आने वाला है
अभी कोई टिप्पणी नहीं है.