LocalAI - self-host किए जा सकने वाला OpenAI-compatible API

• OpenAI-compatible REST API के साथ विभिन्न LLM का उपयोग संभव
• GPU के बिना भी संभव। llama.cpp-compatible LLM में GPU acceleration सपोर्ट
• मल्टीपल मॉडल सपोर्ट करता है, और audio transcription, text generation, image generation (Stable Diffusion) को सपोर्ट करता है
• एक बार लोड होने पर मॉडल को मेमोरी में रखता है और तेज inference को सपोर्ट करता है
• सभी ggml-compatible मॉडल सपोर्ट: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..