liteLLM - 50 से अधिक LLM को सपोर्ट करने वाला प्रॉक्सी सर्वर

 (github.com/BerriAI)
15 पॉइंट द्वारा xguru 2023-08-14 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • /chat/completion API को Azure, OpenAI, Replicate, Anthropic, Hugging Face आदि के विभिन्न LLM के लिए कॉल किया जा सकता है
  • Input/Output फ़ॉर्मैट को OpenAI फ़ॉर्मैट में एकीकृत करता है
  • मॉडल fallback को सपोर्ट करता है (उदाहरण: GPT-4 विफल होने पर llama2 को कॉल करना)
  • लॉगिंग सपोर्ट: Supabase, Posthog, Mixpanel, Sentry, Helicone
  • टोकन उपयोग ट्रैकिंग
  • Semantic Caching लागू
  • स्ट्रीमिंग और asynchronous सपोर्ट

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.