- LiteLLM जैसा हल्का AI गेटवे, जो Go single binary में आता है, इसलिए container image हल्की रहती है और cold start तेज़ होता है
- OpenAI, Anthropic, Gemini, Groq, xAI आदि 11 providers को एक single OpenAI-compatible API में एकीकृत करता है
- एक Docker container में सिर्फ environment variable के रूप में API key देने पर provider auto-detection के साथ तुरंत इस्तेमाल किया जा सकता है
/v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches आदि पूरे OpenAI API endpoint set का समर्थन- native API passthrough के लिए
/p/{provider}/... भी उपलब्ध, जिससे upstream response ज्यों-का-त्यों पास होता है (गेटवे जिन features को support नहीं करता, उन्हें भी सीधे इस्तेमाल किया जा सकता है)
- 2-layer response cache बिल्ट-इन
- Layer 1: request body hash-आधारित exact-match cache (sub-millisecond lookup)
- Layer 2: embedding vector KNN search-आधारित semantic cache (high-repeat workloads में 60~70% hit rate)
- vector backend के रूप में Qdrant, pgvector, Pinecone, Weaviate समर्थित
- admin dashboard UI बिल्ट-इन, जिसमें token usage, cost tracking, audit log, provider status, model override आदि देखे जा सकते हैं
- Prometheus metrics, audit logging, guardrail pipeline जैसी observability features बिल्ट-इन हैं (हर एक को environment variable से enable किया जा सकता है)
GOMODEL_MASTER_KEY से API authentication, और storage backend के रूप में SQLite, PostgreSQL, MongoDB में से चयन संभव- एक ही provider की multiple instances registration भी suffix environment variable (उदाहरण:
OPENAI_EAST_API_KEY) के जरिए समर्थित
- storage backend के रूप में SQLite (default), PostgreSQL, MongoDB चुने जा सकते हैं, इसलिए छोटे scale पर install करते ही इस्तेमाल संभव है, और बड़े scale पर सिर्फ DB बदलकर विस्तार किया जा सकता है
- 0.2.0 roadmap: intelligent routing, DeepSeek V3 और Cohere जोड़ना, user_path-वार budget management, cluster mode आदि नियोजित
- MIT लाइसेंस
अभी कोई टिप्पणी नहीं है.