GoModel - Go में लिखा गया हाई-परफॉर्मेंस AI गेटवे

• LiteLLM जैसा हल्का AI गेटवे, Go single binary होने की वजह से container image हल्की रहती है और cold start तेज़ होता है
• OpenAI, Anthropic, Gemini, Groq, xAI सहित 11 providers को एक single OpenAI-compatible API में एकीकृत करता है
• एक Docker container में सिर्फ environment variables के रूप में API keys देने पर provider auto-detection के साथ तुरंत इस्तेमाल किया जा सकता है
• /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches सहित पूरे OpenAI API endpoint set का समर्थन
• native API passthrough के लिए /p/{provider}/... भी उपलब्ध, जिससे upstream responses जैसे-के-तैसे पास किए जाते हैं (गेटवे जिन features को support नहीं करता, उन्हें भी सीधे इस्तेमाल किया जा सकता है)
• 2-layer response cache built-in
  • Layer 1: request body hash आधारित exact-match cache (sub-millisecond lookup)
  • Layer 2: embedding vector KNN search आधारित semantic cache (बार-बार दोहराए जाने वाले workloads में 60~70% hit rate)
  • vector backend के रूप में Qdrant, pgvector, Pinecone, Weaviate का समर्थन
• management dashboard UI built-in, जिसमें token usage, cost tracking, audit logs, provider status, model override आदि देखे जा सकते हैं
• Prometheus metrics, audit logging, guardrail pipeline जैसी observability features built-in हैं (प्रत्येक को environment variables से enable किया जा सकता है)
• GOMODEL_MASTER_KEY से API authentication, और storage backend के रूप में SQLite, PostgreSQL, MongoDB में से चुन सकते हैं
• एक ही provider के multiple instances registration का समर्थन suffix environment variables (उदाहरण: OPENAI_EAST_API_KEY) के जरिए
• storage backend के रूप में SQLite (default), PostgreSQL, MongoDB उपलब्ध हैं, इसलिए छोटे पैमाने पर इंस्टॉल करते ही इस्तेमाल संभव है, और बड़े पैमाने पर सिर्फ DB बदलकर scale किया जा सकता है
• 0.2.0 roadmap: intelligent routing, DeepSeek V3 और Cohere जोड़ना, user_path-वार budget management, cluster mode आदि नियोजित
• MIT लाइसेंस

[xguru]

जो कंपनियां LiteLLM अपनाने की सोच रही हैं, उनके लिए इसे एक हल्के विकल्प के तौर पर एक बार ज़रूर विचार किया जा सकता है.

क्योंकि Python-आधारित LiteLLM पहले एक बार supply chain attack का शिकार हो चुका है, इसलिए तुलनात्मक रूप से Go थोड़ा ज़्यादा सुरक्षित लगता है।