Portkey AI Gateway - 100+ LLM को 1 API से इस्तेमाल करें
(github.com/Portkey-AI)- ऐप और LLM के बीच इंटरफ़ेस के रूप में सभी LLM को एकीकृत API से कॉल किया जा सकता है
- OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini आदि
- बहुत तेज़ (9.9x) और कम footprint (~45kb)
- कई models/providers/keys के बीच load balancing संभव
- fallback और auto-retry के ज़रिए ऐप को स्थिर रूप से चलाने में मदद
2 टिप्पणियां
अगर यह अच्छी तरह काम करे, तो उपयोगी रहेगा।
मैं maintainers में से एक हूँ — community के feedback का इंतज़ार है!