KubeAI - Kubernetes पर Private AI चलाना
(github.com/substratusai)- OpenAI के साथ संगत HTTP API प्रदान करता है
- लोड के आधार पर ऑटो स्केलिंग
- open source LLM को CPU/GPU आधारित रूप में serve किया जा सकता है
- zero dependency (Istio, Knative आदि)
- built-in Chat UI
अभी कोई टिप्पणी नहीं है.