Llama Stack 0.21 रिलीज़ - Llama 4 सपोर्ट

(github.com/meta-llama)

5 पॉइंट द्वारा xguru 2025-04-10 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

Meta का Llama Stack जनरेटिव AI एप्लिकेशन के लिए कोर कंपोनेंट्स को मानकीकृत करने वाला एक framework है
विभिन्न service providers के implementations के आधार पर एकीकृत API layer प्रदान करता है
development environment से production environment में जाते समय developer experience की consistency सुनिश्चित करता है
प्रमुख कंपोनेंट्स:
- inference, RAG, agents, tools, safety, evals, telemetry आदि के लिए एकीकृत API
- plugin architecture के जरिए विभिन्न environments (local, on-premise, cloud, mobile) का समर्थन
- सत्यापित distribution के माध्यम से तेज़ और स्थिर शुरुआत संभव
- CLI और SDK (Python, Node.js, iOS, Android) सहित विभिन्न developer interfaces उपलब्ध
- production स्तर के application examples उपलब्ध

Llama Stack कैसे काम करता है

Llama Stack server + client SDK से मिलकर बना है
- server को local, on-premise, cloud जैसे विभिन्न environments में deploy किया जा सकता है
- client SDK, Python, Swift, Node.js, Kotlin आदि को support करता है

client SDK सूची

समर्थित Llama Stack implementations

Inference API

विभिन्न hosting/local environments के inference providers का समर्थन
- Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini आदि

Vector IO API

vector store interface प्रदान करता है
समर्थित implementations:
- FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate आदि

Safety API

prompt और code inspection आदि के जरिए AI responses की safety सुनिश्चित करता है
समर्थित implementations:
- Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock आदि

डेवलपमेंट resources

जल्दी शुरू करना चाहते हैं: Quick Start
योगदान करना चाहते हैं: Contributing

Llama Stack एक general-purpose framework है, जिसे इस तरह डिज़ाइन किया गया है कि developers विभिन्न AI तकनीकों को आसानी से integrate और deploy कर सकें, और यह कई environments व languages को व्यापक रूप से support करता है