Grab, LLM-Kit से LLM application development को तेज़ करता है

• Grab का LLM-Kit एक ऐसा framework है जिसे production-level Generative AI applications की सेटअप प्रक्रिया को तेज़ करने के लिए डिज़ाइन किया गया है
• sensitive data को संभालने वाले AI applications के development में security और data safety बहुत महत्वपूर्ण हैं, और scalability, integration, monitoring, standardization जैसी समस्याओं को LLM-Kit हल करता है
• इसके ज़रिए लंबे समय में efficient और effective LLM application development संभव होता है, जिससे Grab में सैकड़ों GenAI applications के onboarding में मदद मिली

LLM-Kit की विशेषताएँ

• pre-configured structure (API server, configuration management, sample LLM agent, testing आदि) प्रदान करता है
• Poetry, Gunicorn, FastAPI, LangChain, LangSmith, Hashicorp Vault, Amazon EKS, Gitlab CI आदि के साथ integrated है
• Datadog और LangSmith integration के साथ real-time monitoring के लिए observability features
• Python के configparser और Vault का उपयोग करके configuration और secret management
• OpenID Connect(OIDC) authentication helper
• Swagger और Redoc का उपयोग करके API documentation
• Redis और Vector DB के साथ integration
• staging और production environment के लिए deployment pipeline
• LangSmith के शक्तिशाली evaluation framework के साथ integration
• cookbook: Grab में अक्सर उपयोग होने वाले उदाहरणों को एकत्र कर developers के लिए resource प्रदान करता है
  • persistent memory agent, Slackbot LLM agent, image analyzer, user interface के साथ full-stack chatbot जैसे विभिन्न उदाहरण शामिल हैं

LLM-Kit का मूल्य

• pre-configured और integrated tech stack के कारण LLM application development की गति बढ़ती है
• LangSmith और Datadog integration से real-time monitoring तथा issue detection/resolution संभव है
• OIDC authentication और Vault secret management से security बेहतर होती है
• Vector DB से data storage/search की efficiency बढ़ती है
• best practices और standardization को बढ़ावा देने वाला paved-road framework प्रदान करता है
• टीम को पहला feature बनाने से पहले लगभग 1.5 सप्ताह का development time बच सकता है

architecture design और technical implementation

• modular architecture scalability, flexibility और ease of use प्रदान करता है

automation

1. engineer जब app name जैसी संबंधित details submit करता है, तो GitLab project creation trigger होता है
2. LLM app के लिए विशेष रूप से डिज़ाइन किया गया code scaffold generate होता है
3. उसी repository में CI/CD के लिए GitLab CI file generate होती है
4. ECR, EKS जैसी staging infrastructure बनाई जाती है
5. infrastructure provisioning के लिए Terraform folder generate होता है और इसके बाद production infrastructure deployment होता है
6. pipeline के अंत में GPT token को सुरक्षित Vault path में push किया जाता है और engineer को completion notification भेजी जाती है

scaffold code structure

1. Agents: LangChain agent framework के आधार पर agents initialize करने वाला code शामिल है
2. Auth: Grab के अंदर कुछ API चलाने के लिए authentication और authorization module
3. Core: configuration extraction (जैसे GPT token) और LLM app execution के लिए secret decryption शामिल है
4. Models: Grab के core LLM API के लिए structure definitions
5. Routes: LLM app के लिए REST API endpoints की definition (health check, authentication, authorization, simple agents आदि सहित)
6. Storage: Grab के managed Vector DB, PGVector, के साथ connectivity और DB schema शामिल हैं
7. Tools: LLM agent के tools के रूप में उपयोग होने वाली functionality
8. Tracing: production app के विभिन्न metrics की monitoring के लिए tracing और monitoring tools के साथ integration
9. Utils: utility functionality के लिए base folder

infrastructure provisioning और deployment

• उसी codebase के भीतर infrastructure provisioning, deployment और build process के लिए आवश्यक code को अपने-आप scaffold करने वाली comprehensive pipeline integrated है
• Terraform का उपयोग करके आवश्यक infrastructure को seamless तरीके से provision किया जाता है
• deployment pipeline .gitlab-ci.yml file में defined है, जिससे automated deployment सुनिश्चित होता है
• build process Dockerfile में specified है, जिससे consistent build संभव होती है
• automated scaffolding की वजह से developers base infrastructure और deployment complexity के बजाय business logic लिखने पर ध्यान दे सकते हैं

RAG scaffolding

• LLM-Kit का उपयोग करके Vector DB(PGVector) setup और service allowlist जोड़ने की प्रक्रिया सरल हो जाती है
• form submit करने के बाद credentials और DB host path तक access संभव हो जाता है
• secrets अपने-आप Vault path में जोड़ दिए जाते हैं
• engineer को केवल scaffold किए गए LLM-Kit app की configuration file में DB host path शामिल करना होता है

निष्कर्ष

• LLM-Kit, Grab के AI और ML innovation तथा growth को support करने वाला एक महत्वपूर्ण tool है
• टीमों द्वारा सामना की गई चुनौतियों को हल करके और comprehensive, scalable तथा flexible LLM app development framework प्रदान करके यह Grab की अगली पीढ़ी के AI apps के development को आगे बढ़ा रहा है

growth और future plans

• web server की concurrency और scalability को काफी बेहतर बनाने के साथ-साथ stable और easy-to-use SDK प्रदान करने की योजना है
• evaluation और guardrail framework सहित reusable और composable LLM SDK प्रदान किया जाएगा
• version update और development tools के लिए CLI development
• polling-based agent provisioning capability विकसित की जाएगी
• इन प्रगतियों के माध्यम से engineers को और अधिक seamless तथा efficient development experience देने का लक्ष्य है