- Benchling कई regions और environments में cloud infrastructure चलाता है
- Terraform Cloud के जरिए 160,000 से अधिक संसाधनों का प्रबंधन किया जाता है, और हर महीने लगभग 50 इंजीनियर infrastructure बदलाव release करते हैं।
- बड़े FAQ दस्तावेज़ (20 पेज) और Slack thread history मौजूद हैं, लेकिन मुख्य समस्या थी "खोज की अक्षमता"।
- इसे ठीक करने के लिए हमने RAG LLM आधारित Slackbot बनाया।
निर्माण लक्ष्य
- Terraform Cloud से जुड़े प्रश्नों का real-time समाधान देने वाला आंतरिक Slackbot विकसित करना।
- आंतरिक और बाहरी डेटा स्रोतों को combine करके, उपयोगकर्ता को परिचित Slack interface के जरिए उत्तर देना।
- उपयोग के उदाहरण:
- HR प्रश्नों के उत्तर
- ग्राहक समस्या समाधान केस खोज
- सॉफ्टवेयर error code की व्याख्या
काम करने का तरीका
- उपयोगकर्ता query का विश्लेषण: डेटाबेस से संबंधित जानकारी खोजी जाती है।
- LLM prompt निर्माण: खोज परिणाम और निर्देशों को शामिल करके उत्तर बनाया जाता है।
टेक्नोलॉजी स्टैक
- RAG मॉडल: Amazon Bedrock का उपयोग।
- OpenSearch Serverless डेटाबेस पर आधारित knowledge base सेट किया गया।
- Claude 3.5 Sonnet v2 मॉडल से जवाब जनरेट किए गए।
डेटा स्रोत
- Confluence: Terraform Cloud FAQ (PDF के रूप में सेव करके S3 पर upload)।
- वेब: HashiCorp के Terraform Cloud और language documentation।
- Slack: resolved Terraform Cloud issues शामिल करने वाले threads (POC में manually collect किया गया)।
- डेटा vector database में store किया गया, ताकि query के समय खोज संभव हो।
इम्प्लीमेंटेशन आर्किटेक्चर
- घटक:
- Slack app
- AWS API Gateway
- AWS Lambda (Python का उपयोग)
- AWS Bedrock
- OpenSearch Serverless (vector database)
- मॉडल उपयोग:
- Amazon Titan Text Embeddings v2 (embeddings निर्माण)
- Claude 3.5 Sonnet v2 (उत्तर निर्माण)
सीमाएं और भविष्य की सुधार योजनाएँ
सीमाएं
- इमेज प्रोसेसिंग संभव नहीं: image आधारित architecture diagrams या screenshots शामिल नहीं।
- Terraform समर्थन की कमी: फिलहाल Terraform AWS provider Bedrock resources को support नहीं करता।
भविष्य की सुधार योजनाएं
- स्रोत लिंक जोड़ना: Slack उत्तरों में दस्तावेज़ स्रोत शामिल करना।
- Slack thread automatic save:
@help-terraform-cloud याद रखो command से database अपडेट।
- डेटा सिंक्रनाइज़ेशन ऑटोमेशन: CloudWatch events से weekly sync करना।
- Confluence API का उपयोग: वर्तमान manual PDF upload को API integration से बदलना।
- multi-turn conversation सपोर्ट: उपयोगकर्ता के साथ लंबी बातचीत का संदर्भ बनाए रखना।
निर्माण प्रक्रिया से सीखे गए सबक
- डेटा chunk रणनीति:
- शुरुआत में 300 token (लगभग 1 पैराग्राफ) size इस्तेमाल की, लेकिन लंबा उत्तर कट न जाए इसलिए 1500 token (लगभग 5 पैराग्राफ) पर बदल दिया।
- PDF पार्सिंग की दक्षता:
- इमेज हटाने पर text-based डेटा reliably extract होता है।
- knowledge base सेटअप की सरलता:
- Amazon Bedrock का उपयोग करके कुछ ही मिनटों में setup संभव।
उपयोग के केस
- FAQ और error code lookup।
- दोहराए जाने वाले प्रश्नों का स्वचालित उत्तर।
- टीम-विशिष्ट कस्टम dataset का उपयोग:
- बातचीत के रिकॉर्ड, सार्वजनिक दस्तावेज़ आदि।
सुरक्षा पर ध्यान
- डेटा sensitivity और गलत परिणाम का जोखिम आकलन।
- संगठन द्वारा approved मॉडल की पुष्टि।
निष्कर्ष
- LLM-आधारित Slackbot ने तेज़ prototype development की संभावना साबित की।
- नई तकनीकी experiments के जरिए efficiency और productivity बढ़ाई जा सकती है।
- इस उदाहरण के आधार पर आप भी LLM आधारित tools बना कर देखें!
अभी कोई टिप्पणी नहीं है.