- LLM एप्लिकेशन (एजेंट, असिस्टेंट, copilot) की सुरक्षा, ऑब्ज़र्वेबिलिटी और पर्सनलाइज़ेशन के लिए एक बुद्धिमान लेयर 7 गेटवे के रूप में काम करता है, जो यूज़र के API के साथ इंटीग्रेट होकर LLM को ऑप्टिमाइज़ करता है
- प्रॉम्प्ट प्रोसेसिंग से जुड़े महत्वपूर्ण कार्यों को मैनेज करता है, और Jailbreak प्रयासों का पता लगाकर उन्हें ब्लॉक करता है
- प्रॉम्प्ट के अनुसार बैकएंड API को कॉल करके अनुरोधों को प्रोसेस करता है
- upstream LLM के बीच बुद्धिमान रूटिंग और डिज़ास्टर रिकवरी प्रदान करता है
- प्रॉम्प्ट और LLM इंटरैक्शन को केंद्रीकृत रूप से ऑब्ज़र्व और मैनेज करता है
प्रमुख विशेषताएँ
- Envoy आधारित: Envoy Proxy पर निर्मित, यह HTTP अनुरोधों की तरह प्रॉम्प्ट के इनबाउंड और आउटबाउंड ट्रैफ़िक को मैनेज करता है और स्केलेबल LLM प्रोसेसिंग क्षमताएँ प्रदान करता है।
- Function Calling: एजेंट ऐप्स और RAG ऐप्स को सपोर्ट करता है, ऐसे LLM के माध्यम से जो API कॉल या प्रॉम्प्ट से पैरामीटर एक्सट्रैक्शन जैसे तेज़ और किफायती कार्यों को संभालने के लिए डिज़ाइन किए गए हैं।
- Prompt Guard: अलग से कोडिंग किए बिना Jailbreak प्रयासों को रोकने और सुरक्षित यूज़र इंटरैक्शन सुनिश्चित करने के लिए प्रॉम्प्ट सेफगार्ड्स को केंद्रीकृत रूप से मैनेज करता है।
- ट्रैफ़िक प्रबंधन: LLM कॉल्स को बुद्धिमानी से retry करता है और कनेक्शन को अपने आप स्विच करता है, ताकि upstream कनेक्शनों की निरंतर उपलब्धता सुनिश्चित हो सके।
- मानक-आधारित ऑब्ज़र्वेबिलिटी: W3C Trace Context मानक का उपयोग करके एप्लिकेशनों के बीच एंड-टू-एंड अनुरोध ट्रेसिंग को संभव बनाता है, और latency, token usage, error rate जैसे metrics के माध्यम से AI एप्लिकेशन के प्रदर्शन को ऑप्टिमाइज़ करने में मदद करता है।
अभी कोई टिप्पणी नहीं है.