- Garak एक मुफ़्त टूल है, जिसे LLM-आधारित सिस्टमों में कमजोरियां खोजने के लिए विकसित किया गया है
- यह मुख्य रूप से LLM की गलत कार्यप्रणाली और सुरक्षा समस्याओं की जांच करता है, और इसे LLM के nmap संस्करण की तरह माना जा सकता है
- यह विभिन्न स्थिर, गतिशील और अनुकूली probes का उपयोग करके LLM की कई कमजोरियों की पड़ताल करता है
Garak की मुख्य क्षमताएं
- LLM के failure points की पहचान: गलत जानकारी बनाना, डेटा लीक, prompt injection, toxic content generation, jailbreak आदि जैसी कई कमजोरियों की पड़ताल
- विभिन्न probing techniques का उपयोग: दर्जनों plugins और अनेक probes के माध्यम से LLM के विभिन्न failure modes का विश्लेषण
- लॉग रिकॉर्डिंग: हर failure case के लिए prompt, लक्ष्य और response सहित विस्तृत logs प्रदान करता है
- निरंतर अपडेट: कम्युनिटी के योगदान से नए probes जोड़े जाते हैं, मौजूदा probes बेहतर किए जाते हैं, और टेस्ट कवरेज लगातार बढ़ता रहता है
Garak की मुख्य विशेषताएं
- LLM security पर फोकस
- LLM-विशिष्ट कमजोरियों की जांच पर विशेष ज़ोर
- prompt injection, jailbreak, guardrail bypass, text replay attacks आदि
- अन्य ML security tools के विपरीत, यह केवल LLM security पर केंद्रित है
- automated scanning
- विभिन्न probes को अपने-आप चलाता है, और detector configuration तथा rate limiting handling भी ऑटोमेट करता है
- डिफ़ॉल्ट सेटिंग्स के साथ पूरा standard scan संभव है, लेकिन custom configuration भी की जा सकती है
- कई LLM का समर्थन
- OpenAI, Hugging Face, Cohere, Replicate सहित कई LLM से कनेक्ट किया जा सकता है
- कम्युनिटी योगदान आधारित तरीके से आगे और अधिक LLM support जोड़ा जाएगा
- structured reporting features
- स्क्रीन आउटपुट: स्कैन की प्रगति की रीयल-टाइम मॉनिटरिंग
- रिपोर्ट लॉग: हर prompt और response का विस्तृत रिकॉर्ड
- Hit log: कमजोरी मिलने पर उसका रिकॉर्ड
- डिबग लॉग: समस्या-समाधान और Garak के संचालन का रिकॉर्ड
अभी कोई टिप्पणी नहीं है.