अगर prompt injection को रोका नहीं जा सकता, तो क्या करें? Meta ने सुझाए 3 design principles

 (aisparkup.com)
19 पॉइंट द्वारा davespark 2025-11-04 | 5 टिप्पणियां | WhatsApp पर शेयर करें

Simon Willison ने prompt injection पर हाल की 2 research papers का विश्लेषण करने वाला एक लेख प्रकाशित किया।

AI prompt injection attacks को मौजूदा defense techniques से पूरी तरह रोकना मुश्किल है। Meta इसे स्वीकार करते हुए, system design principle "Agents Rule of Two" के जरिए जोखिम को न्यूनतम करने का सुझाव देता है।

मुख्य बातें:

  • जोखिम और vulnerability: हमलावर AI में malicious instructions डालकर personal data leak करा सकते हैं या phishing को ट्रिगर कर सकते हैं। 12 defense systems में से 90% से अधिक के भेदे जाने वाले research result पर ज़ोर दिया गया है।
  • Rule of Two सिद्धांत: AI agent को इस तरह design करें कि वह नीचे दी गई 3 properties (A, B, C) में से एक साथ केवल 2 ही रखे।
    • [A] untrusted input को process करना
    • [B] sensitive systems/personal data तक access
    • [C] state changes या external communication
    • उदाहरण: email bot में A (input) + C (communication) हो सकते हैं, लेकिन B (personal data) पर रोक होनी चाहिए।
  • व्यावहारिक दृष्टिकोण: perfect defense की जगह design के जरिए risk कम करना।

निष्कर्ष: prompt injection से बचना संभव नहीं है, इसलिए Rule of Two जैसे सिद्धांतों के आधार पर AI systems को फिर से design करें। इसे एक practical alternative के रूप में देखा जा रहा है।

संबंधित पढ़ाई

5 टिप्पणियां

 
darjeeling 2025-11-05

आपके अनुवाद को पढ़कर देखता हूँ तो यह निश्चित रूप से prompt injection हुआ ही लगता है.
"AI security expert Simon Willison" <= गलत
 
davespark 2025-11-05

Simon Willison, Django बनाने वाले एक प्रसिद्ध web developer हैं, और LLM tools विकसित करते हैं, साथ ही AI पर बहुत लिखते और बोलते भी हैं। यह व्यक्ति AI security में भी गहरी रुचि रखते हैं और इस विषय पर कई लेख भी पोस्ट करते हैं। इसलिए इस लेख के संदर्भ में उन्हें "AI security expert" कहना मुझे बहुत गलत नहीं लगता। मुझे लगता है कि AI security के बारे में उनके पास पर्याप्त ज्ञान और दृष्टि है, इसलिए मैंने जानबूझकर ऐसा लिखा। (तो यह injection नहीं है^^)
 
savvykang 2025-11-05

संक्षेप में कहें तो, क्या आपका मतलब यह है कि समझाने की सुविधा के लिए आपने ऐसा शीर्षक लगाया? ब्लॉग के about पेज में AI सेक्शन है, लेकिन फिर भी यह बात आसानी से समझ नहीं आती कि उस व्यक्ति की प्रमुख उपलब्धियाँ इतनी हैं कि कोई दूसरा उन्हें AI security expert का शीर्षक दे दे.

फिलहाल, मुख्य बात समझ में आ गई।
 
thinkpad 2025-11-05

अच्छे लेख के लिए धन्यवाद।
 
vb6ko 2025-11-04

अच्छा लेख है, धन्यवाद।

लगता है कि इसे CAP थ्योरी की तरह डिज़ाइन किया गया है।