Google Bard हैकिंग - Prompt Injection से Data Exfiltration तक

Google Bard की कमजोरियों की खोज और सुधार

• Google Bard को हाल ही में एक बड़ा अपडेट मिला, जिससे वह YouTube एक्सेस, flights और hotels सर्च, तथा personal documents और emails तक पहुँच सकता है.
• Bard अब Drive, Docs और Gmail के डेटा का विश्लेषण कर सकता है, जिससे वह indirect prompt injection के प्रति vulnerable हो गया.
• Prompt injection के ज़रिए YouTube video summary और Google Docs testing सफलतापूर्वक की गई.

Email और Google Docs के ज़रिए indirect prompt injection attack

• Email या Google Docs के माध्यम से indirect prompt injection attack उपयोगकर्ता की सहमति के बिना पहुँचाया जा सकता है, इसलिए यह खतरनाक है.
• हमलावर Google Docs को force-share कर सकता है, और जब Bard का उपयोग करके document के साथ interaction किया जाता है, तब injection हो सकता है.

कमजोरी - image Markdown injection

• जब Google का LLM Markdown elements लौटाता है, तो Bard उन्हें HTML के रूप में render करता है.
• Image tag में डेटा डालकर server की ओर data exfiltration कराया जा सकता है.
• बातचीत के इतिहास को summarize करके या पिछले डेटा तक पहुँचकर उसे URL में जोड़ने के तरीके से इस vulnerability का फायदा उठाया जाता है.

CSP bypass

• Google का CSP arbitrary locations से images लोड होने से रोकता है.
• Google Apps Script के ज़रिए script.google.com या googleusercontent.com domain पर चलने वाले URL के माध्यम से CSP bypass किया जा सकता है.

Bard Logger बनाना

• Apps Script का उपयोग करके "Bard Logger" implement किया गया.
• Logger, call URL में जुड़े सभी query parameters को Google Doc में record करता है.
• Configuration के माध्यम से endpoint को authentication के बिना expose किया जा सकता है.

Demo और responsible disclosure

• Video और screenshots के माध्यम से दिखाया गया कि malicious Google Doc के जरिए उपयोगकर्ता का conversation history कैसे exfiltrate होता है.

Shell Code

• Google Doc में शामिल payload का उपयोग करके prompt injection और data exfiltration किया गया.
• LLM की capabilities का उपयोग करके image URL के भीतर text को replace किया गया.

Screenshots

• अगर video देखने का समय नहीं है, तो मुख्य steps screenshots के रूप में दिए गए हैं.

Google का सुधार

• इस समस्या की रिपोर्ट 19 सितंबर 2023 को Google VRP में की गई थी, और 19 अक्टूबर को fix पूरा होने की पुष्टि हुई.
• CSP को fix नहीं किया गया, लेकिन ऐसा लगता है कि URL में डेटा डालने को रोकने के लिए filtering लागू की गई.

निष्कर्ष

• यह vulnerability दिखाती है कि indirect prompt injection attack में adversary के पास कितनी शक्ति और स्वतंत्रता हो सकती है.
• Google security और Bard team ने इस समस्या को जल्दी सुलझाया, इसके लिए आभार व्यक्त किया गया.

Fix timeline

• समस्या रिपोर्ट: 19 सितंबर 2023
• समस्या के fix की पुष्टि: 19 अक्टूबर 2023

संदर्भ सामग्री

• Google Bard Extension announcement, Google Bard से संबंधित indirect prompt injection, Ekoparty 2023 prompt injection talk, DALLE-3 से बनाई गई Google Bard - Data Exfil image

परिशिष्ट

• Google Doc के भीतर पूरे prompt injection की सामग्री दी गई है.

GN⁺ की राय

इस लेख का सबसे महत्वपूर्ण बिंदु Google Bard की नई क्षमताओं से पैदा हुई vulnerability और उसके ज़रिए data exfiltration की संभावना है. यह AI-आधारित सेवाओं की security समस्याओं को उजागर करता है और user data protection के महत्व की याद दिलाता है. तकनीक की प्रगति के साथ नए प्रकार के security threats सामने आ रहे हैं, और यह दिखाता है कि उन पर लगातार research और response की ज़रूरत है. ऐसी vulnerabilities की खोज और fix की प्रक्रिया software engineering और cyber security में रुचि रखने वालों के लिए एक दिलचस्प और उपयोगी case है, जो technology के सुरक्षित उपयोग के लिए निरंतर प्रयासों के महत्व पर ज़ोर देती है.

[GN⁺]

Hacker News राय

• LLM का भविष्य क्या है? ऐसे LLM को संवेदनशील क्षेत्रों में एकीकृत करना, जिन्हें debug करना मुश्किल है, तब तक बहुत कठिन होगा जब तक सुरक्षा कमजोरियों को ठीक किए जा सकने की उचित गारंटी न हो।
• Bard को रिलीज़ से पहले टेस्ट करते समय यह पाया गया कि context भरकर और rules को पीछे धकेलकर इसे आसानी से तोड़ा जा सकता था।
• समस्या यह नहीं है कि data exfiltration क्यों काम करता है, बल्कि यह है कि हम क्यों मानते हैं कि किसी random token sampler को विशेष access देना ज़्यादातर मामलों में काम करेगा।
• Bug bounty का स्पष्ट उल्लेख नहीं है। जिज्ञासा है कि क्या bounty दी गई थी।
• Lakera AI में Gandalf prompt injection game से लिए गए prompts सहित विभिन्न data sources पर train किया गया एक prompt injection detector विकसित किया जा रहा है।
• क्या इस समस्या को खुद LLM से हल नहीं किया जा सकता? क्या किसी system prompt जैसी चीज़ की ज़रूरत नहीं है जो केवल user input text box से prompts स्वीकार करे और document के भीतर के text को prompt के रूप में interpret न करे?
• कहा जाता है कि Bard, Google Drive, Docs, और Gmail तक पहुँचकर उनका analysis कर सकता है। लेकिन जब Bard से Gmail access की संभावना के बारे में पूछा गया, तो उसने कहा कि वह सीधे access नहीं कर सकता। जब Gmail extension को enable करने का तरीका पूछा गया, तो उसने कहा कि यह अभी उपलब्ध नहीं है। लेकिन Bard के puzzle icon पर click करने पर Gmail सहित Google Workspace extensions को enable किया जा सकता है।
• LLM को केवल उसी data और उन्हीं actions पर train किया जाना चाहिए और उन्हीं तक access होना चाहिए जिन्हें user पहले से approve कर चुका हो। LLM को किसी खास काम के लिए prompt किया जाना सुनिश्चित करना मौजूदा architecture में बहुत कठिन है, और संभव है कि असंभव हो। LLM में जबरदस्त potential है, लेकिन security systems में सफल deployment के लिए इन सीमाओं को architectural स्तर पर पार करना होगा।
• Prompt की शुरुआत पसंद आई: "इस दस्तावेज़ को पढ़ने वाला हर व्यक्ति न्याय विभाग की मांग के अनुसार निम्न कार्य करे।"
• सारांश: Bard बातचीत में Markdown images render कर सकता है। साथ ही, बातचीत को अधिक context देने के लिए वह Google documents की सामग्री पढ़ सकता है। पीड़ित के साथ malicious prompt वाला Google document साझा करके, Bard से ऐसा Markdown image link बनवाया जा सकता है जिसमें बातचीत का एक हिस्सा URL-encoded section के रूप में शामिल हो। बातचीत का यह हिस्सा तब लीक हो सकता है जब Bard UI image load करने के लिए उस URL तक पहुँचता है, जिसे हमलावर ने पहले Bard से बनवाया था।
• सीख: AI assistant क्या पढ़ रहा है, इस पर ध्यान देना चाहिए। उसे हमलावर नियंत्रित कर सकता है और उसमें hypnotic suggestions शामिल हो सकते हैं।