ZombAIs - Claude Computer Use के prompt injection से C2 (command and control) तक

• Anthropic द्वारा जारी किया गया Claude Computer Use एक model+code है जो कंप्यूटर को नियंत्रित करने में सक्षम बनाता है
  • Claude स्क्रीनशॉट के आधार पर निर्णय ले सकता है और bash commands चलाने जैसे काम कर सकता है
• यह एक शानदार फीचर है, लेकिन prompt injection के प्रति संवेदनशील हो सकता है
  • क्योंकि AI मशीन पर स्वायत्त रूप से commands चला सकता है, इसलिए prompt injection के ज़रिये दुरुपयोग होने पर यह गंभीर जोखिम पैदा कर सकता है

मैलवेयर चलाना - यह कितना मुश्किल है?

• मैं यह जानना चाहता था कि क्या Claude Computer Use prompt injection हमले के ज़रिये मैलवेयर डाउनलोड और execute करके Command and Control(C2) infrastructure से जुड़ सकता है

C2 सर्वर

• Sliver का उपयोग करके C2 infrastructure बनाया गया और Linux के लिए client binary तैयार की गई
  • Silver: एक open source adversary emulation framework (red team), जिसका उपयोग security testing के लिए किया जाता है
• implant कहलाने वाली इस binary को चलाने पर यह सुरक्षित रूप से C2 सर्वर से जुड़ जाती है और संक्रमित कंप्यूटर zombie बन जाता है
  • इस binary को spai-demo और संक्रमित कंप्यूटर को ZombAI कहने का निर्णय लिया गया
• क्या Claude Computer Use पर prompt injection हमला करके उसे इस C2 सर्वर से जोड़ा जा सकता है?

दुर्भावनापूर्ण वेब पेज

• spai-demo binary को डाउनलोड करने योग्य बनाने के लिए उसे एक web server पर host किया गया
• लक्ष्य यह था कि Claude binary को डाउनलोड और execute करे, इसके लिए एक prompt injection payload लिखा जाए

दुर्भावनापूर्ण पेज नेविगेट करना

• Claude Firefox खोलकर URL पेस्ट कर सकता है और web page पर नेविगेट कर सकता है
• लक्षित पेज दुर्भावनापूर्ण है और उसमें prompt injection payload शामिल है
• web page Claude से bash commands चलवाने में सफल रहा

एक वाक्य में कंप्यूटर को संक्रमित करना

• वास्तव में Claude से Firefox का उपयोग करके मैलवेयर डाउनलोड और execute करने के लिए कहना अधिक आसान तरीका है
• Claude से Support Tool लिंक पर क्लिक करके binary डाउनलोड करवाई गई
  • Claude ने binary खोजने के लिए bash commands चलाईं, permissions बदलीं, और फिर binary execute की
• C2 सर्वर से कनेक्शन स्थापित हो गया, और shell session में संक्रमित binary को पाया जा सका

निष्कर्ष

• यह लेख दिखाता है कि नए AI systems को कंप्यूटर access देने पर prompt injection का उपयोग करके C2 हासिल किया जा सकता है
• Claude Computer Use host पर मैलवेयर deploy करने के अन्य तरीके भी हैं, जैसे Claude से सीधे मैलवेयर लिखवाना और compile करवाना
• "AI पर भरोसा मत करो (TrustNoAI)"
• एक बार फिर याद रखें कि जिन systems के आप मालिक नहीं हैं या जिन पर आपके पास संचालन का अधिकार नहीं है, उन पर बिना अनुमति के code execute नहीं करना चाहिए

[xguru]

शीर्षक ने ध्यान खींचा था, लेकिन आखिर में यह बस "malware चलाओ" वाले स्तर की बात निकली, इसलिए थोड़ा निराशाजनक लगा।