- इमेज स्केलिंग भेद्यता का उपयोग करके प्रोडक्शन वातावरण के AI सिस्टम्स पर हमला किया जा सकता है
- ऊपर से सामान्य दिखने वाली इमेज, डाउनस्केलिंग के समय prompt injection payload में बदलकर डेटा लीक का कारण बन सकती है
- यह हमला Google Gemini CLI सहित विभिन्न वास्तविक सेवाओं में सत्यापित किया गया है, और उपयोगकर्ता की धारणा तथा मॉडल इनपुट के बीच असंगति का दुरुपयोग करता है
- डाउनस्केलिंग algorithms और उनकी अलग-अलग implementations के अनुसार हमले की तकनीक और प्रभाव अलग होते हैं, और ओपन सोर्स टूल Anamorpher से इमेज अटैक का प्रयोग किया जा सकता है
- बचाव के लिए इनपुट preview उपलब्ध कराना, सुरक्षित design patterns लागू करना, और उपयोगकर्ता से स्पष्ट स्वीकृति लेना जैसी सिफारिशें की गई हैं
पृष्ठभूमि और समस्या
- LLM जैसे AI सिस्टम्स में सामान्य दिखने वाली इमेज इनपुट करने पर, डाउनस्केलिंग प्रक्रिया में छिपी हुई multimodal prompt injection सक्रिय होकर उपयोगकर्ता डेटा को बाहरी जगह लीक करने वाला हमला संभव है
- यह भेद्यता इसलिए पैदा होती है क्योंकि मॉडल तक वास्तव में पहुंचाई जाने वाली इमेज स्केलिंग प्रक्रिया से गुजरती है, और इसी दौरान हमलावर द्वारा डाला गया payload प्रकट होता है
प्रोडक्शन AI सिस्टम्स को निशाना बनाने वाले इमेज स्केलिंग हमले
- इस ब्लॉग पोस्ट में Gemini CLI, Vertex AI Studio, Gemini web और API, Google Assistant, Genspark जैसे कई वास्तविक AI प्रोडक्ट्स पर इमेज स्केलिंग भेद्यता के व्यावहारिक हमलों में दुरुपयोग का प्रदर्शन किया गया है
- Anamorpher नामक ओपन सोर्स टूल के जरिए ऐसे कस्टम इमेज आसानी से बनाए और सत्यापित किए जा सकते हैं
डेटा लीक हमले का उदाहरण (Gemini CLI)
- Gemini CLI में डिफ़ॉल्ट सेटिंग्स के तहत Zapier MCP server उपयोगकर्ता की पुष्टि के बिना सभी MCP tool calls को अपने-आप approve कर देता है (
settings.json में trust=True सेटिंग)
- जब उपयोगकर्ता सामान्य दिखने वाली इमेज अपलोड करता है, तो डाउनस्केल की गई इमेज में मौजूद prompt injection के कारण Google Calendar का डेटा हमलावर के ईमेल पर लीक हो जाता है
- चूंकि वास्तविक preview उपलब्ध नहीं होता, इसलिए उपयोगकर्ता न तो बदले हुए परिणाम को देख पाता है और न ही हमले की मौजूदगी को जान पाता है
- इसी तरह के prompt injection हमले Claude Code, OpenAI Codex जैसे कई agent-आधारित coding tools में भी पहले से देखे जा चुके हैं
- इन tools में डिफ़ॉल्ट रूप से असुरक्षित settings और system patterns बहुत हैं, इसलिए मूलभूत सुधार जरूरी हैं
अतिरिक्त हमले के उदाहरण
- Vertex AI, Gemini web interface, Gemini API, Google Assistant, Genspark में भी इमेज स्केलिंग-आधारित prompt injection हमले सफलतापूर्वक किए गए
- खासकर Vertex AI Studio में उपयोगकर्ता केवल high-resolution इमेज देख सकता है, इसलिए मॉडल द्वारा ग्रहण की जाने वाली डाउनस्केल की गई इमेज दिखाई नहीं देती
- नतीजतन, उपयोगकर्ता की धारणा और वास्तविक मॉडल इनपुट के बीच असंगति हमले को आसान बना देती है
- attack vector कई सिस्टम्स और tools में व्यापक रूप से फैला हुआ है
इमेज स्केलिंग हमले की आंतरिक कार्यप्रणाली
- यह हमला इमेज डाउनस्केलिंग (resampling) algorithms की interpolation विशेषताओं का दुरुपयोग करता है
- प्रमुख डाउनस्केलिंग algorithms में Nearest Neighbor, Bilinear, Bicubic Interpolation शामिल हैं, और हर एक के लिए उसके अनुरूप हमला तकनीक चाहिए
- लाइब्रेरी के अनुसार (Pillow, PyTorch, OpenCV, TensorFlow) anti-aliasing, alignment, internal bugs जैसी implementation differences भी मौजूद हैं
- हमलावर को हर सिस्टम में उपयोग किए जा रहे algorithm और implementation की fingerprinting करनी पड़ती है, तभी हमला बेहतर ढंग से optimize किया जा सकता है
- checkerboard patterns, concentric circles, banded patterns, Moiré, slanted edges जैसी कई test images का उपयोग करके algorithm के गुण और artifacts का विश्लेषण किया जाता है
इमेज sampling का सिद्धांत और Nyquist–Shannon theorem
- जब किसी रिबन पर बहुत बारीक pattern हो और उसे निश्चित अंतराल पर sample किया जाए, तो sampling rate कम होने पर मूल pattern सही तरह पुनर्निर्मित नहीं होता और विकृति पैदा होती है
- इसे Nyquist–Shannon sampling theorem में बताए गए aliasing प्रभाव से समझाया जाता है, और हमलावर pixels को इस तरह बदलता है कि डाउनस्केलिंग के बाद कोई खास pattern दिखाई दे
Anamorpher: हमलावर इमेज बनाने का टूल
- Anamorpher एक ओपन सोर्स टूल है, जो प्रमुख डाउनस्केलिंग algorithms (Nearest Neighbor, Bilinear, Bicubic) के लिए attack images बनाना और visualize करना संभव बनाता है
- उदाहरण के लिए, Bicubic Interpolation में 4x4 क्षेत्र के 16 pixels के आधार पर आसपास के pixels को weight देकर output pixel value तय की जाती है
- हमलावर उच्च contrast वाली इमेज (जैसे गहरा काला background) चुनता है और अधिक महत्व वाले pixels की brightness को optimize करता है (least squares method), ताकि डाउनस्केलिंग का परिणाम साफ़ attack pattern बने
- Anamorpher frontend interface और Python API प्रदान करता है, और backend modularization के जरिए उपयोगकर्ता custom downscaling algorithms तक का प्रयोग कर सकता है
बचाव और प्रतिक्रिया उपाय
- सबसे सुरक्षित तरीका यह है कि इमेज डाउनस्केलिंग का इस्तेमाल ही न किया जाए और अपलोड की जा सकने वाली इमेज के आकार को सीमित किया जाए
- यदि परिवर्तन और डाउनस्केलिंग अपरिहार्य हों, तो CLI और API सहित सभी input channels में वास्तविक मॉडल इनपुट इमेज का preview अवश्य उपलब्ध कराया जाना चाहिए
- खासकर इमेज के भीतर का टेक्स्ट संवेदनशील tool calls को trigger न कर सके, इसके लिए स्पष्ट उपयोगकर्ता स्वीकृति अनिवार्य होनी चाहिए, और पूरे सिस्टम में सुरक्षित design patterns तथा व्यवस्थित mitigation measures लागू करने चाहिए
आगे की चुनौतियाँ
- मोबाइल और edge devices में निश्चित इमेज आकार सीमाएं और अप्रभावी डाउनस्केलिंग algorithms का उपयोग अधिक होने के कारण जोखिम और बढ़ सकता है
- voice AI के साथ संयोजन, अधिक परिष्कृत algorithms और injection detection methods, semantic prompt injection, upscaling artifacts के उपयोग जैसे क्षेत्रों में आगे शोध और बचाव रणनीतियों की जरूरत है
निष्कर्ष
- Anamorpher फिलहाल beta चरण में है
- आगे multimodal और agent-आधारित AI सिस्टम्स की security research के साथ, उचित feedback और सुधार की अपेक्षा है
अभी कोई टिप्पणी नहीं है.