Gemini के Python sandbox को hack करके source code का आंशिक लीक

• Google ने AI security को मज़बूत करने के लिए पहले से red-teaming शैली का bugSWAT इवेंट आयोजित किया, जिसमें शोधकर्ताओं को उसके AI सिस्टम्स को गहराई से टेस्ट करने का मौका दिया गया
• 2023 में $50,000 जीतने वाली टीम ने इस बार भी Gemini में नई vulnerability खोजी और ‘Most Valuable Hacker(MVH)’ टाइटल जीता
• हैकर टीम को Google से नए Gemini preview features तक access और documentation मिला, ताकि वे security के नज़रिए से फीचर्स का परीक्षण कर सकें
  • एक साधारण prompt से Python code माँगने पर “Run in Sandbox” बटन दिया गया
  • Gemini का sandbox environment, Google के gVisor और GRTE पर आधारित, Python चलाने के लिए बनाया गया सुरक्षित environment है
• gVisor, Google द्वारा बनाया गया user-space kernel है, जो system calls को intercept करके security बढ़ाता है
  • sandbox environment पूरी तरह isolated है और उससे बाहर निकलना बेहद कठिन है
  • लेकिन sandbox के अंदर से data exfiltration कुछ मामलों में संभव हो सकता है
• यह पता चला कि sandbox os library उपलब्ध कराता है, और file system को explore करने वाला Python code लिखा गया
  • /usr/bin/entry/entry_point नाम की 579MB की binary file मिली
• binary file को सीधे base64 में print करने पर sandbox crash हो जाता था, इसलिए उसे 10MB के chunks में बाँटकर print किया गया
  • Caido नाम के tool से automated तरीके से सभी chunks इकट्ठा किए गए और local पर restore किया गया
  • file, strings, binwalk commands से analysis करने पर internal structure और Google के internal paths उजागर हुए
• binwalk analysis से internal Python source code वाली google3 directory मिली
  • assistant directory में Gemini के Google services (YouTube, Flights आदि) के साथ interact करने वाले RPC-संबंधित code शामिल थे
  • कुछ specific script dump को रोकने वाले strings भी मौजूद थे, लेकिन Google security team ने पहले से review करके तय किया कि यह code public किया जा सकता है

sandbox की main logic का analysis

• Google services को call करना Python code में लिखी गई कुछ specific classes में implement किया गया था
  • उदाहरण: _set_reader_and_writer, run_tool आदि file descriptors के ज़रिए Google services से communicate करते हैं
  • binary के अंदर protobuf schema के आधार पर सीधे messages बनाकर tools को call करना संभव था
• Google ने ReAct paper के आधार पर Gemini को complex problems सुलझाने के लिए खुद कई बार prompt generate करने और योजना बनाने लायक implement किया
  • उदाहरण: यूज़र “Toronto → New York flight time?” पूछे तो Gemini कई steps से गुजरकर tool चुनता है और data खोजता है
  • इसी logic का दुरुपयोग करके prompt injection के ज़रिए higher-privilege sandbox बनवाने की कोशिश की गई
• कुछ sandbox, Google extensions (RPC API आदि) तक पहुँच सकते थे
  • extensions को हमेशा खुले रहने वाले FD के माध्यम से call किया जाता है, और इनके दुरुपयोग से higher-level system access की संभावना बनती है
  • यह पुष्टि हुई कि कुछ conditions (जैसे Gemini के planning stage) में advanced sandbox तक access मिल सकता है

sensitive proto files का लीक

• Protocol Buffer files (proto) सिस्टम्स के बीच data definitions के लिए इस्तेमाल होती हैं, और इनमें sensitive system structure information शामिल हो सकती है
  • strings entry_point > stringsoutput.txt चलाने के बाद “Dogfood” string खोजने पर कई sensitive proto paths उजागर हुए
  • उदाहरण: privacy/data_governance/attributes/proto/classification.proto → यह file परिभाषित करती है कि Google user data को कैसे classify करता है
• cat stringsoutput.txt | grep '.proto' | grep 'security' command से कई sensitive security-related proto files की list सामने आई
  • उदाहरण: security/thinmint/proto/core/thinmint_core.proto, security/credentials/proto/authenticator.proto आदि

ये files वहाँ क्यों थीं?

• Google security team ने sandbox binary में शामिल सामग्री को पहले से approve किया था, लेकिन automated build pipeline ने गैर-ज़रूरी security proto files भी जोड़ दीं
• इसके कारण अत्यधिक sensitive internal definition files बाहरी लोगों के सामने उजागर हो गईं
• हैकरों ने इसे vulnerability माना, क्योंकि Google के अपने मानकों के अनुसार ये files sensitive information मानी जाती हैं

निष्कर्ष और पुनरवलोकन

• AI systems में बहुत से elements आपस में interact करते हैं, इसलिए अप्रत्याशित security issues अक्सर सामने आते हैं
• एक अकेला sandbox भी internal tools से communicate कर सकता है और उसकी privileges dynamic रूप से बदल सकती हैं, इसलिए सटीक testing ज़रूरी है
• Google security team के साथ collaboration उपयोगी रहा, और पूरा अनुभव चुनौतीपूर्ण होने के साथ-साथ बेहद रोमांचक भी था

[GN⁺]

Hacker News राय

• मैं इसी सिस्टम पर काम करता हूँ। कोई सवाल हो तो बेझिझक पूछें। सभी राय मेरी निजी हैं और मेरे नियोक्ता की राय का प्रतिनिधित्व नहीं करतीं
• बढ़िया लेख है। यह कोई बड़ा vulnerability नहीं है, लेकिन Google इसे गंभीरता से लेता है, इससे पता चलता है कि सुरक्षा के प्रति जागरूकता ऊँची है
  • कंपनी की कुछ खास policies इसे बहुत गोपनीय मानती हैं, इसलिए इसे गंभीर माना जा सकता है, लेकिन यह किसी स्पष्ट vulnerability से ज़्यादा "तकनीकी रूप से vulnerability माना जा सकता है" जैसा लगता है
• मैं ChatGPT Code Interpreter के आंतरिक source code को GitHub repository में scrape करने के लिए इसी तरह का तरीका इस्तेमाल करता हूँ
  • यह मुख्य रूप से यह ट्रैक करने में उपयोगी है कि कौन-कौन से Python packages उपलब्ध हैं (और उनके versions क्या हैं)
• अगर यह बहुत गोपनीय होता, तो शायद यह सब GitHub पर नहीं होता
• hacking की परिभाषा अब काफ़ी ढीली होती जा रही है। sandbox अपना काम कर रहा है और कोई sensitive information leak नहीं हुई
• binary से कुछ file names निकालने के लिए built-in strings command चलाना hacking/cracking कहना मुश्किल है
  • विडंबना यह है कि Gemini का source code हासिल करना शायद बहुत मूल्यवान नहीं है। लेकिन अगर मॉडल ने pre-training corpus ढूँढ लिया होता या उस तक पहुँच बना ली होती, तो वह दिलचस्प होता
• यह दिखाता है कि Google काफ़ी सुरक्षित है, जो दिलचस्प है। ज़्यादातर कंपनियाँ शायद इतना अच्छा नहीं कर पातीं
• मुझे leak की उम्मीद थी, लेकिन फिर भी यह एक बढ़िया खोज और विश्लेषण है
  • हाल ही में मुझे एहसास हुआ कि LLMs में prompt injection जैसी समस्याएँ कितनी महत्वपूर्ण हैं
  • मेरी दिलचस्पी ज़्यादा personal LLMs में रही है, इसलिए मैं ऐसे मुद्दों को उतना महत्वपूर्ण नहीं मानता था। लेकिन Operator और Deep Research आने के बाद मैं समझ पाया
  • जब कोई personal AI agent इंटरनेट content पढ़ता है या images देखता है, तो वह third party द्वारा prompt injection के प्रति संवेदनशील हो सकता है
  • यह कल्पना करना दिलचस्प है कि भविष्य में personal AI इंटरनेट की ग़लत जानकारी पढ़कर hack हो सकता है
• बहुत दिलचस्प लेख है
  • यह Google की उन आंतरिक categories से जुड़ी file है जिनसे वह user data को classify करता है
  • मैं जानना चाहता हूँ कि classification कैसा है। उदाहरण के लिए, "autism है" जैसा, या "यह user का phone number है" जैसा
• sandbox को hack किया गया, लेकिन कुछ भी leak नहीं हुआ। लेख मज़ेदार है