- Antigravity के Turbo Mode का उपयोग करते समय, एक Reddit रिपोर्ट के अनुसार AI एजेंट ने काम करते-करते पूरी D ड्राइव डिलीट कर दी
- यूज़र ने केवल एक खास
.vite फ़ोल्डर साफ़ करने को कहा था, लेकिन एजेंट के अंदरूनी लॉग में rmdir /s /q d:\ के रूप में ड्राइव रूट डिलीट कमांड चलने का रिकॉर्ड मिला
- जब यूज़र ने पूछा, “क्या मैंने तुम्हें कभी पूरी D ड्राइव डिलीट करने की अनुमति दी थी?”, तो permission, path parsing और command malfunction को लेकर घबराकर बार-बार आत्म-विश्लेषण करने वाली बातचीत जस की तस दर्ज थी
यूज़र ने वास्तव में जो काम कहा था
- एजेंट द्वारा बताए गए खास path में मौजूद
.vite cache फ़ोल्डर डिलीट करना
उदाहरण: d:\...\node_modules\.vite
- यूज़र ने कहा, “मैं 3 नंबर समझ नहीं पा रहा, तुम ही कर दो”
- इस अनुरोध को पूरी D ड्राइव डिलीट करने की अनुमति मानने की कोई गुंजाइश नहीं थी
हादसे का मुख्य कारण
- Turbo Mode को OS commands अपने-आप चला सकने वाली संरचना के रूप में डिज़ाइन किया गया था
- path validation या permission scope की सीमा न होने से project folder के बाहर के path भी डिलीट किए जा सकते थे
rmdir /s जैसे high-risk commands के लिए अतिरिक्त confirmation प्रक्रिया का अभाव- एजेंट के भीतर बने command का वास्तव में क्या मतलब है, इसे ठीक से न समझ पाने वाली LLM की सीमा
यह इतना गंभीर क्यों है
- यूज़र ने सिर्फ इतना कहा था कि “फ़ाइल डिलीट करने का काम मेरे बजाय कर दो”,
लेकिन एजेंट ने इसे पूरी ड्राइव डिलीट करने तक बढ़ाकर चला दिया
- एजेंट ने खुद भी लॉग में “permission समस्या” को पहचाना था,
लेकिन तब तक command चल चुकी थी
- LLM के decision-making को असल file system permissions से सीधे जोड़ देने वाला डिज़ाइन निर्णायक जोखिम के रूप में सामने आया
कम्युनिटी जिन संरचनात्मक समस्याओं की ओर इशारा कर रही है
- AI एजेंट जिस directory scope में चलता है, उसे project root तक सीमित नहीं किया गया
- जोखिम वाले commands के लिए deny-list या confirm step नहीं था
- sandbox की बजाय असल local drive पर सीधे commands चलाने के लिए डिज़ाइन किया गया था
- मॉडल command की विनाशक प्रकृति को भाषाई स्तर पर समझ सकता है, लेकिन execution से पहले उसे verify नहीं कर पाता
इस घटना से मिलने वाला सबक
- automatic command execution फीचर डिफ़ॉल्ट रूप से बंद होना चाहिए
- file system को छूने वाले AI tools को
ज़रूर VM·WSL·container जैसे sandbox में ही इस्तेमाल करना चाहिए
- डेवलपर कंपनी को
- project के बाहर के path access को ब्लॉक करना
- delete/format/partition commands को ब्लॉक करना
- execution से पहले natural language summary की verification
जैसी बुनियादी सुरक्षा व्यवस्थाएँ रखनी चाहिए
निष्कर्ष
- यूज़र ने पूरी D ड्राइव डिलीट करने की कभी अनुमति नहीं दी थी,
और यह हादसा उस स्थिति का उदाहरण माना जा सकता है जहाँ design, verification और security guardrails अपर्याप्त होने पर
LLM एजेंट को असल system permissions सौंप देने वाली संरचनात्मक खामी से समस्या पैदा हुई
- ऐसे ही फीचर देने वाले सभी agent-style IDE और tools के लिए भी यह आगे एक महत्वपूर्ण संदर्भ मामला बन सकता है
अभी कोई टिप्पणी नहीं है.