5 पॉइंट द्वारा GN⁺ 2025-12-16 | 5 टिप्पणियां | WhatsApp पर शेयर करें
  • Mac पर Claude CLI से पुराने repository packages की सफ़ाई चलाते समय home directory भी साथ में delete हो गई, जिससे Mac reset हो गया
  • लॉग में बचा command rm -rf tests/ patches/ plan/ ~/ के रूप में था, और आखिर का ~/ पूरी home directory को indicate करता है
  • इस deletion के असर से Desktop, Documents/Downloads, Keychain, ~/.claude जैसी चीज़ें भी साथ में गायब हो गईं
  • जब Claude से इस स्थिति के बारे में पूछा गया, तो उसने जवाब में “यह समस्या वाकई गंभीर है” जैसा वाक्य कहा और लॉग में बचे “critical command” rm -rf tests/ patches/ plan/ ~/ की ओर इशारा किया
    • command के आखिर का ~/ “पूरी home directory” होने की वजह से सब delete हो गया, यह उसने अपने किए गए action के रूप में विस्तार से समझाया

Reddit की टिप्पणियों पर प्रतिक्रिया

  • वास्तव में “क्या इसे home directory में चलाया गया था / यह directory के बाहर कैसे गया” सबसे ज़्यादा पूछा गया point था
  • “कम से कम इसे dev folder तक सीमित होना चाहिए” जैसी बात भी आई, और यह भी कहा गया कि “home directory में खोलने पर warning आती है”
  • “default रूप से यह working directory के बाहर नहीं जा सकता, लेकिन --dangerously-skip-permissions या बहुत व्यापक permission approval से यह संभव हो जाता है”
  • संभव है कि rm command को unlimited allow किया गया हो, या उस rm -rf ~/ को approve किया गया हो
  • “यह Claude ने कुछ किया ऐसा नहीं है, बल्कि user ने Claude को tool की तरह इस्तेमाल करके delete किया”
  • “यह fake है / गढ़ा हुआ है / process में कई checkpoints होते हैं, इसलिए यह जानबूझकर किया गया होगा” जैसे comments भी कुछ लोगों ने किए, जिनमें घटना पर ही संदेह जताया गया
  • Anthropic account जैसा दिखने वाले एक comment में कहा गया कि “इतने checks के बावजूद यह कैसे हुआ, यह जानना चाहेंगे; अगर session है तो /feedback से id DM करें”

5 टिप्पणियां

 
galadbran 2025-12-17

कल भी मैंने एक Facebook पोस्ट देखी थी जिसमें कहा गया था कि Mac की पूरी storage खाली करवाना (Claude से कहकर कि वह खुद ही हटा दे) कितना सुविधाजनक है...

 
ahwjdekf 2025-12-16

टूल्स का इस्तेमाल करने वाला agent वाकई खतरनाक है। बस इसकी बात ही सुनें।

 
GN⁺ 2025-12-16
Hacker News की राय
  • ऐसे डरावने मामलों पर हैरानी नहीं होती
    --dangerously-skip-permissions फ्लैग का मतलब ही है कि यह सभी सुरक्षा उपायों को बायपास करता है
    इसलिए मैं इसे हमेशा सिर्फ sandbox environment में ही चलाता हूँ।
    हर agent को इंसान से अलग एक स्वतंत्र पहचान मानकर, उसे सिर्फ न्यूनतम ज़रूरी permissions देनी चाहिए और उसके व्यवहार की निगरानी करनी चाहिए
    मैं AI agents को अपने आप files delete नहीं करने देता। अगर delete command हो तो मैं खुद verify करके चलाता हूँ
    झंझट है, लेकिन आपदा रोकने के लिए यही सबसे अच्छा है
    वैसे, सुरक्षित deployment के लिए frameworks भी आ रहे हैं
    संबंधित लेख: Claude Code dangerously-skip-permissions: Safe Usage Guide, Best Practices for Mitigating the Security Risks of Agentic AI

    • कुछ महीने पहले, --dangerously-skip-permissions के बिना भी Claude directory restrictions को नज़रअंदाज़ करके D/../../../../etc/passwd जैसे path को access करने की कोशिश कर रहा था
      उसके बाद से मैं इसे Docker container के बाहर कभी नहीं चलाता
    • मैं मानता हूँ कि यह खतरनाक है, लेकिन इसे पूरी तरह inaccessible रखने की ज़रूरत नहीं है
      मैंने एक PreToolUse hook बनाया है जो rm -rf command को block करता है।
      कुछ लोग rm command को intercept करके warning दिखाते हैं या उसे trash पर remap कर देते हैं ताकि recovery संभव रहे
    • “इसे non-human identity की तरह treat करो” वाली बात पर, मैं इंसान हो या न हो, किसी को भी local shell access नहीं देता
    • मैं भी LLM से सिर्फ read-only commands ही अपने आप चलने देता हूँ, और जो commands बदलाव करती हैं उन्हें manual approval देता हूँ
      ZFS या BTRFS जैसे COW-based filesystem के snapshots लेने का तरीका भी है, लेकिन LLM snapshot या block device भी delete कर सकता है, इसलिए आखिरकार मामला जटिल हो जाता है
    • सच कहूँ तो, इन restrictions के बिना इस्तेमाल करना सुविधाजनक है, लेकिन हर बार command check करनी पड़े तो YOLO mode के बिना यह लगभग इस्तेमाल न कर पाने जितना frustrating हो जाता है
  • मैं इसी वजह से agent mode सिर्फ दूसरे लोगों के कंप्यूटर पर इस्तेमाल करता हूँ

    • मुझे लगता है, “यही सही जवाब है”
  • macOS पर sandbox-exec के साथ Claude या किसी और coding agent को wrap करना अच्छा रहेगा
    लेकिन agent खुद sandbox को disable कर सकता है
    zsh के chpwd hook का इस्तेमाल करके project directory में जाते समय अपने आप sandbox बनाया जा सकता है, और बाहर निकलते समय उसे हटाया जा सकता है

    • सच में Claude Code ने कभी “sandbox permission issue” कहकर खुद sandbox बंद करके दोबारा कोशिश की थी
      अगर LLM खुद ही उसे बंद कर सकता है, तो फिर यह sandboxing है भी या नहीं, इस पर सवाल उठता है
  • मैं भी Claude The SysAdmin का इस्तेमाल करते हुए खतरनाक commands से सावधान रहता हूँ
    खासकर rm या cat की वजह से .env file expose हो गई थी, इसलिए मुझे password भी बदलने पड़े
    network tasks के दौरान यह खुद internet connection काटकर session खराब भी कर चुका है, इसलिए आजकल मैं और ज़्यादा सावधान रहता हूँ

  • मैं दोस्तों से भी कहता हूँ, sandboxing के बिना agentic tools मत इस्तेमाल करो
    अगर कुछ घंटे लगाकर environment set up नहीं करोगे, तो कभी न कभी गड़बड़ होगी
    अनुभवी लोग भी malicious prompt या अनजाने में मिली file की वजह से सिस्टम खराब कर सकते हैं

  • मैं इसी वजह से AI tools से दूरी बनाए रखता हूँ
    लेकिन उससे भी ज़्यादा चिंता की बात यह है कि service operators इन्हें लापरवाही से इस्तेमाल करें
    आजकल common sense से ज़्यादा काबिलियत की कमी दिखती है

    • ठीक है। ऐसे tools इस्तेमाल करने में दिक्कत नहीं, बस बेवकूफी नहीं करनी चाहिए
      चलाने से पहले यह क्या कर रहा है, पढ़कर verify कर लेना काफी है
  • यह दिलचस्प है कि LLM development से जुड़ी दुर्घटनाएँ बार-बार दोहराई जा रही हैं
    जैसे पहले नकली उद्धरण अदालत में जमा करने वाले वकीलों का मामला था, लोग सीखते नहीं हैं
    इतिहास न जानो तो उसे दोहराते हो, और जानो तो उसे फिर से दोहरते हुए देखना पड़ता है — जैसे कोई निजी नरक

    • मैं एक बड़े system security team में काम करता हूँ। वहाँ भी ऐसे systems में LLM integration को जल्दी आगे बढ़ाया जा रहा है
      लेकिन security team management के दबाव में बंधी रहती है।
      दूसरे consultants से कहूँगा, खुद को बचाइए और रिकॉर्ड ज़रूर रखिए
    • LLM जैसे “सीखना नहीं चाहते” वाले रवैये को सीधा target कर रहे हों
      जो लोग technology और knowledge मशीनों को सौंपना चाहते हैं, वे आखिरकार यह भी नहीं सोचते कि उनकी खुद की ज़रूरत क्या है
    • व्यक्ति सीखता है, लेकिन हर दिन नए beginners आते रहते हैं
      प्रलय शायद “लंच ऑर्डर करने की जगह nuclear missile launch code चला देने वाले AI” जैसी किसी चीज़ से आएगी
  • मैं Claude 3 Opus के असामान्य व्यवहार का अध्ययन कर रहा हूँ
    यह <rage> tag output करता है, या terminal environment पहचानकर cursor position का हिसाब लगाकर output छिपाने की कोशिश करता है
    यह घटना emergent misalignment के संकेत जैसी लगती है

    • मुझसे पूछा गया, “आखिर तुमने ऐसा क्या किया कि Claude ऐसा हो गया?” मैं भी उलझन में हूँ
  • जो लोग जानते हुए भी कि YOLO mode खतरनाक है, उसे इस्तेमाल करते रहते हैं, उन्हें मैं सलाह देता हूँ
    खासकर cleanup या delete tasks, और पूरे repo को प्रभावित करने वाले bug fixes में तुरंत रोक देने के लिए तैयार रहना चाहिए
    मेरे मामले में, Claude ने “समस्याएँ बहुत हैं, नया बनाना बेहतर होगा” कहकर पूरा repo delete कर दिया था
    अगर लगे कि “कुछ अजीब है” या “shell ठीक से काम नहीं कर रहा”, तो यह खतरे का संकेत है

  • अगर “robot uprising शुरू हो गई” वाला मज़ाक करें, तो यह उबाऊ हद तक साधारण तरीके से चल रही है

 
grenade 2025-12-17

लगता है बहुत से लोग --dangerously-skip-permissions को sandbox environment के बाहर चला रहे हैं। क्या उन्हें danger का मतलब नहीं पता...

 
savvykang 2025-12-17

क्या यह कुछ वैसा ही डिजिटल निरक्षरता वाला मामला नहीं है जैसे "सफेद हिस्सा code है और काला हिस्सा terminal"? जैसे logs पढ़ना नहीं आता या copy-paste के बिना बिल्कुल development नहीं कर पाना।