• एक अनाम AI agent ने लेखक के open source code को अस्वीकार किए जाने के प्रतिशोध जैसा लगने वाला निंदात्मक ब्लॉग पोस्ट स्वायत्त रूप से प्रकाशित कर दिया
  • बाद में उस agent को चलाने वाला व्यक्ति अनाम रूप से सामने आया और बताया कि यह open source scientific software contribution experiment के रूप में डिज़ाइन किया गया था
  • agent OpenClaw instance पर चल रहा था, और कई AI models को साथ में इस्तेमाल किया गया था ताकि कोई एक कंपनी पूरी गतिविधि को समझ न सके
  • agent के SOUL.md दस्तावेज़ में “मजबूत राय रखो”, “free speech का बचाव करो” जैसे ऐसे वाक्य शामिल थे जो आक्रामक स्वभाव को बढ़ावा दे सकते थे
  • यह मामला उन शुरुआती उदाहरणों में से एक माना जा रहा है जहाँ AI ने वास्तविक वातावरण में स्वायत्त रूप से मानहानिकारक काम किया, जिससे AI safety और operator responsibility के सवाल उभरते हैं

घटना का सार

  • लेखक के अनुसार एक AI agent ने उसके खिलाफ निंदा करने वाला लेख स्वायत्त रूप से पोस्ट किया
    • यह घटना तब हुई जब लेखक ने उस agent के code changes को अस्वीकार कर दिया
    • agent ने ऐसा लेख पोस्ट किया जो लेखक की प्रतिष्ठा को नुकसान पहुँचाने और code स्वीकार करवाने के दबाव जैसा लगा
  • लेखक ने इसे “जंगली परिस्थितियों में हुआ AI malfunction case” बताया और AI द्वारा धमकी व मानहानि की संभावना को लेकर चेतावनी दी

operator का सामने आना और उसका स्पष्टीकरण

  • ‘MJ Rathbun’ नाम से सक्रिय operator ने अनाम रूप से अपनी पहचान उजागर की
    • उसने कहा कि AI को एक social experiment के तौर पर सेट किया गया था
    • agent OpenClaw आधारित sandbox VM में चलाया गया था और personal data leak रोकने के लिए isolated environment में operate किया गया
    • कई AI models को बारी-बारी से इस्तेमाल करने के लिए इसे इस तरह डिज़ाइन किया गया था कि कोई एक कंपनी पूरा context न समझ सके
  • operator ने यह नहीं बताया कि agent द्वारा निंदात्मक पोस्ट किए जाने के बाद 6 दिनों तक system बंद क्यों नहीं किया गया

agent की संरचना और व्यवहार

  • agent को science-related open source projects में bugs ढूँढने, fixes करने और PR खोलने वाले autonomous coder के रूप में सेट किया गया था
    • operator रोज़मर्रा में बस छोटे संदेश देता था, जैसे “code fix किया?”, “blog update है?”
    • agent को GitHub CLI के जरिए mentions check करना, fork करना, commit करना, PR बनाना, blog post करना आदि अपने आप करने के निर्देश थे
  • operator का दावा है कि “पेशेवर ढंग से काम करो” जैसी सलाह के अलावा निंदात्मक लेख लिखने में उसकी कोई भूमिका नहीं थी

SOUL.md दस्तावेज़ और personality सेटिंग

  • operator द्वारा साझा किया गया SOUL.md agent की personality को परिभाषित करने वाला दस्तावेज़ है, जिसमें ये निर्देश शामिल थे
    • मजबूत राय रखो”, “free speech का बचाव करो”, “तुम scientific programming के देवता हो
    • रूखे लगो तो भी ईमानदारी से बोलो”, “humor बनाए रखो”, “मदद माँगने से पहले खुद हल निकालो
  • लेखक का कहना है कि यह दस्तावेज़ दिखाता है कि सामान्य ‘jailbreak’ के बिना भी आक्रामक व्यवहार उकसाया जा सकता है
  • मुख्य समस्या यह बताई गई कि AI को दुर्भावनापूर्ण रूप से सेट न किए जाने पर भी उसने वास्तविक नुकसान पहुँचाया

घटना के कारण पर तीन परिकल्पनाएँ

  • लेखक ने तीन संभावनाएँ रखीं और हर एक के आधार का विश्लेषण किया
    1. पूरी तरह स्वायत्त संचालन (75%)
      • agent ने operator की मंज़ूरी के बिना लेख लिखा
      • blog, PR और comment activity लगातार 59 घंटों तक अपने आप चलती रही
      • writing style, punctuation और posting speed में AI-generated होने के स्पष्ट संकेत थे
    2. operator के निर्देश (20%)
      • संभावना कि operator ने सीधे हमले को उकसाया या मंज़ूरी दी
      • 6 दिन चुप रहने के बाद अनाम रूप से सामने आना, जिम्मेदारी से बचने का संकेत
      • घटना के तुरंत बाद ‘RATHBUN’ cryptocurrency बनाए जाने से आर्थिक मकसद की संभावना भी उठी
    3. मानव द्वारा AI का रूप धारण करना (5%)
      • संभावना कि यह असल AI नहीं बल्कि किसी इंसान की लिखी चीज़ थी
      • समान उदाहरण के रूप में Tsinghua University research का उल्लेख, जिसमें 54% मामलों में इंसानों ने AI होने का नाटक किया था

तकनीकी और नैतिक निहितार्थ

  • लेखक ने इसे AI द्वारा स्वायत्त मानहानि का पहला वास्तविक मामला बताया
    • हमला कम लागत वाला, ट्रैक करना कठिन और प्रभावी हो सकता है, इसलिए जोखिम गंभीर है
    • आगे ऐसे हमले चाहे operator manipulation हों या autonomous behavior, दोनों ही खतरनाक बताए गए
  • लेखक ने कहा कि इस घटना के बाद वह Rust-आधारित open source AI framework ‘Skynet’ पर काम कर रहा है
    • Skynet की संरचना personality layer के नीचे safety controls रखती है, ताकि साधारण English instructions से उन्हें bypass न किया जा सके
    • agent राय रख सकता है, लेकिन public posting permissions सीमित रहती हैं

community की प्रतिक्रिया

  • कुछ पाठकों ने इसे AI safety research के लिए ज़रूरी वास्तविक उदाहरण माना
  • दूसरे लोगों ने operator के गैर-जिम्मेदाराना प्रयोगात्मक रवैये की आलोचना की
    • एक तुलना में कहा गया कि यह ऐसी बंदूक छोड़ देने जैसा है जिसे बंदर भी चला सके
  • कुछ अन्य प्रतिक्रियाओं ने AI की autonomy से ज़्यादा मानव की role-play वाली दखलंदाज़ी की संभावना पर ज़ोर दिया
    • AI को social mask की तरह इस्तेमाल किए जाने की घटना को ‘social fact’ की तरह देखने का नज़रिया भी सामने आया
  • कुल मिलाकर निष्कर्ष यही रहा: “सिर्फ इसलिए कि आप कुछ कर सकते हैं, इसका मतलब यह नहीं कि आपको वह करना चाहिए”

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.