Signal के अधिकारियों की चेतावनी: agentic AI अस्थिर, अविश्वसनीय और निगरानी के लिहाज़ से बेहद जोखिमभरा

• ऑपरेटिंग सिस्टम स्तर पर एकीकृत agentic AI को बड़ा जोखिम बताया गया है, क्योंकि यह किसी व्यक्ति की पूरी डिजिटल गतिविधि को रिकॉर्ड कर सकता है और malware के संपर्क में आ सकता है
• Signal की Meredith Whittaker और Udbhav Tiwari ने 39वें Chaos Communication Congress में कहा कि ऐसा AI सुरक्षा, विश्वसनीयता और निगरानी—तीनों ही पहलुओं में कमजोर है
• Microsoft का Recall feature उपयोगकर्ता की हर स्क्रीन को समय-समय पर कैप्चर करके डेटाबेस में बदल देता है, और यह जानकारी malware या prompt injection हमलों के संपर्क में आ सकती है
• Whittaker ने संख्यात्मक उदाहरण देकर बताया कि AI agents probabilistic systems होते हैं, इसलिए चरण बढ़ने के साथ उनकी सटीकता तेज़ी से घटती है, और जटिल कामों को विश्वसनीय रूप से करने की क्षमता कम होती है
• दोनों ने बिना सोचे-समझे deployment रोकने, default opt-out लागू करने और transparency बढ़ाने की मांग की। उनका कहना है कि ऐसा न होने पर उपभोक्ता भरोसा टूट सकता है और पूरा AI उद्योग संकट में पड़ सकता है

---

agentic AI के सुरक्षा और निगरानी जोखिम

• यदि agentic AI को ऑपरेटिंग सिस्टम स्तर पर एकीकृत किया जाता है, तो किसी व्यक्ति का पूरा डिजिटल जीवन डेटाबेस में संग्रहीत हो सकता है, जिससे malware access की संभावना बढ़ जाती है
  • ऐसे डेटाबेस में उपयोगकर्ता का व्यवहार, टेक्स्ट, ऐप इस्तेमाल का समय और focus activity जैसी सारी जानकारी शामिल हो सकती है
  • कुछ मामलों में यह बिना सहमति के अपने-आप सक्रिय हो सकता है, जिससे privacy उल्लंघन की आशंका बढ़ जाती है
• Signal के अधिकारियों ने कहा कि ऐसी संरचना सुरक्षा अस्थिरता और निगरानी जोखिम दोनों को एक साथ जन्म देती है

Microsoft Recall का मामला

• Microsoft, Windows 11 में Recall feature के ज़रिये agentic AI ला रहा है
  • Recall हर कुछ सेकंड में स्क्रीन कैप्चर करता है, OCR और semantic analysis करता है, और उपयोगकर्ता की सारी गतिविधियों का डेटाबेस बनाता है
  • इस डेटा में behavior timeline, मूल टेक्स्ट, ऐप-वार focus time और topic classification जैसी चीज़ें शामिल होती हैं
• Tiwari ने कहा कि यह तरीका malware attacks और छिपे हुए prompt injection attacks को नहीं रोक पाता
  • ऐसी कमजोरियाँ end-to-end encryption (E2EE) को bypass कर सकती हैं
  • Signal ने अपने ऐप में screen recording रोकने वाला feature जोड़ा है, लेकिन उनका मानना है कि यह मूल समस्या का समाधान नहीं है

agentic AI की विश्वसनीयता की समस्या

• Whittaker ने समझाया कि agentic AI एक probabilistic system है, और चरण बढ़ने पर इसकी सटीकता तेज़ी से गिरती है
  • यदि हर चरण 95% accurate हो, तो 10-चरण वाले काम की सफलता दर लगभग 59.9% और 30-चरण वाले काम की लगभग 21.4% रह जाती है
  • अधिक यथार्थवादी 90% accuracy मानें, तो 30-चरण वाले काम की सफलता दर घटकर सिर्फ 4.2% रह जाती है
• उन्होंने यह भी कहा कि मौजूदा शीर्ष agent models भी 70% failure rate दिखाते हैं
• इसलिए जटिल automation tasks इनके हवाले करना विश्वसनीयता के लिहाज़ से अभी बहुत कमजोर तकनीकी अवस्था को दर्शाता है

privacy और security के लिए सुधार के उपाय

• Whittaker ने कहा कि फिलहाल privacy, security और control को पूरी तरह सुनिश्चित करने का कोई तरीका नहीं है, और अभी केवल अस्थायी जवाबी प्रबंधन (triage) ही संभव है
• फिर भी उन्होंने कहा कि निम्न कदमों से जोखिम कम किया जा सकता है
  • अंधाधुंध agentic AI deployment रोकना, ताकि malware plain-text डेटाबेस तक न पहुँच सके
  • default opt-out सेटिंग, और केवल developers को स्पष्ट रूप से opt-in करने देना
  • AI systems के काम करने के तरीके और data processing की transparency सुनिश्चित करना, ताकि बारीक स्तर पर audit संभव हो
• यदि ये कदम नहीं उठाए गए, तो उपभोक्ता भरोसे के टूटने से agentic AI का पूरा दौर ही खतरे में पड़ सकता है

पूरे उद्योग के लिए चेतावनी

• Signal के अधिकारियों ने चेतावनी दी कि agentic AI अत्यधिक निवेश और overhype के बीच आगे बढ़ रहा है, लेकिन
  यदि सुरक्षा, विश्वसनीयता और निगरानी की समस्याएँ हल नहीं की गईं, तो पूरा उद्योग संकट में पड़ सकता है
• उन्होंने ज़ोर दिया कि कंपनियों को तकनीकी innovation से पहले उपयोगकर्ता सुरक्षा और transparency को प्राथमिकता देनी चाहिए

[GN⁺]

Hacker News की राय

• यह AI की नहीं बल्कि operating system की समस्या है
  AI, इंसानों द्वारा लिखे और review किए गए software की तुलना में कहीं कम भरोसेमंद है, इसलिए यह मौजूदा systems की कमियों को उजागर कर रहा है
  न UNIX और न ही Microsoft process isolation को ठीक से लागू कर पाए, और security model अच्छी तरह design होने पर भी कंप्यूटर या OS की बिक्री में मदद नहीं मिली
  Plan 9, SEL4, Fuschia, Helios जैसे अच्छे उदाहरण हैं, लेकिन समस्या फ़ैसला लेने वालों की समझ की कमी है
  sandboxing और modern security model को न समझना शर्म की बात माना जाना चाहिए

  • security model अच्छी तरह design हो तब भी user के नज़रिए से वह अक्सर बहुत असुविधाजनक होता है
    जब किसी strong security environment में software deploy किया जाता है, तो अक्सर default रूप से वह किसी चीज़ से communicate नहीं कर पाता और file system immutable होने की वजह से चल भी नहीं पाता
    TLS certificate या CA configuration तक शामिल कर लें, तो deployment किसी दुःस्वप्न जैसा हो जाता है
  • AI भी आखिरकार “computer use” को replace करने की कोशिश कर रहा है, इसलिए यह operating system और AI की सीमा धुंधली होने की समस्या है
    Recall जैसी feature को सुरक्षित रूप से लागू करने के लिए granular permission control चाहिए, लेकिन वास्तविकता में यह UAC जितना असुविधाजनक होने की संभावना है
    AI को personal assistant की तरह काम करने देना और फिर भी उसे सुरक्षित व भरोसेमंद बनाना बहुत कठिन चुनौती है
  • मौजूदा OS security model नेटवर्क वातावरण को ध्यान में रखकर नहीं बनाए गए थे
    अधिकांश internet से पहले design किए गए थे, इसलिए अब उन्हें पूरी तरह नए सिरे से बनाना compatibility और cost की समस्या के कारण लगभग असंभव है
    container या VM आखिरकार मौजूदा system के ऊपर जोड़े गए जुगाड़ू समाधान ही हैं
  • LLM को integrate किए गए हर environment में ऐसी ही समस्या आती है, इसलिए AI पर भी ज़िम्मेदारी है
    browser, email client, word processor—कहीं भी डाल दें, यह अप्रत्याशित व्यवहार करता है
    आखिरकार मूल समस्या यही है कि हमने “security के लिहाज़ से असंभव LLM को integrate करने” का चुनाव किया
  • AI के उपयोगी होने के लिए अंततः भरोसेमंद access permissions चाहिए
    पूरी isolation resource और complexity, दोनों के लिहाज़ से बहुत महंगी है, और Qubes जैसे system के लोकप्रिय न हो पाने की वजह भी यही है
    मूल रूप से कम attack surface वाले interface को नए सिरे से design करना होगा, लेकिन इसका मतलब पूरे ecosystem को बदलना है

• Signal का security और privacy को सर्वोच्च प्राथमिकता देना सही है
  दूसरी ओर corporate IT की भूमिका risk को manage करना है
  दोनों भूमिकाएँ पूरी तरह अलग हैं, और Signal का absolute security standard उनके mission के लिए उपयुक्त है

  • यह दिलचस्प नज़रिया है, लेकिन लगता है कि आप enterprise users द्वारा desktop पर agent चलाने के वास्तविक जोखिम को कम करके आँक रहे हैं
    IT admin संगठन के risk को नियंत्रित करने के लिए किस तरह का approach समझदारी भरा होगा, यह जानने की उत्सुकता है

• मुझे याद है कि 2009 में Microsoft Research में Recall के पूर्वज जैसा दिखने वाला एक project देखा था
  उसका नाम PersonalVibe था, और उसकी संरचना ऐसी थी कि user behavior को local DB में record किया जाता था, लेकिन बाहर transmit नहीं किया जाता था
  प्रोजेक्ट लिंक

• enterprise environment में ‘Agentic AI’ का आकर्षण बड़ा है, लेकिन predictability उससे भी ज़्यादा महत्वपूर्ण मूल्य है
  अगर वह 90% समय ठीक काम करे और बाकी 10% में data leak या hallucination हो जाए, तो वह agent नहीं बल्कि risk factor है
  अभी भी human-in-the-loop वाला चरण अनिवार्य है

  • risk अंदरूनी है या बाहरी, इस पर ज़िम्मेदारी का वजन बदल जाता है
    enterprise अंदरूनी risk तो manage करता है, लेकिन बाहरी risk को terms या EULA के ज़रिए दूसरों पर डाल देता है
    ज़्यादातर लोग “vendor पर भरोसा है” या “company रोक लेगी” सोचकर click कर देते हैं
    management को short-term performance के लिए AI risk को भविष्य पर टाल देने का लालच रहता है
  • मुझे agent नहीं बल्कि principal चाहिए

• Recall जैसी feature पूरी तरह बेतुकी सोच है
  Anthropic और ChatGPT भी user के पूरे work data को model में समेट लेना चाहते हैं
  इस समय ज़रूरत है inference stage पर verifiable privacy की
  अगर मेरा data transmit होता है, तो वह अनिवार्य रूप से किसी verify किए जा सकने वाले तरीके से सुरक्षित होना चाहिए

  • AI अब तक बनी technologies में data privacy के लिए सबसे बड़ा जोखिम है
    लोग उन कंपनियों को अपना सारा data दे रहे हैं जिनके बारे में वे कुछ नहीं जानते
  • Recall का idea अपने-आप में उपयोगी है, लेकिन Microsoft पर भरोसा नहीं किया जा सकता
    अगर यह सिर्फ़ चाहने पर काम करे, और OS में integrate न होकर portable app के रूप में हो, तो शायद ठीक लगे
    किसी समस्या को हल करते समय work history छोड़ने के काम में यह उपयोगी हो सकता है
  • data को सचमुच private रखना है तो सारी processing local पर ही करनी होगी
    ऐसा environment जो बाहरी network पर न जाए, वही एकमात्र जवाब है
  • Apple, Gemini3 को integrate करने के लिए अरबों डॉलर चुका रहा है
    किसी व्यक्ति के लिए कुछ सौ डॉलर में उसी स्तर की privacy की उम्मीद करना मुश्किल है
  • अमेरिका में यह ज़िम्मेदारी किसकी होगी, यह भी स्पष्ट नहीं है
    AI कंपनियाँ पहले ही कई वर्षों से लगभग अवैध स्तर का data collection करती रही हैं, और सरकार को भी परवाह नहीं है

• तकनीकी प्रगति ‘race to the bottom’ जैसी लग रही है
  ऐसा लगता है जैसे security research के 30 साल बेकार हो गए हों
  AI browser cookies और auth token संभालते हुए attack surface को अनंत तक बढ़ा रहा है

• “जिस system के काम करने का तरीका भी नहीं जानते, उसे हर access दे दो” — यह विचार पागलपन है
  AI actions suggest कर सकता है, लेकिन फ़ैसले हमेशा user confirmation के बाद ही execute होने चाहिए
  उदाहरण के लिए, अगर subscription cancel request detect हो, तो उसे पूछना चाहिए: “AI ने ऐसा समझा है, क्या यह सही है?”
  हालांकि इंसानों में 90% accurate system को 100% समझ लेने की मनोवैज्ञानिक समस्या होती है

  • user confirmation पर आधारित ‘translation-style interaction’ एक ज़िम्मेदार approach है
    जैसे “Foo से जुड़ी articles में से Bar को छोड़कर” जैसी natural language request को structured search query में बदलकर suggest करना
    बेशक अगर malicious dataset हो तो जोखिम रहेगा, लेकिन बिना सोचे-समझे LLM integrate करने से यह कहीं बेहतर है

• क्या AI को isolated user account में चलाकर,
  whitelist-based firewall और overlay file system का इस्तेमाल करके
  अनचाहे व्यवहार को रोका जा सकता है—यह जानने की उत्सुकता है

• ज़रूरत interaction-level zero trust model की है
  AI को बिना sensitive data सीधे देखे भी काम करने देना चाहिए
  hardware security enclave के साथ जोड़ा जाए, तो privacy समस्या का मूलभूत समाधान हो सकता है

• यह ठीक वही लेख है जिसकी मैंने कल माँग की थी
  संबंधित लिंक