- ऑपरेटिंग सिस्टम स्तर पर एकीकृत agentic AI को बड़ा जोखिम बताया गया है, क्योंकि यह किसी व्यक्ति की पूरी डिजिटल गतिविधि को रिकॉर्ड कर सकता है और malware के संपर्क में आ सकता है
- Signal की Meredith Whittaker और Udbhav Tiwari ने 39वें Chaos Communication Congress में कहा कि ऐसा AI सुरक्षा, विश्वसनीयता और निगरानी—तीनों ही पहलुओं में कमजोर है
- Microsoft का Recall feature उपयोगकर्ता की हर स्क्रीन को समय-समय पर कैप्चर करके डेटाबेस में बदल देता है, और यह जानकारी malware या prompt injection हमलों के संपर्क में आ सकती है
- Whittaker ने संख्यात्मक उदाहरण देकर बताया कि AI agents probabilistic systems होते हैं, इसलिए चरण बढ़ने के साथ उनकी सटीकता तेज़ी से घटती है, और जटिल कामों को विश्वसनीय रूप से करने की क्षमता कम होती है
- दोनों ने बिना सोचे-समझे deployment रोकने, default opt-out लागू करने और transparency बढ़ाने की मांग की। उनका कहना है कि ऐसा न होने पर उपभोक्ता भरोसा टूट सकता है और पूरा AI उद्योग संकट में पड़ सकता है
agentic AI के सुरक्षा और निगरानी जोखिम
- यदि agentic AI को ऑपरेटिंग सिस्टम स्तर पर एकीकृत किया जाता है, तो किसी व्यक्ति का पूरा डिजिटल जीवन डेटाबेस में संग्रहीत हो सकता है, जिससे malware access की संभावना बढ़ जाती है
- ऐसे डेटाबेस में उपयोगकर्ता का व्यवहार, टेक्स्ट, ऐप इस्तेमाल का समय और focus activity जैसी सारी जानकारी शामिल हो सकती है
- कुछ मामलों में यह बिना सहमति के अपने-आप सक्रिय हो सकता है, जिससे privacy उल्लंघन की आशंका बढ़ जाती है
- Signal के अधिकारियों ने कहा कि ऐसी संरचना सुरक्षा अस्थिरता और निगरानी जोखिम दोनों को एक साथ जन्म देती है
Microsoft Recall का मामला
- Microsoft, Windows 11 में Recall feature के ज़रिये agentic AI ला रहा है
- Recall हर कुछ सेकंड में स्क्रीन कैप्चर करता है, OCR और semantic analysis करता है, और उपयोगकर्ता की सारी गतिविधियों का डेटाबेस बनाता है
- इस डेटा में behavior timeline, मूल टेक्स्ट, ऐप-वार focus time और topic classification जैसी चीज़ें शामिल होती हैं
- Tiwari ने कहा कि यह तरीका malware attacks और छिपे हुए prompt injection attacks को नहीं रोक पाता
- ऐसी कमजोरियाँ end-to-end encryption (E2EE) को bypass कर सकती हैं
- Signal ने अपने ऐप में screen recording रोकने वाला feature जोड़ा है, लेकिन उनका मानना है कि यह मूल समस्या का समाधान नहीं है
agentic AI की विश्वसनीयता की समस्या
- Whittaker ने समझाया कि agentic AI एक probabilistic system है, और चरण बढ़ने पर इसकी सटीकता तेज़ी से गिरती है
- यदि हर चरण 95% accurate हो, तो 10-चरण वाले काम की सफलता दर लगभग 59.9% और 30-चरण वाले काम की लगभग 21.4% रह जाती है
- अधिक यथार्थवादी 90% accuracy मानें, तो 30-चरण वाले काम की सफलता दर घटकर सिर्फ 4.2% रह जाती है
- उन्होंने यह भी कहा कि मौजूदा शीर्ष agent models भी 70% failure rate दिखाते हैं
- इसलिए जटिल automation tasks इनके हवाले करना विश्वसनीयता के लिहाज़ से अभी बहुत कमजोर तकनीकी अवस्था को दर्शाता है
privacy और security के लिए सुधार के उपाय
- Whittaker ने कहा कि फिलहाल privacy, security और control को पूरी तरह सुनिश्चित करने का कोई तरीका नहीं है, और अभी केवल अस्थायी जवाबी प्रबंधन (triage) ही संभव है
- फिर भी उन्होंने कहा कि निम्न कदमों से जोखिम कम किया जा सकता है
- अंधाधुंध agentic AI deployment रोकना, ताकि malware plain-text डेटाबेस तक न पहुँच सके
- default opt-out सेटिंग, और केवल developers को स्पष्ट रूप से opt-in करने देना
- AI systems के काम करने के तरीके और data processing की transparency सुनिश्चित करना, ताकि बारीक स्तर पर audit संभव हो
- यदि ये कदम नहीं उठाए गए, तो उपभोक्ता भरोसे के टूटने से agentic AI का पूरा दौर ही खतरे में पड़ सकता है
पूरे उद्योग के लिए चेतावनी
- Signal के अधिकारियों ने चेतावनी दी कि agentic AI अत्यधिक निवेश और overhype के बीच आगे बढ़ रहा है, लेकिन
यदि सुरक्षा, विश्वसनीयता और निगरानी की समस्याएँ हल नहीं की गईं, तो पूरा उद्योग संकट में पड़ सकता है
- उन्होंने ज़ोर दिया कि कंपनियों को तकनीकी innovation से पहले उपयोगकर्ता सुरक्षा और transparency को प्राथमिकता देनी चाहिए
अभी कोई टिप्पणी नहीं है.