AI और end-to-end encryption को साथ में समझना क्यों ज़रूरी है
(blog.cryptographyengineering.com)- जब AI assistants और agents संदेश, फ़ोटो और कॉल जैसे व्यक्तिगत डेटा के बीचोंबीच आ रहे हैं, तो end-to-end encryption ने जो privacy guarantees दी थीं, उन पर नया दबाव बनना शुरू हो गया है
- End-to-end encryption ट्रांज़िट के दौरान सर्वर को plaintext देखने से रोकता है, लेकिन यह उस उपयोग को नहीं रोकता जो receiving device या user द्वारा डेटा को AI processing server को भेजने के बाद होता है
- जितना कठिन होगा कि शक्तिशाली AI models को फ़ोन पर चलाया जाए, उतना ही message summaries, scam call detection और text writing जैसी सुविधाएँ off-device processing पर निर्भर होंगी
- Apple का Private Cloud Compute trusted hardware, Secure Boot, code signing, transparency log और stateless design के ज़रिए cloud inference के जोखिम को कम करने की कोशिश करता है, लेकिन यह गणितीय cryptographic guarantee नहीं है
- जब general-purpose AI agents व्यक्तिगत डेटा पढ़कर जवाब दे सकेंगे, तो मुख्य सवाल local execution से हटकर agent तक किसकी पहुँच है पर आ जाएगा
AI फिर से end-to-end encryption पर बहस खोल रहा है
- NYU और Cornell के शोधकर्ताओं का How to think about end-to-end encryption and AI AI और end-to-end encryption के मिलन-बिंदु पर उठने वाले सवालों को सीधे तौर पर देखता है
- Google का scam call protection, Apple Intelligence जैसे AI assistant systems पूरे फ़ोन, खासकर निजी संदेशों, के भीतर आना चाहते हैं
- यूरोप में “mandatory content scanning” पर चल रही बहस यह मांग कर सकती है कि machine learning systems लगभग सभी निजी संदेशों को scan करें, जिससे privacy पर AI के असर और सीधे दिखाई देते हैं
- शुरुआत अलग हो सकती है, लेकिन दोनों धाराएँ एक ही टकराव पर आकर मिलती हैं
- AI features व्यक्तिगत डेटा को process करना चाहती हैं
- End-to-end encryption सर्वर को वह डेटा देखने से रोकना चाहता है
- शक्तिशाली AI processing के लिए server resources की ज़रूरत पड़ सकती है
end-to-end encryption ने मूल रूप से कौन-सी समस्या हल की
- 2011 से पहले कई cloud-connected devices डेटा को plaintext में upload करते थे, जिससे व्यक्तिगत डेटा hackers, civil subpoenas, सरकारी warrants और platform के व्यावसायिक उपयोग के लिए खुला रहता था
- PGP या OTR जैसे tools इस्तेमाल करने वाले advanced users को छोड़ दें तो आम users के लिए इन जोखिमों से बचना मुश्किल था
- 2011 के आसपास Signal, Apple iMessage और WhatsApp जैसे messaging apps ने डिफ़ॉल्ट end-to-end encryption अपनाना शुरू किया
- उन्होंने key management का तरीका बदला ताकि server message plaintext content न देख सके
- इसके बाद Google, Samsung और Apple जैसे mobile OS vendors ने locally stored data को encrypt करना शुरू किया, Google ने phone backups के लिए default end-to-end encryption शुरू की, और Apple ने भी उसका अनुसरण करना शुरू किया
- इन सभी projects की एक साझा बात थी: encrypted data को server पर process करने की ज़रूरत लगभग नहीं थी
server processing और on-device processing के बीच विकल्प
- End-to-end encryption content को server से छिपाता है, लेकिन server के लिए उस डेटा पर computation करना कठिन बना देता है
- Cloud backups या निजी संदेश जैसी चीज़ों में data का अर्थ मुख्यतः client के लिए होता है, इसलिए यह सीमा तुलनात्मक रूप से स्वीकार की जा सकती है
- फ़ोटो में text recognition जैसी सुविधाओं के लिए, जहाँ data processing चाहिए, आम तौर पर दो विकल्प बनते हैं
- plaintext को server पर भेजकर वही कमजोरियाँ फिर खोल देना जिन्हें end-to-end encryption कम करना चाहता था
- processing को उसी तक सीमित रखना जो device पर संभव है
- दूसरा विकल्प फ़ोन की computing performance, RAM, battery और hardware variability से बंधा होता है
- यहाँ तक कि high-end iPhone भी battery drain से बचने के लिए photo processing रात में charging के दौरान कर सकता है
- कुछ flagship phones की कीमत 1,400 डॉलर से अधिक है और उनमें onboard GPU व neural engine होते हैं
- अमेरिका में भी कुछ सौ डॉलर के Android phones या उससे सस्ते devices मिलते हैं, इसलिए processing क्षमता में बड़ा अंतर होता है
AI features व्यक्तिगत डेटा processing को बढ़ाती हैं
- LLMs जटिल मानवीय text को generate और समझ सकती हैं, और image processing models भी शक्तिशाली क्षमताएँ देती हैं
- फ़ोन और messaging कंपनियाँ AI models को भविष्य की सुविधाओं की नींव मान रही हैं, और कई features पहले ही deploy हो चुकी हैं
- AI agents इससे भी आगे जाते हैं: वे email और text messages पढ़कर जवाब दे सकते हैं, खाना order कर सकते हैं, shopping कर सकते हैं, dating profile संभाल सकते हैं, loan negotiation कर सकते हैं और user की ज़रूरतों का अनुमान लगा सकते हैं
- ऐसे systems के काम करने के लिए लगभग बिना सीमा के personal data access और उसे process करने के लिए बड़े पैमाने की computing capacity चाहिए
- कई फ़ोनों में शक्तिशाली models चलाने की computing capacity नहीं है, और जैसे-जैसे models बेहतर या अधिक proprietary होते जाएँगे, वैसे-वैसे अधिक processing remote servers पर जाने की संभावना बढ़ेगी
end-to-end encrypted messaging में guarantees और consent की समस्या
- आधुनिक end-to-end encrypted messaging की तकनीकी guarantee यह सुनिश्चित करने के लिए डिज़ाइन की जाती है कि transit के दौरान plaintext message content प्रतिभागियों के end devices और उन targets के अलावा कहीं मौजूद न हो, जिनके साथ प्रतिभागी या उनका device उसे साझा करना चुनते हैं
- यह guarantee data deliver होने के बाद उसके उपयोग को नियंत्रित नहीं करती
- user screenshot ले सकता है, plaintext backup बना सकता है, Twitter पर copy-paste कर सकता है, या litigation response में device सौंप सकता है; यह सब end-to-end encryption के दायरे से बाहर है
- service provider के user promises तकनीकी guarantees से अलग हो सकते हैं
- उदाहरण के लिए, messages सुरक्षित रूप से deliver हों, लेकिन device plaintext content को किसी दूसरे server पर upload कर दे जहाँ वह decrypt की जा सके
- group chats में कोई दूसरा participant received plaintext messages को service पर upload करने वाला feature चालू कर सकता है
- अंततः निर्णायक बात है पर्याप्त जानकारी के साथ दी गई सहमति
- कुछ कंपनियाँ trust पाने के लिए users को ठीक से जानकारी दे सकती हैं
- दूसरी कंपनियाँ अमेरिका में पढ़ने में कठिन terms of service पर सहमति माँग सकती हैं, या EU में cookie banner के नए रूप बना सकती हैं
- अगर AI processing पूरी तरह सामान्य हो जाती है, तो users के opt-in और opt-out विकल्प सीमित हो सकते हैं
Apple Private Cloud Compute का दृष्टिकोण
- Apple मानता है कि machine learning inference को अधिक शक्तिशाली hardware पर outsource करने की ज़रूरत पड़ेगी, और उसने ऐसे cloud-based computers डिज़ाइन किए हैं जिन्हें वह personal data सौंपने लायक मानता है
- Private Cloud Compute Apple data centers में trusted hardware devices का उपयोग करता है
- ये devices भौतिक और तार्किक दोनों अर्थों में lock-down computers के क़रीब हैं
- Apple के अपने बनाए devices, custom silicon और software features का उपयोग होता है
- Secure Boot सुनिश्चित करता है कि केवल approved OS software ही load हो
- OS code signing के ज़रिए verify करता है कि केवल approved software images ही run हों
- यह long-term state store नहीं करता
- हर connection पर requests को अलग random server पर load-balance किया जाता है
- यह चल रहे application software के hash को attest करता है
- software images को एक verify किए जा सकने वाले transparency log में होना चाहिए ताकि उन्हें चुपचाप जोड़ा न जा सके
- Apple ने कहा है कि वह security researchers के लिए software images उपलब्ध कराएगा ताकि bugs की जाँच हो सके, लेकिन पूरा source code नहीं
- यह design attackers और Apple employees, दोनों के लिए devices से data निकालना कठिन बनाने पर केंद्रित है
- फिर भी यह approach encryption से कमजोर guarantee देती है
- यह काफ़ी मूल्यवान data को केंद्रीकृत करती है
- यह cryptographic algorithms के गणित पर नहीं, बल्कि Apple द्वारा जटिल hardware और software security features के सही implementation पर निर्भर करती है
- फिर भी इसे ऐसे server-side processing से बेहतर माना जाता है जहाँ OpenAI की तरह employees login करके access पा सकते हों
FHE और मौजूदा सीमाएँ
- Fully Homomorphic Encryption (FHE) का उपयोग करके encrypted स्थिति में personal data पर computation किया जा सकता है
- सिद्धांत रूप में यह संभव है, लेकिन अभी इसके व्यावहारिक होने की संभावना कम है
- आज की अच्छी FHE schemes मुख्यतः बहुत छोटे machine learning model evaluation के लिए उपयुक्त हैं, और ऐसे models weak client devices पर भी चल सकते हैं
- techniques और hardware बेहतर होंगे, लेकिन यह बाधा लंबे समय तक बनी रहने की उम्मीद है
AI agents आखिर किसके लिए काम करते हैं
- भविष्य के AI models की training और fine-tuning में उपयोग होने वाला data भी एक बड़ी privacy समस्या है, लेकिन इससे बड़ा सवाल यह उभर रहा है कि general-purpose agents वास्तव में किसके लिए काम करेंगे
- UK और EU व्यक्तिगत encrypted messages की स्वचालित “scanning” को अनिवार्य करने वाले कानूनों पर चर्चा करते रहे हैं
- EU proposal मौजूदा और नए CSAM detection पर केंद्रित है
- कुछ चरणों में “grooming behavior” माने जाने वाले voice और text conversations की detection भी शामिल है
- UK proposal hate speech, terror content, fraud और अन्य illegal content सहित कहीं अधिक व्यापक दायरे को कवर करता है
- एक amendment में “images of immigrants crossing the Channel in small boats” तक शामिल था
- known CSAM scanning के लिए AI/ML अनिवार्य नहीं है, लेकिन new CSAM, grooming behavior और hate speech detection के लिए निजी data पर शक्तिशाली machine learning inference चाहिए
- खासकर voice और text conversation detection के लिए सिर्फ speech-to-text ही नहीं, बल्कि human conversation के विषय को बिना false positives के समझने की क्षमता भी चाहिए
- ये proposals अभी लागू नहीं हुए हैं, और एक कारण यह भी है कि private data को सुरक्षित रूप से process करने वाले ML systems बनाना कठिन है तथा platforms लंबे समय से इन्हें बनाने का विरोध करते रहे हैं
general-purpose personal agents किस तरह दबाव बना सकते हैं
- अगर users स्वेच्छा से general-purpose AI agents बनाते और deploy करते हैं, तो ये agents कई ऐसे scanning tasks करने का संसाधन बन सकते हैं जिन्हें law enforcement चाहती रही है
- जब सरकारें ऐसे resources तक पहुँच की माँग करेंगी, तो उसे कैसे रोका जाए, यह एक कठिन सवाल रहेगा
- law enforcement agents से user के behavior और data के बारे में बहुत परिष्कृत सवाल पूछ सकती हैं
- “क्या इस user के पास संभावित CSAM है?”
- “क्या इसने private notes में ऐसा कुछ लिखा है जो संभावित hate speech हो सकता है?”
- “क्या यह tax cheating कर रहा हो सकता है?”
- इस तरीके को “privacy-preserving” के रूप में पेश किया जा सकता है, यह कहकर कि मानव पुलिस सीधे documents नहीं खंगाल रही और जवाब सिर्फ तब मिल रहा है जब user ने शायद कोई गैरकानूनी काम किया हो
- एक बार पर्याप्त शक्तिशाली general-purpose agents फ़ोन पर deploy हो जाएँ, तो यह सवाल कि model locally चल रहा है या trusted cloud hardware पर, उससे कम महत्वपूर्ण हो जाता है; असली निर्णायक बात यह होगी कि उस agent से बात कौन कर सकता है
1 टिप्पणियां
Hacker News की रायें
जैसे-जैसे ऑटोमैटिक डिटेक्शन बढ़ता है, अलग-अलग मामलों को संभालने वाले इंसानों के लिए आवंटित बजट घटता है, और मैनेजर ऑटोमैटिक फैसलों पर ज्यादा निर्भर होने लगते हैं
नतीजतन, अगर false positive हो जाए तो किसी इंसान से संपर्क करके उसे सुलझाना मुश्किल हो जाता है, जिससे भारी निराशा होती है। कॉर्पोरेट सेवाओं में यह सिर्फ झुंझलाहट भर हो सकता है, लेकिन अगर इसे law enforcement में इस्तेमाल किया जाए तो यह किसी की जिंदगी बर्बाद कर सकता है
पहले Amazon पर मुझे अवैध reviews के तौर पर flag कर दिया गया था और कई महीनों तक मैं किसी इंसान को समझाने की कोशिश करता रहा; आज भी साल में लगभग एक बार इस मुद्दे को फिर उठाता हूं, लेकिन यह हल नहीं हुआ। अगर ऐसी बात किसी गंभीर felony मामले में हो और अदालतों में backlog कई साल तक चलता रहे, तो यह घातक हो सकता है
ऑटोमैटिक डिटेक्शन काम कर सकता है और व्यावहारिक रूप से इससे बचना मुश्किल है, लेकिन इस धारणा के साथ कि false positives अनिवार्य रूप से होंगे, उन्हें सुलझाने के लिए पर्याप्त लोगों को नियुक्त करना चाहिए। अभी तो डिटेक्शन सिस्टम बनते ही संबंधित स्टाफ को निकाल दिया जाता है और मान लिया जाता है कि सिस्टम इंसानों की जगह लेता है, जबकि असल में यह इंसानों को मजबूत करने और उनका ध्यान केंद्रित कराने वाला tool होना चाहिए
फैसले लेने वाले लोग वास्तविक मामलों को नहीं संभालते, इसलिए वे समस्या को खुद महसूस नहीं करते। उनके लिए बात यह बन जाती है कि “जब 10 लाख डॉलर बच सकते हैं तो 20 लाख डॉलर क्यों न बचाएं”, और बड़े AI models की वजह से ऑटोमैटिक डिटेक्शन जितना आसान होता जाएगा, आने वाले वर्षों में यह समस्या कहीं ज्यादा बिगड़ती दिखती है
रूस में एक वैज्ञानिक को सिर्फ 70% facial recognition match और एक अपराधी द्वारा झूठे तौर पर accomplice बताए जाने के आधार पर 20 साल पुराने murder case में suspect बना दिया गया था। https://lenta.ru/articles/2024/04/03/scientist/
सौभाग्य से, उस समय वे Moscow से दूर एक expedition में शामिल थे, इसका research institute के archive में record alibi के रूप में मौजूद था; फिर भी “investigation” के दौरान उन्हें 10 महीने हिरासत में रखा गया। अंततः वे रिहा हो गए, लेकिन चिंता है कि performance दिखाने के लिए बेहद कमजोर facial recognition result इस्तेमाल करने वाले police investigators अब भी police में होंगे
इसे उस दुनिया तक फैलाकर देखें जहां जीवन का हर कोना basic customer support तक न देने वाले platform monopolies के नियंत्रण में है, तो लगता है कि बेहतर होने से पहले हालात बहुत ज्यादा खराब होंगे
PDF के तीसरे page, display में page 84 पर इसे देखा जा सकता है: https://nob.cs.ucdavis.edu/classes/ecs153-2021-02/handouts/c...
हैरानी की बात है कि 60 साल पहले किसी ने ऐसी स्थिति की बिल्कुल सही भविष्यवाणी कर दी थी, फिर भी उस चेतावनी-भरी कहानी को बिल्कुल गंभीरता से नहीं लिया गया
OpenAI के बारे में अंदाजा लगाने की जरूरत नहीं है। OpenAI काफी साफ तौर पर बताता है कि वह data 30 दिन तक रखता है और staff तथा third-party contractors उसकी समीक्षा कर सकते हैं
https://platform.openai.com/docs/models/how-we-use-your-data
“दुरुपयोग की पहचान में मदद के लिए API data अधिकतम 30 दिनों तक रखा जा सकता है, जिसके बाद उसे delete कर दिया जाता है (जब तक कि कानूनन कुछ और आवश्यक न हो)।”
https://openai.com/enterprise-privacy/
कहा गया है कि API business data तक access केवल engineering support, platform abuse investigation और legal compliance के लिए जरूरी authorized staff तक, और abuse/misuse review ही करने वाले confidentiality व security obligations वाले specialized third-party contractors तक सीमित है
आप सचमुच उन servers से “बातचीत” कर रहे हैं, जिनकी कंपनी ने दूसरों के professional और personal outputs को उनकी सहमति या जानकारी की परवाह किए बिना इस्तेमाल करके अपनी product line बनाई। यह “permission से forgiveness आसान है” से भी ज्यादा ऐसा है जैसे बिल्कुल पूछा ही न जाए, पूछने पर गोलमोल जवाब दिया जाए, और पकड़े जाने पर कहा जाए कि “आपको पता लगाने का कोई तरीका नहीं था कि हम देख रहे हैं, लेकिन हमने छिपाया भी नहीं, इसलिए आपने implicitly consent दिया था”
सच कहूं तो OpenAI अपनी privacy policy में जितना वादा करता है, वही आश्चर्यजनक है। शुरुआती “वाह, कमाल है” publicity cycle के बाद चुपचाप models बदलने या paid customers की compute मात्रा घटाने जैसी संदिग्ध bait strategy को देखते हुए, कंपनी जब ज्यादा स्थिर स्थिति में पहुंच जाएगी तो ऐसी policies लंबे समय तक टिकेंगी, ऐसा नहीं लगता
इसके अलावा, अगर model से training data निकालने का कोई तरीका मिल जाए, तो वे कह सकते हैं कि “यह model से निकाला गया अलग data है, इसलिए पुरानी policy लागू नहीं होती।” अगर market में पिछड़ गए, तो यह सोचना मुश्किल है कि Altman किसी बड़े, जुए जैसे product को fund करने के लिए ऐसी चीज तुरंत नहीं बेचेंगे। संदिग्ध lover-app किस्म के chatbots की तो बात ही छोड़िए
privacy protection तो当然 होनी ही चाहिए, लेकिन हैरानी इस बात की है कि कुछ लोग मानकर चलते हैं कि वह होगी। लगता है शायद मैं बहुत cynical हूं, लेकिन आजकल अंत में निष्कर्ष यही निकलता है कि मैं पर्याप्त cynical नहीं था
असली खतरा तब पैदा होगा जब AI व्यक्तिगत काम को तेज़ करने से आगे बढ़कर संगठनात्मक नियंत्रण में लागू होगा
मैनेजरों, मैनेजमेंट लेयर्स, metrics और OKR की सीमाएँ सब जानते हैं, इसलिए प्रलोभन बड़ा है। यह सोचना मुश्किल नहीं कि कोई CEO कर्मचारियों के बीच होने वाली सारी communication को AI में डालकर उस पर queries कर सके। विडंबना यह है कि अगर सभी remote work कर रहे हों, तो इसे लागू कराना और आसान हो सकता है
यह भी संभव है कि CEO और ऊपरी leadership को असल में क्या हो रहा है, इसकी बेहतर समझ मिले और संगठन अधिक efficient हो जाए। लेकिन सत्ता में बैठे लोग आम कर्मचारियों को वास्तविक इंसान के रूप में देखते हैं—यह पहले से ही कमजोर भरोसा और कम हो जाएगा
और executive वर्ग यह मान सकता है कि कंपनी चलाने में इस्तेमाल होने वाले tools को देश चलाने में इस्तेमाल न करने की कोई वजह नहीं है, इसलिए यह तरीका निजी संगठनों के बाहर फैलकर ही रहेगा
mass surveillance के समर्थक अब कहते हैं कि इंसानों को खुद फोन कॉल सुनने की ज़रूरत नहीं है। लेकिन असली खतरा कभी धूसर सूट पहने वह व्यक्ति नहीं था जो reel tape से बातचीत लिख रहा हो। समस्या हमेशा यह थी कि सत्ता में बैठा व्यक्ति किसी असुविधाजनक व्यक्ति की file मांगता है और उसे इस उद्देश्य से देखता है कि वह व्यक्ति फिर कभी उसे असुविधा में न डाल सके
mass surveillance के पूरे परिणाम अभी तक इसलिए सामने नहीं आए क्योंकि इतने बड़े पैमाने पर unstructured, ad hoc data को process करने का साधन नहीं था। अब है
कानूनी विवादों में जब discovery की ज़रूरत पड़ती है, तो e-discovery software पहुँच में आने वाली सारी digital communication खींचकर AI में डाल सकता है, और उनमें से एक काम sentiment analysis भी हो सकता है। generative AI को legal work में लागू करना अभी legal industry में गर्म विषय है
आगे की दिशा steroids पर XKEYSCORE जैसी लगती है, इसलिए “क्या यह हमारे लिए काम करेगा” वाले सवाल पर मेरा झुकाव ‘नहीं’ की तरफ है
मैं इसे सकारात्मक और आशावादी नज़र से देखना चाहता हूँ, लेकिन हमने जो रास्ता तय किया है और इस system के लिए जिम्मेदार लोगों—ठीक कहें तो researchers या engineers नहीं, बल्कि executives—के व्यवहार को देखते हुए neutral और privacy-first भविष्य की उम्मीद सीमित लगती है
वे suit पहनते हैं, लेकिन आम तौर पर military background रखते हैं, अमेरिका को domestic और foreign threats से बचाने का कर्तव्य-बोध रखते हैं, और ऐतिहासिक रूप से किसी भी administration में उन्होंने अपने अधिकारों का बहुत बड़ा दुरुपयोग नहीं किया—ऐसा मेरा मानना है। XKEYSCORE भी लोगों को hack करना नहीं था, बल्कि mass metadata collect करके profiles बनाना था, और यह legal framework के भीतर हुआ था। दोष उन companies पर भी जाना चाहिए जिन्होंने privacy-protection tools उपलब्ध नहीं कराए, क्योंकि कोई भी बड़ी government वैसा ही system बना सकती थी
इसके विपरीत, 2016 के बाद Big Tech की आलोचना करने वाले anti-establishment Republicans अंततः सबसे pro-establishment fans बन गए; Elmo को White House office मिला और Zucc prosecution से बचने के लिए घुटनों पर आ गया
मेरा मानना है कि ऐसे नए systems का जिम्मा उन smart लोगों के पास होना बेहतर है जो private companies में कहीं ज्यादा कमा सकते हैं, फिर भी duty की भावना से अमेरिकी रक्षा संगठनों में काम करते हैं
companies ने AI training के लिए internet data लगभग पूरा इस्तेमाल कर लिया है, इसलिए वे agents के बहाने व्यक्तियों के real-time data तक पहुँच चाहेंगी। हमेशा की तरह business model यही है: “आप ही product हैं”
लगता है Apple ने हाल में अपना रुख बदला है। अब वह कहता है कि “कुछ security-critical PCC components का source code limited-use license के तहत उपलब्ध है।” बेशक, अगर पूरा open source होता तो बेहतर होता
https://github.com/apple/security-pcc/
Apple इससे भी बड़ा दावा करता दिखता है। 1) user data को store नहीं किया जाता और केवल inference के दौरान process किया जाता है, 2) privileged runtime access नहीं है, इसलिए support engineers भी user data नहीं देख सकते, और 3) security researchers को 1) और 2) verify करने के लिए binaries और source code के कुछ हिस्से दिए जाते हैं
Apple PCC की पाँच requirements यहाँ देखी जा सकती हैं: https://security.apple.com/documentation/private-cloud-compu...
Apple से मेरा कोई संबंध नहीं है। open source में equivalent solution कैसा दिखेगा, यह देखने के लिए मैंने PCC security guide पढ़ी। अगर इस विषय में रुचि हो तो ozgun @ ubicloud . com पर संपर्क करें
“AI agent असल में किसके लिए काम करता है” यही सही सवाल है। कुछ हफ्ते पहले भी मैंने यही बात कही थी; इसमें legal concepts principal और agent लागू होते हैं
ऐसी वास्तविकता आ रही है जिसमें सारी content को cloud AI से गुजारकर “thoughtcrime” की जाँच की जाएगी। अभी प्रस्तावित categories में child sexual abuse material, महत्वपूर्ण व्यक्तियों के खिलाफ threats, government के खिलाफ threats, minors की “grooming”, drugs, sex, guns और homosexual activity पर चर्चा, protests या labor union organizing आदि शामिल हैं
खास तौर पर child sexual abuse material अमेरिका में AI-generated images तक शामिल करने वाली expanded category बन चुकी है, और जल्द ही Japanese animation तक भी फैल सकती है। महत्वपूर्ण व्यक्तियों के खिलाफ threats की श्रेणी अमेरिका में उन बातों तक फैल सकती है जिन्हें पहले political speech माना जाता था
government के खिलाफ threats कई देशों में पहले से illegal हैं। याद रखना चाहिए कि Trump अमेरिका पर युद्ध छेड़ने से असंबंधित मामलों में भी लोगों पर “treason” लगाना पसंद करते हैं
“grooming” बहुत vague है और अधिकांश interactions को ढक सकती है, और drugs, sex, guns तथा homosexual activity पर चर्चा अलग-अलग देशों में अलग तरीकों से प्रतिबंधित है। protests या labor union organizing चीन में प्रतिबंधित हैं और पहले से search targets हैं
circumlocution या slang से censorship से बचा नहीं जा सकता। large language models ऐसे संकेत भी process करते हैं। Black English या leetspeak डालकर उसे standard English में translate करने को कहें, तो translation हो जाता है। उस model ने शायद ज्यादातर लोगों से ज्यादा ऐसे dialects देखे होंगे
“अगर आप भविष्य की तस्वीर चाहते हैं, तो एक boot की कल्पना करें जो इंसान के चेहरे को हमेशा के लिए कुचल रहा है” — Orwell
https://www.orwell.org/dictionary/
मुख्य बात फिर से कहने लायक है
इसमें उनकी चाही हुई स्थिति तक शामिल हो सकती है, जैसे “महिलाओं का pants पहनना cross-dressing है, और बच्चों के आसपास ऐसा करना felony है”
सबसे निराशाजनक एहसास यह है कि जो विशाल डेटा लोग इस सोच के साथ cloud में डालकर बैठे थे कि आपराधिक गतिविधियां भी scan नहीं होंगी, वह अब सिर्फ असहमति जताने भर से विचार पुलिस के आपके पास पहुंचने का रास्ता बन गया है
उस मशीन का मालिक कोई और है, और इसलिए उनके हित—चाहे व्यावसायिक हों या वैचारिक—हमेशा पहले आएंगे
उम्मीद है ऐसा न हो, लेकिन हो जाए तो हैरानी नहीं होगी। पुराना डेटा जहरीला कचरा बन सकता है
यह राहत की बात है कि local devices पर stored और encrypted data को cloud-based “AI” tools access नहीं कर सकते
समस्या यह है कि आम user GUI popup में बिना सोचे “Yes/Accept/Proceed/Continue/Agree” दबा देता है, और ऐसे terms से सहमत हो जाता है जिनमें data को decrypt करके किसी “cloud” service को भेजना भी शामिल होता है
आगे “AI” tools का इस्तेमाल लोगों को iCloud, Microsoft के personal Office365, Google Workspace जैसी monthly subscription services में स्थायी रूप से बांधे रखने के लिए और ज्यादा होगा लगता है
आप हमेशा के लिए हर महीने 15 डॉलर देते रहेंगे, और data की मात्रा तथा cloud provider पर निर्भरता की वजह से जिंदगी में बड़ी उथल-पुथल किए बिना payment रोकने का कोई realistic तरीका नहीं बचेगा
Green ने एक अहम बात पकड़ी है। तकनीकी गारंटी users से किए गए वादे से अलग होती है, और end-to-end encrypted messaging system data को सुरक्षित तरीके से पहुंचाता भर है; उसके बाद क्या होता है, यह तय नहीं करता
लेकिन फिर वे जैसे तुरंत यह बात भूलकर PCC को ऐसे बताते हैं मानो वह सिर्फ एक और तकनीकी गारंटी न हो। PCC बस इस भरोसे को बढ़ाता है कि server पर चल रहा software वही है जो Apple ने intend किया है
यह guarantee नहीं देता कि मेरा data उसके बाद कहां भेजा जाएगा, या Apple उसे केवल उन्हीं उद्देश्यों के लिए इस्तेमाल करेगा जिनसे मैं सहमत होऊंगा। PCC Apple को hacking के प्रति कम vulnerable बनाता है, लेकिन उसे ज्यादा transparent या accountable नहीं बनाता
उलटे, यह देखते हुए कि कुछ hackers corporate abuse उजागर करने जैसे socially beneficial उद्देश्यों से भी hack करते हैं, security को मजबूत करना accountability से बचने की ढाल की तरह भी काम कर सकता है। बेशक इसका मतलब यह नहीं कि transparency पाने के लिए security हटा दी जाए
यहां जो core issue अनसुलझा है, वह security से ज्यादा transparency है। security की भयावह हालत भी काफी हद तक transparency की कमी से ही संभव हुई है, ऐसा लगता है
अगर हम चाहते हैं कि AI society की सेवा करे, तो हमें उस extreme information imbalance को उलटना होगा जहां व्यक्ति का जीवन service provider के सामने पूरी तरह खुला होता है, जबकि service provider user के लिए पूरी तरह black box बना रहता है
अगर अच्छी corporate conduct चाहिए, तो उन्हें अदृश्य तरीके से operate करने नहीं दिया जा सकता। अगर ethical technology चाहिए, तो उसे अदृश्य तरीके से काम करने नहीं दिया जा सकता
लेख के अंत में आया दिलचस्प सवाल policy के लिहाज से महत्वपूर्ण है
privacy protection से जुड़े किसी भी technical choice के बावजूद, जब एक sufficiently powerful general-purpose agent phone पर deploy हो जाता है, तो बचा हुआ सवाल यह है कि उस agent से बात करने का अधिकार किसे होगा। केवल user को, या फिर नागरिकों की निगरानी में सरकार का हित individual privacy से ऊपर रखा जाएगा
यह कल्पना की जा सकती है कि सरकार कानून बनाकर agent access का अधिकार अपने लिए अनिवार्य कर दे। क्योंकि हम और companies ऐसे jurisdictions में मौजूद हैं जहां मनमाने laws pass किए जा सकते हैं
लेकिन technically local agent को full-disk encrypted system पर चलाना, और system access न रखने वाले किसी भी व्यक्ति को उससे बात न करने देना संभव होना चाहिए, ऐसा लगता है। तब technical level पर यह पहले से बहुत अलग नहीं दिखता
1980s-style regular expressions ढेर सारे चलाकर किसी के computer में communist pamphlets जैसी चीजें हैं या नहीं, यह ढूंढना पहले से ही संभव था
क्या सरकार को मेरे computer तक access मांगने का अधिकार होना चाहिए, यह सवाल हमेशा से मौजूद रहा है। बस यह याद रखना चाहिए कि अगर वह मेरे computer पर चले AI agent तक access मांगती है, तो यह असल में मेरी पूरी hard disk का lossy record मांगने जैसा है