AI और बड़े पैमाने की निगरानी

 (schneier.com)
1 पॉइंट द्वारा GN⁺ 2023-12-07 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • इंटरनेट ने location, खरीदारी, बातचीत के साथी और पढ़ी गई चीज़ों जैसे व्यवहार-संबंधी डेटा को भारी मात्रा में store करना संभव बना दिया है, और AI इसमें बातचीत की सामग्री तक को समझने वाली बड़े पैमाने की जासूसी जोड़ सकता है
  • मौजूदा निगरानी व्यवहार के records इकट्ठा करने जैसी थी, लेकिन जासूसी में बातचीत सुनकर समझनी पड़ती है, इसलिए अब तक मानवीय श्रम bottleneck था
  • Generative AI 1 घंटे की meeting को 1 page में summarize कर सकता है और लाखों conversations को topic के हिसाब से organize कर सकता है, जिससे बातचीत का analysis बड़े पैमाने की search problem में बदल जाता है
  • भले ही AI perfect न हो और जरूरी बातें छूट जाएँ या गलतियाँ हों, लेकिन इसे लाखों copies में चलाया जा सकता है और यह तेजी से बेहतर होता है—इस लिहाज़ से scale का फर्क बहुत बड़ा है
  • सरकारें और कंपनियाँ पहले से ही बड़े पैमाने की निगरानी इस्तेमाल कर रही हैं; अगर बातचीत, भावनाएँ और secret information तक analyze होने लगे, तो social control और personalized advertising और मजबूत हो सकते हैं

निगरानी और जासूसी में फर्क

  • निगरानी (surveillance) का मतलब है किसी target के कहाँ जाने, किससे बात करने, क्या खरीदने, क्या करने जैसी गतिविधियों के records इकट्ठा करना
  • जासूसी (spying) का मतलब है घर या कार में listening device छिपाना, या phone tap करके बातचीत की सामग्री को सीधे सुनना और समझना
  • इंटरनेट से पहले किसी की निगरानी करनी हो तो लोगों को खुद उसके पीछे-पीछे जाकर उसकी आवाजाही, मुलाकातें, खरीदारी, गतिविधियाँ और पढ़ी गई चीज़ें record करनी पड़ती थीं, जिसमें बहुत cost और time लगता था
  • Smartphones, credit cards, apps, e-book readers और computers लगातार location, खरीदारी, बातचीत के साथी, पढ़ी गई चीज़ें और usage behaviour record करते हैं
  • Storage और processing की cost घटने के साथ, passive और individual-level निगरानी बड़े पैमाने की निगरानी में बदल गई; यह इंटरनेट का business model बन गई और इससे व्यावहारिक तरीके से बाहर निकलना मुश्किल हो गया

AI जासूसी के bottleneck को कैसे बदलता है

  • जासूसी तकनीकी रूप से लंबे समय से संभव थी, लेकिन बातचीत की सामग्री सुनकर उसका मतलब समझने के लिए मानवीय श्रम चाहिए था
  • NSO Group जैसी spyware कंपनियाँ सरकारों को लोगों के phones hack करने में मदद कर सकती हैं, लेकिन collected conversations को classify और समझने का काम फिर भी बचता है
  • चीन सरकार की तरह कुछ खास words या phrases के आधार पर social media posts को censor किया जा सकता था, लेकिन यह तरीका crude था और इसे bypass करना आसान था
  • Modern generative AI summarization में अच्छा है; 1 घंटे की meeting input करने पर यह one-page summary लौटा सकता है
  • AI लाखों conversations को search करके topic के हिसाब से organize करने, या कौन किस बारे में बात कर रहा है यह खोजने का काम भी कर सकता है

बड़े पैमाने की निगरानी से बनी reverse search

  • बड़े पैमाने की निगरानी निगरानी के स्वरूप को मूल रूप से बदल देती है
  • क्योंकि सारा डेटा store होता है, इसलिए किसी खास समय पर target तय न किया गया हो तब भी बाद में past data खंगाला जा सकता है
  • Stored data होने पर इस तरह के queries संभव हो जाते हैं
    • यह पता लगाना कि कोई खास व्यक्ति पिछले साल कहाँ था
    • पिछले महीने किसी खास road से गुज़री red sedans की list बनाना
    • पिछले 1 साल में pressure cooker bomb की सभी सामग्रियाँ खरीदने वाले लोगों को ढूँढना
    • ऐसे phone pairs ढूँढना जो एक-दूसरे की ओर move कर रहे थे, फिर phones off कर दिए, और 1 घंटे बाद एक-दूसरे से दूर जाते हुए फिर on किए
  • यह तरीका किसी खास व्यक्ति को पहले से target किए बिना, stored data के आधार पर बाद में target खोजने की क्षमता देता है

बड़े पैमाने की जासूसी से संभव queries

  • बड़े पैमाने की जासूसी भी जासूसी के स्वरूप को बदल सकती है
  • सभी conversation data stored, searchable और बड़े पैमाने पर understandable हो जाते हैं
  • संभावित queries इस प्रकार हैं
    • पिछले महीने किसी खास topic पर किसने बात की और वह चर्चा कैसे बदली, यह पता लगाना
    • जब A नाम के व्यक्ति ने कोई action किया, तो क्या किसी ने उसे वह action करने का निर्देश दिया था, यह verify करना
    • crime plan करने, rumor फैलाने या political protest में शामिल होने की planning करने वाले लोगों को ढूँढना
  • Organization structure खोजते समय देखा जा सकता है कि एक व्यक्ति कई लोगों को मिलते-जुलते instructions देता है, और वे instructions आगे किस तक पहुँचते हैं
  • लोगों की friends, allies और trust relationships कैसे बनती और टूटती हैं, इसे भी बहुत detail में track किया जा सकता है

Microphones और हमेशा सुनने वाले devices

  • बड़े पैमाने की जासूसी केवल phone या computer पर होने वाली conversations तक सीमित नहीं है
  • जैसे जगह-जगह cameras लगने से बड़े पैमाने की निगरानी को बढ़ावा मिला, वैसे ही जगह-जगह microphones लगने से बड़े पैमाने की जासूसी को भी बढ़ावा मिल सकता है
  • Siri, Alexa और “Hey Google” पहले से हमेशा सुनते हैं, लेकिन अभी वे conversations store नहीं हो रही हैं

व्यवहार में बदलाव और social control

  • लोगों को अगर पता हो कि उनकी लगातार निगरानी हो रही है, तो उनका व्यवहार बदल जाता है
  • लोग conform करने लगते हैं और self-censorship करते हैं, जिससे chilling effect पैदा होता है
  • निगरानी social control को आसान बनाती है, और जासूसी इसे और खराब कर सकती है
  • दुनिया भर की सरकारें पहले से ही बड़े पैमाने की निगरानी इस्तेमाल कर रही हैं, और बड़े पैमाने की जासूसी भी करने की संभावना अधिक है

कंपनियाँ और advertising industry

  • कंपनियाँ भी लोगों की जासूसी कर सकती हैं
  • बड़े पैमाने की निगरानी ने personalized advertising का दौर शुरू किया, और बड़े पैमाने की जासूसी इस industry को और मजबूत कर सकती है
  • लोग क्या कहते हैं, किस mood में हैं और उनके पास कौन-से secrets हैं—यह marketers के लिए आकर्षक information है जो बढ़त ढूँढ रहे होते हैं
  • अभी लोगों की लगातार निगरानी करने वाली tech monopolies के लिए ऐसे data को collect और use करने के temptation से बचना मुश्किल है
  • Gmail के शुरुआती दौर में Google ने Gmail content का इस्तेमाल personalized ads देने के लिए करने की बात की थी, लेकिन बाद में इसे बंद कर दिया
    • संभव है कि उस समय collect किया गया keyword data बहुत खराब था और marketing के लिए useful नहीं था
    • AI से conversation content का analysis बेहतर होने पर यह condition बदल सकती है
    • Google शायद users की conversations की जासूसी करने वाली पहली कंपनी न बने, लेकिन अगर दूसरी कंपनियाँ शुरू करती हैं, तो advertisers की demands के चलते resist करना मुश्किल हो सकता है

Regulation की संभावना और सीमाएँ

  • इस capability को limit किया जा सकता है
  • बड़े पैमाने की जासूसी पर ban लगाया जा सकता है या मजबूत data privacy rules पास किए जा सकते हैं
  • लेकिन बड़े पैमाने की निगरानी को limit करने के measures अभी तक नहीं लिए गए हैं
  • जब बड़े पैमाने की निगरानी को limit नहीं किया जा सका है, तो यह स्पष्ट नहीं है कि जासूसी के साथ अलग व्यवहार क्यों होगा

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-07
Hacker News की रायें

  • यह तकनीकी समस्या नहीं, बल्कि राजनीतिक समस्या है। सोवियत संघ ने जर्मनी आदि के साथ मिलकर आदिम तकनीक से भी बड़े पैमाने की निगरानी प्रभावी ढंग से की थी; हर आवाजाही और गतिविधि के लिए कागजी कार्रवाई, मुखबिरों, ऑडियो निगरानी वगैरह का इस्तेमाल किया था
    अमेरिका जैसी जगहों पर यही तरीका इसलिए नहीं आया कि ऐसी निगरानी करने की क्षमता नहीं थी, बल्कि इसलिए कि राजनीतिक रुचि नहीं थी
    अतीत को देखें तो लोगों ने ऐसी चीजों पर भी प्रतिबंध लगाया है जिनके प्रतिबंधित होने की उन्होंने कल्पना भी नहीं की थी। जैसे अपने घर में पौधा उगाकर उसका सेवन करना अपराध बना देना, या किसी व्यवसायी का किसे सेवा देनी है या नौकरी पर रखना है, इस बारे में “गलत राय” रखना अपराध बना देना
    किसी व्यक्ति के बारे में डेटा संग्रह को, चाहे वह aggregated हो या नहीं, पूरी तरह अवैध बनाने वाला “nuclear option” भी कानूनी सिद्धांत के लिहाज से कोई बहुत बड़ी छलांग नहीं है। समस्या यह नहीं कि तकनीक मौजूद है, बल्कि यह है कि उसे रोकने की राजनीतिक रुचि लगभग शून्य है, और उस “लोकतंत्र” में है जहाँ कानून पारित होने में जनता की इच्छा शायद ही झलकती है

    • मैं मानता हूँ कि निगरानी रुकनी चाहिए, लेकिन समस्या को समझाने का मेरा तरीका अलग है। अपने चरम दौर में KGB के सीधे कर्मचारी ही करीब 5 लाख थे, और मुखबिरों की संख्या तो गिनी ही नहीं जा सकती थी
      आज FBI करीब 35 हजार लोगों को रोजगार देती है। लेकिन अगर कर्मचारियों की संख्या अर्थपूर्ण रूप से बढ़ाए बिना ही FBI को KGB के चरम दौर जैसी पहुँच मिल सकती है, तो बात बदल जाती है
      तकनीक निगरानी की लागत खत्म कर देती है, और पहले वही लागत एक safeguard थी। यह राजनीतिक गणना को बुनियादी रूप से बदल देता है
      1945 में computers बहुत महंगे थे और industrial-scale logistics की जरूरत थी—इस तथ्य का आज की इस वास्तविकता से कोई संबंध नहीं कि ज्यादातर लोग हमेशा अपने साथ कई computers रखते हैं। कोई यह नहीं नकारता कि computer manufacturing technology में बदलाव ने रोजमर्रा की जिंदगी में computers की भूमिका को बुनियादी रूप से बदल दिया है
      1945 में भी सैद्धांतिक तौर पर हर घर में computer रखा जा सकता था, लेकिन ऐसा करने की “राजनीतिक” इच्छा नहीं थी—इससे यह निष्कर्ष नहीं निकलता कि आज के नए माहौल के अनुसार आदतें, नैतिकता और नीतियाँ समायोजित करने की जरूरत नहीं है
      इसलिए समझ नहीं आता कि हमेशा कोई न कोई यह क्यों कहता है कि “dystopian nightmare पहले भी तकनीकी रूप से संभव था, तब किसी विशेष विचार की जरूरत नहीं थी, इसलिए अब भी नहीं है”
    • इसे सिर्फ राजनीतिक समस्या कहना मुश्किल है। जिन कई नीतियों को हम राजनीतिक निर्णय समझते हैं, वे वास्तव में तकनीक की लागत और उपलब्धता से प्रेरित रही हैं
      लागत घटती है तो नए विकल्प वास्तविक हो जाते हैं। Stasi की क्षमताओं को बहुत बड़ा माना जाता है, लेकिन सच तो यह है कि वे आधुनिक geofence warrant जैसे शक्तिशाली औजार के बदले अपने अधिकांश manual surveillance tools खुशी-खुशी दे देते। ऐसे warrants अमेरिकी law enforcement agencies में लगभग बिना किसी policy debate के नियमित रूप से इस्तेमाल हो रहे हैं
    • घर में पौधा उगाकर उसका सेवन करने को अपराध बनाना और यह अपराध बनाना कि कोई व्यवसायी किसे सेवा देगा या नौकरी पर रखेगा, इस बारे में “गलत राय” रखता है—इन दोनों की तुलना काफी कठोर तुलना है
      पहला, अगर बात cannabis की है, तो documented racism और political repression का मामला है; दूसरा लगभग उल्टे उद्देश्य के लिए डिजाइन किया गया है
      कोई व्यवसायी किसे सेवा देगा, इस बारे में “गलत राय” को सीमित करना इसलिए है ताकि “गलत पहचान” वाले लोग भी समाज में भाग ले सकें और व्यवसायी की पसंद की वजह से बाहर न कर दिए जाएँ। बेशक “गलत राय” कोई कानूनी शब्द नहीं है, और यह सोचना कि किसी खास समूह से भेदभाव ठीक है, अपने-आप में अवैध भी नहीं है। उस सोच को व्यवहार में बदलना ही अवैध है
      अगर आप जनता को सेवा दे रहे हैं, तो कानून के अनुसार जनता के सभी सदस्यों को सेवा देनी होगी। अगर भेदभाव में विश्वास को “गलत राय” कहा जा रहा है, तो यह मूल लेखक का शब्द है, इसलिए मैं इसका अलग से खंडन नहीं करूँगा
    • “यह राजनीतिक समस्या है, तकनीकी समस्या नहीं” वाला फर्क मुझे ऐसा फर्क लगता है जिसमें कोई बड़ा अंतर नहीं है। राजनीति, यानी consensus mechanism और governance structure भी सामाजिक गतिविधियों को coordinate और shape करने वाली तकनीक हैं
      नए surveillance tools को कैसे implement किया जाए, यह तय करना भी तकनीकी प्रश्न है, और मेरा मानना है कि किसी tool का इस्तेमाल कैसे होता है, यह आंशिक रूप से परिभाषित करता है कि वह tool क्या है। किसी खास tool की capability में बदलाव ही “तकनीक” की परम सीमा नहीं है; implementation और use से जुड़े decisions भी उसी दायरे में आते हैं
      सोवियत संघ में बने तंत्र जितना सर्वव्यापी नहीं था, फिर भी अमेरिका ने भी अपने नागरिकों को निशाना बनाने वाला बड़े पैमाने का surveillance network वास्तव में बनाया था https://www.brennancenter.org/our-work/analysis-opinion/hist...
      “आदिम तकनीक से बड़े पैमाने की निगरानी प्रभावी ढंग से की गई” वाला बिंदु खासकर अच्छा है। communication और signal/information processing tools में प्रगति ने ऐतिहासिक रूप से state surveillance में कई प्रगतियाँ कराई हैं, और AI को भी पूरी तरह नया परिदृश्य मानने के बजाय लंबी इतिहास-श्रृंखला में refinement या छोटा paradigm shift मानना ज्यादा सही है
      अगर बात Civil Rights Act की है, तो विशिष्ट अपराध “गलत राय रखना” नहीं, बल्कि interstate travel और commerce में बाधा डालना है। पूर्वाग्रह उस state model से मेल नहीं खाता जिसमें नागरिकों को सीमाओं के भीतर स्वतंत्र रूप से यात्रा करने और अपना भरण-पोषण करने में सक्षम होना चाहिए
    • अंततः कहा जा सकता है कि सब कुछ राजनीतिक समस्या है, लेकिन इस मामले को तकनीकी बदलाव पूरी तरह आगे धकेल रहा है। सोवियत संघ और East Germany में reports लिखने के लिए लाखों लोगों की जरूरत पड़ती थी
      अब एक skilled व्यक्ति दोपहर का ज्यादातर समय लगाकर HN dump डाउनलोड कर सकता है और LLM से हर user के लिए reports बना सकता है। इनमें राजनीतिक रुझान, तोड़े गए कानून, हाल में यात्रा किए गए देश, net worth range, education और career, professional contacts जैसे items शामिल किए जा सकते हैं

  • समझ नहीं आता कि इस बात पर ज़्यादा चर्चा क्यों नहीं हो रही। निगरानी-राज्य की हकीकत यह रही है कि डेटा की मात्रा इतनी ज़्यादा थी कि व्यावहारिक रूप से निगरानी संभव नहीं थी, लेकिन AI जटिल डेटा को summarize करके सीधे इसी समस्या को हल करता है
    कम-से-कम निकट भविष्य में AI का असली खतरा, मेरे हिसाब से, न तो paperclip planet है, न नैतिक alignment failure, और न ही ऐसी media environment जहां creativity खत्म हो जाए। खतरा बल्कि इस बात में है कि यह औसत से अलग लोगों को target करने का tool है, ऐसा tool जिसे आत्मविश्वास से भरे जवाब देने के लिए design किया गया है और जिसे फिल्मों व सामाजिक पक्षपातों के औसत पर train किया गया है

    • Palantir जैसी जगहों पर इस community के अंदर-बाहर के लोग सालों से ऐसी चीज़ें बना रहे हैं
      YC के CEO भी Palantir के शुरुआती employee रह चुके हैं, और एक और YC partner अभी invasive police surveillance technology को support करता है। ये लोग आर्थिक और राजनीतिक, दोनों रूप से, ऐसी चीज़ों को पसंद करते हैं
    • निगरानी-राज्य में डेटा की मात्रा को व्यावहारिक रूप से monitor न कर पाने की समस्या को AI द्वारा summary से हल करने के पीछे दो और बुनियादी dynamics हैं: ध्यान की अर्थव्यवस्था और combat power की राजनीति
      पहले मानव ध्यान का बुनियादी मूल्य था। संसाधनों का उपयोग करने के लिए coordination या decision-making करनी हो तो इंसानों को दूसरे इंसानों पर ध्यान देना पड़ता था। समाज इस बेहद मूलभूत स्तर पर हिल जाएगा
      combat power की राजनीति भी इससे जुड़ी है, लेकिन उसके लिए अलग analysis चाहिए। मौजूदा राजनीति इसलिए काम करती है क्योंकि ruling class को बड़े राजनीतिक निकायों की stability सुनिश्चित करने के लिए जनता की सैन्य शक्ति की जरूरत होती है। इसे मानव राजनीतिक संगठन की बुनियादी सतह पर मौजूद माना जा सकता है, और यह भी ऐसी तरह से बुनियादी रूप से हिलेगा जैसा हमने कभी नहीं देखा
      AI जिस Orwellian दुनिया को संभव बनाता है, जहां boot हमेशा चेहरे को कुचलता रहे, वह सिर्फ पहला कदम है। अगर मैं दुनिया पर कब्ज़ा करने की कोशिश करने वाला AI होता, तो Skynet नहीं बनता। वह भद्दा और अनावश्यक रूप से महंगा लगता है
      इसके बजाय, मैं पहले अनेक तरीकों से indispensable बनता, फिर आर्थिक और सांस्कृतिक कारणों का हवाला देकर पूरी मानवता को चुपचाप विलुप्त होने के लिए मना लेता
    • यह लेख भी “This, IMO, is the real danger of AI (at present)” के बाद का हिस्सा काट दें तो AI summary बन सकता है
      उसके बाद की सामग्री भावनात्मक rhetoric metadata में compress हो जाएगी। “a नहीं, b नहीं, c नहीं बल्कि d” वाला rhetorical pattern सच में थोड़ा content value जोड़ता है, लेकिन उससे भी अधिक flavor जोड़ता है
      यहां जो दिखता है वह यह है कि लेखक शायद ऐसा व्यक्ति हो सकता है जो समस्या पैदा कर सके। साथ ही, दूसरे data के साथ मिलाकर यह भी infer किया जा सकता है कि उसे किन फिल्मों या products में दिलचस्पी हो सकती है
    • सरकार और corporate surveillance के बारे में मैंने शुरू से mass surveillance threat model को इसी तरह सोचा है। मैंने कभी नहीं सोचा कि tie पहना कोई office worker मुझे arrest करने, मुझे ज़्यादा चीज़ें बेचने, या मेरा insurance cancel करने के लिए खास रुचि लेगा
      ऐसी individual और anthropomorphized narratives को मैंने बचाव के लिए छोड़ा गया red herring माना। “छिपाने को कुछ नहीं है” वाली बात जैसे कुछ खास मुद्दों पर focus करती है, असल में structure यह है कि Big Brother कंधे पर बैठकर समग्र रूप से लगातार judgement कर रहा है
      मेरे हिसाब से threat actor stored data के सभी silos पर simultaneously या बाद में scale पर की जाने वाली algorithmic mass analysis है, और उसके परिणामस्वरूप दबाव धीरे-धीरे और subtle तरीकों से डाला जाएगा
    • AI ने complex large-scale datasets को summarize करने की समस्या हल नहीं की है। उदाहरण के लिए, ऐसे datasets से निपटने का एक आम तरीका random subset इस्तेमाल करना है, और यह काम code की एक line से भी किया जा सकता है

  • नए Google, Meta, Microsoft आदि के bots सिर्फ web या social networks को crawl नहीं करेंगे, बल्कि specific topics और लोगों को crawl करेंगे
    कई संस्कृतियों में descendants की ज़िंदगी पर नज़र रखने वाले “guardian angel” या “ancestral spirits” की अवधारणा होती है
    बहुत दूर नहीं के techno-feudalism वाले future में बड़ी कंपनियों के दिए हुए “personal assistant bots” सवालों के जवाब देंगे, जानकारी इकट्ठा करेंगे, आपके निर्देशित काम करेंगे और “मदद” करेंगे। लेकिन वह “personal assistant bot” guardian angel नहीं है, और वह आपको सिर्फ उसी तरीके से serve करेगा जैसा उसका corporate creator चाहता है
    असली mission आपके बारे में जानकारी इकट्ठा करना, आपकी मुखबिरी करना, और highest bidder जो curated information दिखाना चाहता है—और कभी-कभी “sponsored” information—वह देना है। वे आपकी नहीं, अपने creator की सेवा करते हैं। धोखा मत खाइए

    • मैं गारंटी देता हूं कि मेरे साथ ऐसा नहीं होगा। कम-से-कम उस nightmare से बचा जा सकता है। AI जो दूसरी dystopias लाएगा उनसे बचना मुश्किल हो सकता है, लेकिन उस एक चीज़ से तो बचा जा सकता है
    • यह बात आज उन सभी devices पर लागू हो सकती है जिनके नाम में “smart” लगा है। जैसे smartphone, smart TV, smart traffic signals वगैरह
      काश लोग यह न मानें कि “smart” चीज़ हमेशा बेहतर होती है
      लेकिन हमें ऐसे future के लिए पहले ही train किया जा रहा है। लोग हाथ में पकड़े devices से बात करने के अधिक अभ्यस्त हो रहे हैं, रास्ता ढूंढने के लिए map apps पर निर्भर हैं, और AI query prompts इस्तेमाल कर रहे हैं
    • Google जैसी बड़ी कंपनियां AI के बिना भी पहले से यह काम कर रही हैं। क्या AI services को और लुभावना बनाएगा? हां, लेकिन open source AI और search में भी काफी प्रगति हो रही है, जिससे बड़ी tech कंपनियों पर निर्भरता टूट सकती है
      अगर हर किसी के घर में 500 डॉलर का self-hosted AI device हो, तो Google के अस्तित्व का कारण ही खत्म हो सकता है। ऐसे future के लिए काम करना worthwhile है
    • वह तो बस आपका phone है
    • सुनने में poetic लगता है, लेकिन जो चीज़ कल्पना की जा सकती है, उसके बारे में मुझे हमेशा लगता है कि वह शायद नहीं होगी। एकमात्र constant surprise है, और ऐसे developments को बस संयोग से ही सही पकड़ा जा सकता है

  • एक और पहलू मुझे AI द्वारा संभव बनाया गया बड़े पैमाने का आपराधिक कानून प्रवर्तन लगता है
    कई आपराधिक कानून इस मौन धारणा के साथ लिखे गए हैं कि अपराधों की जांच और अभियोजन के लिए संसाधन चाहिए, और वही लागत कानून के वास्तविक लागू होने की सीमा तय करती है. यानी यह अभियोजक के विवेक पर निर्भर होता है
    जब अभियोजक का विवेक असमान रूप से इस्तेमाल होता है, तो उससे पैदा होने वाले बेहद गंभीर अन्याय को थोड़ी देर के लिए अलग रखकर, ऐसी दुनिया की कल्पना करें जहां ऐसा विवेक न हो. यह कुछ बनावटी लग सकता है, लेकिन AI कम-से-कम इसे संभव तो बना सकता है. क्या सिर्फ मौजूदा कानून-पुस्तक के आधार पर ही वह दुनिया बेहतर होगी?
    अचानक सार्वजनिक गतिविधियों की निगरानी करने वाला AI, AI जांचकर्ताओं को सक्रिय कर सकता है जो warrant के मसौदे तैयार करें, और AI judge warrant को मंजूर कर राय लिख सकता है. दावा किया जा सकता है कि due process पूरा हुआ, और आगे की जांच या गिरफ्तारी के लिए probable cause होने का रिकॉर्ड भी जनता के लिए खुला था
    Demolition Man की तरह दीवार से चालान निकल आए, लेकिन उसमें साफ-साफ लिखा probable cause और अच्छी तरह पेश किए गए सबूत भी दस्तावेज में दर्ज हों
    छोटी-छोटी मिसालों की जांच और अभियोजन अचानक संभव हो जाता है. CCTV सड़क पर 20 डॉलर का नोट उठाने वाले व्यक्ति को पकड़ता है, और यह भी पता लगा लेता है कि उसने उसे अपनी tax filing में नहीं दिखाया. CFAA का उल्लंघन करने के अनगिनत तरीके, subway में music piracy का यूं ही जिक्र कर देना, पुतलियों के फैलने और लड़खड़ाने के आधार पर drug investigation, और speed camera की तरह जारी होने वाले jaywalking ticket तक संभव हैं
    अगर निचोड़ने वाली इकाई सस्ता AI है, तो “खर्च फायदा से ज्यादा है या नहीं” की परवाह कौन करेगा
    हमें सोचना होगा कि क्या यह बेहतर दुनिया है, या फिर हमने खुद को ऐसे motivated prosecutor के हवाले कर दिया है जो हमारी पूरी जिंदगी का जरूरत से ज्यादा विश्लेषण करता है
    वास्तविकता की ओर वापस लौटें, तो मुझे पता है कि “सभी कानूनों को लागू किया जाए तो अराजकता आ जाएगी” वाला तर्क AI से ज्यादा आपराधिक न्याय प्रणाली पर आरोप जैसा है. फिर भी AI हमें सचमुच ऐसी दुनिया की कल्पना करने देता है, और शायद यह विचार बेहतर संस्थाएं बनाने में मदद करे

    • दूसरी संभावना यह है कि समाज इतना गिर जाए कि भविष्य के लोग ऐसी dystopia चुन लें. पूरी तरह automated, रोजगार-रहित दुनिया के भयानक रूप से बिगड़ जाने की कल्पना की जा सकती है, जहां समाज का बड़ा हिस्सा गरीब, उद्देश्यहीन और opioids का आदी हो
      यह दार्शनिकों और कलाकारों की basic income utopia नहीं, बल्कि Rust Belt जैसे पतन की दुनिया है जो लगातार बदतर होती जा रही है और ढलान पर ब्रेक भी नहीं हैं
      “बचे हुए” लोग, जिन्हें समझ नहीं आता कि क्या करें, असफल समाज के panopticon, जेल और अलगाव को automate करने वाला nuclear option चुन सकते हैं. यह Eloi और Morlocks, Bay Area के tech workers और Bay Area की tent colonies जैसे विरोधाभास जैसा है
      हमने अतीत में भी इससे बेहतर नहीं किया, तो भविष्य में, जब सामाजिक नियंत्रण के “tools” ज्यादा efficient और शक्तिशाली होंगे, हम बेहतर करेंगे—ऐसी उम्मीद क्यों करें? खासकर जब AI मध्यस्थ की भावनात्मक दूरी के जरिए सहानुभूति हटाना पहले से कहीं ज्यादा आसान हो जाएगा
    • jaywalking ticket को speed camera की तरह जारी करना 2017 से पहले से ही हो रहा था: https://futurism.com/facial-recognition-china-social-credit
      अप्रैल 2017 से चीन के Guangdong प्रांत के इस शहर ने jaywalking रोकने के लिए काफी कड़े तरीके अपनाए. जो लोग red light तोड़कर सड़क पार करते हैं, उनके चेहरे, नाम और सरकारी ID का हिस्सा शहर भर में लगे facial recognition devices की वजह से चौराहे के ऊपर बड़े LED screen पर दिखाए जाते हैं
      यह और भी intrusive हो गया है. Motherboard के अनुसार, चीन की एक artificial intelligence company ने इस system को mobile carriers से जोड़ दिया है, ताकि उल्लंघनकर्ता पकड़े जाते ही fine वाला text message पा जाए
    • मुझे याद है कि Weapons of Math Destruction में judicial system, banking आदि में पहले से मौजूद bias दिखाने वाले AI के कुछ उदाहरण दिए गए थे
    • इस दिशा में मौजूदा software भी पहले से marginalized groups के खिलाफ bias दिखाता है. ऐसे भविष्य की कल्पना करना भी आसान है जहां इस तरह की surveillance की असुविधा से कुछ खास लोगों को exempt करने वाला filter आखिरी छोर पर लगा दिया जाए. नए कानून की जरूरत पड़ सकती है, और वह पास हो जाएगा
    • अच्छा point है. अगर न्याय इंसानों के बजाय system द्वारा लागू किया जाए, तो उस scenario का अंत यह होगा कि हम कई तरीकों से process या संबंधित लोगों पर सवाल उठाने की अपनी क्षमता खो देंगे
      क्योंकि जिम्मेदार ठहराने के लिए कोई व्यक्ति नहीं होगा, इसलिए law enforcement के तरीके पर आपत्ति उठाना लगभग असंभव हो जाएगा

  • निजी तौर पर, मुझे surveillance के implications से ज्यादा censorship के implications और उससे संभव होने वाले business models की चिंता है
    जल्द ही ऐसी dating app बनाना संभव होगा जिसमें chat तो free हो, लेकिन मिलने की जगह तय करने या contact details exchange करने के लिए पैसे देने पड़ें. खासकर तब, जब 99% लोगों को bypass करने का तरीका न पता हो, और बार-बार bypass की कोशिश block होने तक ले जाए
    Airbnb या eBay जैसी apps भी इसी तरह लोगों को उन्हें सिर्फ listing site की तरह इस्तेमाल करने और fee से बचने के लिए platform के बाहर deal करने से रोक सकेंगी
    social media के implications और चिंताजनक हैं. हर post, comment, message, photo और video की जांच करके, किसी खास view को promote करने पर उसे तुरंत visibility से हटाया जा सकता है. उदाहरण के लिए lab leak theory जैसी किसी चीज का कितना भी indirect mention हो, उसे filter किया जा सकता है
    parental control software इस capability का भरपूर इस्तेमाल करेगा, और असल में helicopter parenting को फिर से परिभाषित कर देगा

  • तकनीक के वहाँ तक पहुँचते ही ये दोनों चीज़ें कुछ हद तक अपरिहार्य थीं। इसे रोकने के तरीके पर बहस करने के बजाय, इस वास्तविकता के साथ कैसे ढलना है, इस पर ज़्यादा तात्कालिक चर्चा करनी चाहिए
    रोकना ज़्यादातर बेकार कोशिश है, और इसके लिए सबका नेक होना ज़रूरी है, जबकि हम ऐसे नहीं हैं
    इससे जुड़ा कॉन्सेप्ट ubiquitous surveillance है। यानी आप जहाँ भी जाएँ, सचमुच हर जगह active surveillance हो, और AI लगातार उसे छाँटता और खंगालता रहे। घनी आबादी वाले इलाकों की कई सार्वजनिक जगहों पर यह पहले से कुछ हद तक है, लेकिन कल्पना करें कि यह हर जगह हो और व्यावहारिक रूप से इससे बचना नामुमकिन हो। Faraday cage या टिन-फॉयल टोपी जैसे अपवादों को छोड़कर
    ऐसी निगरानी के नुकसानों को सीमित करने का सबसे व्यावहारिक तरीका है इसे नियंत्रित करने वाले कानून और counter-surveillance का संयोजन, जिससे गैरकानूनी निगरानी के देखे जाने और दंडित होने की संभावना बढ़े। यानी तकनीक को व्यापक रूप से उपलब्ध रहने देना, लेकिन उसके उपयोग को regulate करना
    लोग फिर भी बचने की कोशिश करेंगे, लेकिन तकनीक के दुरुपयोग पर पकड़े जाने पर जेल जाने की कीमत चुकानी होगी। जब निगरानी अपरिहार्य हो जाएगी, तो कोई भी यह पक्का नहीं मान सकेगा कि उसके गलत काम को कोई नहीं देख रहा
    बड़े पैमाने की बहुपक्षीय निगरानी का फायदा यही है कि सत्ता के दुरुपयोग को कोई नहीं देख रहा, इस बात का कभी पूरा भरोसा नहीं हो सकता
    बेशक, असल दुनिया में राज्य इसे अपना रहे हैं और इसका एकाधिकार कर रहे हैं, जिससे चीन, उत्तर कोरिया आदि में पहले ही 1984 जैसे परिदृश्य बन रहे हैं

    • हमें ज़्यादा offline communities बनानी चाहिए। पूरी तरह नियंत्रित किए जा सकने वाले स्पेस में ऐसी चीज़ें बनानी चाहिए जो AI की पहुँच से बाहर हों, और ऐसे स्पेस में फोन इस्तेमाल को discourage करना या सक्रिय रूप से बाहर रखना शुरू करना चाहिए
      यह ज़रूरी है कि digital-first इंटरैक्शन के तरीके न बनाए जाएँ
    • हर sci-fi या भविष्यवादी चीज़ पर मेरी सोच भी कुछ ऐसी ही है। इंसान जब किसी चीज़ की कल्पना कर लेता है, तो जिस पल वह उसे करने का तरीका समझ लेता है, उसका अस्तित्व लगभग तय हो जाता है
    • मैं ऐसे भाग्यवाद से सहमत नहीं हूँ। यह कम से कम surveillance को बढ़ाना बहुत आसान बना देता है। कानूनी सीमाएँ लगाई जा सकती हैं

  • जल्द ही “security” के नाम पर औसतन हर कुछ मिनट में चेहरे स्कैन होंगे, और जीवन के कई क्षेत्रों में यह अनिवार्य हो जाएगा। IT ने जिस दयनीय दुनिया को बनाने में योगदान दिया है

    • हममें से कुछ लोग फोन के साथ पहले से ऐसा कर रहे हैं। मुझे पता है कि आपका मतलब अलग है, लेकिन कुछ मायनों में इसने समाज को पहले से conditioned कर दिया होगा
    • लोग वर्षों से अपना फोन खोलने के लिए फिंगरप्रिंट या चेहरा स्कैन कराते आ रहे हैं
    • यह कहीं ज़्यादा खराब होगा, और तेज़ी से होगा
      neural interfaces privacy की आखिरी सीमा हैं, और लगता है कि जल्द ही TSA boarding से पहले उनका quick scan करेगा
      अगर हम internet tracking में बस छूट जाने जैसी स्थिति नहीं चाहते, तो Neural Bill of Rights बनाना समझदारी होगी
      https://www.preposterousuniverse.com/podcast/2023/03/13/229-...
    • मैं इसे अपरिहार्य मानता हूँ, लेकिन F/OSS न होता तो इसमें कहीं ज़्यादा समय लगता

  • Schneier का यह कहना गलत था कि “hey google” हमेशा सुन रहा है। Google wake word processing को dedicated hardware पर device के अंदर करता है, और उसके बाद ही audio को ऊपर भेजता है
    यकीन करना मुश्किल होगा, लेकिन Google के privacy से जुड़े लोग सचमुच सही काम करने की कोशिश करते हैं। वे हमेशा सफल नहीं होते, लेकिन हमारे hardware और wake word listening में सफल हुए हैं
    मैं Google कर्मचारी हूँ, लेकिन hardware side में नहीं

    • उनका मतलब था कि “Siri और Alexa और ‘Hey Google’ पहले से हमेशा सुन रहे हैं, बस बातचीत अभी save नहीं की जा रही।” कार्यात्मक रूप से यह वही है जो आपने अभी बताया
      hardware wake word processing power saving feature है, privacy enhancement नहीं। कुछ devices में सारा audio भेजने या store करने के resources नहीं हो सकते, लेकिन audio छोटा होता है और text extraction के लिए perfect reproduction की ज़रूरत नहीं होती, इसलिए कई devices को battery life की कीमत पर ऐसा करने के लिए reprogram किया जा सकता है

  • इसलिए AI software को सीमित नहीं करना चाहिए। क्योंकि आम लोगों और नागरिक-चेतना वाले लोगों को corporate AI का मुकाबला करने के लिए personal और public counter-AI systems विकसित कर पाने चाहिए। AI का भविष्य adversarial structure है
    बेशक AI software विकसित करने की आज़ादी का मतलब उसे मनमाने ढंग से इस्तेमाल करने की आज़ादी नहीं है, और खास तौर पर लोगों को ऐसी चीज़ों से बचाने के लिए उसके उपयोग को regulate किया जाना चाहिए। लेकिन लोगों पर भरोसा नहीं किया जा सकता, इसलिए self-defense tools deploy कर पाने चाहिए

    • adversarial AI सार्वजनिक जगहों पर उस तरीके से व्यवहार करने की privacy या freedom कैसे बचा सकता है जिसे Big Brother बर्दाश्त नहीं करता?
    • Karpathy के vision जैसे LLM operating system को Linus Torvalds जैसा, Yann LeCun जैसा नया benevolent dictator चाहिए

  • AI mass surveillance को संभव नहीं बना रहा; mass surveillance पहले से मौजूद है
    AI सबके बारे में दशकों के हर तरह के behavioral data extraction को संभव बनाता है
    devil’s advocate बनकर कहें तो, ऐसी दुनिया में जहाँ data का दुरुपयोग न हो और वह केवल सरकार द्वारा पारित कानूनों के तहत अपराधों के prosecution में इस्तेमाल हो, यह ऐसे समाज की ओर ले जा सकता है जहाँ कोई भी कानून से ऊपर न हो और सभी के साथ समान व्यवहार हो
    लेकिन system को नियंत्रित करने वाले इंसान निश्चित रूप से advantage चाहते हैं, इसलिए ऐसी चीज़ें शायद ही कभी अच्छी तरह काम करती हैं