- ब्लैक पिल शून्यवाद, अवसाद और गुस्से का ऐसा मेल है जिसमें लगता है कि दुनिया धांधली से चल रही है और कुछ भी बदला नहीं जा सकता; यह तकनीक बनाने वालों से उनकी अपनी agency और कंप्यूटर को बदलने की शक्ति तक छुड़वा देता है
- सॉफ्टवेयर की quality तकनीकी कमी से ज्यादा management की priorities और engineers की bargaining power पर निर्भर करती है; developers ने अनुमति लेने से बेहतर माफी मांगना, गुप्त काम, ध्यान भटकाना और जानबूझकर flaws डालना जैसी भली मंशा वाली अवज्ञा से इसका जवाब दिया है
- विज्ञापन, notifications, A/B testing, recommendation algorithms, DRM, AI agents, dark patterns और infinite scroll, उपयोगकर्ता की सेवा करने के बजाय उसके व्यवहार को नियंत्रित करने वाला coercionware बन सकते हैं
- AI नापसंद होने पर भी मजबूरी में इस्तेमाल करना, open software साझा करना बंद करना, और “मैं नहीं करूंगा तो कोई और करेगा” कहकर ethics छोड़ देना, केंद्रीकृत शक्ति को सामूहिक agency सौंप देता है
- कंप्यूटर बनाने वालों के पास अब भी विकल्प हैं; उम्र से आई समझदारी और युवावस्था के आशावाद को मिलाकर ऐसा software खुद बनाना होगा जो users को नियंत्रित नहीं, बल्कि उनकी सेवा करे
ब्लैक पिल से पैदा होने वाली खुद को मजबूत करती निराशा
- 《Matrix》 की red pill असुविधाजनक सच स्वीकार करने का चुनाव है, जबकि ब्लैक पिल का मतलब है कि game rigged है, इसलिए हार मानकर सड़ने के अलावा कोई रास्ता नहीं
- यह शब्द जिस incel community से आया, वहां एक स्वाभाविक filtering होती है
- जिन्होंने encouragement, mentoring और problem-solving का सहारा लिया, वे mature हुए, रिश्ते बनाए और community छोड़ गए
- नए आने वाले युवा लोगों को सिर्फ निराश और antisocial सदस्य ही मिले
- समय के साथ शून्यवाद, अवसाद और गुस्सा बढ़ता गया, और सबसे बुरे मामलों में suicide या school shooting जैसे नतीजों तक पहुंचा
- conservative Christian परिवार में पले-बढ़ने और dating के लिए जरूरी बातें नए सिरे से सीखने व पुरानी धारणाएं छोड़ने के अनुभव ने भी ऐसी निराशा में गिरने की संभावना बढ़ाई
- pickup artists की सोच में शून्यवादी और manipulative toxicity थी, लेकिन उसके भीतर की एक सलाह बाहर निकलने का रास्ता बनी
- किसी खास romance outcome से चिपकने के बजाय संभावित partners और दोस्तों सहित हर व्यक्ति के लिए आकर्षक व्यक्ति बनने पर ध्यान देना
- दूसरों की सच में परवाह करना, ध्यान से सुनना, उन्हें हंसाना और यादगार अनुभव देना
- ऐसा व्यक्ति बनना जिसके साथ लोग समय बिताना चाहें, तो romance बनने की स्थितियां भी स्वाभाविक रूप से बढ़ती हैं
- खराब विचारों के संपर्क में आने पर भी अगर अच्छे विचार साथ मौजूद हों, तो युवा लोग उनमें से उपयोगी चीजें खोज सकते हैं
जाने वाले recovered लोग और बचा हुआ गुस्सा
- Cory Doctorow की 2019 की short story 《Radicalized》 health insurance company से नुकसान झेल चुके लोगों के online forum के इर्द-गिर्द चलती है
- addiction recovery forums में लंबे समय से शराब छोड़ चुके सदस्य बने रहते हैं और जीवन सुधर सकता है, इसका प्रमाण व संतुलित सलाह देते हैं
- इसके उलट कहानी के cancer patient forum में गुस्सा और दुख पार कर चुके लोग चले जाते हैं, और सिर्फ गुस्से से चिपके लोग बचते हैं
- बेहद गुस्से में डरे हुए व्यक्ति से भी कहा जाता है कि यही सही और एकमात्र प्रतिक्रिया है, और आगे कभी बेहतर नहीं होगा
- incel community की तरह recovered लोगों का निकल जाना निराशा को मजबूत करने वाली संरचना है
- कहानी आने के 5 साल बाद UnitedHealthcare के वास्तविक CEO की गोली मारकर हत्या हुई, और कारतूसों पर “deny, defend, depose” शब्द लिखे थे
सॉफ्टवेयर ठीक से काम क्यों नहीं करता
- tech conferences में आए लोग यह साझा धारणा रखते हैं कि software ठीक से काम करे, तेज हो और user experience को प्राथमिकता दे
- मजबूत software बनाने के तरीके बहुत पहले खोजे जा चुके हैं और hardware performance भी कई orders of magnitude बेहतर हुई है, फिर भी कुल मिलाकर software की robustness और performance उल्टे घट गई है
- field में quality improvement रुकने की मुख्य वजह programmers के ज्ञान या मेहनत की कमी नहीं, बल्कि business की दूसरी priorities आगे रखने वाला management है
- venue में जब पूछा गया कि किसने company software सुधारने की कोशिश की और management ने मना कर दिया, तो आधे से ज्यादा attendees ने हाथ उठाया
भली मंशा वाली अवज्ञा और उसकी कीमत
- जिन organizations में beneficiary के पास ही authority भी होती है, वहां developers management की इच्छा के खिलाफ जाते हुए भी company के हित का काम करने वाली भली मंशा वाली अवज्ञा चुनते हैं
- इसके चार प्रमुख तरीके हैं
- permission से बेहतर forgiveness मांगना: पहले जरूरी काम कर लेना और समस्या आए तो बाद में माफी मांगना
- secret work: management को पता चले तो रोक दिए जाने वाले जरूरी काम को छिपाकर करना
- attention diversion: अहम काम और कम अहम काम साथ चलाना, लेकिन मामूली काम का खूब प्रचार करके management का ध्यान उधर मोड़ना
- duck: ऐसा साफ दिखने वाला problem जानबूझकर जोड़ना ताकि management उसे खोजकर हटाने का credit ले सके
- Battle Chess की queen animation की कहानी में, producer बदलाव मांगेगा यह सोचकर artist ने queen के साथ एक pet duck जोड़ दिया
- duck को actual animation से overlap न हो, इसके लिए अलग से बनाया गया
- producer ने बाकी सब वैसा ही approve किया और सिर्फ duck हटाने को कहा
- ये techniques resignation, confrontation या acceptance के बदले coping methods हैं, और सभी में risk है
- deception पकड़ा गया तो डांट पड़ सकती है या severance के बिना निकाला जा सकता है
- resign करने पर job market के stress और uncertainty को झेलना पड़ता है
- सीधे भिड़ने पर quiet retaliation या organization में political influence खोना पड़ सकता है
- accept करने पर low-quality software बनाना पड़ता है
labor market और software quality
- जब developers की demand supply से ज्यादा होती है, managers firing की धमकी देने के बजाय developers के छोड़कर जाने से डरते हैं, इसलिए engineers की bargaining power मजबूत होती है
- कंप्यूटर के शुरुआती दौर में programmers दुर्लभ थे, इसलिए उनके पास बहुत मजबूत bargaining power थी
- free market ने talent shortage को catch up किया, तो software developers भी दूसरे industries के workers जैसे conflicts झेलने लगे
- software quality कोई technical inevitability नहीं, बल्कि engineers की इच्छा और संयोग से मजबूत रही labor market position के मेल से बनी रही है
कंप्यूटर किसका agent है
- transistor एक automatic switch है जो छोटे base voltage से कहीं बड़े current को control करता है; यह कंप्यूटर का microscopic principle है जिसमें कमजोर signal बड़ी ताकत को control करता है
- macroscopic स्तर पर भी कंप्यूटर छोटे intent signals से बड़ी शक्ति चलाने देता है, लेकिन मूल बात यह है कि वह control signal कौन तय करता है
- browser को
user agentइसलिए कहा जाता है क्योंकि वह user की ओर से act करता है- browser को visited website नहीं, user के हितों की सेवा करनी चाहिए
- website न चाहे तब भी user का ad blocker इस्तेमाल कर पाना इसका उदाहरण है
- DRM user के owned hardware को किसी third party के हित में चलाता है, इसलिए end user के लिए hostile software है
- यह counterargument संभव है कि copyright holder द्वारा content access देने की condition होने से consumer को indirect benefit मिलता है
- लेकिन कंप्यूटर सीधे इस्तेमाल करने वाले end user के हित और indirect consumer benefit में फर्क करना चाहिए
- कंप्यूटर को हमेशा उस व्यक्ति की सेवा करनी चाहिए जो उससे सीधे interact कर रहा है
Asimov के robotics के 3 laws और इंसानी power
- Asimov के robotics के 3 laws की priorities ये हैं
- robot किसी human को harm नहीं पहुंचाएगा या निष्क्रिय रहकर human को harm होने नहीं देगा
- पहले law से टकराव न हो तो human के orders मानेगा
- पहले दो laws से टकराव न हो तो अपने existence की रक्षा करेगा
- इन laws के तहत robot harm रोकने के लिए जरूरी मामलों को छोड़कर human की hierarchical power structure में भाग नहीं लेता
- nonviolent crime के arrest warrant को execute करने का police order पाने वाला robot भी अगर संबंधित व्यक्ति उसे वापस जाने का order दे, तो उसे वही मानना चाहिए—यह उदाहरण इस विशेषता को दिखाता है
- “सभी robots और computers को चुप रहना चाहिए; humans पवित्र हैं और machines वस्तुएं हैं” वाला meme भी इसी ideal को exaggerated रूप में दिखाता है कि machines को humans की सेवा करनी चाहिए
- machines को humans की सेवा करनी चाहिए—यह सीमा मानसिक स्तर पर भी नहीं लांघी जानी चाहिए
users को manipulate करने वाला coercionware
- coercionware वह software है जो users की सेवा नहीं करता, बल्कि humans को आत्मा-विहीन robots की तरह manipulate करना चाहता है
- Amazon Mechanical Turk humans को सीधे robots की तरह treat करने और minimum wage से कम भुगतान करने वाला business model है
- workplace surveillance software employees की eye movements और bathroom activity तक बारीकी से control करना चाहता है
- intrusive ads अगर असरदार हैं तो लोगों के विचारों को control करते हैं, और असरदार न भी हों तो thought flow को तोड़कर ध्यान छीनते हैं और agency कमजोर करते हैं
- user ने जानबूझकर enable न किए हुए push notifications behavior को programmatic तरीके से control करते हैं और मांग पर react करने का समय भी घटाना चाहते हैं
A/B testing और dark patterns
- A/B testing empathy से ज्यादा measured outcomes को प्राथमिकता देती है और clicks व revenue maximize करने वाला experience चुनती है
- अगर users को anxious बनाकर clicks बढ़ाने वाला red button चुना जाए, तो भी इस effect को जानबूझकर design करने का record छोड़े बिना responsibility से बचा जा सकता है
- dark patterns users पर खुले तौर पर force डालने वाली design हैं, और programmers का ऐसी hostility को routine रूप से accept करना ही problem है
- aircraft crew UI में “Do you want to play the Boarding Music?” प्रश्न पर सिर्फ green “yes” और red “later” देना दिखाता है कि refusal option जानबूझकर हटाया गया
YouTube recommendations और AI agents
- YouTube में content creators और viewers दोनों recommendation algorithm के control में रहते हैं
- creators content की authenticity sacrifice करते हुए भी लगातार बदलते algorithm की preferences के पीछे भागते हैं
- modern thumbnails भी algorithm के हिसाब से मिलते-जुलते रूप में evolve हुए हैं
- viewers के लिए किसी content से far-right content तक जाने वाली recommendation paths जैसी घटना दिखती है
- AI agents users की सेवा का वादा करते हैं, लेकिन असल में model और surrounding closed software को control करने वाली AI companies की सेवा करते हैं
- अगर source code पर control नहीं है, तो software पर भी control नहीं है
doomscrolling और brain की vulnerabilities
- doomscrolling सिर्फ किसी दिन Facebook बहुत देर तक इस्तेमाल करने की bad habit नहीं, बल्कि content algorithm और infinite scroll से engagement maximize करने वाली मूल रूप से coercive structure है
- user screen से चिपका रहता है और अपने न चुने हुए content को लगातार consume करने का आदी हो जाता है
- scroll को program counter और नए दिखने वाले content को instructions की तरह देखकर इसे brain में execute होने वाली arbitrary code execution vulnerability से compare किया जा सकता है
- company द्वारा अपने हित में चुना गया content flow malicious third parties के लिए भी लोगों की सोच manipulate करने का रास्ता खोलता है
- US Office of the Director of National Intelligence ने जनवरी 2017 में FBI, CIA और NSA के work का summary देते हुए assessment में माना कि Vladimir Putin ने 2016 US presidential election को target करने वाली influence operation का order दिया था
- लक्ष्य US democratic process पर trust को नुकसान पहुंचाना, Hillary Clinton को नीचा दिखाना और उनकी electability व संभावित presidency को नुकसान पहुंचाना था
- Russian government ने President-elect Donald Trump के लिए स्पष्ट preference दिखाई, इस judgment को भी high confidence दिया गया
- मुख्य साधन state-sponsored troll organizations का social media campaign था
- social media की manipulative design ने human mind को hack करने की vulnerability बनाई, और वह vulnerability fix हुए बिना लगातार exploit हो रही है
रोजमर्रा की ब्लैक पिल जो choice छोड़वा देती है
- society software के साथ और गहराई से integrate होती जा रही है, इसलिए coercive services से opt out करने की क्षमता भी घट रही है
- Discord के जरिए ही meetup चलाने वाले friends से संपर्क टूटने का experience भी इसी में आता है
- लगातार lawmakers से contact करना, petitions sign करना और नई emergency पर respond करना, फिर भी बस पीछे छूटते जाने की fatigue जमा होती है
- ब्लैक पिल कंप्यूटर की possibilities छोड़कर उसके oppression के आगे surrender करवाती है, जैसे obedience से peace मिलती हो
- “computers were a mistake” वाला programmers का joke कंप्यूटर चलाने वाले व्यक्ति की agency को नकारता है
- AI को नापसंद और depress होते हुए भी unavoidable reality मानकर इस्तेमाल करने का attitude भी इसी pattern का है
- एक manager इस डर से AI इस्तेमाल करता है और हफ्ते में 50+ घंटे काम करता है कि अगर वह दूसरे team की jobs खत्म नहीं करेगा तो उसकी team पर बन आएगी
- AI use को सच में पसंद करने और नापसंद होते हुए भी fate की तरह accept करने में फर्क है
Anubis और defensive defeatism
- web scraping रोकने वाला software Anubis Linux kernel mailing list, Codeberg, FFmpeg, Wine आदि में इस्तेमाल होता है
- default settings के animated character mascot से ज्यादा मूल समस्या यह है कि web visit की cost जानबूझकर बढ़ाई जाती है
- website visit जो मूल रूप से low computation cost और anonymous होनी चाहिए, उसे एक order of magnitude से ज्यादा महंगा बना देता है
- link previews और forms तोड़ता है और battery drain करता है
- visitors से JavaScript off करने का विकल्प छीनता है
- legitimate कारणों से web access करने वाले bots को भी बाहर कर देता है
- यह तरीका जीतने के बजाय losses को slow करने भर का attitude है और open web को बिना defense छोड़े देने जैसा बनाता है
cynicism और public software छोड़ना
- Hacker News पर “Site is trash” लिखी प्रतिक्रिया भी exaggerated और cynical ब्लैक पिल का उदाहरण है, लेकिन वह पुराने site से मिलने वाली value घटने के असली दुख से निकली थी
- कुछ लोग इस वजह से free/open-source software साझा करना बंद कर रहे हैं कि AI companies code इकट्ठा करके अगला LLM बनाने में इस्तेमाल करेंगी
- free software का उद्देश्य code collect होने से बचना नहीं, बल्कि collective effort जोड़कर users को software control करने लायक बनाना है
- अहम बात यह है कि क्या high-quality free software उपलब्ध है, जिससे proprietary software के coercive behavior को limit करने वाला competitive tool मौजूद रहे
- shared software में participate न करने से abusive central power को collective agency और ज्यादा सौंप दी जाती है
- “मैं नहीं करूंगा तो कोई और करेगा” के कारण ethics ignore करने से वह रेखा मिट जाती है जिसे पार नहीं करना चाहिए, और beliefs बचाए रखने की इच्छा खो जाती है
technology को moral starting point चाहिए
- Protestant Christian परिवार में मिली good/evil system को adult होने के बाद खोलना, यानी deconversion, कई साल या पूरी जिंदगी ले सकता है
- पुराना faith छोड़ने पर नया moral system बनाना पड़ता है, और right/wrong को पूरी तरह बिना assumptions के derive नहीं किया जा सकता
- “I think, therefore I am” से आगे के judgments भी core foundational assumptions लाए बिना संभव नहीं
- technologist की भूमिका humanity जिस trajectory पर चल रही है, उसे accelerate करना है
- वही technology कौन इस्तेमाल कर रहा है, इस पर निर्भर करके good या evil force बन सकती है
- modern nuclear power, atom bomb के explosion को control करने के तरीके से काम करती है
- technologist का labor humanity जिस रास्ते पर पहले से चल रही है, उसकी शक्ति को indiscriminately amplify करता है
- अगर humanity अच्छी है तो technology भी good force बनेगी, और अगर humanity बुरी है तो technology भी evil force बनेगी; इसलिए technologists को humanity broadly good है, इस belief की जरूरत है
Stanislav Petrov ने जो belief चुना
- 1983 में Stanislav Petrov का काम attack early-warning system monitor करना और attack detect होने पर superiors से तुरंत retaliation मांगना था
- 26 सितंबर को system ने report किया कि US ने 5 missiles launch की हैं
- Petrov ने false alarm का संदेह किया, Soviet military rules तोड़े और अतिरिक्त confirmation का इंतजार किया; चूंकि यह वास्तव में computer detection system का false alarm था, confirmation आया ही नहीं
- अगर उन्होंने rules follow किए होते, तो superiors के US पर attack करने और full-scale nuclear war होने की संभावना बहुत ज्यादा थी
- बाद के interview में उन्होंने कहा कि उस समय false alarm होने का भरोसा नहीं था; उन्होंने संभावना 50-50 मानी थी
- जिस स्थिति में evidence भर से decision नहीं लिया जा सकता था, वहां उन्होंने humanity अच्छी है वाला belief चुना और भारी risk उठाया
युवावस्था ने कंप्यूटर का magic बचाए रखा
- Joudaki का proper debut album 《I Love My Computer》 और music video 《Hazard》 कंप्यूटर के magic पर अब भी विश्वास रखने वाली feeling रखते हैं
- यह Millennials के कंप्यूटर पहली बार खोजने की nostalgia को छूता है, लेकिन एक generation बाद का work होने के नाते YouTube और Discord सहित modern web का actively उपयोग करता है
- YouTube और Discord के dark patterns की आलोचना गलत नहीं, लेकिन उस process में कंप्यूटर के प्रति खुशी और विश्वास भी कुछ हद तक खो सकता है
wisdom और optimism दोनों को साथ रखने का तरीका
- युवाओं में hardships से आने वाली wisdom कम होती है, इसलिए वे scams में फंस सकते हैं, corporate viral marketing में uncritically participate कर सकते हैं, low-probability चीजों पर भरोसा कर सकते हैं या permanent harm पैदा करने वाले risks ले सकते हैं
- जो काम पहले से fail होना obvious दिखता है, उसे भी आजमाने की वजह यह है कि वे अभी दुनिया से घायल होकर cynical नहीं हुए हैं
- बड़े लोग वही चोटें दोहराने से बचने के coping methods सीखकर reality के साथ बेहतर adapt कर लेते हैं, लेकिन युवाओं में reality को बदलने की drive ज्यादा मजबूत होती है
- society को उम्र से आने वाली wisdom और पहले अनगिनत बार fail हो चुके काम को फिर आजमाने वाले youth के blind passion—दोनों की जरूरत है
- 《Hunter × Hunter》 में 12 साल के protagonist का असहनीय betrayal झेलकर दुश्मन को हराने की शक्ति पाने के लिए तुरंत adult बन जाना, despair और indifference के जरिए व्यक्ति के धीरे-धीरे बूढ़ा होने की प्रक्रिया को compress करता है
- older generation का task है युवाओं की innocence का फायदा उठाने वालों से उन्हें बचाना, लेकिन अपना accumulated pain और cynicism भी उन्हें infect न करना
खुद बनाना ही ब्लैक पिल का सामना करने का तरीका है
- Discord इस्तेमाल न करने की वजह से friends से दूर हुए लोग शिकायत तक सीमित नहीं रहे और बेहतर alternative खुद बनाने का फैसला किया
- दुनिया बदलने और existing services से compete करने के लिए जरूरी नहीं कि $1 million चाहिए; computer, curiosity और time से भी शुरुआत हो सकती है
- कंप्यूटर से क्या करवाना है, यह तय करने वाला developer खुद है; coercion में इस्तेमाल हो रही स्थिति को fate की तरह accept करने की जरूरत नहीं
- हमें मिलकर users को control करने वाले software के खिलाफ खड़ा होना चाहिए, humanity और computers की possibilities पर विश्वास रखना चाहिए और इच्छा-शक्ति से उस विश्वास को reality बनाना चाहिए
1 टिप्पणियां
Lobste.rs की रायें
यह बात खास तौर पर असरदार लगी कि software quality सिर्फ engineers की इच्छाशक्ति और संयोग से मज़बूत रहे labor market में उनकी bargaining power के मेल से ही बनी रही
मैंने लंबे समय तक अनुमति से बेहतर माफ़ी मांगो वाले सिद्धांत का पालन किया है, और इसकी ज़ोरदार सिफारिश करता हूँ
दिल और विवेक जिसे सही मानें वह करो, लेकिन ज़्यादातर मामलों में पहले अनुमति मांगना बेहतर है, और ज़रूरत हो तो फिर भी उसे कर देना
AI को पसंद करें या नापसंद, professional ज़रूरी tools का इस्तेमाल करते हैं। अगर manager कोई खास तरीका चाहता है तो उसका वस्तुनिष्ठ मूल्यांकन करके recommendation देनी चाहिए, और जो भी फ़ैसला हो, अच्छा product deliver करना ही ज़िम्मेदारी है
computers और technology की मौजूदा हालत को देखकर मैं चरम निराशावाद में जा चुका हूँ, और pre-school उम्र के बच्चों को इससे कैसे परिचित कराऊँ, इस पर सोचता रहा हूँ
इस प्रस्तुति के बहाने मैं technology की शोषणकारी प्रकृति से डरकर सिर्फ़ नुकसान नियंत्रित करने तक सीमित न रहूँ, बल्कि technology को हमारे लिए काम कराने का नियंत्रण वापस लेने की प्रेरणा पाना चाहता हूँ
प्रस्तुति में नाम न बताए गए Discord जैसे project के बारे में जिज्ञासा है
निहिलिज़्म और memes को अपनी सोच पर क़ब्ज़ा नहीं करने देना चाहिए
अगर अभी तक नहीं सुना है, तो उस album की ज़ोरदार सिफारिश करता हूँ। यह निजी तौर पर मेरे सबसे पसंदीदा albums में से एक है
शानदार प्रस्तुति है, लेकिन इसे YouTube पर पोस्ट करना विडंबनापूर्ण है
व्यावहारिक रूप से, क्या कोई दूसरा video platform है जो YouTube दर्शकों के आधे तक भी पहुँच सके, इस पर संदेह है