जवाबदेही टालने को सोख लेने वाला संगठन का ‘accountability sink’
(aworkinglibrary.com)- Dan Davies की The Unaccountability Machine का तर्क है कि संगठन ऐसे accountability sink बनाते हैं जो फैसलों के नतीजों को सोख लेते हैं या धुंधला कर देते हैं, ताकि किसी एक व्यक्ति पर सीधे जिम्मेदारी न आए
- ऐसी संरचना तब काम करती है जब वह फैसले से प्रभावित लोगों की प्रतिक्रिया को सिस्टम के संचालन तक लौटने से रोकने के लिए जुड़ाव की कड़ी तोड़ देती है
- होटल में सफाई स्टाफ घटाना, बीमा कंपनी द्वारा इलाज से इनकार, फ्लाइट कैंसिलेशन, सरकारी लाभ के लिए अयोग्य ठहराना, और ऐप में AI ठूंसने की निवेशकों की मांग ऐसे उदाहरण हैं जहां निर्णय लेने वाले और नुकसान झेलने वाले के बीच का संबंध टूट जाता है
- Dominion Systems vs Fox News की तरह, जब किसी स्पष्ट फैसले के बिना यह अंतर्निहित समझ काम करने लगती है कि दर्शक मेट्रिक्स सबसे ऊपर हैं, तो उसके बाद के फैसले उसी दिशा में धकेले जाते हैं; इससे फैसले का स्रोत धुंधला हो जाता है और जवाबदेही तय करना मुश्किल बनता है
- फैसले algorithms को सौंप देने से accountability sink बनाना आसान हो जाता है, लेकिन कंपनियां और सरकारें जैसे बड़े संगठन पहले से ही ऐसी संरचनाओं के आदी हैं, इसलिए AI ज्यादातर जवाबदेही की धुलाई को फैलाने का साधन बनता है
accountability sink कैसे काम करता है
- accountability sink ऐसी संगठनात्मक संरचना है जो किसी फैसले के नतीजों को सोख लेती है या छिपा देती है, ताकि किसी को सीधे जिम्मेदार न ठहराया जा सके
- अगर किसी होटल कंपनी का वरिष्ठ प्रबंधक सफाई स्टाफ घटा दे, तो खातों में आंकड़े बेहतर दिख सकते हैं, लेकिन अगर कमरे तैयार न हों और ग्राहक check-in न कर पाए, तो उस फैसले लेने वाले तक शिकायत पहुंचाने या उस फैसले को पलटवाने का कोई रास्ता नहीं होता
- फ्रंट डेस्क कर्मचारी voucher दे सकते हैं, लेकिन ग्राहक को असल में कमरा चाहिए
- फैसले लेने वाले और उससे प्रभावित व्यक्ति के बीच feedback का रास्ता खत्म हो जाता है
- Davies के मानदंड के अनुसार, accountability sink के काम करने के लिए यह जरूरी है कि प्रभावित व्यक्ति की प्रतिक्रिया सिस्टम के संचालन में वापस शामिल न हो सके, यानी कनेक्शन तोड़ना पड़ता है
- यही संरचना कई और स्थितियों में दोहराई जाती है
- जब health insurance किसी procedure को मंजूरी नहीं देता
- जब airline फ्लाइट रद्द करती है
- जब सरकारी एजेंसी लाभ के लिए अयोग्य घोषित करती है
- जब निवेशक portfolio कंपनियों पर तथाकथित AI को ऐप में ठूंसने का दबाव डालते हैं
जवाबदेही को संभव बनाने वाली शक्ति और व्याख्या
- जवाबदेही का संबंध इस बात से है कि किसी के पास किसी फैसले को बदलने की कितनी क्षमता है
- Davies के अनुसार, किसी फैसले को बदल सकने की सीमा ही इस बात की सीमा है कि उस फैसले के लिए किसी को कितना जिम्मेदार ठहराया जा सकता है
- Sidney Dekker की accountability की परिभाषा जवाबदेही को “ऐसी व्याख्या जिसे बताया जा सके” से जोड़ती है
- यह समझना जरूरी है कि कोई घटना कैसे हुई, उस समय कौन-सी परिस्थितियां थीं, वह फैसला उस वक्त अच्छा क्यों लगा, और उसमें कौन शामिल था; तभी आगे बेहतर फैसले लेना सीखा जा सकता है
- इन दोनों ढांचों को मिलाकर देखें तो जवाबदेही के लिए बदलाव करने की शक्ति और उस शक्ति का इस्तेमाल कैसे हुआ इसकी कहानी — दोनों चाहिए
- फैसले algorithm को सौंप देने से accountability sink बनाना सुविधाजनक हो जाता है
- लेकिन कंपनियां, सरकारें और उनके बीच की संस्थाएं पहले से ही accountability sink बनाने में माहिर हैं
- AI द्वारा मिलने वाली जवाबदेही-धुलाई पूरी तरह नई चीज नहीं, बल्कि उसी का ज्यादा फैला और मजबूत रूप है
- कंपनियों को जवाबदेह ठहराने में जो तरीके विफल रहे हैं, वे algorithms के मामले में और भी कम सफल होंगे; इसलिए अलग दृष्टिकोण की जरूरत है
1 टिप्पणियां
Hacker News की राय
जर्मनी के एयरपोर्ट/एयरलाइन में ऐसा ही अनुभव हुआ और मैंने भी यही सोचा
पूरी तरह automated airport था, इसलिए check-in self-service था और interaction सिर्फ computer से था। जब मैंने boarding pass डाला, तो बस एक पर्ची निकली कि मेरी aisle seat बदलकर middle seat कर दी गई है। आखिर तक किसी इंसान को ढूंढकर शिकायत करने की कोशिश की, लेकिन computer केवल उसी तरह जवाब देता था जैसे UI design किया गया था, और programmer ने भी मेरी स्थिति पर शायद विचार नहीं किया था। ground staff भी कुछ नहीं कर सका, क्योंकि वह उसके काम के दायरे में नहीं था। बाद में आया survey भी किसी दूसरे segment के बारे में था, इसलिए ठीक से complaint दर्ज करना भी अजीब हो गया
replacement bus कहां है, इसकी जानकारी app में या station पर कहीं नहीं थी। bus driver ने connecting train पकड़ पाएंगे या नहीं पूछने वाले एक बुजुर्ग पर चिढ़कर कहा कि यह उसका काम नहीं है। bus अंधेरी थी, windows पर नमी की वजह से बाहर दिख नहीं रहा था, stop announcement या display भी नहीं था, और एक घंटे तक heating भी नहीं चली। उसी हफ्ते मेरा SIM card delete हो गया और parcel भी गायब हो गया, लेकिन customer support hotline पर मिले “किसी और का काम” के स्तर को दर्ज करना भी अब मेरे लिए किसी और का काम बन चुका है
मुझे सिर्फ एक security guard मिला, और उसने बस machine पर लगे number पर phone करने को कहा। जिसने call उठाया, उसे English नहीं आती थी। मेरे €50 कहीं तो हैं, लेकिन उन्हें वापस पाने की लागत शायद उससे ज्यादा होगी
पहले Amazon ने एक package को delivered दिखाया था, लेकिन वह कहीं नहीं था और मदद पाने का कोई तरीका नहीं था। FAQ में बस झाड़ियों में check करने को कहा गया था। search autocomplete में “delivered दिख रहा है लेकिन package नहीं मिला” जैसे कई phrases दिख रहे थे, जिससे और चिढ़ हुई। अब थोड़ा बेहतर है, लेकिन अभी भी काफी वैसा ही है
पहले अच्छे इरादे से issue resolve करने की कोशिश करें और उसका record रखें, ताकि hearing तक बात जाए तो उसे evidence के रूप में इस्तेमाल कर सकें। फिर claim file करें; आमतौर पर वे तुरंत पीछे हट जाते हैं, और जिस एकमात्र भाषा को कंपनियां समझती हैं, उसी में उन्हें असली customer service देने के लिए मजबूर किया जा सकता है
उस फिल्म की bureaucracy में फिर भी ऐसे इंसान थे जिन्हें guilt महसूस हो सकता था, लेकिन यहां इंसानों को सीधे शामिल होने की जरूरत ही नहीं है, इसलिए यह कहीं बड़े scale पर dystopian हो सकता है
मैं लंबे समय से सोचता आया हूं कि कंपनियों के मुख्य functions में से एक जिम्मेदारी को धुंधला करना है। limited liability नाम होने की वजह है, और क्योंकि कंपनियां मनचाहे तरीके से बनाई जा सकती हैं, जिम्मेदारी को अंधेरे कोनों में धकेलना आसान है
इसलिए कंपनियों को व्यक्ति मानने के खिलाफ मजबूत कारण है। व्यक्ति लंबे समय तक मौजूद रहते हैं और जिम्मेदारी लेते हैं; उन्हें मनमर्जी से बनाया या खत्म नहीं किया जा सकता
कंपनियां internal economy या partners के साथ रिश्तों में भी इसी तरह काम करती हैं। cost center पैसे देता है और जिम्मेदारी delegate कर देता है
मुझे लंबे समय से अजीब लगता है कि इस बात की चर्चा ज्यादा नहीं होती। लगता है सब इसके इतने आदी हो गए हैं। मेरे हिसाब से कंपनी पर जुर्माना लगाने की अवधारणा ही खत्म कर देनी चाहिए, और गैरकानूनी काम करने वाले व्यक्ति को criminally punish करने के तरीके पर जाना चाहिए
Cathy O'Neil की Weapons of Math Destruction(2016, Penguin Random House) इस concept को systems बनाने या supervise करने वालों के नजरिए से देखने वाली अच्छी companion text है
Cathy का तर्क है कि कुछ contexts में algorithms का इस्तेमाल नुकसानदेह और गैर-जिम्मेदार systems को नए scale पर संभव बनाता है, और इसे control किया जाना चाहिए
https://www.penguinrandomhouse.com/books/241363/weapons-of-m...
algorithm की जगह ceremonial hall रख दें, या ऐसी स्थिति रख दें जहां police officer का दर्जा civil liability और criminal prosecution से practically immunity दे देता है, तब भी यह उसी तरह काम करता है। नुकसानदेह और गैर-जिम्मेदार systems को संभव बनाने वाली चीज आखिरकार इंसानों का यह चुनाव है कि किसी भी आधार पर वे दूसरे इंसानों को जिम्मेदार न ठहराएं
यह उदाहरण अच्छा नहीं है, क्योंकि यह तथ्यात्मक नहीं है। Fox News और Dominion मामले में Rupert Murdoch ने शपथ के तहत माना था कि “Fox ने कभी-कभी चोरी हुए चुनाव की झूठी अवधारणा का समर्थन किया,” और यह जानते हुए भी कि दावा झूठा है, उन्होंने ब्रॉडकास्टर को अलग तरह से कहने का निर्देश न देने का फैसला किया
Fox के आंतरिक anchors की communications भी दिखाती हैं कि वे जानते थे कि वे जो कह रहे थे वह झूठ था। यह साफ तौर पर झूठ की परिभाषा में फिट बैठता है, और Wikipedia के “External Links” में असली court documents हैं जिनमें विस्तार से है कि किसे कब क्या पता था और किसने क्या कहा
[1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
[2] https://www.nbcnews.com/politics/elections/dominion-releases...
[3] https://www.dictionary.com/browse/lie
[4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...
मुझे शक है कि automation, खासकर appification, management और C-level executives को इतना आकर्षक लगने की एक बड़ी वजह यह है कि इससे accountability की chain काटी जा सकती है
आजकल कई कंपनियों की संरचना कुछ ऐसी होती है: एक “management layer”, जिसमें product managers, developers और operations लोग internal IT infrastructure यानी “software layer” को maintain और improve करते हैं; एक “software layer”, यानी विशाल automation infrastructure जो रोजमर्रा का काम असल में चलाता है; और एक “worker layer”, जो Uber drivers, delivery drivers, Amazon warehouse workers की तरह कम wages और high turnover के साथ physical काम करती है। Workers को लगभग सारे निर्देश apps और devices के जरिए मिलते हैं, management से उनका संपर्क नहीं होता, और कंपनी अक्सर यह भी नकारती है कि वे शुरू से employees हैं। अहम बात यह है कि software layer दोनों layers के बीच accountability firewall की तरह काम करती है, जिससे workers की शिकायतें software से ऊपर नहीं जा पातीं और exploitative actions को किसी बदकिस्मत software error के रूप में टाला जा सकता है
वजह होती है कि “rules ऐसे हैं” या “system ऐसा है।” नियम किसने बनाए और system किसने बनाया, यह मानो किसी को पता नहीं; और सीधे खोजबीन करना Hercules के काम जैसा है, जो अक्सर समय की बर्बादी पर खत्म होता है
फर्क यह है कि अब instructions और procedures को अक्सर इंसान नहीं, software और hardware execute करते हैं। Customer को मिलने वाला final result उतना बड़ा बदला नहीं है जितना लगता है। वही coffee या taxi मिलती है, बस ज्यादा तेज, सस्ती या थोड़ी बेहतर; और ऐसे incremental improvements IT से पहले भी internal product management और organizational process improvements से संभव थे
यह लेख सोचने के लिए बहुत सामग्री देता है। यह समस्या दिखाती है कि सरकारी consumer protection agencies और laws क्यों महत्वपूर्ण हैं
अगर आप Europe से होकर जाते हैं या European airline इस्तेमाल करते हैं, तो एक EU law है जो flight 3 घंटे से ज्यादा delay होने या cancel होने पर करीब 600 euro compensation देता है। Airport पर company चाहे जो बकवास करे, compensation मिल सकता है—यह अच्छी insurance जैसी चीज है, और पैसा पाने की प्रक्रिया भी काफी simple है। यह airline system को bypass करके compensation तक सीधा रास्ता देता है, और अगर airline ठीक से operate नहीं करती तो उसे बहुत ज्यादा fines देने पड़ सकते हैं, इसलिए यह वास्तविक incentive भी बन सकता है। Companies chatbot walls लगाकर customers को रोकें, ऐसी स्थिति से बचने के लिए ऐसे protection laws सचमुच जरूरी हैं
नए automated government e-filing system में मैंने ऐसा काफी बार झेला है। मैं screen reader इस्तेमाल करता/करती हूँ और pen और paper बिना मदद के इस्तेमाल करना मुश्किल है, इसलिए शुरुआत में मुझे ऐसे systems काफी पसंद थे, लेकिन अब सोच थोड़ी बदली है
कागज पर आप कुछ भी लिख सकते हैं, और वह बात सही बैठती है या नहीं, यह कोई इंसान verify करता है। Computer ऐसा नहीं करता; अगर application के numbers आपस में match होने चाहिए, तो किसी ऐसे special case में भी, जहां असल में वे थोड़ा अलग हों, आपको numbers match करने के लिए सरकार से झूठ बोलना पड़ता है। Local government office के responsible staff को phone किया, तो उन्होंने घुमा-फिराकर मूलतः सरकार से झूठ बोलने को ही कहा। System centrally managed है, इसलिए local office के पास उसे ठीक करने की authority नहीं है; वे चाहें भी तो उनके पास authority नहीं है
जब मैं STS graduate student था/थी, तो मैंने सोचा था कि software किस तरह agency modulator की तरह काम करता है, इस पर project करूं
संरचना ऐसी है कि व्यक्ति कोई risk—आम तौर पर economic transaction का risk—अपने ऊपर लेता है, और profits का बड़ा हिस्सा software owner ले जाता है। Uber और उससे जुड़ी services कई मायनों में ऐसी व्यवस्था हैं जो individuals से low-probability लेकिन high-impact downside risks छोटे commission के बदले उठवाती हैं
AI से तुलना साफ है: decision-making को algorithms को delegate करना accountability absorption point बनाने का आसान तरीका है। मेरे LinkedIn account में एक flag है जो profile में “follow-me” link लगाने से रोकता है
Support team में किसी को वजह नहीं पता, कब से है यह नहीं पता, और कब बदलेगा यह भी नहीं पता। हम पहले से ही ऐसी दुनिया में जी रहे हैं
संगठन नैतिक ज़िम्मेदारी को हटाने के लिए मौजूद होते हैं
जज, जूरी, फांसी देने वाला, firing squad, और limited liability वाले संगठन—ये सभी एक साफ-सुथरे डिब्बे में फिट हो जाते हैं, ताकि लोग रात में चैन से सो सकें। जज कहता है कि जूरी ने फैसला किया, जूरी मानती है कि जज निष्पक्ष सज़ा सुनाएगा, और सज़ा लागू करने वाला मानता है कि पहले के दोनों समूहों ने अपना काम कर दिया। ऐसे सिस्टम किसी एक व्यक्ति को कार्रवाई करने से रोकने के बजाय handoff की एक श्रृंखला बनाते हैं, और जब तक जेलर दरवाज़ा बंद करता है, परिणाम की नैतिकता से जुड़ाव गायब हो चुका होता है। firing squad में कई बंदूकों में से सिर्फ एक में असली गोली होना भी इसी संरचना का हिस्सा है। बड़े संस्थान और संगठन, बड़े पैमाने की चीज़ें, पूरी तरह अमानवीय होती हैं; और अगर फैसला सुनाने वाला व्यक्ति सज़ा भी खुद लागू करे, तो परिणाम अलग होंगे, ऐसा माना जाता है
अगर जूरी सदस्यों से फांसी दिलवाई जाए और जज को कैद की ज़िम्मेदारी दी जाए, तो सैडिस्टिक लोगों के लिए बहुत बड़ा उल्टा incentive पैदा होगा। यह गलत मान लिया गया है कि अगर जज या जूरी ऐसे बोझ को सीधे उठाएंगे तो वे अधिक सहानुभूतिशील होंगे। असल में, जिन लोगों को ऐसे काम सौंपना आप नहीं चाहेंगे, उनके ही यह काम करने की संभावना ज़्यादा होगी। फांसी के समय blank rounds इस्तेमाल करने के तरीके को छोड़ दें, तो बाकी व्यवस्था अंदर के लोगों की रक्षा करने से ज़्यादा दोषी ठहराए गए व्यक्ति की रक्षा करती है
आप चाहें तो एक ऐसी पार्टी बना सकते हैं जो दावा करे कि separation of powers गलत दिशा थी; या बेहतर यह होगा कि super-dictator वाले दर्जनों देशों में से किसी एक में जाकर देख लें