- इज़राइल की parole board में ब्रेक से पहले और बाद में अनुकूल फ़ैसलों की दर में तेज गिरावट और फिर वापसी वाला प्रसिद्ध निष्कर्ष, वास्तविक निर्णय-विकृति के अलावा सांख्यिकीय आर्टिफैक्ट से भी काफी बढ़ा-चढ़ाकर दिख सकता है
- मूल अध्ययन ने इसे इस तरह पढ़ा कि सेशन के पहले फ़ैसले में अनुकूल निर्णय की संभावना लगभग 65% से गिरकर आख़िरी फ़ैसले में लगभग 0% हो जाती है, और खाने के ब्रेक के बाद फिर 65% पर लौट आती है; इसे mental depletion की संभावना से जोड़ा गया
- पुनर्विश्लेषण का मुख्य बिंदु यह है कि अनुकूल फ़ैसले प्रतिकूल फ़ैसलों की तुलना में ज़्यादा समय लेते हैं; DLA डेटा में अनुकूल फ़ैसलों का औसत समय 7.37 मिनट और प्रतिकूल फ़ैसलों का 5.21 मिनट था, इसलिए सेशन के बाद के हिस्से के सैंपल में अनुकूल मामले कम बच सकते हैं
- अगर मान लें कि एक काल्पनिक तर्कसंगत जज ऐसे मामलों को अगले सेशन में भेज देता है जिन्हें बचे समय में पूरा करना मुश्किल हो, तो मामलों का क्रम यादृच्छिक होने पर भी DLA जैसी गिरती हुई वक्र दिखाई दी, और हर सेशन के आख़िरी 5% मामलों को हटाने से यह प्रभाव और बढ़ गया
- केवल मूल डेटा के आधार पर यह निष्कर्ष पर्याप्त रूप से समर्थित नहीं है कि बाहरी कारकों ने कानूनी निर्णयों को बहुत विकृत किया; तर्कसंगत समय-प्रबंधन और non-random case placement जैसे कारकों को क्रम/भूख प्रभाव से अलग करना ज़रूरी है
मूल ‘भूखे जज’ निष्कर्ष
- Danziger, Levav, Avnaim-Pesso(DLA) ने इज़राइली parole board के 1,112 फ़ैसलों का विश्लेषण करके कहा कि सेशन के भीतर मामले का क्रम, अनुकूल फ़ैसले की संभावना से जुड़ा है
- यह बोर्ड दिन में तीन सेशन चलाता था, और देर-सुबह के स्नैक व लंच ब्रेक से सेशन बँटते थे
- विश्लेषण में इज़राइल की लगभग 40% parole requests शामिल थीं
- DLA का मुख्य निष्कर्ष यह था कि सेशन के पहले फ़ैसले में अनुकूल निर्णय लगभग 65% था, लेकिन सेशन के आख़िरी फ़ैसले तक यह लगभग 0% तक गिर जाता था
- खाने के ब्रेक के बाद अगले सेशन में अनुकूल फ़ैसलों की दर फिर लगभग 65% पर लौट आती थी
- DLA ने सावधानी से यह व्याख्या दी कि बार-बार निर्णय लेने के बाद जज थकान, भूख या mental depletion की स्थिति में आकर अनुरोध अस्वीकार करने वाली status quo रणनीति को अधिक आसानी से चुन सकते थे
- यह प्रभाव इसलिए व्यापक रूप से उद्धृत हुआ क्योंकि इससे संकेत मिलता था कि कानूनी निर्णय मामले के क्रम या भोजन जैसे कानूनी रूप से अप्रासंगिक कारकों से प्रभावित हो सकते हैं
- 27 फ़रवरी 2015 तक Google Scholar में इसके 222 citations थे
प्रभाव के आकार पर सवाल
- DLA द्वारा देखा गया गिरावट-स्तर बहुत बड़ा था
- अनुकूल निर्णयों का 65% से 5% तक गिरना odds ratio 35 या standardized mean difference d = 1.96 के बराबर है
- यह सामान्य “large effect” मानक के दोगुने से भी अधिक है
- mental depletion को कारण मानें तो यह आकार और भी असाधारण लगता है
- Carter और McCullough के publication-bias-corrected estimates d = –0.10~0.25 थे, यानी औसतन छोटे प्रभाव की उम्मीद
- 23 labs और N = 2,142 वाले pre-registered multi-lab replication study में d = 0.04 मिला, जो 0 से सांख्यिकीय रूप से अलग नहीं था
- इसलिए अगर DLA प्रभाव वास्तव में mental depletion की वजह से था, तो इसका मतलब यह होगा कि अदालत-जैसे माहौल में लैब अध्ययनों से अपेक्षित प्रभाव से कहीं बड़ा प्रभाव दिखा
मामले के क्रम और ब्रेक टाइमिंग के confounds
- अगर क्रम-प्रभाव का दावा करना है, तो या तो case assignment यादृच्छिक होना चाहिए, या ऐसे छिपे कारक नहीं होने चाहिए जो क्रम और फ़ैसले दोनों को साथ-साथ प्रभावित करें
- DLA ने crime severity, prior incarceration, served months, rehabilitation program participation, और पिछले अनुकूल निर्णय अनुपात जैसे variables को control किया और परिणाम को robust माना
- Weinshall-Margel और Shapard ने parole process से जुड़े लोगों के अनौपचारिक इंटरव्यू के आधार पर तर्क दिया कि case order यादृच्छिक नहीं था
- उनके अनुसार जिन क़ैदियों के पास वकील नहीं था, वे आमतौर पर बाद में आते थे, और उनकी parole मिलने की संभावना वकील वाले क़ैदियों से कम होती थी
- DLA ने जवाब दिया कि lawyer presence को control करने पर भी गिरती प्रवृत्ति बनी रहती है, लेकिन effect size जस की तस रहती है या नहीं, यह नहीं बताया गया
- ब्रेक कब लिया जाता है, यह भी एक अहम variable है
- DLA का मानना था कि cases की विशेषताएँ ब्रेक टाइमिंग की भविष्यवाणी नहीं करतीं
- लेकिन Weinshall-Margel और Shapard के इंटरव्यू में यह बात आई कि जज किसी एक जेल के मामलों जैसे case set को एक ही सेशन में समाप्त करने की संगठित योजना बना सकते हैं
चयनात्मक ड्रॉपआउट और तर्कसंगत समय-प्रबंधन
- पुनर्विश्लेषण की शुरुआत इस तथ्य से होती है कि अनुकूल फ़ैसले, प्रतिकूल फ़ैसलों से अधिक समय लेते हैं
- DLA डेटा में अनुकूल फ़ैसलों का औसत 7.37 मिनट और standard deviation 5.11 मिनट था
- प्रतिकूल फ़ैसलों का औसत 5.21 मिनट और standard deviation 4.97 मिनट था
- हर सेशन में निपटाए गए मामलों की संख्या स्थिर नहीं थी
- सुबह के सेशन का औसत 7.8 मामले, standard deviation 4.51, न्यूनतम 2, अधिकतम 28
- स्नैक के बाद और लंच से पहले वाले सेशन का औसत 11.4 मामले, standard deviation 5.14, न्यूनतम 2, अधिकतम 25
- अगर अनुकूल फ़ैसले ज़्यादा समय लेते हैं, तो सेशन के आख़िरी हिस्से में सैंपल से अनुकूल फ़ैसलों वाले मामले चयनात्मक रूप से बाहर हो सकते हैं
- मुख्यतः प्रतिकूल फ़ैसलों वाले सेशन ज़्यादा मामले निपटा सकते हैं
- ऊँचे क्रमांक वाले observations में ऐसे सेशनों के मामले अपेक्षाकृत अधिक बचते हैं जिनमें प्रतिकूल फ़ैसले ज़्यादा थे
- ब्रेक से ठीक पहले अधिक समय लेने वाला मामला शुरू न करना, जज का तर्कसंगत समय-प्रबंधन हो सकता है
- दस्तावेज़ों की मात्रा, request type, lawyer की मौजूदगी, और वकील/जेल/क़ैदी से जुड़े सतही संकेतों के आधार पर कुछ हद तक अनुमान लगाया जा सकता है कि मामला लंबा चलेगा या छोटा
- इस योजना के लिए यह मानना ज़रूरी नहीं कि जज पहले से मामले के कानूनी मेरिट या अंतिम नतीजे को जानते हों
तर्कसंगत जज सिमुलेशन
- सिमुलेशन में एक काल्पनिक आदर्श जज माना गया जो बिना error या bias के निर्णय लेता है
- जज हर सेशन के लिए एक मोटी समय-सीमा रखता है, और अगर अगला मामला उस सीमा से पार जाता दिखे तो उसे मौजूदा सेशन में नहीं लेता बल्कि अगले सेशन के पहले मामले के रूप में टाल देता है
- सिमुलेशन 10,000 मामलों का यादृच्छिक क्रम बनाता है
- अनुकूल रूप से तय होने वाले मामलों का base rate 36% और प्रतिकूल मामलों का 64% रखा गया
- निर्णय-समय में अनुकूल और प्रतिकूल मामलों के औसत समय-अंतर को शामिल किया गया, और noise के लिए normal distribution या positive skew वाली Weibull distribution का उपयोग हुआ
- सेशन की समय-सीमा 60 मिनट रखी गई
- मामले का क्रम यादृच्छिक हो और जज तर्कसंगत हो, तब भी सेशन के आगे बढ़ने के साथ अनुकूल फ़ैसलों की संभावना में बड़ी गिरावट जैसा पैटर्न दिखा
- normal distribution और Weibull distribution दोनों में गुणात्मक रूप से समान परिणाम मिले
- ऊँचे क्रमांक पर बचे observations कम होने से estimates अस्थिर हो जाते हैं, और 0% या बहुत ऊँचे अनुपात के peaks बन सकते हैं
- यह mechanism इसलिए बनता है क्योंकि बचे समय के घटने पर अनुकूल मामले का सेशन में शामिल होना कठिन होता जाता है
- उदाहरण के लिए, अगर 15 मिनट बचे हों, तो अनुकूल और प्रतिकूल दोनों तरह के अधिकांश मामले शुरू किए जा सकते हैं
- अगर 5 मिनट बचे हों, तो केवल 12% अनुकूल मामले शुरू हो सकते हैं, जबकि प्रतिकूल मामलों में 46% शुरू हो सकते हैं
- इसलिए सेशन के आख़िरी हिस्से के सैंपल में अनुकूल मामलों का सापेक्ष अनुपात कम हो जाता है
सेशन की शुरुआत में उछाल और डेटा censoring
- सिमुलेशन और DLA डेटा दोनों में यह देखा गया कि सेशन के पहले फ़ैसले में अनुकूल निर्णयों की दर base rate से अधिक होती है
- क्योंकि सेशन के ठीक किसी अनुकूल फ़ैसले से पहले खत्म होने की संभावना अधिक रहती है, पिछले सेशन के अंत से छूटे अनुकूल मामले की probability mass अगले सेशन के पहले फ़ैसले पर शिफ्ट हो जाती है
- अगर कभी-कभी case set स्तर की planning भी होती हो, तो दूसरे और तीसरे फ़ैसले का base rate से ऊँचा होना भी समझा जा सकता है
- DLA ने ऊँचे क्रमांक पर छोटे सैंपल की समस्या घटाने के लिए हर सेशन के आख़िरी 5% मामलों को हटा दिया था
- पुनर्विश्लेषण सिमुलेशन में यह censoring गिरावट को कम नहीं करती, बल्कि और बढ़ा देती है
- censoring चयनात्मक ड्रॉपआउट को कृत्रिम रूप से बढ़ाती है
- जब case order का असर अनुकूल फ़ैसलों की दर पर देखना हो, तब ऐसी censoring से बचना चाहिए
- DLA डेटा में पिछले फ़ैसले और बाद के फ़ैसले के बीच positive autocorrelation भी था
- सिमुलेशन में first-order autocorrelation r = .10 जोड़ने पर आर्टिफैक्ट का आकार उल्लेखनीय रूप से नहीं बदला
जब पूर्वानुमान उपलब्ध न हो
- पहले वाले सिमुलेशन में माना गया था कि जज अगले मामले के अनुमानित समय का कुछ अंदाज़ा लगा सकता है और जो मामला सेशन-सीमा से बाहर जाएगा उसे शुरू नहीं करता
- DLA ने कहा था कि बोर्ड के सदस्य अगले मामले का विवरण पहले से नहीं जानते, इसलिए पूर्ण पूर्वानुमान मान लेना एक मज़बूत धारणा हो सकती है
- पुनर्विश्लेषण ने यह स्थिति भी टेस्ट की जिसमें जज बिना पूर्वानुमान के, समय-सीमा पार होने के बाद सेशन रोक देता है
- अगर censoring और autocorrelation न हों, तो आर्टिफैक्ट गायब हो जाता है
- लेकिन censoring और autocorrelation शामिल करने पर फिर गिरावट-प्रभाव उभरता है
- इसकी वजह यह है कि अनुकूल फ़ैसले अधिक समय लेते हैं, इसलिए उनके समय-सीमा में फँसने की संभावना ज़्यादा होती है
- जब सेशन के आख़िरी 5% मामले हटाए जाते हैं, तो कई बार आख़िरी मामला निकल जाता है, और यह आख़िरी मामला प्रतिकूल मामले की तुलना में अनुकूल होने की अधिक संभावना रखता है
- बिना पूर्वानुमान वाली स्थिति में censoring से बनी गिरावट लगभग 15% थी, जो पूर्वानुमान वाले सिमुलेशन से छोटी थी
बची हुई सीमाएँ और निष्कर्ष
- पुनर्विश्लेषण यह नहीं कहता कि DLA के कानूनी निर्णय डेटा पर क्रम या mental depletion का कोई प्रभाव नहीं था
- लेकिन देखी गई बड़ी गिरावट का एक बड़ा हिस्सा, बाहरी कारकों के बिना भी, तर्कसंगत समय-प्रबंधन और चयनात्मक ड्रॉपआउट से बन सकता है
- तर्कसंगत समय-प्रबंधन और चयनात्मक ड्रॉपआउट, DLA डेटा की सारी विशेषताओं की व्याख्या नहीं करते
- सिमुलेशन का effect size मूल प्रभाव से कुछ छोटा है
- मूल डेटा में सेशन की शुरुआती दर 45% नहीं बल्कि 65% थी, और खासकर दिन के पहले सेशन की शुरुआती दर केवल इस व्याख्या से समझना कठिन है
- DLA द्वारा रिपोर्ट किया गया समय का स्वतंत्र प्रभाव केवल क्रम-आधारित आर्टिफैक्ट से आसानी से नहीं समझाया जा सकता
- empirical curve अधिक smooth है, जबकि simulation curve में शुरुआत और अंत की गिरावट अधिक तेज़ है और बीच का हिस्सा अधिक सपाट है
- अगर DLA setting में अगले मामले की सीधी भविष्यवाणी कुछ हद तक सीमित थी, तो तर्कसंगत समय-प्रबंधन से समझाई जा सकने वाली गिरावट लगभग 15%~45% आंकी गई
- मूल डेटा आगे के विस्तृत विश्लेषण के लिए उपलब्ध नहीं था
- DLA शोधकर्ता डेटा साझा करने के इच्छुक थे, लेकिन बताया गया कि प्रारंभिक access देने वाली पक्ष ने इसे रोक दिया
- सटीक निर्णय-परिस्थितियों का भी पूरा पुनर्निर्माण नहीं हो सका, इसलिए बाकी प्रश्न आगे के शोध की माँग करते हैं
- संभव है कि मूल अध्ययन में क्रम-प्रभाव और mental depletion प्रभाव का अतिमूल्यांकन हुआ हो
- ब्रेक के समय से जुड़ा तर्कसंगत समय-प्रबंधन, वकील वाले मामलों का पहले आना जैसी non-random ordering, और संभावित क्रम/mental depletion प्रभाव — ये सब आपस में मिले हुए हैं
- अगर इन्हें अलग किया जाए, तो क्रम या mental depletion के अनुमान छोटे निकलने की संभावना है
- व्यापक रूप से देखें तो जो व्यवहार अतार्किक दिखता है, उसके पीछे भी कोई गैर-सहज तर्कसंगत आधार हो सकता है
- computer simulation और formal mathematical analysis ऐसी संभावनाओं को खोजने के साधन हैं
- कानूनी actors या व्यक्तियों के व्यवहार को बहुत अतार्किक घोषित करने से पहले, तर्कसंगत actor simulations और formal analysis का इस्तेमाल और पहले तथा अधिक सक्रिय रूप से किया जाना चाहिए
1 टिप्पणियां
Hacker News की रायें
लगता है मूल study में खामी थी, क्योंकि उसमें मामलों के निपटारे के क्रम को ध्यान में नहीं रखा गया था
कम गंभीर मामले पहले सुने गए, और अधिक गंभीर मामले—यानी जिनमें सजा ज्यादा भारी थी—बाद के लिए खिसका दिए गए; यह बात छूट गई थी
“Danziger आदि इस धारणा पर काफी निर्भर करते हैं कि मामलों का क्रम random था और इसलिए decision-making process से स्वतंत्र था। इस धारणा का जोरदार खंडन किया गया है। Keren Weinshall-Margel और John Shapard ने PNAS में अपने छोटे और बेहद आलोचनात्मक जवाब में मूल study के data और खुद इकट्ठा किए गए अन्य data का विश्लेषण किया, और संबंधित court staff के साथ अतिरिक्त interviews किए। वे बताते हैं कि मामलों का क्रम random नहीं था। panel break से पहले एक prison के सभी मामले निपटाने की कोशिश करता है, और break के बाद अगले prison के मामलों पर जाता है। खासकर जिन कैदियों के पास वकील नहीं होता, उनके अनुरोध आम तौर पर हर session के अंत में सुने जाते हैं। इसलिए legal representative के बिना कैदी को, representative वाले कैदी की तुलना में, अनुकूल फैसला मिलने की संभावना कम होती है। इसके अलावा वकील अक्सर कई कैदियों का प्रतिनिधित्व करते हैं और मामलों को पेश करने का क्रम तय करते हैं; वे सबसे मजबूत मामले से शुरू करते हों, इसकी भी पूरी संभावना है”
[1] Chatziathanasiou, K., 2022. Beware the lure of narratives:“hungry judges” should not motivate the use of “artificial intelligence” in law. German Law Journal, 23(4), pp.452-464
क्या बेहतर यह नहीं होगा कि cases random तरीके से assign किए जाएं?
दिलचस्प है। मूल study इस नतीजे के लिए जानी जाती थी कि lunch के ठीक बाद judges ज्यादा उदार होते हैं, और lunch से ठीक पहले सबसे सख्त
यह नई study उस निष्कर्ष की मजबूती पर सवाल उठाती है: यह दिखाती है कि positive rulings में ज्यादा समय लगता है, और break से ठीक पहले सरल negative rulings को ज्यादा संख्या में fit किया जा सकता है। यहां negative ruling parole denial है, इसलिए वह जल्दी खत्म हो जाती है
मतलब judges break से ठीक पहले ऐसा complex case शुरू नहीं करना चाहते जिसकी favorable conclusion तक पहुंचने की संभावना ज्यादा हो। मैंने मूल study को अनगिनत बार cite किया है, लेकिन इस reconsideration की वजह से अब बहुत ज्यादा context मिल गया है
अगर यह सच हो, तो lunch के आसपास traffic accidents में जबरदस्त उछाल आना चाहिए, और common sense के हिसाब से उसका असर इतना बड़ा होना चाहिए कि noon से ठीक पहले driving ban कर दी जाए
“अगर भूख हमारे mental resources पर इस परिमाण का असर डालती है, तो society हर दिन 11:45 पर छोटे-मोटे chaos में पड़ जाएगी। कम-से-कम society इस अविश्वसनीय रूप से मजबूत mental depletion effect के इर्द-गिर्द organized होती।”
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
इसी तरह के context में daylight saving time शुरू होने और heart attacks में बढ़ोतरी के correlation पर एक प्रसिद्ध study भी है [0]
[0] https://www.sciencedirect.com/science/article/pii/S254245482...
संबंधित पोस्टें:
Do judges give out tougher sentences when hungry? A study too good to be true - https://news.ycombinator.com/item?id=35491060 - अप्रैल 2023, 202 टिप्पणियां
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=22020716 - जनवरी 2020, 1 टिप्पणी
Rebuttal to hungry judges give harsher sentences - https://news.ycombinator.com/item?id=19958435 - मई 2019, 1 टिप्पणी
Impossibly Hungry Judges (2017) - https://news.ycombinator.com/item?id=18112378 - अक्तूबर 2018, 58 टिप्पणियां
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=14701328 - जुलाई 2017, 70 टिप्पणियां
Do hungry judges give harsher sentences? - https://news.ycombinator.com/item?id=2438189 - अप्रैल 2011, 1 टिप्पणी
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
अलग-अलग लंबाई वाली चीजों से निपटने वाली statistics पेचीदा होती है। LAN पर packet sampling के दिनों की याद आ गई
length distribution bimodal था, इसलिए औसत को आधार मानकर की गई statistical calculations ने गलतफहमी पैदा की
इसे हल करने के कुछ तरीके हैं, और सामान्य terminology में इसे “periodogram” कहते हैं
https://en.wikipedia.org/wiki/Least-squares_spectral_analysi...
https://www.mathworks.com/help/signal/ug/spectral-analysis-o...
यह अजीब है कि कोई भी Alexander Pope की The Rape of the Lock को quote नहीं कर रहा
“The hungry judges soon the sentence sign,
And wretches hang that jury-men may dine;”
(https://rpo.library.utoronto.ca/content/rape-lock-canto-3)
यह मैंने पहली बार देखा, दिलचस्प है। smoking से जुड़ा कुछ मिलता-जुलता देखा है, इसलिए अब addicted judge effect, जैसे smoking वगैरह, को लेकर भी जिज्ञासा हो रही है
अभी replication failures में से कितनी हद तक ऐसा हो सकता है कि जिन लोगों को observe किया जा रहा था, वे उस phenomenon को जानते थे और जानबूझकर correction कर रहे थे?
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
original effect publication के समय से ही spurious correlation के रूप में जाना जाता था
यह ऐसी study लगती है कि time limit हो तो rational judges भी cases को जल्दी निपटाने की कोशिश करेंगे, और unfavorable rulings की ओर झुक सकते हैं
lunch time और शायद leaving time ऐसी time limits हैं, इसलिए lunch time करीब आते-आते favorable rulings कम होती हैं और lunch के तुरंत बाद फिर recover हो जाती हैं
फिर भी study का यह कहना कि “DLA का analysis इस hypothesis के लिए निर्णायक evidence नहीं देता कि external factors legal rulings को प्रभावित करते हैं” अजीब लगता है। अगर lunch time और leaving time external factors नहीं हैं, तो फिर क्या हैं?
हालांकि ऊपर वाला explanation original finding का सिर्फ एक हिस्सा समझाता है, और study भी मानती है कि दूसरे factors भी काम कर रहे हैं
simulated rational judges “ideal” हैं, और case order या break के बाद बीते समय से उनके decisions प्रभावित नहीं होते
study जो कहती है वह यह है कि ऐसे perfect behavior के बावजूद, break कब लेना है यह तय करने के कुछ simulated तरीकों में favorable cases के session की शुरुआत में assign होने की संभावना बढ़ सकती है। आखिरी simulation में यह effect original study जैसी statistical processing लागू करने के बाद ही दिखता है
original study पढ़ने के बाद से कई सालों तक मैंने lunch से पहले meetings schedule नहीं कीं, अरे यार
थोड़ा ज्यादा serious होकर कहूं तो मैं इसका उल्टा करता हूं। ताकि लोग भूख के कारण भटकें नहीं, और morning को दो अलग-अलग कटे हुए blocks में न बांटना पड़े
जिस स्थिति में default परिणाम उलटा हो, उससे तुलना करना दिलचस्प हो सकता है
कैदी जेल में है और जेल में ही रहता है
अगर व्यवस्था ऐसी हो कि जब तक जज यह तर्क न दें कि कैदी को हिरासत में क्यों रखा जाना चाहिए, वह रिहा हो जाए, तो क्या नतीजे अलग होंगे? बेशक, यह काफी जटिल हो सकता है