Dunning-Kruger प्रभाव वास्तव में autocorrelation है

 (economicsfromthetopdown.com)
1 पॉइंट द्वारा GN⁺ 2023-11-26 | 1 टिप्पणियां | WhatsApp पर शेयर करें

Dunning-Kruger प्रभाव वास्तव में autocorrelation है

  • Dunning-Kruger प्रभाव को आम तौर पर इस प्रवृत्ति के रूप में जाना जाता है कि अयोग्य लोग अपनी क्षमता का अधिक आकलन करते हैं।
  • यह प्रभाव 1999 में मनोवैज्ञानिकों द्वारा प्रस्तुत किया गया था, और कई अध्ययनों में यह डेटा के आधार पर सत्यापित होता हुआ दिखाई देता है।
  • लेकिन वास्तव में यह प्रभाव मानव मनोविज्ञान से जुड़ा नहीं है, बल्कि autocorrelation नामक एक सांख्यिकीय त्रुटि का परिणाम है।

autocorrelation क्या है?

  • autocorrelation वह स्थिति है जिसमें कोई चर स्वयं के साथ सहसंबंध रखता है।
  • उदाहरण के लिए, यदि किसी व्यक्ति की लंबाई मापी जाए, तो वह लंबाई स्वयं के साथ पूर्ण सहसंबंध रखेगी।
  • जब कोई चर समीकरण के दोनों पक्षों में मिश्रित होता है, तब autocorrelation को पहचानना कठिन हो सकता है।

Dunning-Kruger प्रभाव

  • Dunning-Kruger प्रभाव autocorrelation का एक उदाहरण है, और वास्तव में यह चार्ट की गलत व्याख्या से उत्पन्न होता है।
  • Dunning और Kruger ने लोगों की परीक्षा लेकर उनसे अपनी क्षमता का self-assessment कराया, और रिपोर्ट किया कि कम अंक पाने वाले लोग अपनी क्षमता का अधिक आकलन करते हैं।
  • लेकिन वास्तव में ये परिणाम test score और self-assessment score के बीच autocorrelation के कारण थे।

Dunning-Kruger प्रभाव का विश्लेषण

  • Dunning-Kruger chart में लोगों को test score के आधार पर समूहित किया जाता है, फिर उसे percentile के रूप में दिखाकर self-assessment से तुलना की जाती है।
  • यह तरीका मूलतः test score की तुलना उसी से करने जैसा है, और इसी से autocorrelation छिप जाती है।
  • यही कारण है कि पूरी तरह random data का उपयोग करने पर भी Dunning-Kruger प्रभाव दिखाई दे सकता है।

Dunning-Kruger प्रभाव का पुनरुत्पादन

  • जब वास्तविक डेटा का उपयोग करके Dunning-Kruger प्रभाव को समझने की कोशिश की जाती है, तो मूल दावे से अलग परिणाम सामने आते हैं।
  • प्रयोग को दोहराने पर raw data यादृच्छिक दिखता है और उसमें Dunning-Kruger प्रभाव का कोई स्पष्ट संकेत नहीं मिलता।
  • लेकिन डेटा का विश्लेषण किसी अलग तरीके से किया जाए, तो ऐसा लग सकता है कि Dunning-Kruger प्रभाव मौजूद है।

Dunning-Kruger प्रभाव का पतन

  • शोधकर्ताओं ने, जबकि वे वास्तव में random numbers का उपयोग कर रहे थे, फिर भी Dunning-Kruger प्रभाव को पुन: उत्पन्न किया; इसका कारण autocorrelation था।
  • इस त्रुटि को पहचानने के बाद यह स्पष्ट हुआ कि Dunning-Kruger chart वास्तव में autocorrelation पर आधारित था।

Dunning-Kruger प्रभाव का अभाव

  • जब Dunning-Kruger प्रभाव को सांख्यिकीय रूप से वैध तरीके से मापा जाता है, तो यह प्रभाव गायब हो जाता है।
  • शिक्षा स्तर के आधार पर समूहित लोगों की self-assessment error मापने पर औसत त्रुटि 0 के आसपास रहती है, और Dunning-Kruger प्रभाव के पक्ष में कोई प्रमाण नहीं मिलता।

अयोग्य लोग, और जिन्हें इसका पता नहीं

  • Dunning और Kruger द्वारा की गई सांख्यिकीय गलती एक चूक हो सकती है, लेकिन उनके शोधपत्र में यह दावा किया गया कि अयोग्य लोग अपनी अयोग्यता को पहचान नहीं पाते।
  • लेकिन वास्तव में Dunning और Kruger स्वयं ही सांख्यिकीय अक्षमता दिखा रहे थे, क्योंकि उन्होंने autocorrelation को मनोवैज्ञानिक प्रभाव समझ लिया।

GN⁺ की राय

इस लेख का सबसे महत्वपूर्ण बिंदु यह है कि Dunning-Kruger प्रभाव वास्तव में मानव मनोविज्ञान से संबंधित नहीं है, बल्कि autocorrelation नामक एक सांख्यिकीय त्रुटि पर आधारित है। यह दिखाता है कि डेटा की व्याख्या करते समय शोधकर्ता किस तरह के जाल में फँस सकते हैं, और वैज्ञानिक खोजें किस प्रकार गलत सांख्यिकीय विश्लेषण के कारण भ्रामक बन सकती हैं। ऐसी त्रुटियों को समझना शोध परिणामों की व्याख्या और सत्यापन के लिए महत्वपूर्ण सबक देता है, और यह केवल शुरुआती software engineers ही नहीं बल्कि सभी वैज्ञानिक क्षेत्रों के शोधकर्ताओं के लिए उपयोगी जानकारी है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-11-26
Hacker News राय
  • एक टिप्पणीकार मानता है कि उसे statistics या psychology की पर्याप्त समझ नहीं है, लेकिन उसे लगा कि D&K अध्ययन उसके दादाजी की इस बात जैसा है: "जितना अधिक जानो, उतना ही एहसास होता है कि कितना कुछ नहीं जानते।" वह यह भी सोचता है कि बहुत से लोग वास्तव में जितना जानते हैं उससे अधिक जानने का अनुमान लगाते हैं, और शायद यह बात उस पर खुद और लेख के लेखक पर भी लागू हो सकती है।
  • एक अन्य टिप्पणीकार लेख के दावे से सहमत नहीं है, और वह उस दलील के जवाब में लिखा गया एक लेख साझा करता है कि D-K ग्राफ केवल self-correlation का परिणाम है। उसका कहना है कि performance और performance evaluation को स्वतंत्र मान लेना ही वास्तव में ज्यादा चौंकाने वाली बात है, और D-K अध्ययन ने दिखाया कि performance और self-evaluation के बीच संबंध है, बस वह अपेक्षा जितना मजबूत नहीं था। बल्कि उसमें एक consistent bias दिखा, और वही दिलचस्प परिणाम है।
  • जैसा कि पिछली चर्चा में कहा गया था, लेखक मानता है कि लोग अपनी क्षमता का अनुमान लगाने में इतने खराब हैं कि self-evaluation को बिना किसी शर्त वाले random variable जैसा मान लिया जाए। यदि वास्तविक क्षमता अधिक है, तो random chance के कारण self-evaluation के वास्तविक क्षमता से कम होने की संभावना ज्यादा होगी। यह आलोचना इस सवाल को उठाती है कि क्या लोग सचमुच अपनी क्षमता का इतना गलत आकलन करते हैं।
  • लेखकों ने "X - Y बनाम X" विश्लेषण किया, लेकिन यही सबसे बड़ी समस्या नहीं है। उन्होंने 0 और 1 के बीच रूपांतरित और सीमित दो मापों को घटाया। ऐसे में extreme values पर क्या होता है? शीर्ष performers अपनी performance को कितना overestimate कर सकते हैं? वे पहले ही लगभग 1 पर पहुंच चुके हैं, इसलिए ज्यादा नहीं। यदि वे समान अनुपात और परिमाण में overestimate और underestimate करें, तो transformed values का upper-bound effect ग्राफ को ऐसा दिखाएगा मानो वे अधिक बार underestimate कर रहे हों।
  • Nicolas Boneel और लेखक के बीच टिप्पणियों में हुई चर्चा दिलचस्प है, और Nicolas ने लेख पढ़ते समय उठे अपने संदेह व्यक्त किए। DK effect का मूल यह है कि लोग अपने skill level का गलत आकलन करते हैं, इसलिए यदि यह मान लिया जाए कि वे अपने skill level का अनुमान random तरीके से लगाते हैं, तो स्वाभाविक रूप से वही परिणाम दोहराए जा सकते हैं।
  • लेखक जिस "self-correlation" शब्द का उपयोग करता है, उसका अर्थ statistics में प्रचलित सामान्य अर्थ से अलग है। "self-correlation" आमतौर पर time-series data का समय में कुछ अंतर से अपने ही साथ संबंध दर्शाता है, इसलिए OP में बताए गए अर्थ में इसका उपयोग statistics जानने वालों को भ्रमित कर सकता है।
  • लेखक जिस दुनिया की कल्पना करता है, उसमें यदि लोगों का score estimate उनके वास्तविक score से स्वतंत्र हो, तब भी यह कहा जा सकता है कि DK effect वास्तव में मौजूद है। कम score पाने वाले लोग अपने score को overestimate करेंगे, और उच्च score पाने वाले लोग उसे underestimate करने की प्रवृत्ति रखेंगे।
  • "bias" शब्द को लेकर भी भ्रम है। यदि self-evaluation random हो, तो high performers सभी खुद को underestimate करेंगे, लेकिन यह underestimate करने की दिशा में bias नहीं है। D-K chart एक अलग bias दिखाता है, जो इस विचार से मेल खाता है कि अधिकांश लोग खुद को average मानते हैं। ऐसी स्थिति में high performers average को overestimate करेंगे, और low performers average को underestimate करेंगे।
  • एक टिप्पणी में कहा गया कि लेख में दी गई "self-correlation" की परिभाषा Wikipedia की परिभाषा से अलग है। लेख की परिभाषा का समय-विलंब से कोई संबंध नहीं है, इसलिए D-K के संदर्भ में इसे "self-correlation" कहना गलत शब्द-प्रयोग है।
  • यदि कम skilled और अधिक skilled लोग औसतन समान self-evaluation करें, तो कम skilled लोग overestimate करेंगे और skilled लोग underestimate करेंगे। केवल यह बात भी एक महत्वपूर्ण परिणाम हो सकती है, और यह ध्यान देने योग्य है कि यहां वास्तव में correlation मौजूद है।