प्रबंधन जर्नल में प्रकाशित त्रुटिपूर्ण पेपर को 6,000 से अधिक बार उद्धृत किया गया
(statmodeling.stat.columbia.edu)- कॉर्पोरेट सस्टेनेबिलिटी और शेयर मूल्य प्रदर्शन के सहसंबंध का दावा करने वाले पेपर को 6,000 से अधिक बार उद्धृत किया गया, लेकिन गंभीर त्रुटियां और झूठे विवरण सामने आए
- इस शोध को पुनरुत्पादित करने की कोशिश करने वाले Andy King ने कहा कि लेखक, अकादमिक जगत, जर्नल और विश्वविद्यालय—सभी ने उनके त्रुटि-सुधार और सत्यापन के अनुरोधों को बार-बार नजरअंदाज किया
- पेपर में सांख्यिकीय महत्व का गलत संकेत, कार्यप्रणाली का गलत वर्णन, अवास्तविक सैंपल मैचिंग जैसी कई समस्याएं थीं, जिनमें से कुछ को साधारण टाइपो बताकर टाल दिया गया
- King ने LinkedIn पर सार्वजनिक रूप से और replication research के लिए विशेष जर्नल (JOMSR) के माध्यम से मुद्दा उठाया, लेकिन Harvard Business School और London Business School ने इसे मामूली मामला माना
- लेखकों ने अब तक पेपर वापस नहीं लिया है, और यह लेख वैज्ञानिक विश्वसनीयता प्रबंधन प्रणाली के पतन और सुधार की आवश्यकता पर जोर देता है
समस्या वाला पेपर और पुनरुत्पादन का प्रयास
- पेपर “The Impact of Corporate Sustainability on Organizational Processes and Performance” को 6,000 से अधिक बार उद्धृत किया गया है, और इसे Wall Street के एग्जीक्यूटिव्स तथा अमेरिका के एक पूर्व उपराष्ट्रपति तक द्वारा उद्धृत प्रभावशाली शोध माना गया
- Andy King ने इस पेपर को पुनरुत्पादित करने की कोशिश में कार्यप्रणाली में असंगति, सांख्यिकीय त्रुटियां, गायब परीक्षण और असामान्य सैंपल संरचना पाई
- उन्होंने लेखकों को कई बार ईमेल भेजे, लेकिन कोई जवाब नहीं मिला
- Bloomfield et al.(2018) का एक अध्ययन भी है, जो दिखाता है कि replication शोधकर्ताओं के अनुरोधों को नजरअंदाज करना या टालना एक आम प्रथा है
अकादमिक जगत और जर्नल की प्रतिक्रिया
- King ने सहकर्मी विद्वानों से मदद मांगी, लेकिन अधिकतर ने टकराव से बचने या समय की कमी का हवाला देकर मना कर दिया
- कुछ विद्वानों ने कहा, “प्रकाशित पेपर की त्रुटियां उजागर करना करियर के लिए और अधिक नुकसानदेह है”
- उन्होंने जर्नल Management Science में एक आलोचनात्मक टिप्पणी भेजी, लेकिन “लहजा अनुपयुक्त है” कहकर उसे ठुकरा दिया गया
- लेखकों ने माना कि मुख्य परिणामों के महत्व-चिह्न गलत थे, लेकिन इसे ‘टाइपो’ बताया
- King के अतिरिक्त संशोधन अनुरोध सभी खारिज कर दिए गए
सार्वजनिक खुलासा और replication research का प्रकाशन
- King ने LinkedIn पर त्रुटियां सार्वजनिक करने के बाद, जर्नल ने देर से सुधार सूचना (erratum) प्रकाशित की
- replication study Journal of Management Scientific Reports(JOMSR) में प्रकाशित हुई, जिससे replication research के लिए समर्पित जर्नल की भूमिका रेखांकित हुई
- King ने पुष्टि की कि मूल पेपर में रिपोर्ट की गई विधि और वास्तव में इस्तेमाल की गई विधि अलग थीं, और वास्तविक विधि से परिणाम पुनरुत्पादित नहीं किए जा सकते
शोध-नैतिकता जांच और विश्वविद्यालयों की प्रतिक्रिया
- King ने Harvard Business School और London Business School में शोध-नैतिकता उल्लंघन की शिकायत दर्ज की
- लेखकों ने सफाई दी कि “संपादन प्रक्रिया की गलती से गलत वाक्य रह गया,” लेकिन हर ड्राफ्ट में वही त्रुटि दोहराई गई
- Harvard ने जांच की प्रगति को गोपनीय रखा, जबकि LBS ने कहा कि यह “जानबूझकर किया गया झूठ नहीं” है और केवल शैक्षिक कार्रवाई की सिफारिश की
- King ने आलोचना की कि “डेटा तक पहुंच होना मूल मुद्दा नहीं है; गलत विवरण शोध की व्याख्यायोग्यता को ही नष्ट कर देता है”
संस्थागत विफलता और सुधार के प्रस्ताव
- पेपर में केवल कुछ सीमित सुधार किए गए, और गलत कार्यप्रणाली विवरण अब भी ठीक नहीं किया गया है
- King ने कहा, “विश्वसनीय विज्ञान-प्रबंधन प्रणाली काम नहीं कर रही,” और निम्न प्रस्ताव दिए
- किसी एकल अध्ययन को उद्धृत करने से बचें और replication की पुष्टि करें
- त्रुटि मिलने पर तुरंत सुधार करें
- अनैतिक आचरण पर सहकर्मियों को चेतावनी दें
- replication research और JOMSR जैसे जर्नलों का समर्थन करें
- संस्थानों की शोध-नैतिकता नीतियों को मजबूत करें
- उन्होंने अकादमिक शासन में पारदर्शिता, स्वतंत्र निगरानी और चरणबद्ध दंड को संस्थागत रूप देने तथा FurtherReview जैसी post-publication verification प्रणाली लाने की जरूरत भी बताई
Andrew Gelman की टिप्पणी
- Gelman ने लेखकों के व्यवहार को research misconduct बताया, लेकिन व्यक्तिगत जिम्मेदारी से अधिक सिस्टम-स्तरीय समस्या पर ध्यान केंद्रित किया
- उन्होंने कहा कि “अतीत की त्रुटियों को स्वीकार न करने का रवैया” विज्ञान को ‘dead science’ में बदल देता है
- उन्होंने चेतावनी दी कि जब तक अकादमिक समुदाय त्रुटि-सुधार और जिम्मेदार रवैये को प्रोत्साहित नहीं करेगा, वही समस्याएं दोहराई जाती रहेंगी
1 टिप्पणियां
Hacker News की राय
मैंने 2003 से मेंटेन किया हुआ एक open source agent-based modeling toolkit बनाया है
हाल ही में किसी दूसरी भाषा में बने एक नए toolkit पर पेपर ने मेरे software से तुलना करते हुए दावा किया कि वे बेहतर हैं, लेकिन असल में उन्होंने मेरे tool को गलत चलाया और data भी विकृत किया
मैंने सुधार का अनुरोध किया, लेकिन journal ने अपनी साख बचाने के लिए इसे चुपचाप दबा दिया, और authors भी बस बहाने बनाते रहे
समस्या यह है कि academia में यह बहुत आम है
उस घटना के बाद academic papers पर मेरा भरोसा बहुत कम हो गया
उनकी test methodology बुनियादी तौर पर गलत थी, और उन्होंने ऐसे problem पर, जिसका कोई “वास्तविक सही उत्तर” नहीं था, मनमाने मानदंड पर training कर के दावा किया कि उनका result सबसे अच्छा है
मैंने publication न करने की सिफारिश की और journal भी सहमत था, लेकिन कुछ महीनों बाद वही paper बिना किसी संशोधन के दूसरे journal में प्रकाशित देख कर academic निराशा हुई
आखिर में मेरा निष्कर्ष यही था: “psychology major को coding मत सौंपो।” कम से कम किसी CS major से verification करवा लेना चाहिए था
university legal team का भी यही हाल था, और उसके बाद academia पर मेरा भरोसा लगभग खत्म हो गया। यही reproducibility crisis की वजह है
आजकल citation count का पहले जैसा मतलब नहीं रह गया है
problematic papers लगातार copy-paste citation पाते जा रहे हैं
इसलिए मैं citation graph के ऊपर एक trust network overlay करने वाली service के बारे में सोच रहा हूँ
जो papers किसी गलत paper को बिना आलोचनात्मक सोच के cite करते हैं, उन्हें “संभवतः contaminated” के रूप में mark किया जाए, और ऐसे papers अधिक रखने वाले authors या institutions पर भी tag लगाया जाए
लेकिन जब मैंने papers को सच में पढ़ना शुरू किया तो लगा कि बकवास papers बहुत ज़्यादा हैं
यह मानना ही गलत था कि खराब paper एक अपवाद होते हैं; अंत में यह “कीचड़ में हीरा ढूँढने” जैसा लगने लगा
इसलिए मेरा निष्कर्ष था कि अगर कोई field 90% नकली है, तो उस field को नज़रअंदाज़ करना ही बेहतर है
सिर्फ related work का summary देने पर भी नुकसान हो सकता है
लेकिन trust system बना भी लें, तो भी आखिरकार वह gamify हो जाएगा, इसलिए मैं सशंकित हूँ
हर field में खराब papers होते हैं, लेकिन सच में business school papers देखो तो आत्मसम्मान वापस आ जाता है
उस field में ठीक-ठाक research करने वाला व्यक्ति लगभग Galileo-स्तर का अपवाद है
दिलचस्प तो थी, लेकिन गहराई की कमी थी, लगभग history documentary जैसी सतही
“किसी एक research study को निर्णायक सबूत की तरह cite मत करो” — इससे मैं पूरी तरह सहमत हूँ
उदाहरण के लिए मशहूर “Harvard Goal Study” असल में मौजूद ही नहीं है
Harvard Library की FAQ में भी स्पष्ट रूप से लिखा है कि ऐसी कोई study नहीं है
उल्टा अगर बाद की citations लगभग नहीं हैं, तो वह दूर भागने का संकेत है
मूल समस्या “publish or perish” संस्कृति है
professor hiring और research funding citations पर निर्भर हैं, इसलिए आपसी citation और papers की भरमार सामान्य हो गई है
data sharing और replication verification शामिल करने वाली multi-stage evaluation system की ज़रूरत है
दुनिया में बेहद घटिया scientific papers बहुत ज़्यादा हैं
मुझे John P. A. Ioannidis का “Why Most Published Research Findings Are False” बहुत पसंद है
समस्या का केंद्र statistical significance और academic journal structure है
“कोई meaningful result नहीं” वाले studies प्रकाशित नहीं होते, इसलिए स्वाभाविक रूप से biased results ही बचते हैं
pre-registration और reproducible data sharing महत्वपूर्ण हैं, लेकिन promotion competition और commercial interests के कारण इनका पालन ठीक से नहीं होता
“नशे में गाड़ी चलाने वाला बुरा इंसान नहीं है” — इस दावे से सहमत होना मुश्किल है
अगर आप दूसरों की जान को खतरे में डालने वाले व्यवहार का बचाव करेंगे, तो “बुरा” शब्द का मतलब ही खत्म हो जाएगा
researchers अनैतिक व्यवहार करें और हम उसे “training की गलती” कहें, तो यह जिम्मेदारी से बचना लगता है
अगर system बुरे व्यवहार को आसान बना देता है, तो आखिरकार कारण संरचनात्मक समस्या ही है
“trained” का मतलब “सिखाया गया” नहीं, बल्कि परिस्थिति ने ढाल दिया है
‘bad’ शब्द का नैतिक अर्थ अपेक्षाकृत कमजोर है
अंततः यह Dunning-Kruger effect की वजह से अपनी क्षमता को ज़्यादा आँकने का नतीजा था
अगर इंसान ऐसे भ्रम में फँसते हैं, तो सिर्फ इस वजह से इंसान को बुरा नहीं कहा जा सकता
“replication researchers को सावधान रहना चाहिए” — यह बात science के मूल स्वभाव के खिलाफ है
जो परिणाम reproduce नहीं हो सकते वे निरर्थक हैं, और replication research को तो प्रोत्साहित किया जाना चाहिए
एक journal paper की citation count अलग-अलग sites पर अलग दिखती है
SSRN पर 109, ResearchGate पर 3936, और Google Scholar पर 6269 दिखाई देता है
citation count के मानदंड इतने अलग-अलग हैं कि उन पर भरोसा करना मुश्किल है
और “हर paper के लिए comments, corrections, और retraction requests को सार्वजनिक कर दें” जैसा एक सुझाव भी था,
लेकिन ऐसा हुआ तो Einstein के papers पर भी अजीब comments की भरमार हो जाएगी
तो उम्मीद से कम दुरुपयोग की समस्या दिखती है