"पीयर रिव्यू" की जगह "पीयर रिप्लिकेशन" (2021)
(blog.everydayscientist.com)- कई वैज्ञानिक क्षेत्रों में स्वतंत्र पुनरुत्पादन की कमी होने के बावजूद, मौजूदा peer review त्रुटियों की संभावना वाला और महत्वपूर्ण शोध के प्रसार को धीमा करने वाला अवरोध बन गया है
- प्रस्तावित peer replication में गुमनाम reviewers द्वारा manuscript का मूल्यांकन करने के बजाय, कोई दूसरी lab मुख्य परिणामों को वास्तव में reproduce करती है और फिर उसे publication decision में शामिल किया जाता है
- replication में भाग लेने वाले शोधकर्ताओं के नाम paper में अलग line में शामिल होते हैं, जिससे उन्हें citations और CV entry मिलती है; वहीं authors reviewers की अतिरिक्त experiments की मांगों का जवाब देने के बजाय reproducibility के आधार पर अपने results का बचाव करते हैं
- advanced techniques, लंबा समय और बहुत resources मांगने वाले experiments सभी replicate करना कठिन होता है, इसलिए editors, authors और reviewers को rigor और feasibility के बीच संतुलन बनाते हुए तय करना होगा कि क्या reproduce किया जाए
- failed replications, बार-बार attempts और journal shopping घटाने के लिए pre-registration, failure cases का disclosure और rejected papers को archive करने जैसे transparency mechanisms जरूरी हैं
Peer review के विकल्प के रूप में प्रस्तावित peer replication
- विज्ञान में ideal validation यह नहीं है कि कुछ experts manuscript पर approval stamp लगा दें, बल्कि यह देखना है कि paper की discoveries real world में reproduce होती हैं या नहीं
- किसी नई methodology की सबसे अच्छी परीक्षा paper review नहीं, बल्कि यह है कि fellow researcher वास्तव में उस technique का इस्तेमाल करके देखे
- पहले से published results को independent labs द्वारा फिर से verify करने का incentive बहुत कम है, इसलिए published papers में से अधिकतर बाद में independently replicated नहीं होते
- peer replication में preprint या manuscript किसी दूसरी lab को भेजी जाती है, और वह lab core findings को वास्तव में reproduce करती है
- अगर core finding replicate हो जाती है, तो manuscript approve होकर publish होती है
- author colleagues से feedback मांगकर manuscript सुधार सकता है, लेकिन editor feedback collection या revision requests को अपने ऊपर नहीं लेता
Replication results को paper में साथ प्रकाशित करने का तरीका
- published paper में original data के साथ replication attempt के results शामिल होते हैं
- कौन-से reagents और techniques original experiment जैसे ही थे, इसे table के रूप में दिखाया जा सकता है
- original experiment और replication experiment के बीच जितने अधिक parameters बदले हों, समान results आने पर final finding उतनी ही अधिक robust result बनती है
- reader replication results के आधार पर खुद तय कर सकता है कि कुल evidence paper के claims को support करता है या नहीं
प्रतिभागियों के लिए incentives
- traditional peer review को ठीक से करने में काफी समय और मेहनत लगती है, लेकिन reward लगभग नहीं मिलता
- peer replication में replication work करने वाले researcher का नाम published paper में अलग line में जाता है
- reviewer को citation मिल सकता है
- CV में डालने लायक एक और paper-जैसा reward मिलता है
- author यह दिखा सकता है कि उसके results rigorous validation के बाद भी टिके रहते हैं
- traditional review में author को additional experiments करने और reviewer की criticism का जवाब देना पड़ता है, लेकिन peer replication में reviewer manuscript की findings को experiment के जरिए defend करने की भूमिका निभाता है
Feasibility और side effects
- कई studies को replicate करना कठिन होता है
- जब advanced scientific techniques की जरूरत हो
- जब लंबा समय चाहिए हो
- जब mouse experiments की तरह बहुत resources चाहिए हों
- editor को authors और reviewers के साथ मिलकर तय करना होगा कि कौन-से experiments reproduce किए जाएं
- लक्ष्य rigor और feasibility के बीच balance है
- बहुत complex experiments के कुछ हिस्से unreplicated रह सकते हैं
- ऐसे में readers को खुद तय करना होगा कि पूरे paper को कैसे evaluate करें
- peer replication adversarial review process को truth खोजने के लिए colleagues के बीच collaboration में बदल देता है
- दूसरे researchers की नजर और सोच जुड़ने से नए controls या alternative experimental approaches शामिल हो सकते हैं, जो original finding को मजबूत कर सकते हैं
- experimental procedures की sharing बढ़ने से future collaborations, नए approaches, और students व postdocs की technical training में मदद मिलेगी
- यह अलग-अलग labs के भीतर बंद tacit hands-on knowledge को फैलाने का रास्ता बन सकता है
- जब दूसरे researchers सच में experimental results reproduce करने की कोशिश करेंगे, तो fabricated data या manipulated images को असली जैसा पास कराना कठिन होगा और research misconduct घट सकता है
संभावित समस्याएं और शुरुआत का तरीका
- peer replication में submission से final publication तक ज्यादा समय लग सकता है
- traditional peer review भी आम तौर पर कई महीने लेता है, इसलिए कई मामलों में replication experiments वास्तव में अतिरिक्त समय नहीं जोड़ेंगे
- अगर authors पूरे manuscript के complete होने का इंतजार करने के बजाय research pieces submit करें, तो समय कम हो सकता है
- ReviewCommons जैसे journal-independent mechanisms के जरिए partial findings की replication तैयार करना ideal होगा
- replication fail होने पर judgment की जरूरत होगी
- तय करना होगा कि failed replication manuscript के लिए essential है या नहीं
- यह भी देखना होगा कि replication attempt पर्याप्त रूप से ठीक तरीके से की गई थी या नहीं
- दूसरा replication attempt जरूरी हो सकता है, लेकिन successful होने तक दोहराते रहने और फिर रुक जाने के तरीके से सावधान रहना होगा
- replication plan pre-registration इसे घटाने में मदद कर सकता है
- failed replication की details published paper में जरूर शामिल होनी चाहिए
- किसी journal में replication failure के कारण reject होने के बाद author द्वारा दूसरे journal में फिर से submit करने की journal shopping समस्या भी बनी रहती है
- rejected papers को transparency और accountability के लिए किसी न किसी तरीके से archive किया जाना चाहिए
- replication में भाग लेने वाले researchers को उनके effort का credit मिले, इसके लिए mechanism भी जरूरी है
- role division इस प्रकार है
- Editor: submitted manuscripts को screen करना, और स्पष्ट रूप से flawed science, replication के योग्य न होने वाले experiments, essential controls की कमी, या बेहद boring results को reject करना
- Editor: उपयुक्त reviewers ढूंढना, और authors व reviewers के साथ मिलकर तय करना कि किन experiments को कैसे replicate किया जाए
- Editor: reviewers से परामर्श करके final judgment देना कि paper की findings formal publication के लिए पर्याप्त रूप से reproducible हैं या नहीं
- Authors: manuscript लिखना, bioRxiv जैसे channels से feedback मांगना और journal submission से पहले revise करना
- Authors: experimental design, reagents, और जरूरत पड़ने पर personnel या special equipment access तक देकर reviewers की सहायता करना
- Referees: manuscript के core experimental results को ईमानदारी से reproduce करने की कोशिश करना, जरूरत हो तो additional experiments या controls करना, और results को organize करना
- Readers: इस भरोसे के आधार पर कि core experiments किसी दूसरी lab में independently replicated हुए हैं, तय करना कि evidence claims को support करता है या नहीं, और reproducible science को cite करना
- शुरुआत के तौर पर eLife जैसे journal का pilot संभव है, लेकिन traditional publishers के पहले कदम उठाने का इंतजार करने की जरूरत नहीं
- Review Commons जैसी organizations bioRxiv पर अच्छे candidates ढूंढकर, authors के साथ मिलकर replication करने वाले reviewers recruit कर सकती हैं और फिर पूरा package journal को submit कर सकती हैं—यह एक तेज रास्ता हो सकता है
- जब scientists peer replication से validated papers को वास्तविक publications में देखने लगेंगे, तो केवल peer review से गुजरे papers को गंभीरता से लेना कठिन हो जाएगा और बेहतर science unreplicated discoveries से मुकाबला करेगी
1 टिप्पणियां
Hacker News की राय
मुझे नहीं पता कि यह तरीका सच में काम कर पाएगा या नहीं, और लगता है कि गैर-वैज्ञानिक हर पेपर को reproduce करने में लगने वाले काम को बहुत कम आंकते हैं
क्षेत्र के हिसाब से फर्क पड़ता है, लेकिन किसी एक पेपर को ठीक से reproduce करने में कई महीने लग सकते हैं। मूल पेपर में हुई trial-and-error को दोहराना नहीं पड़ता और samples मिल जाएँ तो preparation process कम हो सकती है, लेकिन अगर पहला प्रयास सफल न हो, तो experiment debug करना और यह सुनिश्चित करना कि कोई गलती नहीं हुई, समय को बहुत बढ़ा देता है
इसके अलावा, यह काम reproduce करने वाले वैज्ञानिक के लिए बहुत कम लाभ देता है और सिर्फ पैसा व समय खर्च कराता है। अगर किसी की उस research पर आगे काम बढ़ाने जितनी रुचि है, तो वह वैसे भी उसे reproduce करने की कोशिश करेगा, और अगर सफल हुआ तो follow-up paper, सीधे replication paper न होते हुए भी, मूल पेपर को अप्रत्यक्ष समर्थन देगा
हालांकि बड़ी समस्या यह है कि follow-up experiments असफल हों तो आम तौर पर publish नहीं होते। लेकिन इसका समाधान सिर्फ negative results publish करने की बात कह देने से नहीं होगा। मजबूत negative result तैयार करने के लिए experiment करके संभावना न दिखे तो छोड़ देने की तुलना में कहीं अधिक काम चाहिए
Reproducibility हो जाने पर भी, अगर दूसरी conditions पूरी न हों तो publication नहीं हो सकता। उदाहरण के लिए, मान लीजिए कोई team एक जटिल engineering problem हल करने के लिए innovative new material खोज रही है और उसे एक ऐसा पदार्थ मिलता है जिसे 1980s में एक बार synthesize किया गया था लेकिन कभी reproduce नहीं हुआ। उन्हें लगता है कि उस material में desired properties हो सकती हैं, इसलिए वे उसे synthesize करते हैं; structure सही निकलता है, लेकिन expected properties नहीं मिलतीं। ऐसे में वे शायद paper नहीं लिखेंगे और अगले candidate पर बढ़ जाएँगे। अगर कई teams साथ-साथ यही काम करें, तब भी पीछे आने वालों को कुछ पता नहीं चलेगा
“review process की एक अनोखी विशेषता यह है कि paper में report किए गए सभी data और experiments को publication से पहले reproducibility की पुष्टि के लिए editorial board के किसी सदस्य की laboratory में सफलतापूर्वक दोहराया जाना चाहिए”
https://en.wikipedia.org/wiki/Organic_Syntheses
उदाहरण के लिए, papers की संख्या x कम कर दी जाए लेकिन x replications की आवश्यकता रखी जाए, और अपने expertise वाले field में replication record बनवाया जाए। replication research के लिए grant category भी बनानी होगी और उसे एक independent system को सौंपना होगा। random assignment जैसे mechanisms भी चाहिए होंगे। replication को original research जितने ही मूल्य पर आँका जाना चाहिए
R2 स्तर के छोटे departments replication hubs में बदल सकते हैं। biology, chemistry और psychology के कुछ क्षेत्रों में यह particle physics की तुलना में आसान हो सकता है। उन fields से शुरू किया जा सकता है जहाँ replication cost अपेक्षाकृत कम है, फिर details को refine किया जाए। कुछ मामलों में यह पूरी तरह संभव है, लेकिन कुछ fields में शायद हमेशा कठिन रहेगा
robotics में ऐसे papers बहुत ज्यादा हैं जो पहले से ज्ञात algorithms या machine learning models में से तीन-चार उठाकर off-the-shelf hardware पर लागू कर देते हैं। जिस व्यक्ति ने उस field की training ली हो, वह results लगभग पहले से बता सकता है। prosthetic hand, wildfire monitoring drone, museum guide robot जैसे popular problem spaces में हर महीने सैकड़ों variants आते हैं, लेकिन उनमें से वास्तव में उपयोगी हो सकने वाली मात्रा से यह बहुत अधिक है
जो studies सच में महत्वपूर्ण खोज का दावा करती हैं, उनके लिए अलग process की जरूरत हो सकती है। वह ठीक-ठीक क्या होना चाहिए, मुझे नहीं पता, लेकिन सच कहूँ तो शायद papers की संख्या ही घटनी चाहिए
वैज्ञानिक प्रकाशन का उद्देश्य नए नतीजों को दूसरे वैज्ञानिकों के साथ साझा करना है, ताकि दूसरे लोग उन पर आगे काम कर सकें या उनकी सटीकता की जाँच कर सकें
इसमें “श्रेय” का तत्व हमेशा रहा है, लेकिन विज्ञान की प्रगति को अधिकतम करने के नज़रिए से वास्तव में अहम चीज़ संचार है
बहुत पहले प्रकाशन पत्रों को घुमाने जैसा था, या अगर कोई बड़ा परिणाम हो तो अपनी लागत पर किताब छपवाने जैसी अनौपचारिक प्रक्रिया. बाद में प्रकाशकों ने औपचारिक journals बनाए, और कुछ journals में केवल प्रतिष्ठा के आधार पर छापने या जाँच पाना मुश्किल हो जाए, इतनी submissions आने लगीं. लोकप्रिय journals ने खराब लिखे papers और साफ़-साफ़ spam को छाँटने के लिए बुनियादी editorial standards लागू करने शुरू किए, और editor हर क्षेत्र का विशेषज्ञ नहीं था, इसलिए उसने volunteers से मदद माँगी. वही peer review है
बाद में bureaucrats ने वैज्ञानिकों की productivity मापकर budget और promotions बाँटने का तरीका माँगा, और कुछ प्रतिष्ठित journals में publication record को metric बना लिया. नतीजा यह हुआ कि जो उपयोगी प्रक्रिया “नतीजे साझा करने” की थी, वह बाहरी लोगों की नज़र में academic score पाने की प्रक्रिया जैसी बन गई, और नतीजों की verification process का बीच का चरण होने के बजाय publication खुद ही अंतिम लक्ष्य जैसा दिखने लगा
कुछ बाहरी लोगों ने इस प्रक्रिया को गलत समझकर इस बात पर नाराज़गी जताई कि intermediate results गलत हो सकते हैं. Publication का मूल उद्देश्य results को व्यापक रूप से साझा करके verification की संभावना बढ़ाना है—इसे स्वीकार करने या बेहतर promotion metrics बनाने के बजाय, वे core sharing process को रोककर उसे inefficient बनाना चाहते हैं और publication के प्रसार की पहुँच और गति घटाना चाहते हैं. इस भ्रम को कहीं ज़्यादा समझदारी से संभाला जा सकता है
इसमें यह भी एक variable है कि गैर-वैज्ञानिक आम जनता academia की जानकारी को कैसे ग्रहण करती है. पहले academia ज्ञान को अपने-आप में खोजने वाला अपेक्षाकृत बंद समूह था, इसलिए यह समस्या कम महत्वपूर्ण थी. नई बात यह है कि समाज इस विचार से ग्रस्त हो गया है कि राष्ट्रीय संचालन और administration को academia के results और views का बड़े पैमाने पर अनुसरण करना चाहिए
Science-based policy के प्रति उत्साह तीन स्तरों पर चोट पहुँचाता है. यह तथ्य कि research results policy को प्रभावित कर सकते हैं, विज्ञान करने के तरीके की incentives को ही बदल सकता है. यह तथ्य कि academic results का बाहरी प्रभाव होता है, यह भी बदलता है कि कौन-सा science किया जाता है, और unfair actors को आकर्षित कर सकता है. प्रभाव बढ़ने पर कम जानकारी रखने वाली जनता अभी preliminary या unreproduced results देखकर अधपके निष्कर्ष निकालने लगती है. संकीर्ण या कमजोर research भी अगर विरोधी को मारने के लिए अच्छी लाठी जैसी दिखे तो उसे जरूरत से ज्यादा attention मिल सकता है
पसंद हो या न हो, academics का आकलन आखिरकार publications से होता है, और मुझे लगता है इसे गलत समझने वाले लोग बहुत कम हैं. समस्या यह है कि incentive खराब है. Reproduction की माँग करने वाली नई publication grade बनाना optics/photonics जैसे कुछ क्षेत्रों में संभव हो सकता है, लेकिन experimental particle physics जैसे क्षेत्रों में लगभग असंभव होगा
Mathematics, theoretical physics, philosophy जैसे pure intellectual fields में ऐसे system की जरूरत शायद न हो. बीच में आने वाला machine learning theory में reproduce करना आसान दिखता है, लेकिन उदाहरण के लिए large language models के baselines train करने की cost बहुत बढ़ सकती है
प्रतिष्ठित journal में छपे paper को स्थापित सत्य मानने वाली public perception भी मदद नहीं करती
आज publication वही भूमिका नहीं निभाता जो internet से पहले निभाता था. Research के बिना भी convincing paper लिखना और publish कराना अब मामूली बात हो गई है: http://theatlantic.com/ideas/archive/…
Peer review reproduction की गारंटी देने वाला mechanism नहीं है, बल्कि paper की readability और understandability सुनिश्चित करने वाला mechanism है
कुछ experiments करने में अरबों डॉलर लगते हैं, इसलिए हर paper पर “peer reproduction” लागू करना असंभव है
इसके बजाय reproduced papers के लिए metadata जोड़ा जा सकता है
Conferences अलग हो सकती हैं, लेकिन मेरी समझ में peer review ज्यादा इस बात की जाँच है कि methodology, scope, claims, direction, conclusions, relevance valid और भरोसेमंद हैं या नहीं
अगर कोई व्यक्ति एक-दो papers में ही समझाई गई चीज़ को reproduce करने में समय लगाता है, तो यह community के लिए valuable काम है और इसे encourage किया जाना चाहिए. अगर PhD student के skill sharpen करने के मौके के रूप में किया जाए तो और भी अच्छा. यह glamorous नहीं है और पूरी तरह नया काम भी नहीं है, लेकिन useful और important है
ऐसी studies आम journals में publish होनी चाहिए. अगर reproduction-only journals ही बनेंगे, तो उनका impact factor खराब होगा और कोई ध्यान नहीं देगा
हमेशा ऐसे लोग होते हैं जो 100% solution न हो तो उसे अनुचित मानते हैं और कुछ नहीं करते. Peer review अपर्याप्त साबित हो चुका है, फिर भी लोग उसे बेतहाशा पकड़े हुए हैं. कुछ disciplines में हर चीज़ के लिए reproduction माँगनी चाहिए. मैं psychology या social sciences generally को specifically नहीं कहूँगा, लेकिन कुछ fields में reproduction failure rate अस्वीकार्य स्तर पर है
Value criteria बदलने होंगे—reproduction को tenure और promotion का valid path मानना होगा, और PhD program का required component बनाना होगा
दोनों बार review comments में “paper बहुत अच्छी तरह लिखा गया है, undergraduate student भी पढ़ सके इतना” जैसे शब्द थे. Peer review आखिरकार gatekeeping की guarantee देता है
कुछ समय तक Reddit पर नारा था, “फोटो नहीं तो हुआ ही नहीं”
कम-से-कम कंप्यूटर साइंस/मशीन लर्निंग में कोड नहीं तो हुआ ही नहीं की जरूरत है। पेपर अस्पष्ट होते हैं, और equations होने पर भी कभी-कभी सभी components define नहीं किए गए होते
इस क्षेत्र में peer reproduction दूसरे विज्ञान क्षेत्रों के लिए मिसाल बन सकने वाला आसान, कम-लागत वाला काम है
नए Alzheimer breakthrough research जैसी चीजों में reproduction फायदेमंद है, और वैसे भी commercial interest के कारण reproduce हो जाती हैं। लेकिन आम niche topics में हर research को reproduce करने के लिए funding नहीं होती। कंप्यूटर साइंस/आर्टिफिशियल इंटेलिजेंस research का reproduce करना सुविधाजनक है, इसका मतलब यह नहीं कि इसे हर research पर scale किया जा सकता है
इसलिए peer review मौजूद है। यह ऐसे research को filter करने की व्यवस्था है जो plausible नहीं लगते या low-effort/low-relevance होते हैं; इसे fraud रोकने के लिए design नहीं किया गया
GitHub, GitLab आदि के आज के दौर में यह standard होना चाहिए। अगर implementation से जुड़ा paper code नहीं देता, तो अक्सर उसके बेकार होने की संभावना ज्यादा होती है
मुझे “peer review” को दो हिस्सों में बांटने और किसी field में citations की एक तय संख्या पार होने पर paper को reproduce करना होगा—ऐसे citation threshold पर सहमति बनाने का तरीका पसंद है। Journals में reproduction attempts के लिए dedicated section भी होना चाहिए
कुछ fields में अच्छी experiments के लिए subject expertise के अलावा “hands” कहे जाने वाली skill भी चाहिए होती है। जैसे हवा-संवेदनशील compounds को handle करना, या condensed/crystalline state वाली materials से काम करना। मेरी thesis experiments में मैंने equipment के कुछ parts खुद हाथ से बनाए थे
कभी-कभी special facilities भी चाहिए होती हैं। मेरे PhD thesis project में लगभग 500,000 डॉलर के equipment इस्तेमाल हुए, और मैंने जो equipment इस्तेमाल किए उनमें से कुछ मेरे graduate होने तक discontinued होकर unavailable हो चुके थे
मेरे हिसाब से ज्यादा realistic तरीका reproducibility review और हर paper के साथ methodology map submit करने की requirement है
पहला एक back-and-forth process है जिसमें reviewer paper के आधार पर results reproduce करने के लक्ष्य से सवाल पूछता और verify करता है, लेकिन actual reproduction की मांग नहीं करता। यह आम तौर पर उन details को पकड़ने में उपयोगी होता है जिन्हें लेखक यह मानकर छोड़ देता है कि field के सभी लोग जानते होंगे। मैंने वास्तव में biology PhD लोगों को papers में नहीं लिखी experimental details track करने में महीनों बर्बाद करते देखा है
दूसरा, पहले का output होगा। मुख्य text में लंबा appendix डालने के बजाय, experiments और methodology को बारीकी से cover करने वाला अलग document peer reviewers के साथ बनाया जाए, और reviewers के नाम छापे जाएं ताकि बात को यूं ही टाला न जा सके
मैंने ऐसे बहुत सारे papers पढ़े हैं जिनमें reproduction के लिए जरूरी जानकारी missing थी। मशीन लर्निंग/रीइन्फोर्समेंट लर्निंग में code होने पर paper में न लिखी implementation details अनगिनत बार मिलीं। वास्तव में ऐसे results भी हैं कि ऐसी details किसी खास algorithm की सफलता या विफलता तय करती हैं [1]। मैंने ऐसे cases भी देखे हैं जहां core detail सिर्फ code comments में लिखी थी
इससे भी डरावनी बात यह थी कि एक paper ने दावा किया कि उसने benchmark पर method evaluate किया, लेकिन जांचने पर पता चला कि उस benchmark में वह task मौजूद ही नहीं था। उन्होंने benchmark को fork करके अपना task बनाया और यह साफ नहीं बताया [2]
ऐसी चीजों की वजह से किसी खास scientific direction पर भरोसा उठ जाता है। मैंने कुछ junior researchers को देखा है जिन्होंने निष्कर्ष निकाला कि पूरा घर ताश के पत्तों से बना लगता है, और research पूरी तरह छोड़ दी
[1] https://arxiv.org/abs/2005.12729
[2] https://arxiv.org/abs/2202.02465
अगर आपको लगता है कि यह बहुत झंझट वाला या महंगा है, तो याद रखना चाहिए कि publishers record profits कमाते हैं। resources पहले से मौजूद हैं
https://youtu.be/ukAkG6c_N4M
अब manuscript review करते समय मैं इस बात पर कहीं ज्यादा ध्यान देता हूं कि experiments या simulations reproduce करने के लिए पर्याप्त जानकारी है या नहीं। ऐसा paper छप जाए जिसकी interpretation गलत है, तो ठीक है। क्योंकि दूसरे लोग अपनी research करते हुए यह पता लगा सकते हैं। लेकिन ऐसा paper, जिसके results reproduce नहीं किए जा सकते, publish होने नहीं देना चाहिए
जो content experimental section में डालने के लिए बहुत लंबा हो, उसे electronic supplementary information document में जाना चाहिए। हालांकि PDF download करते समय supplementary information paper के साथ attached हो तो अच्छा होगा। उसे अलग से track करना सचमुच झंझट है। material characterization जैसे fields में बहुत data और details वाली supplementary information आम तौर पर दी जाती है
बड़े datasets को repository या dataset journal में भेजना चाहिए। इससे methods फिर भी peer review से गुजरते हैं, और dataset को DOI मिल जाता है, जिससे reuse आसान हो जाता है। PhD program के अंत में student papers की संख्या दोगुनी करने का यह अच्छा तरीका भी है
benchmark को fork करके अपना task बनाना और साफ-साफ न बताना तो बस दुष्टता है
पुनरुत्पादन करना मुश्किल या असंभव हो, तब भी observational science विज्ञान की एक शाखा बनी रहती है
2005 में प्रकाशित, प्राकृतिक आवास में जीवित giant squid की पहली तस्वीर के बारे में सोचिए: https://royalsocietypublishing.org/doi/10.1098/rspb.2005.315...
कौन गंभीरता से सोचेगा कि जब तक कोई और उस परिणाम को reproduce न कर दे, तब तक इसे प्रकाशित नहीं करना चाहिए था
क्या drug clinical trial के परिणाम भी तब तक प्रकाशित नहीं होने चाहिए जब तक वे reproduce न हो जाएँ
वह “A stellar occultation by (486958) 2014 MU69: results from the 2017 July 17 portable telescope campaign” कैसे reproduce करेंगे, जिसमें एक तारे, Neptune के बाहर की वस्तु 486958 Arrokoth, और Argentina के एक खास क्षेत्र को बेहद सटीक alignment में होना था: https://ui.adsabs.harvard.edu/abs/2017DPS....4950403Z/abstra...
Pluto flyby या Mars पर helicopter उड़ाने के परिणामों को कैसे reproduce करेंगे
“In The Pipeline” से पता चला “Insights from a laboratory fire” नाम का paper भी है: https://www.nature.com/articles/s41557-023-01254-6
इसमें कहा गया है कि chemistry labs में आग लगना अपेक्षाकृत आम है लेकिन इसकी reporting कम होती है, और नतीजे घातक हो सकते हैं। इस मामले में peer reproduction का क्या लेना-देना है
ऐसे मामलों में reproduction का मतलब है कि कोई और उसी dataset पर वही code चलाकर वही results पा सके
क्या labs को अपना software environment बेहतर करना चाहिए और नए tools सीखने चाहिए? क्या पुराने गुप्त know-how को छोड़ना चाहिए? असली बात यही है
समस्या नई discovery के publish होने में नहीं, बल्कि publish होने के बाद उसे verify करने के incentives की कमी में है
giant squid का नया observation, अब नया न रह गया हो तब भी, बहुत मूल्यवान है। इसलिए नए observations को प्रोत्साहन मिलना चाहिए
Pluto flyby या Mars helicopter भी असल में अच्छे उदाहरण नहीं हैं। फिर से probe भेजना होगा, और Mars के atmosphere में flying vehicles के cases और data आगे चलकर बहुत अधिक होने की संभावना है। simulations भी बेहिसाब किए जा सकते हैं। Pluto पर spectrometer और कई instruments लगातार target किए जाते रहेंगे
ऐसे मामलों में भी, भले ही data उसी experimental setup से आया हो, अलग-अलग teams अगर स्वतंत्र रूप से analysis करें तो robustness बढ़ सकती है। सब कुछ black-and-white नहीं है। observation एक spectrum पर है, कुछ observations दूसरों से कहीं अधिक भरोसेमंद होते हैं, और reproduction उसका एक factor है
lab fire के मामले में, यह जानने के लिए कि कौन-सा phenomenon किसी खास lab की विशेषताओं से निकला है, एक से अधिक cases चाहिए। statistical और factor analysis जैसी चीज़ें चाहिए। यहाँ reproduction का मतलब असली lab में जानबूझकर आग लगाना नहीं है
यह car accident research जैसा है। जानबूझकर लोगों को मारा नहीं जाता, लेकिन वास्तविक घटनाओं के आधार पर research कर के पहले के observations की पुष्टि या खंडन करने वाले नए papers लगातार चाहिए होते हैं
एक perfect दुनिया में data collection भी reproduce किया जाता, लेकिन हम perfect दुनिया में नहीं रहते
drug clinical trials भी ऐसे ही हैं। कंपनियाँ दावा करती हैं कि raw data trade secret है, इसलिए clinical trial raw data पाने की लड़ाई हमेशा चलती रहती है। इसलिए independent verification बहुत महँगा है, लेकिन अगर FDA edited conclusions और कुछ supporting material के बजाय collected data का 100% disclosure माँगे, तो मुझे लगता है कि यह कहीं बेहतर होगा
उदाहरण के लिए FDA ने कहा था कि COVID vaccine clinical trial का raw data जारी करने में दशकों लगेंगे। ऐसा क्यों होना चाहिए। वह भी lawsuit के ज़रिए मजबूर किए जाने के बाद की बात थी
computer science graduate school के दौरान मैंने काफी समय papers की implementation details पर लगाया, लेकिन बार-बार यह समझ आया कि papers ने technique की कमियों और failure cases का पूरा ज़िक्र नहीं किया था। कुछ शानदार exceptions भी हैं
publish or perish के दबाव के कारण research में ईमानदारी बहुत कम है। सौभाग्य से कुछ लोग अपना काम पारदर्शी रूप से publish करते हैं, लेकिन कुल मिलाकर science transparency की कमी और failed reproduction से भरे research के समुद्र में डूबी हुई है
CI/CD आपको production environment में कुछ डालने के लिए build और deployment के तरीके को ठीक-ठीक code के रूप में परिभाषित करने पर मजबूर करता है। Docker और virtual machines ऐसी “मेरी machine” देते हैं जिसे आसानी से copy और share किया जा सकता है, यानी इस समस्या को bypass करने का तरीका
प्रोग्रामिंग भाषा के क्षेत्र में conferences ने लेखकों को packaged artifacts जमा करने की अनुमति देना शुरू किया है। आम तौर पर ये source code, input data, training data वगैरह होते हैं, और अक्सर paper review के बाद अलग से evaluate किए जाते हैं
artifacts का मूल्यांकन आम तौर पर graduate students से बनी अलग committee करती है, और हमेशा की तरह यह सब volunteer basis पर होता है। स्पष्ट guidelines होने पर भी, उसी code को किसी दूसरे environment में चलाकर वही results पाना भी काफी मुश्किल है। अगर software techniques की “reproduction” के लिए किसी दूसरी team को शुरू से reimplementation करना पड़े, तो यह अव्यावहारिक लगता है
physics, chemistry, biology के cutting-edge experiments को किसी दूसरी lab में सफलतापूर्वक reproduce कराने के लिए निर्देश लिखना कितना कठिन होगा, इसकी कल्पना भी नहीं की जा सकती। यह सिर्फ specialized equipment का मामला नहीं है, बल्कि science की boundary पर, state-of-the-art research में होने वाली चीज है
ऐसे सुझाव किसी ऐसे non-scientist ने लिखे लगते हैं जिसने किसी भी field की peer review process का अनुभव नहीं किया। वास्तविकता ऐसे नहीं चलती
“hard” sciences में reproduction अक्सर इतना कठिन नहीं दिखता। LK-99 एक दिलचस्प case है; भले ही अधिकांश लोग सहमत थे कि paper जल्दबाजी में लिखा गया था और details कम थीं, फिर भी लोग experiments को सफलतापूर्वक reproduce करते दिखे। यह cutting-edge science थी, लेकिन reproduction अपने आप में समस्या नहीं था। ज्यादातर science LHC नहीं है
reproduction की असली समस्या ज्यादा “soft” fields में मिलती है। वहां यह सिर्फ randomness या experiment की difficulty का मुद्दा नहीं है। सिद्धांततः भी unreproducible papers या पूरे fields अक्सर दिखते हैं। researchers यह नहीं मानते कि दूसरों को उनका काम reproduce कर पाना चाहिए, या कभी-कभी reproduction को रोकने की कोशिश करते हैं। सबसे आम तरीका है data को unreproducible तरीके से इकट्ठा करना और जानबूझकर public न करना, और कभी-कभी research design खुद ही समस्या होता है
इसे देखकर सबसे स्वाभाविक निष्कर्ष यह है कि वे reproduction attempts नहीं चाहते क्योंकि उन्हें पता है कि उनके दावे सच न होने की संभावना है
इसलिए peer reviewers या journals अगर बहुत basic चीजें भी check करें—जैसे कि यह दावा सिद्धांततः भी reproducible है या नहीं—तो यह अच्छी शुरुआत होगी। फिर भी ऐसे papers बचेंगे जो ठीक से reproduce तो होते हैं लेकिन conclusions गलत होते हैं, जिनकी methodology illogical होती है, या जो इतने obvious होते हैं कि reproduce हो जाते हैं, लेकिन आसानी से सुधारे जा सकने वाले मामले बहुत ज्यादा हैं
peer review गलत problem का सही solution है: https://open.substack.com/pub/experimentalhistory/p/science-...
reproduction एक मूल्यवान goal है, लेकिन career incentives होने चाहिए। मुझे लगता है कि ज्यादातर programs में research reproduction को curriculum का हिस्सा बनाना चाहिए। यह PhD की ओर बढ़ने का एक step हो सकता है, किसी paper के बदले
strong link बनाम weak link का अंतर कुछ वैसा ही है जैसे कुछ cultures stimulants को नापसंद करती हैं, और दूसरी cultures relaxants को नापसंद करती हैं