दुनिया के सबसे पुराने विश्वविद्यालयों में से एक के नए प्रमुख द्वारा citation cartel संगठित करने के संकेत
(english.elpais.com)- शैक्षणिक citations जिस व्यवस्था में प्रतिष्ठा, प्रमोशन, वेतन और बड़े projects को प्रभावित करती हैं, उसमें University of Salamanca के नए rector Juan Manuel Corchado द्वारा संगठित reciprocal citations के जरिए अपना प्रभाव बढ़ाने के संकेत सामने आए
- आंतरिक messages में master’s theses, final projects, dissertations, journals और conference papers में Corchado के papers और उनके द्वारा edit किए जाने वाले ADCAIJ के papers जोड़ने के निर्देश दर्ज हैं
- कुछ papers में विषय से असंबंधित references तक शामिल थे, और Corchado या ADCAIJ citations का अनुपात 97~100% तक पहुंच गया; power distribution network security पर paper में भी bladder cancer, ocean CO₂ और oil spill research शामिल थी
- Springer Nature ने कहा कि वह मामले की समीक्षा करेगा, और Elsevier ने Corchado व 3 collaborators द्वारा 2019 में प्रकाशित research को master’s thesis plagiarism के कारण पहले ही retract कर दिया है
- Spain की Research Ethics Committee द्वारा जांच शुरू करने के साथ, experts इस मामले को researcher evaluation system और universities के internal monitoring mechanisms की कमजोरियों को दिखाने वाला उदाहरण मान रहे हैं
आंतरिक messages से सामने आए citation निर्देश
- Juan Manuel Corchado University of Salamanca के rector नियुक्त किए गए व्यक्ति हैं, और पहले उन्होंने खुद को Spain में 4वें और दुनिया में 247वें स्थान के computing researcher के रूप में प्रचारित किया था
- इस ranking में उछाल के पीछे एक citation cartel के काम करने की बात कही जा रही है—यानी scientists का ऐसा समूह जो एक-दूसरे के papers cite करता है
- आंतरिक messages में Corchado के group द्वारा हर paper में Corchado स्वयं या उनके द्वारा edit किए जाने वाले Advances in Distributed Computing and Artificial Intelligence Journal (ADCAIJ) को cite करने के निर्देश शामिल हैं
- 7 जून 2017 को एक assistant ने master’s theses, final projects, dissertations आदि में संलग्न Word document से Corchado के 20 references और ADCAIJ के 10 papers जोड़ने का निर्देश दिया
- attached file में Corchado के लगभग 50 papers शामिल थे
- उसी assistant ने जोड़ा कि references को “copy-paste” करना आसान रहे, इसलिए वे attach किए जा रहे हैं
- 26 जुलाई 2017 को एक अन्य assistant ने अगले journal या conference papers में Corchado के papers cite करने का निर्देश भेजा
- attached list की शुरुआत में oil spill से जुड़ा Corchado का paper था
references में दोहराया गया असामान्य pattern
- 9 जनवरी 2019 को Roberto Casado Vara ने power distribution network computer security पर paper प्रकाशित किया, और 31 references में से 29, यानी 94%, Corchado के papers थे
- references में paper के विषय से असंबंधित bladder cancer risk, ocean CO₂, oil spill और microalgae red tide studies शामिल थीं
- उसी दिन Casado Vara द्वारा प्रकाशित 3 papers में references का 97~100% हिस्सा Corchado या ADCAIJ citations से भरा था
- Casado Vara वह व्यक्ति हैं जिनके PhD supervisor Corchado थे, और PhD defense के 3 साल बाद 2022 में वे Stanford University की cited researchers list में शामिल हुए
- Scopus analysis में पाया गया कि Corchado के collaborators ने 75 publications में Corchado का लगभग 1,700 बार और ADCAIJ का 520 बार उल्लेख किया
- Pedro Tomás Nevado-Batalla के public administration modernization से जुड़े research ने Corchado के 42 papers और ADCAIJ के 7 papers cite किए
- उस paper के citations में से 92% Corchado या उनकी journal के लिए थे
- Nevado-Batalla ने कहा कि उन्हें अपने काम में ऐसे references जोड़े जाने की जानकारी नहीं थी और वे स्पष्टीकरण मांगेंगे
publishers और research ethics जांच
- Springer publisher के conference proceedings का इस्तेमाल Corchado द्वारा self-citation bundles जोड़ने के साधन के रूप में किया गया
- Springer Nature के Research Integrity Director Chris Graf ने कहा कि वे मामले की “बहुत सावधानी से” समीक्षा करेंगे
- उन्होंने कहा कि जांच के बाद उचित होने पर editorial action लिया जाएगा
- Elsevier ने Corchado और 3 collaborators द्वारा 2019 में प्रकाशित research को पहले ही retract कर दिया है
- retraction का कारण master’s thesis plagiarism था
- EL PAÍS की report के बाद Spain के Ministry of Science ने घोषणा की कि Spanish Research Ethics Committee ने Corchado पर जांच शुरू कर दी है
- Corchado ने University of Salamanca के official channels पर anonymous statement के जरिए अपनी “honor and scientific integrity” का बचाव किया और अपनी publication impact का आकलन Scopus और Web of Science में करने की सलाह दी
online accounts और repository manipulation के आरोप
- Corchado पर अपने publications में हजारों self-citations जोड़ने और group members से खुद को cite करने की मांग करने के अलावा, अस्तित्वहीन scientists के fake online accounts से लाभ उठाने का भी आरोप है
- ResearchGate पर Devika Rout, Marcus Ress जैसे nonexistent researcher accounts ने Corchado के research का बार-बार उल्लेख किया
- मार्च के बाद Corchado ने ऐसे fake profiles को बड़े पैमाने पर delete किया, और University of Salamanca के Gredos repository पर डाली गई साफ तौर पर manipulated publications भी delete कीं
- 13 मार्च को phone interview में Corchado ने कहा कि उन्हें cite करने वाले fake online accounts “20~30” हैं
- उन्होंने समझाया कि ये accounts उन्हें नुकसान पहुंचाने की मंशा रखने वाले असंतुष्ट former employees ने बनाए थे
- फिर उन्होंने यह भी समझाया कि “एक young man” ने ResearchGate manipulation की संभावना दिखाने के लिए इन्हें बनाया था
- ResearchGate के spokesperson ने कहा कि उन्हें किसी computer attack की जानकारी नहीं है, और profile deletion केवल password रखने वाला creator ही कर सकता है
experts की प्रतिक्रिया और university election
- University of Salamanca की स्थापना 1218 में हुई थी, और University of Vigo के former rector व citation cartel expert Domingo Docampo ने आलोचना की कि Corchado को ऐसे पद के लिए चुनाव नहीं लड़ना चाहिए था
- उन्होंने कहा कि वास्तविक सामग्री से खाली publications citation farm का माध्यम बन गईं, और यह एक pyramid-like structure है जिसके शीर्ष पर ऐसा व्यक्ति है जिसका paper signatories पर प्रभाव है
- University of Santiago de Compostela के Alberto Ruano ने इसे “textbook citation cartel case” कहा
- उनका मानना है कि Corchado representative institution को नुकसान पहुंचा रहे हैं, और इसका असर University of Salamanca की credibility तथा पूरे Spain के university professors पर भी पड़ता है
- उन्होंने Ministry और Conference of Rectors of Spanish Universities से ऐसे मामलों से बचने के लिए कदम उठाने का आग्रह किया
- Corchado ने former rector के अचानक इस्तीफे के बाद एकमात्र candidate के रूप में चुनाव लड़ा और 7 मई के election में जीत हासिल की
- eligible 33,000 voters में से 6.5% का समर्थन मिला
- faculty के आधे सदस्यों ने protest के रूप में blank vote डाला
- Corchado ने 2018 में private institution AIR Institute बनाया, जो Castilla y León regional government द्वारा दिए गए करोड़ों euro के projects manage करता है
evaluation system reform पर चर्चा
- science evaluation methodology expert Ismael Ràfols का मानना है कि बहुत अधिक publications और बहुत अधिक citations को ऊंचा मानने वाली system ऐसी corruption को जन्म देती है
- Ràfols ने कहा कि Europe में reform process शुरू हो चुकी है, लेकिन Spain में अभी बहुत काम बाकी है
- Spain के university system की watchdog agency ANECA researchers को output-centric तरीके से evaluate न करने की दिशा में बदल रही है
- ANECA की Pilar Paneque का मानना है कि reforms खराब practices को रोकेंगे और researchers, खासकर young researchers, पर दबाव कम करेंगे
- Paneque ने जोर दिया कि scientific integrity और research ethics की दिशा में प्रगति हर institution की responsibility और control से शुरू होनी चाहिए
- उनका रुख है कि हर university अपने researchers के outputs को अच्छी तरह जानती है, इसलिए abnormal behavior को आसानी से detect कर सकती है
1 टिप्पणियां
Hacker News की राय
लगता है यह सब खुलेआम हुआ, और जैसे इसे साबित करने के लिए, अकेले उम्मीदवार वाले प्रोफेसर वोट में विरोध के तौर पर 50% वोट खाली पड़े। यानी वहाँ मौजूद लोग सब जानते थे
इस स्कैंडल पर “डिटेक्शन algorithm कैसे डिजाइन करें” पूछना मुझे पूरी तरह गलत दिशा लगता है। ऐसे citation clique इतने खुले होते हैं कि detection अपने-आप में लगभग मामूली समस्या है; असली कठिन और अनसुलझी समस्या research universities की work culture है
[0] https://retractionwatch.com/2022/03/25/how-critics-say-a-com... ("How critics say a computer scientist in Spain artificially boosted his Google Scholar metrics")
मुझे लगता है लोग algorithmic जवाब इसलिए पसंद करते हैं क्योंकि वे वास्तविक शक्ति के विकल्प जैसे लगते हैं। अगर आप खुद में बुरी चीज़ों को ठीक करने की ताकत पाने की कल्पना नहीं कर सकते, तो कम से कम कोई logical structure गढ़ सकते हैं जो शायद अपने-आप ठीक कर दे
मेरे हिसाब से कई technologists algorithm से ज़्यादा राजनीतिक ताकत हासिल करने पर ध्यान दें तो उनका असर कहीं बड़ा हो सकता है
इस मामले में भी ऐसा लगता है कि वे यह सब जारी रखते हुए साथ-साथ press release निकालना चाहते थे कि “हम उस बुरी चीज़ को detect करने में सबसे आगे हैं जिसे हम सब जानते हैं”
यह कुछ वैसा ही हास्यास्पद है जैसे Sam Bankman-Fried की माँ Stanford ethics board में हों
Rafael Luque को खुलेआम बेईमानी के कारण नहीं, बल्कि King Abdulaziz University को अपनी primary affiliation लिखने के कारण 13 साल के लिए नौकरी और वेतन से suspend किया गया, क्योंकि इससे उनकी अपनी university नाराज़ हो गई थी [1]। KAU को इस तरह citations खरीदने वाली जगह के तौर पर जाना जाता है [2]
एक और उदाहरण Francisco Herrera Triguero हैं [3]। वे कई सालों से KAU को secondary affiliation के रूप में लिखते आ रहे थे, लेकिन दूसरे व्यक्ति का मामला सामने आने के बाद भी उनके साथ कुछ नहीं हुआ
इसलिए शायद और algorithms बनाने के बजाय ऐसे मामलों पर public scrutiny की ज़्यादा जरूरत है
[1] (Spanish): https://elpais.com/ciencia/2023-03-31/suspendido-de-empleo-y...
[2] https://liorpachter.wordpress.com/2014/10/31/to-some-a-citat...
[3] (Spanish): https://www.elsaltodiario.com/universidad/papers-y-mas-paper...
अगर यह कोई चतुर गुप्त cartel होता जो plausible references को कई लोगों और papers में फैला देता, तो कम से कम समझ आता; लेकिन यहाँ तो बस इस व्यक्ति के घटिया papers को cite करने की बात है
citation count और h-index metrics में भी निश्चित रूप से सुधार की जरूरत है। clique detection से ऐसे citations को कम weight देना मामूली काम होना चाहिए
जब तक स्पष्ट शक न हो, कोई भी सभी citations और papers को systematic तरीके से check नहीं करता। researchers, graduate students और professors में से किसी के पास भी इतना सब करने के लिए बहुत ज्यादा papers होते हैं
universities के पास ऐसा करने के resources नहीं होते। इसका मतलब होगा कई dedicated लोगों को full-time लगाना, और तब भी थोड़े अधिक sophisticated मामलों को नहीं पकड़ा जा सकेगा। जैसे, lab students के हर paper में professor का mandatory citation होना
मुझे हैरानी है कि लोग कैसे सोचते हैं कि कोई एक professor साल में 20–30 journal papers निकाल सकता है। यह काफी आम है और बल्कि कम संख्या है, जबकि एक paper लिखने और review पास कराने में भी सबसे अच्छे मामले में कई महीने, और बड़े journals में सबसे बुरे मामले में 2 साल तक लग सकते हैं
असली काम graduate students और assistant professors करते हैं, और professor का नाम सम्मान के तौर पर authors list में डाल दिया जाता है, या सबसे खराब स्थिति में ऐसा करने का निर्देश दिया जाता है। यह बेहद आम practice है
मैंने खुद ऐसे व्यक्ति को देखा है जिसने graduate students पर दबाव डालकर वह काम अपने credit में डलवाया जो उसने किया ही नहीं, और इस तरह लगभग नकली academic career बना लिया। वह लगभग सफल हो गया था, लेकिन Europe की एक prestigious university की tenure review committee में एक professor पहले उसके साथ काम कर चुका था और जानता था कि कागज पर दिखने वाली उसकी शानदार research record कैसे बनी, इसलिए उसने veto कर दिया
ऊपर से impact factor जैसे ज्यादातर metrics बस numbers ही होते हैं। आप देख नहीं सकते कि वे किससे calculate हुए हैं। research हमेशा individual integrity और honesty पर बनी रही है, और इसका फायदा उठाने वाले सड़े हुए सेब हमेशा मौजूद रहते हैं
प्रेरणाएँ और दांव पर लगी चीज़ें—यानी career, नौकरियाँ, research funding वगैरह—इतनी विकृत हैं कि लगता है बहुत से लोग इस तरह की बेईमानी की ओर धकेल दिए जाते हैं
citations funding खींचकर लाते हैं, और funding संस्थानों के लिए आकर्षक होती है
publishers के पास इसे ठीक करने की कोई वजह नहीं है, और वे research misconduct से काफ़ी बड़ा लाभ कमाते हैं
ऐसी चीज़ें भी बहुत आम हैं। Macchiarini के फर्जी paper को retract होने में बहुत लंबा समय लगा था, और Alzheimer plaques से जुड़े कुछ foundational papers के साथ भी ऐसा ही हुआ था
किसी गुट और एक ही विषय पर काम करके एक-दूसरे को cite करने वाले लोगों के समूह में आप फर्क कैसे करेंगे?
Corchado मामला बस एक बेहद “black-and-white” उदाहरण है; पूरी समस्या कहीं ज़्यादा subtle है
उदाहरण के लिए, किसी छोटे community के भीतर implicit citation cartel और thought leaders के समूह के बीच कोई साफ़ रेखा नहीं है। छोटे community में leader बन जाने पर broader visibility मिलना, funding हासिल करना, और पर्दे के पीछे के decision-making को प्रभावित करना भी कहीं आसान हो जाता है
एक मायने में Corchado अपेक्षाकृत कम नुकसानदेह है, क्योंकि सबको पता है कि वह clown है। European AI community में उसके पास कहने को ज़्यादा कुछ नहीं है। असली समस्या वह grey area है जो सबको प्रभावित और दूषित करती है, और उसमें फलने-फूलने वाले लोग हैं
वह व्यक्ति सचमुच भ्रष्ट है। article में यह नहीं बताया गया कि University ने उसे hire क्यों किया और अभी तक निकाला क्यों नहीं, और यही बात मुझे बहुत curious लगती है
हम अक्सर मानते हैं कि इंसान rigor और planned systems को बनाए रखने में असफल रहते हैं
आम तौर पर हम मानते हैं कि बहुत से lawyers और politicians भ्रष्ट हैं, और यह भी कहते हैं कि कई incentives लोगों को उसी दिशा में धकेलते हैं। लेकिन जब यही बात science, academia, medicine, religion, sports, engineering में होती है, तो लोग चौंकते हैं या इसे scandal की तरह लेते हैं
हम सब बस इंसान ही हैं। इस मामले में उस व्यक्ति ने अपनी position बढ़ाने वाले metric optimization किए। क्या यह गलत है? हाँ। क्या उसे कोई ज़िम्मेदारी दी जानी चाहिए? नहीं। क्या यह अनोखा मामला है? नहीं
इस व्यक्ति पर और links वाला एक छोटा लेख है: https://forbetterscience.com/2024/05/03/schneider-shorts-3-0...
citation mills और paper mills काफ़ी आम हैं और अच्छा पैसा भी दिला सकते हैं। Elsevier, Springer जैसी जगहों को इन्हें रोककर कुछ खास हासिल नहीं होता
लगता है वह असाधारण रूप से मूर्ख था कि उसने लिखित रूप में स्पष्ट कर दिया जो बहुत से academics चुपचाप और implicit तरीके से करते हैं
लोग दोस्तों या अपने ही field के लोगों को cite करते हैं, और implicit mutual reward भी काम करता है। citation वाला research current paper से मुश्किल से जुड़ा हो, तब भी वे ऐसा करते हैं
citation की practice खुद भी बहुत अजीब है। मैंने कई बार researchers को paper लिखते समय cite करने के लिए काम search करते देखा है। Google के top results cite हो जाते हैं, भले ही उन्होंने वह paper पहले कभी पढ़ा न हो। वे बस “machine learning को medicine में apply किया गया है” जैसे काफी generic claim के लिए citation ढूंढ रहे होते हैं
मुझे यह भी पक्का नहीं कि ऐसे citations खराब practice हैं। आखिर sentence के साथ supporting citation होना चाहिए। लेकिन नतीजा यह होता है कि किसी paper को cite किया गया—मसलन ML और Cancer search में Google पर ऊपर आने वाला paper cite हुआ—इसका मतलब यह नहीं रह जाता कि वह paper सच में meaningful, reliable या important scientific contribution है
इस तरह की political citation जानबूझकर fraud के बिना भी होती है
grad school के दिनों में common knowledge था कि अगर paper pass कराना है, तो program committee और influential reviewers के papers cite करने होंगे। भले ही मुझे लगे कि उनका काम मेरे काम से खास संबंधित नहीं है
यह उतना extreme नहीं है जितना कोई explicit clique लोगों से करवाती है, लेकिन distortion का कुछ हिस्सा वैसा ही है। high-status लोग high-status इसलिए हैं क्योंकि उन्हें बहुत cite किया जाता है, और फिर उन्हें इसलिए cite करना पड़ता है क्योंकि वे high-status लोग हैं
मुझे समझ नहीं आता कि past में झेली गई बेवकूफी को आप क्यों normalize करना चाहते हैं
उच्च academia या grad-school के बाद की शिक्षा से न गुज़रने वाले बहुत से लोगों का शायद higher education में काम करने वालों को समाज के लिए महान काम करने वाले, निर्दोष और महान व्यक्तियों के रूप में देखने का नजरिया था
उम्र बढ़ने, ऐसे लोगों से अधिक संपर्क होने और ऐसे articles पढ़ने के बाद, अब मेरा नजरिया बन गया है कि उनमें से काफी लोग monsters हैं और धरती पर सबसे पागलपन भरे ढंग से narcissistic और abusive लोग हैं
वे feudal fiefdoms चलाते हैं और money, prestige तथा अपने नीचे वालों पर power रखते हैं। और चूँकि वे smart लोग हैं, इसलिए काम करते हुए अपने आसपास के लोगों को कहीं ज़्यादा नुकसान पहुँचाने की क्षमता भी रखते हैं
बहुत से “boring” और “unsexy” fields भी हैं, जहाँ काम और community काफ़ी relaxed और procedural तरीके से चलते हैं
इसके उलट बहुत hot और competitive fields एक खास तरह के लोगों को attract करते हैं
और toxic या कठोर scientists भी, अगर वे desired results दे रहे हों, तो अक्सर खुलकर राज करते रहते हैं
यह पूरा perspective नहीं है, लेकिन मैंने कई universities के लोगों से बातें सुनी हैं। एक university से आए व्यक्ति ने कहा कि हाल की faculty hiring से वह प्रभावित नहीं था, लेकिन वहाँ के एक खास, holistic रूप से शानदार professor के लिए वह “गोली भी खा लेगा”
अधिकतर academics बस लोगों के normal distribution के करीब लगते हैं। वे average व्यक्ति से अधिक educated हैं, कुछ मायनों में smarter हो सकते हैं, लेकिन superhuman intelligence नहीं है, और बाकी इंसानों की तुलना में saints के ज़्यादा करीब होने की संभावना भी नहीं दिखती
कई professors से काफी hustle भी अपेक्षित होता है, इसलिए उनके पास उस benevolent, wise university elder की भूमिका अपनाने के लिए time, energy और power कम रह जाती है, जैसा मैंने कभी कल्पना की थी
कुछ जगहों और कुछ individuals में और भी बदकिस्मत dynamics काम करते हैं। कुछ universities के पहलू ऐसे behave करते हैं जैसे कल्पना की जा सकने वाली सबसे internally toxic companies, बल्कि शायद उससे भी खराब, क्योंकि institutions और individuals की accountability कम होने की tendency होती है
बेशक कुछ स्पष्ट अपवाद होंगे, लेकिन व्यक्तिगत रूप से मैं इस निष्कर्ष पर पहुँचा हूँ कि अकादमिक जगत और विश्वविद्यालय इंसानी स्वभाव से निकल सकने वाली सबसे बुरी, विश्वासघाती और चालाक चीज़ों से भरा हुआ गंदगी का तालाब हैं। meritocracy से इसका दूर-दूर तक संबंध नहीं है, और ऐसे माहौल में कचरा ऊपर “तैरकर” आ जाता है
सच में जानना चाहता हूँ कि यह बात हाल ही में यहाँ चर्चा हुई विश्वविद्यालय डिग्री के मूल्य में गिरावट की धारणा से कैसे जुड़ती है
ये लोग बस इतने मूर्ख थे कि उन्होंने इसे लिखित में छोड़ दिया, जबकि कई जगहों पर आपसी citations का लेन-देन होता है या कोई योगदान न देने पर भी लोगों के नाम लेखक के तौर पर papers में डाल दिए जाते हैं
जब तक ऐसी चीज़ों के लिए जेल की सज़ा जैसी सज़ाएँ मिलनी शुरू नहीं होतीं, बदलाव मुश्किल लगता है