AI टूल्स शोध-पत्रों में त्रुटियाँ खोज रहे हैं

 (nature.com)
14 पॉइंट द्वारा GN⁺ 2025-03-09 | 5 टिप्पणियां | WhatsApp पर शेयर करें
  • हाल के समय में AI टूल्स शोध-पत्रों में गणना, methodology और references की त्रुटियाँ खोज रहे हैं
  • पिछले साल, यह शोध-निष्कर्ष रिपोर्ट किया गया था कि काले प्लास्टिक के cooking utensils में cancer पैदा करने वाले chemicals शामिल हैं
    • लेकिन शोध की गणितीय त्रुटि के कारण यह सामने आया कि वास्तविक chemical concentration सुरक्षित सीमा से 10 गुना कम थी
    • artificial intelligence (AI) मॉडल इस त्रुटि को कुछ ही सेकंड में खोज सकता था

AI-आधारित शोध-पत्र त्रुटि-पहचान परियोजनाएँ

Black Spatula Project

  • open source AI टूल से लगभग 500 papers का विश्लेषण कर त्रुटियाँ खोजी गईं
  • कोलंबिया के स्वतंत्र AI researcher Joaquin Gulloso इस project का समन्वय कर रहे हैं, और इसमें 8 developers तथा सैकड़ों advisors शामिल हैं
  • त्रुटियों की सूची सार्वजनिक नहीं की गई है, और त्रुटि मिलने पर researchers से सीधे संपर्क कर सुधार के लिए प्रेरित किया जा रहा है

YesNoError

  • Black Spatula Project से प्रेरित होकर शुरू किया गया project
  • founder और AI entrepreneur Matt Schlicht के नेतृत्व में
  • dedicated cryptocurrency से funded और संचालित
  • अब तक लगभग 37,000 papers का दो महीनों में विश्लेषण पूरा
  • जिन papers में त्रुटियाँ मिली हैं, उन्हें website पर चिह्नित किया जाता है, लेकिन अधिकांश अभी expert verification से पहले की स्थिति में हैं
  • दीर्घकाल में ResearchHub (cryptocurrency के जरिए PhD researchers को reward देने वाला platform) के साथ मिलकर त्रुटियों के verification की योजना

शोधकर्ताओं और journals को AI टूल्स के उपयोग के लिए प्रोत्साहन

  • papers submit करने से पहले researchers और papers प्रकाशित करने से पहले journals को AI टूल्स से पहले ही त्रुटियाँ खोजने के लिए प्रोत्साहित किया जा रहा है
  • त्रुटियों और research misconduct की रोकथाम के जरिए scientific reliability मजबूत होने की उम्मीद

अकादमिक जगत की प्रतिक्रिया और चिंताएँ

  • research integrity experts ने इन projects पर सावधानीपूर्वक सकारात्मक प्रतिक्रिया दी है
  • Tilburg University की researcher Michèle Nuijten ने यह चिंता जताई:
    • यदि AI टूल्स की accuracy स्पष्ट रूप से verify नहीं की गई, तो गलत त्रुटि-आरोप की स्थिति में reputation को नुकसान पहुँच सकता है
  • Linnaeus University के forensic metascientist James Heathers ने समर्थन में कहा:
    • "खराब papers को retract करने की तुलना में उन्हें लिखना कहीं आसान है"
    • AI papers को screen करने और आगे की review को प्रेरित करने में उपयोगी हो सकता है

AI टूल्स कैसे काम करते हैं

  • papers में त्रुटियाँ खोजने के लिए large language model (LLM) का उपयोग
    • papers से tables, images आदि की जानकारी निकालने के बाद complex commands (prompts) बनाए जाते हैं
    • AI मॉडल papers का कई बार विश्लेषण कर विभिन्न प्रकार की त्रुटियाँ खोजते हैं और परिणामों का cross-verification करते हैं
    • paper analysis cost: paper की लंबाई और prompt की जटिलता के अनुसार 15 cents से कुछ dollars तक

False Positive की समस्या

  • Black Spatula Project → लगभग 10% false positives
    • सभी त्रुटियों के लिए expert verification ज़रूरी → experts की कमी सबसे बड़ा bottleneck
  • YesNoError → 10,000 papers में गणितीय त्रुटियों के 100 verified मामलों में 90% से अधिक वास्तविक त्रुटियाँ निकलीं
    • YesNoError false positive rate कम करने पर काम कर रहा है और अकादमिक जगत से लगातार feedback ले रहा है

False Positive समस्या पर आलोचना

  • Linnaeus University के researcher Nick Brown:
    • YesNoError द्वारा विश्लेषित 40 papers में से 14 में false positives पाए गए → अधिकांश writing issues थे
    • मामूली त्रुटियों के कारण अकादमिक जगत पर अनावश्यक बोझ पड़ सकता है
    • "जब तक technology में बड़ा सुधार नहीं होता, तब तक स्पष्ट लाभ के बिना बहुत काम करना पड़ेगा"

AI टूल्स की आगे की चुनौतियाँ और उम्मीदें

  • YesNoError ऐसी व्यवस्था लाने की योजना में है जिसमें cryptocurrency holders यह तय करेंगे कि किन papers की review प्राथमिकता से हो
    • राजनीतिक रूप से संवेदनशील विषयों (जैसे climate science) के papers target बनने की संभावना है
  • Brown researcher: "यदि AI टूल्स सच में प्रभावी साबित होते हैं, तो कुछ शोध क्षेत्रों में बड़ा बदलाव आ सकता है"

संबंधित पढ़ाई

5 टिप्पणियां

 
dbs0829 2025-03-10

कम-गुणवत्ता वाले शोध-पत्र तो छंट जाएंगे, लेकिन दूसरी ओर अच्छे शोध-पत्रों के लिए भी बाधाएं बढ़ने से वे तुलनात्मक रूप से कम रचनात्मक हो सकते हैं—यह चिंता होती है। तर्क में कुछ खामियां हों तब भी, उन्हीं से नए विचार पैदा होते हैं, इसलिए व्यक्तिगत रूप से मुझे यह बहुत स्वागतयोग्य नहीं लगता।
 
mcdasa 2025-03-09

AI भी गलत हो सकता है, तो AI ने जिन बातों की ओर इशारा किया है वे गलत नहीं हैं, यह कैसे सत्यापित किया जाएगा—यह जानने की उत्सुकता है।
 
ndrgrd 2025-03-09

LLM के आम होने के साथ, उन क्षेत्रों में बहुत बड़े बदलाव आ रहे हैं जहाँ ज़्यादातर मांग सूचना की असमानता से पैदा होती थी।
 
bus710 2025-03-09

सोचता हूँ कि मानवता के तरह-तरह के धर्मग्रंथों का भी विश्लेषण करवाकर देखा जाए, हाहा
 
GN⁺ 2025-03-09
Hacker News राय

  • अगर AI प्रकाशित शोध-पत्रों में स्पष्ट त्रुटियाँ खोज सकता है, तो इसे समीक्षा प्रक्रिया के हिस्से के रूप में इस्तेमाल किया जा सकता है। लेखक सबमिट करने से पहले अपने काम पर इसका उपयोग कर सकते हैं, जिससे पेपर की गुणवत्ता काफी बढ़ सकती है

    • महत्वपूर्ण बात यह है कि विशेषज्ञ, यानी लेखक और peer reviewers, इस प्रक्रिया में शामिल हों। वे false positives को आसानी से नज़रअंदाज़ कर सकते हैं, लेकिन सांख्यिकीय गलतियों या अपने विशेषज्ञता क्षेत्र के बाहर के हिस्सों के बारे में चेतावनी पा सकते हैं

  • फिलहाल YesNoError वेबसाइट में बहुत सारे false positives शामिल हैं। Linnaeus University के शोधकर्ता Nick Brown ने बताया कि 40 समस्याग्रस्त पेपरों में से 14 false positives थे

    • ज़्यादातर समस्याएँ लेखन-संबंधी लगती हैं, और कहा गया है कि कई detections गलत थे
    • चेतावनी दी गई है कि जब तक यह तकनीक बहुत बेहतर नहीं होती, यह बिना स्पष्ट लाभ के बहुत सारा काम पैदा करेगी

  • चूँकि अभी AI अगुवाई कर रहा है, लोग सोच सकते हैं कि यह धोखाधड़ी या गलत तर्क की जाँच कर रहा है। वास्तव में यह self-consistency और training data के साथ consistency की जाँच करता है

    • यह टाइपो, भ्रामक अभिव्यक्तियों, तथ्यों और diagrams के cross-validation के लिए अच्छा हो सकता है, लेकिन fabricated data या plausible लेकिन गलत निष्कर्षों पर यह ज़्यादा योगदान नहीं देगा

  • AI का उपयोग करके वापस लिए गए शोध-पत्रों के प्रभाव को मैप करने का विचार प्रस्तावित किया गया। वापस लिए गए पेपरों में उन निष्कर्षों की पहचान की जा सकती है जिन्हें अब समर्थन नहीं मिलता, और फिर देखा जा सकता है कि वे आगे के पेपरों में कहाँ दिखाई देते हैं

  • क्या हमारी सामूहिक स्मृति बहुत छोटी है? क्या हम AI द्वारा बनाए गए bug reports से पैदा हुई समस्याओं को भूल चुके हैं?

  • Black Spatula प्रोजेक्ट में प्रमुख त्रुटियाँ पकड़ने के दो उदाहरण दिए गए

    • जटिल multi-agent pipeline की ज़रूरत नहीं थी; एक single prompt से ही ऐसी त्रुटियाँ पकड़ी जा सकती थीं

  • यह विचार अच्छा है, और इसे अपनी कंपनी की रिपोर्टों पर लागू करके मैं स्पष्ट त्रुटियों को बॉस को भेजने से पहले पकड़ना चाहूँगा

    • हालांकि, दो तरह के approaches पर ज़ोर दिया गया। एक छोटा-स्तरीय approach है, जिसमें पहले publish किए बिना लेखकों से निजी तौर पर संपर्क किया जाता है। दूसरा है पहले publish करना, बिना human review के, और अपनी खुद की cryptocurrency रखना

  • YesNoError की योजना है कि cryptocurrency holders तय करें कि किन पेपरों की पहले समीक्षा होगी

  • यह विचार बहुत बुरा है। पहले सेक्शन को छोड़कर "false positives" सेक्शन पढ़ना चाहिए

  • इस value को लेकर बहुत संदेह है। AI "review" की वजह से पहले ही निराधार दावों का जवाब देने में समय बर्बाद हुआ है। ऐसे दावे पहले भी रहे होंगे, लेकिन text generators सही शब्दावली के साथ ऐसे hallucinate कर सकते हैं कि आम लोग और शौकिया लोग भी मान जाएँ, इसलिए उनसे निपटना और ज़्यादा झंझटभरा हो गया है