NeurIPS 2025 के स्वीकृत शोधपत्रों में GPTZero ने 100 नए hallucinated citations खोजे

 (gptzero.me)
1 पॉइंट द्वारा GN⁺ 2026-01-23 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • GPTZero के Hallucination Check टूल ने NeurIPS 2025 के 5,290 स्वीकृत शोधपत्रों में से 4,841 का विश्लेषण कर 100 से अधिक ‘hallucinated citations’ की पुष्टि की
  • कई शोधपत्रों में मौजूद ही नहीं होने वाले लेखक, गलत DOI·URL, गढ़े गए शीर्षक जैसे AI-जनित संकेत पाए गए
  • GPTZero इन त्रुटियों को ‘vibe citing’ कहता है, जिसे वह वास्तविक शोधपत्र जानकारी को मिलाकर·बदलकर विश्वसनीय दिखने वाला citation बताता है
  • सभी मामलों की मानव विशेषज्ञों ने जांच की, और टूल की false negative rate बहुत कम है (99% detection); इसके बजाय यह संदिग्ध मामलों को सावधानीपूर्वक चिह्नित करता है
  • इसे शोधपत्र लेखन और सत्यापन प्रक्रिया में AI citation error detection automation की आवश्यकता दिखाने वाले उदाहरण के रूप में देखा जा रहा है

GPTZero के NeurIPS 2025 शोधपत्र विश्लेषण के नतीजे

  • GPTZero ने NeurIPS 2025 में स्वीकृत 5,290 शोधपत्रों में से 4,841 को स्कैन कर 100 से अधिक hallucinated citations खोजे
    • हर मामले की मानव सत्यापन के जरिए पुष्टि हुई कि citation वास्तव में मौजूद नहीं था
    • उदाहरण के तौर पर, ऐसे कई citation मिले जिनमें अस्तित्वहीन journal नाम, लेखक नाम और DOI शामिल थे
  • GPTZero इन citation त्रुटियों को AI-जनित संकेत (vibe citing) के रूप में वर्गीकृत करता है
    • वास्तविक शोधपत्र शीर्षक और लेखकों को जोड़कर या बदलकर बनाए गए नकली citation इसका प्रमुख रूप हैं
    • कुछ मामलों में वास्तविक शोधपत्रों जैसे शीर्षक इस्तेमाल हुए, लेकिन वर्ष·स्रोत·लेखक असंगति से उनकी पहचान हुई

‘Vibe Citing’ की परिभाषा और प्रकार

  • GPTZero ‘vibe citing’ को “generative AI द्वारा वास्तविक स्रोतों को जोड़कर·बदलकर बनाया गया citation” के रूप में परिभाषित करता है
    • इसमें लेखक नाम·शीर्षक·प्रकाशक·DOI को गढ़ने या मिलाकर बनाने वाले मामले शामिल हैं
    • कुछ मामलों में वास्तव में मौजूद शोधपत्र का आंशिक citation किया जाता है, या नकली journal नाम बना दिए जाते हैं
  • इसके विपरीत, साधारण typo·dead link·छूटे हुए page number जैसी चीजों को मानवीय त्रुटि मानकर बाहर रखा गया
  • GPTZero ने वास्तविक, दोषपूर्ण और hallucinated citation के अंतर को तुलनात्मक तालिका में दिखाया
    • उदाहरण: “Deep learning” शोधपत्र को “Samuel LeCun Jackson. Deep learning. Science & Nature, 2021.” में बदलने वाले मामले को hallucinated citation माना गया

Hallucination Check टूल की क्षमता

  • Hallucination Check citation verification को automate करने वाला AI-आधारित detection system है
    • यह ऐसे citation को अपने-आप चिह्नित करता है जिन्हें ऑनलाइन सत्यापित नहीं किया जा सकता
    • यह लेखकों·संपादकों·reviewers को citation त्रुटियों की तेज़ी से समीक्षा करने में मदद करता है
  • उपयोग के चरण
    1. लेखक submission से पहले शोधपत्र के citation की स्वतः जांच करें
    2. reviewer अप्रमाणित citation को जल्दी पहचानें
    3. conference·journal संपादकीय टीम AI Detector के साथ मिलाकर AI लेखन संकेत और citation त्रुटियां एक साथ पकड़ सकती है

GPTZero की सत्यापन सटीकता

  • Hallucination Check की false negative rate बहुत कम है (99% detection accuracy)
    • यानी, वास्तविक hallucinated citation छूट जाने की संभावना बेहद कम है
    • हालांकि सावधानीपूर्ण detection के कारण false positive rate कुछ अधिक हो सकती है
  • GPTZero ने ICLR 2026, Deloitte रिपोर्ट आदि में भी इसी तरीके से AI citation त्रुटियों के कई दर्जन मामले खोजे

अकादमिक जगत और प्रकाशन पारिस्थितिकी तंत्र के लिए महत्व

  • NeurIPS 2025 का यह मामला AI टूल्स के सहारे शोधपत्र लेखन के विस्तार के साथ citation reliability में गिरावट की समस्या को उजागर करता है
  • GPTZero, ICLR आयोजन समिति के साथ मिलकर भविष्य की submissions के लिए automatic paper verification system बना रहा है
  • ऐसे प्रयासों से paper review की दक्षता और पारदर्शिता बढ़ने तथा AI-जनित कंटेंट के verification framework को मजबूत करने की उम्मीद है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2026-01-23
Hacker News की टिप्पणियाँ

  • मैंने Google में एक सहकर्मी के सह-लेखक वाले एक पेपर को रैंडम तरीके से जाँचा
    जिस पेपर की ओर इशारा किया गया, वह ICLR 2024 paper था, और उसमें उद्धृत दो लेखक छूट गए थे, जबकि एक अन्य व्यक्ति (Kyle Richardson) को गलत तरीके से जोड़ दिया गया था
    यह citation पेपर के मुख्य हिस्से में नहीं, बल्कि बैकग्राउंड सेक्शन में था, और इसकी काफी संभावना है कि यह AI autocomplete के दौरान हुई एक साधारण टाइपो हो
    डेटासेट में गंभीर मामले भी हो सकते हैं, लेकिन मैंने जो देखा वह DOI जाँच से तुरंत सुधारा जा सकने वाला एक मामूली error था
    ऐसे ‘single-error’ papers को शामिल करना मुझे लेखकों की ओर से product publicity effect को अधिकतम करने की मंशा जैसा लगता है

    • इस तरह की गलती हैलुसिनेशन का एक सामान्य संकेत है, जिसे non-expert भी आसानी से जाँच सकता है
      समस्या यह है कि यह नहीं पता चलता कि क्या यही एकमात्र गलती है
      ऐसी गलती होना इस बात का संकेत है कि पेपर पर्याप्त सत्यापन के बिना submit किया गया, और यह LLM के लापरवाह इस्तेमाल का निशान है
      बाकी सामग्री को verify करने के लिए domain knowledge और reproduction experiments की ज़रूरत होगी
      अगर यह प्रवृत्ति फैलती है, तो research की reliability की बुनियाद हिलने का ख़तरा है
    • यहाँ जो analysis गायब है, वह LLM से पहले के conferences (2022~2023) से तुलना करके tool की false positive rate दिखाना है
    • आम तौर पर paper references को copy-paste करने पर author names गलत नहीं होते
      लेकिन इस मामले में वे गलत थे
      reference में hallucination होना मुझे इस बात का मज़बूत संकेत लगता है कि पूरा पेपर AI से लिखा गया है
    • यह दिलचस्प है कि ऐसी गलतियाँ आसानी से हो जाती हैं और पकड़ में भी नहीं आतीं
      केवल DOI check से ही यह पकड़ी जा सकती थी, लेकिन अभी citation verification paper review process का core procedure नहीं है
      citations को अब भी ‘narrative text’ की तरह मानने वाला trust model अब स्केल नहीं हो सकता
      मैं Duke University में citation और verification process को machine-verifiable infrastructure में बदलने वाले एक project (Liberata) पर काम कर रहा हूँ
    • मुझे नहीं लगता कि लेखकों के dataset ने hallucination के ठोस impact को लेकर कोई दावा किया था
      बल्कि ‘harmless cases’ को हटाना ज़्यादा भ्रामक होता
      data को खुद बोलने देना अधिक ईमानदार तरीका है

  • लगता है कि यह घटना scientific research पर गंभीर चोट करेगी
    पहले से ही data manipulation की समस्या है, और अगर LLM भरोसेमंद दिखने वाले papers बनाने लगे, तो स्थिति और खराब होगी
    फिर भी, शायद इससे reproducibility को अधिक गंभीरता से लेने का मौका मिले

    • reproducibility समस्या की जड़ funding की कमी है
      “पिछले साल के एक संदिग्ध paper को verify करने के लिए 2 साल और 10 लाख डॉलर चाहिए” — ऐसे proposal को funding देने वाली संस्थाएँ लगभग नहीं के बराबर हैं
      science funding allocation की संरचना बदले बिना इसका समाधान मुश्किल है
    • ज़्यादातर वैज्ञानिक reproducibility crisis को मानते हैं, लेकिन समस्या reward structure की है
      papers की संख्या से मूल्यांकन करेंगे तो low-quality papers की बाढ़ आएगी, और citations से मूल्यांकन करेंगे तो सिर्फ discovery-centered research को बढ़ावा मिलेगा
      replication studies को citations भी कम मिलते हैं, और जब प्रतिष्ठा व आजीविका ‘discoveries’ पर निर्भर हो, तो कोई भी replication में निवेश नहीं करता
    • AI शायद ऐसे structural problems को उजागर करने का अवसर बन सकता है
      Liberata जैसे projects publication culture को ‘novelty’ से हटाकर ‘verification और reproduction’ की ओर ले जाना चाहते हैं
      अगर यह बदलाव आता है, तो मौजूदा अराजकता ज़रूरी सुधार प्रक्रिया साबित हो सकती है
    • कुछ लोग कहते हैं कि reproducibility खुद ही overvalued है
      उनका मानना है कि भले ही हर paper reproducible हो जाए, science की मूल समस्या हल नहीं होगी
      संबंधित लेख: Replication studies can’t fix science
    • यह जानने की जिज्ञासा है कि क्या पहले से invalidated research को cite करते रहने की समस्या का समाधान हुआ है

  • NeurIPS का कहना है कि hallucinated citation (reference hallucination) होने भर से पूरे paper को invalid नहीं माना जाएगा
    Fortune का पूरा लेख के अनुसार, LLM का उपयोग तेज़ी से evolve हो रहा है, और 2025 में reviewers को hallucinations को mark करने के निर्देश दिए गए थे
    1.1% papers में citation errors होने पर भी paper की सामग्री अपने आप invalid नहीं हो जाती — उनका यही रुख है

    • लेकिन यह बहुत उदार प्रतिक्रिया लगती है
      ऐसा लगता है जैसे सबसे harmless कारण चुनकर पूरे मुद्दे को ढकने की कोशिश की जा रही हो
      science पहले ही reproducibility crisis से जूझ रहा है, और अब hallucination की समस्या भी जुड़ रही है
      private companies के बढ़ते प्रभाव के बीच open science का future अंधकारमय लगता है
    • जब कोई सज़ा नहीं है, तो यह चलता रहेगा
      paper retraction से भी कोई ठोस नुकसान नहीं होता, और misconduct का expected value positive बना रहता है
      incentives नहीं बदलेंगे तो स्थिति और बिगड़ेगी
    • कुछ लोगों का मत है कि सभी submitted papers को GPTZero जैसे tools से जाँचना चाहिए, और hallucination मिलने पर तुरंत reject कर देना चाहिए
    • citation error होने का मतलब यह ज़रूरी नहीं कि content गलत ही हो, लेकिन एक ही हेरफेर पूरे trust को तोड़ सकता है
      LLM को citations संभालने देना आखिरकार data interpretation भी उसी पर छोड़ने की दिशा में ले जाता है, और उससे hallucinated results निकल सकते हैं
    • मेरा मानना है कि LLM hallucination एक बार भी मिल जाए तो paper वापस लिया जाना चाहिए और लेखकों पर submission ban लगना चाहिए

  • विडंबना यह है कि research papers मौजूदा research के साथ knowledge dialogue के लिए literature review शामिल करते हैं,
    लेकिन LLM से citations गढ़ना ‘giants के shoulders पर खड़े होना’ नहीं, बल्कि मृगतृष्णा के shoulders पर खड़े होना है

    • इसलिए किसी ने मज़ाक में कहा, “यह तो झूठ के shoulders पर खड़ा होना है”
    • दार्शनिक स्तर पर सवाल यह बचता है कि LLM नया कचरा बना रहा है, या सिर्फ पहले से मौजूद कचरा-उत्पादन संरचना को amplify कर रहा है

  • मुझे 2024 WACV paper review में एक पूरी तरह AI द्वारा लिखा गया review मिला था
    reviewer ने चार text boxes (summary, strengths, weaknesses, overall evaluation) में चार पूरी तरह अलग reviews लिख दिए थे, और वे एक-दूसरे से विरोधाभासी थे
    यह स्थिति reviewer overload की वजह से है, और अधिक volunteers की ज़रूरत है
    (अगर आप paper review कर सकते हैं, तो अपनी पसंदीदा conference के program chair से सीधे संपर्क करने की सलाह दी जाती है)

    • बस “वाह…” जैसा ही रिएक्शन था

  • कुछ papers citations में ‘Firstname Lastname’, ‘John Doe’, ‘Jane Smith’ जैसे fake names डाल देते हैं और किसी को पता भी नहीं चलता

    • फिर भी उम्मीद है कि बाद में पकड़े जाने पर सज़ा मिले
    • किसी ने व्यंग्य में कहा, “यही तो भविष्य का तरीका है”

  • अपना पहला NeurIPS paper छापने वाले PhD छात्र के लिए आर्थिक इनाम बहुत बड़ा होता है
    ज़्यादातर big tech internships में NeurIPS/ICML/ICLR first-author paper को लगभग अनिवार्य शर्त माना जाता है
    एक बार यह हासिल हो जाए तो salary दो-तीन गुना तक बढ़ सकती है, और career के रास्ते खुल जाते हैं — यह कहना अतिशयोक्ति नहीं होगी
    ऐसी संरचना में misconduct होना चौंकाने वाली बात नहीं है

    • वास्तव में एक paper की market value बहुत अधिक होती है
      सिर्फ एक NeurIPS paper से, बिना PhD degree के भी research role की योग्यता मिल सकती है, और 300,000 डॉलर से अधिक वेतन भी संभव है
      Spotlight या Oral presentation हो तो उसकी value सात अंकों तक पहुँच सकती है

  • सभी सहमत लगते हैं कि मौजूदा incentive structure ही इस तरह के व्यवहार को जन्म देता है
    तो क्या ‘carrot’ की जगह ‘stick’ इस्तेमाल नहीं होना चाहिए?
    प्रस्ताव यह है कि LLM hallucination या data manipulation पकड़े जाने पर career ख़त्म कर देने जैसी सज़ा होनी चाहिए

    • लेकिन सज़ा जितनी कठोर होगी, उतनी ही due process की ज़रूरत होगी
      AI detection tools अभी इतने भरोसेमंद नहीं हैं, और साधारण BibTeX errors या grammar correction के दौरान हुई गलतियाँ भी हो सकती हैं
      मेरा मानना है कि कड़ी सज़ा तभी उचित है जब intentional misconduct साफ़ तौर पर सिद्ध हो, जैसे स्पष्ट data manipulation के मामलों में

  • यह विश्लेषण करना दिलचस्प होगा कि 2020 से पहले के papers में source fabrication कितनी थी

    • साथ ही यह भी जानने की इच्छा है कि AI detectors LLM-पूर्व papers को AI-generated बताकर कितना false positive देते हैं
      मुझे न LLM पर, न ही AI detectors पर पूरा भरोसा है
    • आखिरकार, संभव है कि ऐसी समस्याएँ पहले भी थीं
      बस अब उनकी आवृत्ति तेज़ी से बढ़ गई है

  • citation error की समस्या तब गायब हो जाएगी जब AI search और data collection cost आज की तुलना में 100 गुना सस्ती हो जाएगी
    लेकिन तब तक शायद ऐसा दौर आ जाएगा जिसमें AI द्वारा लिखे गए papers वास्तव में reality को reflect करते हैं या नहीं, यह अलग करना भी मुश्किल होगा,
    यानी एक तरह का ‘stochastic mirror’ युग