फर्जी लेखकों की रिपोर्ट करने वाले दो शोध-पेपर भी मौखिक प्रस्तुति के लिए स्वीकार

 (geospatialml.com)
1 पॉइंट द्वारा GN⁺ 2 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • NeurIPS, WACV और ECCV TerraBytes में समीक्षा किए गए 22 पेपरों में से 15 (68%) में गढ़े हुए citations/author lists या साफ़ तौर पर LLM-generated वाक्य थे, और फर्जी लेखकों की रिपोर्ट किए गए दो पेपर भी references सुधारने की शर्त पर oral presentation के लिए स्वीकार कर लिए गए
  • अनुमान है कि 2025 के academic literature में लगभग 1,46,900 hallucinated citations थे, और bioRxiv से published version तक ट्रैक किए गए hallucinated citations में से 85.3% peer review पास करने के बाद भी बने रहे
  • समस्या submissions से आगे reviews तक फैल गई है: ICLR 2026 reviews में 21% पूरी तरह AI-generated पाए गए, और ICML 2026 में LLM उपयोग पर रोक वाले reviewers द्वारा लिखे लगभग 795 reviews में LLM उपयोग detect हुआ
  • LLM का उपयोग अपने-आप में समस्या नहीं है; समस्या है बिना verify किए results submit करना. Reference errors, main text और tables में numbers का mismatch, performance का जरूरत से ज्यादा प्रचार, और केवल metrics दोहराने वाले discussion sections संकेत हैं कि manuscript की पर्याप्त समीक्षा नहीं हुई
  • References को कई registries से मिलाने वाला bib-audit जारी हुआ है, लेकिन यह private submissions के कुछ हिस्से hosted LLM को भेजता है, इसलिए reviewers को पहले conference-specific confidentiality और LLM policies जांचनी चाहिए

22 पेपरों की समीक्षा में दिखा पैमाना

  • दो reviewers ने गर्मियों के दौरान NeurIPS, WACV और ECCV के geospatial workshop TerraBytes में कुल 22 पेपरों की समीक्षा की
    • 15 पेपरों (68%) में पूरी तरह गढ़े हुए citations, वास्तविक पेपरों की बदली हुई author lists, hallucinated technical terms, निरर्थक वाक्य, अप्रासंगिक citations जैसे स्पष्ट LLM-generated निशान मिले
    • एक reviewer को 11 में से 6 पेपरों (55%) में, और दूसरे reviewer को 11 में से 9 पेपरों (82%) में ऐसी समस्याएं मिलीं
  • Conference-wise परिणाम इस प्रकार थे
    • NeurIPS Datasets and Benchmarks track: 5 में से 2
    • NeurIPS Position Paper track: 2 में से 2
    • TerraBytes: क्रमशः 2 में से 1, 5 में से 4
    • WACV: दोनों reviewers के लिए 4 में से 3
  • सिर्फ citation समस्याओं के आधार पर desk reject करने लायक पेपर क्रमशः 5 और 9 थे
    • WACV के दो पेपरों ने references के पहले item से ही वास्तविक पेपरों के authors को फर्जी नामों से बदल दिया था
    • NeurIPS के एक पेपर में 53 pages तक hallucinated या निरर्थक technical terms थे, इसलिए references की समीक्षा करना ही अर्थहीन था
    • NeurIPS Position Paper के दोनों पेपर LLM-generated माने गए, और TerraBytes के लिए assigned 5 पेपरों में से 4 में फर्जी citations या authors थे

Academic literature में फैलते hallucinated citations

  • अप्रैल 2026 की Nature analysis ने पाया कि 2025 के कम-से-कम दसियों हजार publications में गलत AI-generated references होने की संभावना है
  • Zhao et al. की arXiv, bioRxiv, SSRN, PubMed Central audit ने अनुमान लगाया कि सिर्फ 2025 में लगभग 1,46,900 hallucinated citations थे
    • वे कुछ malicious actors तक सीमित नहीं थे, बल्कि कई papers में पतली परत की तरह फैले थे
    • Early-career researchers और छोटी teams में इनके शामिल होने की संभावना सबसे ज्यादा थी
    • जिन bioRxiv preprints में hallucinated citations थे, उनके published versions को track करने पर 85.3% वैसे ही बने रहे
  • The Lancet की 25 लाख biomedical papers audit में कम-से-कम एक fake reference वाले papers का अनुपात दो साल में 6 गुना बढ़ गया
    • 2023 में 2,828 papers में 1 से बढ़कर 2025 में 458 papers में 1 हो गया
    • 2026 की शुरुआत में यह 277 papers में 1 तक पहुंच गया
  • NeurIPS 2025 published papers में 100 hallucinated citations की analysis में सभी citations 3–5 expert reviews से गुजर चुके थे
    • ऐसे citations वाले papers 53 थे, यानी accepted papers का लगभग 1%, और वे आज भी proceedings में मौजूद हैं

AI द्वारा लिखी peer review और manipulation की संभावना

  • Pangram की ICLR 2026 analysis ने 15,899 reviews, यानी 21%, को पूरी तरह AI-generated माना
    • कुल reviews के आधे से अधिक में किसी-न-किसी रूप में AI शामिल था
  • Organization Science में ChatGPT के आने के बाद submissions 42% बढ़ीं, और वर्तमान peer review के 30% से अधिक में किसी स्तर पर AI का उपयोग मापा गया
  • ICML 2026 prompt-injection detection में Policy A के 506 reviewers, जिनके लिए LLM उपयोग निषिद्ध था, द्वारा लिखे लगभग 795 reviews में LLM उपयोग मिला
    • यह कुल reviews का लगभग 1% था
    • NeurIPS में भी स्पष्ट AI-generated ethics reviews और कई AI-generated rebuttals देखे गए
  • AI reviews में paper की scientific content बदले बिना भी abstract को adversarially rewrite करके evaluation बढ़ाई जा सकती है
    • Li et al. के experiment में सबसे मजबूत attack की success rate लगभग 38% थी
    • 10-point scale पर Gemini 3 Flash reviewer का acceptance score 1.31 points और GPT 5.4 Mini reviewer का score 0.88 points बढ़ गया
    • attacker को यह जानने की भी जरूरत नहीं थी कि कौन-सा review model इस्तेमाल हो रहा है

वास्तविक review में मिले manipulation और detection signals

  • सबसे खराब मामले ऐसे दो submissions थे जिनमें वास्तविक paper की conference, title और बाकी authors तो बनाए रखे गए, लेकिन reviewer के निजी तौर पर जाने-पहचाने authors को मिलते-जुलते काल्पनिक नामों से बदल दिया गया
    • Reviewer ने reject की सिफारिश की और organizers को सीधे report किया, लेकिन दोनों papers references सुधारने की शर्त पर oral presentation के रूप में स्वीकार हो गए
  • SatMAE को cite करने वाले WACV paper ने authors को “Yuyang Cong, Saurabh Khanna, Chen Meng, et al.” लिखा
  • 53-page और 40-page NeurIPS papers में hallucinated technical terms और गढ़े हुए references थे, और एक paper ने कई citations के पास LLM internal notes तक छोड़ दिए
  • Fake authors और पूरी तरह fake references दोनों यह दिखाते हैं कि manuscript की पर्याप्त समीक्षा नहीं की गई
    • यह साफ नहीं रहता कि संबंधित work वाकई पढ़ा गया था या नहीं, उसे सही context में cite किया गया या नहीं, और paper, code, dataset के दूसरे हिस्सों पर भरोसा किया जा सकता है या नहीं
    • जिस paper में hallucinated references हों, वह acceptance के लिए तैयार नहीं है और उसे desk reject करना चाहिए—यह रुख है

  • LLM द्वारा लिखे जाने की संभावना वाले signals

    • आम stylistic signals में “It’s not X, it’s Y”, “The real X is Y” जैसे contrast phrases, जरूरत से ज्यादा bold और em dash, समझने में मुश्किल dense sentences, और results का अतिशय प्रचार शामिल हैं
    • अधिक subtle signal है जब main text के numbers या metrics tables से match नहीं करते
    • Experiments फिर से run करने के बाद agent को पूरे numbers update या verify करने को न कहा जाए, तो ऐसे mismatches बनते हैं
    • Claude appendix या code में जाने लायक numbers भी main text में compress कर देता है, और discussion section में tables के metrics ही जस-के-तस दोहराने की प्रवृत्ति रखता है
    • 1% से कम improvement को mean/standard deviation के बिना SOTA बताने वाले custom models, जहां citation काफी होता वहां complex equations, और appendix में होने चाहिए ऐसे ablation experiments भी warning signals हैं

Review workflow में आए बदलाव

  • Abstract पढ़ते ही पहले references scan करने और जल्दी से यह जांचने की ओर review process बदल गया है कि पूरा paper LLM output तो नहीं
  • LLM traces खोजने में समय बढ़ने के साथ यह assumption भी कमजोर हुआ है कि paper good faith में submit किया गया है
    • ऐसा महसूस होता है कि interesting और इंसान द्वारा लिखे गए पढ़ने लायक papers की संख्या काफी घट गई है
    • हालांकि hallucinated references को छोड़ दें तो मौजूदा low-quality human-written papers की समीक्षा जैसी कई समस्याएं भी हैं
  • LLM उपयोग अपने-आप में review criterion नहीं है
    • अगर LLM ने writing में मदद की हो, फिर भी research interesting हो, experiments valid हों और reproducible हों, तो समस्या नहीं
    • समस्या है unreviewed LLM output को जस-का-तस submit करके reviewer से feedback मांगना
  • Conferences द्वारा submitters के लिए 4–5 reviews अनिवार्य करने से unpaid review workload भी बढ़ता है
    • Reviewers रात या weekend में समय देकर review करते हैं, और citation hallucinations बाद में मिलने पर वह समय बर्बाद हो जाता है
    • Reviews से सीखने के लिए researcher को पहले अपने काम को पर्याप्त पढ़ना और उस पर विचार करना चाहिए

Research और writing में LLM का उपयोग कैसे करें

  • Claude जैसे LLM रोज़ इस्तेमाल किए जाते हैं, लेकिन output को हमेशा verify, edit और rewrite किया जाता है
    • Literature review draft के लिए Claude इस्तेमाल करने के बाद original papers और posts खुद पढ़े जाते हैं
    • Blog द्वारा cited original research ढूंढकर replace की जाती है, material को फिर से organize किया जाता है, और अनावश्यक details हटाई जाती हैं
  • Paper submit करने से पहले पूरी manuscript ध्यान से पढ़ी जाती है और references manually check किए जाते हैं
    • Claude से ambiguous parts ढूंढवाकर multiple-choice questions के जरिए interview कराया जाता है ताकि intent align हो
    • bib-audit चलाने के बाद भी Google Scholar, IEEE, CVF जैसे databases में individual items check किए जाते हैं
    • कई वर्षों में Zotero में जमा किए वास्तविक BibTeX भी reuse किए जाते हैं
  • शुरुआत में दूसरों से feedback लिया जाता है, और जरूरत हो तो draft लिखते समय भी पूरा text फिर से structure किया जाता है
    • Deadline के ठीक पहले की जल्दबाजी को low-quality LLM papers बनने का कारण माना गया
    • LLM से पहले विकसित research taste महत्वपूर्ण है, और चिंता है कि young researchers बिना दिशा के research generate करने वाले environment में हैं

  • Claude की writing style को control करने के तरीके

    • Agent द्वारा लिखे sentences बहुत dense होते हैं और flow खराब होता है, इसलिए em dash और semicolon सीमित किए जाते हैं
    • Fable 5 em dash के बजाय colon का ज्यादा इस्तेमाल करता है और B2B SaaS marketing style बनाने की प्रवृत्ति रखता है
    • लक्ष्य ऐसे sentences हैं जो न बहुत aggressive हों, न फीके, और field के बाहर के readers भी पढ़ सकें
    • Scientific writing और ASD-STE100 Simplified Technical English के बीच के rules वाली skill प्रभावी रही
    • पहले writing का purpose और audience तय करना चाहिए, फिर audience के अनुसार format adjust करना चाहिए
    • Claude की default style scientific readers के लिए उपयुक्त नहीं है
    • बहुत ज्यादा bold, bullet lists और marketing phrases बचे रहें, तो content के source और verification पर भी शक हो सकता है

Public disclosure से ज्यादा submission-stage filtering क्यों जरूरी है

  • LLM use disclosure requirement good-faith researchers के लिए उपयोगी हो सकती है, लेकिन actual behavior ज्यादा बदलने की संभावना नहीं लगती
    • TorchGeo में “LLM unused”, “LLM assisted”, “LLM wrote everything” levels वाली AI policy जोड़ी गई, लेकिन आखिरी option को voluntarily चुनने की संभावना कम है
    • LLM से लिखा गया हो, फिर भी results verified और reproducible हों और paper अच्छा हो, तो स्वीकार किया जा सकता है
  • Common LLM errors खोजकर यह तय करने के लिए desk-reject mechanism या flagging tool चाहिए कि manuscript reviewable state में है या नहीं
    • अभी reviewers ही व्यवहार में desk-reject work बांट रहे हैं, जो good-faith reviewers के लिए fair नहीं है
    • ICLR 2027 से OpenReview पर author names disclose करेगा
  • जिम्मेदारी authors, advisors, area chairs, organizers और conferences—सभी की है
    • Authors को CV भरने के लिए low-effort papers bulk में submit नहीं करने चाहिए
    • Advisors और mentors को students की low-effort submissions रोकनी चाहिए
    • Organizers को large-scale submissions में इन्हें filter करने के तरीके तैयार करने चाहिए
  • Publication incentives की समस्या LLM से पहले से मौजूद थी, और Lipton और Steinhardt ने 2018 में mathematical theatrics, language misuse और misaligned incentives को summarize किया था
  • LLM से class projects या automated research results को NeurIPS-format paper जैसा बनाया जा सकता है, लेकिन अगर वास्तविक research contribution नहीं है तो submit नहीं करना चाहिए
    • Opus 4.6 और Karpathy के autoresearch repository से LandCoverAI पर SOTA जैसा दिखने वाला result और paper बनाया जा सकता था, लेकिन research contribution न होने के कारण submit नहीं किया गया
    • AAAI 2027 में 48,000 abstracts submit हुए, जिससे automated filtering problem का पैमाना और बड़ा हो गया

bib-audit से references की automated audit

  • bib-audit MIT-licensed Claude Code skill है, जो references के title, year और full author list को registry records से मिलाती है
  • .bib, .bbl, PDF input दिए जा सकते हैं
    • .bbl और PDF में Claude rendered references को structured fields में restore करता है
    • इसके बाद script Crossref, arXiv, DataCite, Semantic Scholar में हर item check करती है
  • Results गंभीर errors से शुरू होकर sort होते हैं
    • अस्तित्व में न होने वाले papers
    • Manipulated identifiers और fake authors
    • वास्तविक papers की गलत metadata, कटी हुई author lists, preprint और published version के बीच year differences
    • Page range में single hyphen, URL के रूप में saved DOI, J.D. format initials जैसे formatting errors
  • यह सिर्फ title existence नहीं देखता, बल्कि full author list compare करता है, इसलिए SatMAE case जैसे author replacement पकड़ सकता है
  • DOI या arXiv ID के बिना केवल title search से linked items पर निर्णायक दावा नहीं किया जाता; उन्हें manual verification needed वाली recommendation के रूप में लौटाया जाता है
    • Review में motive का अनुमान नहीं लगाना चाहिए, सिर्फ observed facts report करने चाहिए, जैसे “arXiv record का first author Yuyang Cong नहीं, Yezhen Cong है”
  • .bib check read-only है और अलग dependencies नहीं हैं; इसे identifiers से pinned items में mismatch पर ही fail करने के लिए configure किया जा सकता है, इसलिए submission से पहले CI gate की तरह इस्तेमाल किया जा सकता है
  • Claude के अलावा npx skills add isaaccorley/skills के जरिए इसे Codex, Copilot, Cursor और दूसरे agents में install किया जा सकता है

Reviewers को confidentiality और conference policies जांचनी चाहिए

  • Audit process private submissions के references के कुछ हिस्से hosted LLM को भेजता है, इसलिए review लिखने में LLM का उपयोग न करने पर भी conference policy का उल्लंघन हो सकता है
  • ECCV 2026 policy local या API LLM से review या meta-review लिखने को प्रतिबंधित करती है, और submissions के significant parts LLM के साथ share करने को भी अलग से प्रतिबंधित करती है
  • WACV reviewer guidelines LLM-generated reviews को बेहद irresponsible act मानती हैं
    • Violation पर reviewer का अपना paper desk reject हो सकता है
    • Confidential material को non-reviewer को दिखाना भी निषिद्ध है, और hosted LLM reviewer नहीं है
  • NeurIPS LLM policy reviewers द्वारा LLM services से share की जा सकने वाली content को सीमित करती है
  • Authors submission से पहले खुद bib-audit चला सकते हैं, लेकिन reviewers को उपयोग से पहले संबंधित conference की LLM और confidentiality policies जरूर जांचनी चाहिए

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2 시간 전
Hacker News की राय

  • मौजूदा AI रिसर्च पब्लिशिंग प्रक्रिया में पेपर लिखने, समीक्षा करने, पढ़ने और सारांश बनाने तक का काम AI कर रहा है
    NeurIPS भी AI-सहायता प्राप्त समीक्षा प्रयोग चला रहा है, और प्रमुख कॉन्फ्रेंसों में इतने ज्यादा पेपर होते हैं कि इंसानों के लिए सब पढ़ना असंभव है
    अकादमिक पब्लिशिंग प्रक्रिया में इंसान बहुत तेजी से ऑटोमेशन से बाहर धकेले जा रहे हैं

    • मुझे लगता है कि यह इंसानों को पब्लिशिंग प्रक्रिया से हटाने से ज्यादा कम-गुणवत्ता वाले पेपरों के बड़े पैमाने पर उत्पादन को ऑटोमेट कर रहा है
      हाल में EMNLP समीक्षा में भी ऐसा ही अनुभव हुआ, और AI अभी रिसर्च की गुणवत्ता परखने के स्तर से बहुत दूर है
      ईमानदार peer review जैसे public good का दुरुपयोग हो रहा है, लेकिन समीक्षा सिस्टम तक पहुंच को किसी चरम social scoring प्रणाली से सीमित करने के अलावा कोई साफ समाधान दिखता नहीं
    • अगला कदम शायद यह होगा कि AI-चलित journals दूसरे AI से subscription fees लें, और AI-चलित विश्वविद्यालय सबसे ज्यादा पेपर और citations वाले AI को promote करें
    • अहम बात यह है कि जिन पेपरों में AI उपयोग पकड़ा गया, वे भी फिर भी स्वीकार कर लिए गए
      ज्यादातर शोधकर्ता AI का सक्रिय रूप से इस्तेमाल करते हैं, इसलिए वे इसे दंडित नहीं करना चाहते या ऐसा माहौल नहीं बनाना चाहते जिसमें वे खुद भी नुकसान में पड़ें; माहौल कुल मिलाकर चिंता मत करो, स्वीकार कर लो वाला है
      आखिरकार यह कठोर सच्चाई सामने आती है कि शुरुआत से ही बहुत कम लोगों ने विज्ञान को सच में गंभीरता से महत्व दिया था
    • इससे food deserts जैसे reasoning deserts की याद आती है
      यानी ऐसे स्थान जहां आर्थिक गणना के कारण इंसानी स्वास्थ्य और समृद्धि के लिए जरूरी वास्तविक घटकों के बिना, केवल ऊपर से मिलते-जुलते विकल्प उपलब्ध कराए जाते हैं
    • यह इंसानों को ऑटोमेशन से बाहर नहीं कर रहा, बल्कि अकादमिक जगत को ही अर्थहीन बना रहा है
      अगर अकादमिक जगत का सामान्य रूप यही है, तो research funding में कटौती की मांग करने वालों से भी सहमति होने लगती है

  • यह publish or perish सिस्टम का तार्किक नतीजा है
    इस सिस्टम को खत्म कर दें तो समस्या भी काफी हद तक खत्म हो जाएगी, और भले ही प्रशासक सरल metrics चाहते हों, रिसर्च में ऐसे metrics होते ही नहीं

    • विज्ञान में publication record मापना software development में लिखी गई code lines गिनने जैसा है
      technical debt भी बिल्कुल वैसा ही है: पेपर अनगिनत हैं, लेकिन संभव है कि ज्यादातर reproduce न हों, और कौन से ऐसे हैं यह पता नहीं
    • तो सवाल है कि क्या रिसर्च मूल्यांकन के लिए कोई जटिल लेकिन उपयोगी metric है भी
      publications और citations को manipulate किया जा सकता है, लेकिन वे ठोस हैं, और ज्यादा cited पेपर आम तौर पर उपयोगी होते हैं, जिससे लेखक को reward मिलता है
      इन्हें हटाकर बेहतर विकल्प न बना पाए तो चीजें अभी से भी ज्यादा नेटवर्किंग और बोलने की कला पर निर्भर हो सकती हैं
    • प्रोफेसरों को पहले से ही पेपरों के अलावा teaching, service, committees चलाना, graduate students का मार्गदर्शन और graduation जैसी कई शर्तें पूरी करनी पड़ती हैं, और ये सब tenure review में शामिल होती हैं

  • AI द्वारा बनाई गई गलतियों को ज्यों-का-त्यों जमा करना plagiarism जैसा उल्लंघन माना जाना चाहिए और वैसी ही सजा दी जानी चाहिए

    • मेरी जानकारी में, AI उपयोग को ईमानदारी से disclose न करने पर journals में submission पर 1 साल या उससे ज्यादा की रोक लगाने की नीति पहले से लागू हो रही है, और arXiv भी शायद इसी दिशा में है
      disclosure और अत्यधिक उपयोग अलग बातें हैं, लेकिन अगर hallucinations और गलतियां तक verify नहीं की गईं, तो AI से ज्यादा अक्षमता और आलस ही मूल समस्या है

  • arXiv मासिक submission statistics को शायद log scale में बदलना बेहतर होगा
    लगता है 2027 तक अकादमिक जगत Moltbook जैसा हो सकता है

    • अगर log growth trend LLM papers के दौर से पहले ही शुरू हो गया था, तो भोलेपन से उम्मीद की जा सकती है कि यह सिर्फ arXiv preprint की लोकप्रियता बढ़ने को दिखाता है
    • दिशा अपने आप में सही है, लेकिन field और subfield के हिसाब से स्थिति बहुत अलग है
      घटिया पेपर चमकदार और बड़े विषयों पर केंद्रित हैं, और खासकर machine learning क्षेत्र में समस्या गंभीर है, लेकिन कई महत्वपूर्ण और niche topics अभी भी ऐसे हैं जिन्हें ये लेखक छू नहीं रहे
      ऐसे क्षेत्रों में अभी भी गंभीर शोधकर्ता नेतृत्व कर रहे हैं, लेकिन खुद पढ़ाई किए बिना उनके अस्तित्व का पता लगाना मुश्किल है

  • यह अकादमिक जगत द्वारा पेपरों और journals की open accessibility को गंभीरता से न लेने का side effect है
    अगर पेपर journals के access restrictions में बंद न होते, तो cited papers और quotations के अस्तित्व की जांच आसानी से की जा सकती थी

    • समस्या अकादमिक जगत से ज्यादा publishers की है, जो brand के सहारे अधिकतम profit निकालना चाहते हैं
      peer review बिना compensation के सिर्फ प्रतिष्ठा देता है, जबकि platform और publisher मुनाफा ले जाते हैं; यह Reddit moderators की भूमिका जैसा है
      संरचना ऐसी है कि लेखक publication fee चुकाता है और दूसरे लेखक मुफ्त में proofreading तक करते हैं, इसलिए academics का preprints या लोकप्रिय papers अपनी personal websites पर डालना स्वाभाविक विकल्प है
    • किसी पेपर का अस्तित्व ज्यादातर journals के public index, author/abstract information और DOI citations से closed journals में भी आसानी से verify किया जा सकता है
      लेकिन cited content वास्तव में दावा किए गए तर्क से मेल खाता है या नहीं, यह verify करने के लिए पेपर पढ़ना और interpret करना पड़ता है, इसलिए केवल open access से यह सरल नहीं हो जाता; AI से प्राथमिक जांच करने पर भी यह बहुत मेहनत वाला काम है
    • यह किसी भी समूह में बार-बार दिखने वाली इंसानी पुरानी विफलता दिखाता है। कोई भी अपना घर साफ नहीं करना चाहता
    • cited papers का अस्तित्व पहले से ही आसानी से verify किया जा सकता है
    • कम से कम biomedical research में ज्यादातर पेपर publication के तुरंत बाद या 1 साल बाद open access में बदल जाते हैं

  • क्या यह सच है कि conference में पेपर submit करने पर 4–5 पेपरों की अनिवार्य समीक्षा करनी पड़ती है?
    इसका मतलब है कि अच्छे पेपर भी उन लोगों से जबरन review कराए जाते हैं जिनका source और expertise पता नहीं होता

    • सच है, और 4–5 भी कम अनुमान है
      मुझे 7 पेपरों की जबरन review करनी पड़ी; 30,000 पेपरों में से मनचाहे 30 पेपरों के लिए apply किया था, लेकिन उनमें से एक भी assign नहीं हुआ और मुझे ऐसे 7 पेपर मिले जिनमें मेरी पर्याप्त expertise नहीं थी
    • ACL परिवार की conferences में reviewer पूरी तरह random व्यक्ति नहीं होता; वह ऐसा लेखक होना चाहिए जिसके मुख्य ACL event या Findings में कम से कम 2 पेपर हों और ACL Anthology या प्रमुख ML/AI conferences में कम से कम 1 अतिरिक्त पेपर हो
      लेकिन submitted papers लगातार बढ़ रहे हैं और volunteer reviewers कम हैं, इसलिए mandatory review सच में लागू की जा रही है: review incentive criteria

  • Chavda’s paradox देखना उपयोगी हो सकता है: https://zencapital.substack.com/p/chavdas-paradox

  • शुरुआत में मुझे लगा कि Caleb और Isaac प्रकाशित papers में AI उपयोग detect करने वाले दो algorithms के नाम हैं, लेकिन असल में वे AI की मदद से लिखने वाले दो लेखकों के नाम थे
    अगर दोनों ने अलग-अलग फैसले दिए, तो जानना चाहूंगा कि जिन papers को उन्होंने problem के तौर पर flag किया, उनमें कितना overlap था

  • यह अभी alpha stage में है, लेकिन कुछ हफ्तों बाद Show HN पर release करने के लक्ष्य से मैं citation verification application https://veruscite-data.com/ बना रहा हूं
    generative AI tools से परिचित लोग लेख में Caleb और Isaac द्वारा दी गई functionality सीधे इस्तेमाल कर सकते हैं, लेकिन यह tool token-efficient है और निकाले गए references को review और edit करने के लिए आसान GUI देता है