EY Canada ने साइबरसिक्योरिटी रिपोर्ट जारी की, और उसके ज़्यादातर citations hallucination निकले

 (gptzero.me)
1 पॉइंट द्वारा GN⁺ 2026-06-01 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Ernst & Young Canada की 44-पेज की loyalty fraud रिपोर्ट एक ऐसे दस्तावेज़ के रूप में सामने आई, जिसमें झूठे citations, गलत source attribution, फर्जी statistics और AI-लिखा हुआ text मिला-जुला था
  • references table में दिए गए ज़्यादातर URL टूटे हुए या फर्जी थे, आधे से ज़्यादा titles वास्तविक sources से मेल नहीं खाते थे, और AI Scan ने text के 72% हिस्से को AI-जनित बताया
  • BleepingComputer, Wired, Gartner, McKinsey, Forbes, Cisco Talos, TechCrunch के कई sources 404 error, tag pages, या अस्तित्वहीन documents निकले
  • 200 billion dollar वाला आंकड़ा पूरे loyalty points market और unused points value — इन दो मुश्किल से साथ निभने वाले अर्थों में इस्तेमाल हुआ, और इसके समर्थन में दिए गए 2 citations भी गढ़े हुए निकले
  • यह त्रुटिपूर्ण रिपोर्ट Canberra Times और 60 से अधिक अख़बारों तक फैल गई, और Claude·ChatGPT·Perplexity ने भी वही hallucinated information दिखा दी

Ernst & Young रिपोर्ट की समस्या

  • Ernst & Young Canada ने 2025 के अंत में loyalty systems में cyber threats और fraud पर 44-पेज की रिपोर्ट Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems प्रकाशित की
  • इस रिपोर्ट का credit 2 partners और 1 senior manager को दिया गया, लेकिन इसमें झूठे citations, गलत source attribution, फर्जी statistics और AI-लिखा text पाया गया
  • EY Canada, Ernst & Young की कनाडाई इकाई है, जो कनाडा सरकार को हर साल millions of dollars के services देती है
  • GPTZero का Hallucination Check पिछले कुछ महीनों में बड़ी consulting firms की public reports को खोजने और scan करने वाली automated pipeline में इस्तेमाल हुआ, और इससे संकेत मिलता है कि बड़ी corporate reports में भी vibe citing फैल चुका है

Citation तरीका और verification के नतीजे

  • EY Canada रिपोर्ट ने footnotes या सामान्य academic citations की जगह मुख्य text में सीधे sources का ज़िक्र किया, या फिर pages 41–43 की resources table में sources इकट्ठा रखे
  • इस table में source title, description, URL, कुछ publishers और dates दी गई थीं, लेकिन अधिकांश URL टूटे हुए या फर्जी थे, और आधे से ज़्यादा titles असली sources से मेल नहीं खाते थे
  • GPTZero ने false positives से होने वाली reputational cost को ध्यान में रखते हुए hallucinated citations को सख्त मानदंडों से परिभाषित किया, और Hallucination Check के परिणामों का manual verification भी किया
  • रिपोर्ट का text GPTZero AI Scan में 72% AI-जनित चिह्नित हुआ, और fake statistics, गलत source attribution, तथा internal contradictions जैसे LLM errors बार-बार दिखे

प्रमुख झूठे या गलत sources

  • BleepingComputer की airline loyalty breach story

    • Airline Loyalty Breach: BleepingComputer को ऐसे article के रूप में पेश किया गया जिसमें कहा गया कि credential stuffing attack के कारण airlines के millions loyalty accounts compromise हो गए
    • https://bleepingcomputer.com/news/security/… 404 error लौटाता है, और लगता है कि उस path का article या तो हटा दिया गया था या शुरू से मौजूद ही नहीं था

  • Wired के voice deepfake और API security articles

    • AI Voice Deepfakes Targeting Call Centers को Wired के ऐसे article के रूप में दिखाया गया जिसमें attackers द्वारा AI-generated voice से customer service procedures के दुरुपयोग की बात थी
    • https://www.wired.com/story/voice-deepfakes-ai-scams/ path पर ऐसा कोई Wired article मौजूद नहीं है
    • Wired: API Security Gaps को भी consumer-facing digital services की API vulnerabilities पर article बताया गया, लेकिन https://www.wired.com/story/api-security-risks-retail/ भी 404 error लौटाता है

  • Gartner और McKinsey reports

    • Gartner Market Trends – Loyalty Fraud को digital loyalty programs और mobile wallets में fraud के विकास पर strategic guidance के रूप में पेश किया गया
    • https://www.gartner.com/en/documents/4000201 सिर्फ Gartner की main site पर redirect करता है, और उस title का कोई Gartner document मौजूद नहीं है
    • McKinsey & Company – Loyalty Economics Report (2022) को ऐसी report बताया गया जिसमें अनुमान था कि दुनिया भर में unused reward points की value 200 billion dollar है, लेकिन ऐसी कोई report मौजूद नहीं है

  • Forbes loyalty economy article

    • Forbes – The $200 Billion Loyalty Economy को loyalty programs को महत्वपूर्ण digital asset बताने के आधार के रूप में पेश किया गया
    • URL टूटा हुआ है, और Blake Morgan ने Forbes में लिखा ज़रूर है, लेकिन उस title से मेल खाने वाला कोई लेख नहीं है
    • हालांकि, 2020 के एक Forbes article में “$200 billion loyalty economy” वाक्यांश इस्तेमाल हुआ था

  • Cisco Talos और TechCrunch

    • Cisco Talos: API Attacks on Retail को commerce और loyalty systems में insecure APIs के दुरुपयोग पर लेख बताया गया, लेकिन https://blog.talosintelligence.com/api-abuse-retail/ 404 error लौटाता है
    • TechCrunch: Loyalty Program Breaches को loyalty program breaches और user data leaks पर article बताया गया, लेकिन https://techcrunch.com/tag/loyalty-program/ कोई विशेष article नहीं बल्कि loyalty-program tag page है

200 billion dollar statistic में internal contradiction

  • Summary में दावा

    • Executive Summary में दावा किया गया कि global loyalty points market का आकार 200 billion dollar है, और उसमें से 30–50% उपयोग नहीं होता
    • इस दावे को एक fake Forbes citation से समर्थन दिया गया

  • Page 10 पर बदला हुआ अर्थ

    • Page 10 पर वही 200 billion dollar वाला आंकड़ा global points की कुल value नहीं बल्कि unused loyalty points के estimate में बदल गया
    • चूंकि पहले ही दावा किया गया था कि points का अधिकतम 50% unused रहता है, इसलिए दोनों दावे एक साथ सही होने के लिए global loyalty points market कम-से-कम 400 billion dollar का होना चाहिए

  • McKinsey citation का source trace

    • Page 43 पर गढ़ी गई McKinsey & Company report का इस्तेमाल उस बाद वाले दावे के समर्थन में हुआ कि unused points की global value 200 billion dollar है
    • वही आंकड़ा दो ऐसे अर्थों में इस्तेमाल हुआ जो एक-दूसरे के साथ मुश्किल से संगत हैं, और इनके समर्थन में दिए गए दोनों citations गढ़े हुए निकले
    • यह McKinsey citation, EY रिपोर्ट से 6 महीने पहले प्रकाशित Financial IT के fintech blog post तक पीछे जाता है
    • उस post में दावा था कि “more than $200 billion in points sit idle each year”, और source section में अस्तित्वहीन McKinsey & Company: Loyalty Economics Report (2022) को cite किया गया
    • यही fabricated citation EY रिपोर्ट की references table में ज्यों का त्यों पहुँच गया, और low-quality blog का fake source Big Four publication में धुलकर वैध जैसा दिखने लगा

गड्डमड्ड sources वाले 72% और 89% statistics

  • Loyalty programs में 72% fraud statistic

    • Page 6 पर दावा किया गया कि customer loyalty programs में 72% ने theft या fraud report किया
    • यह आंकड़ा कनाडाई payments processing company Paystone की 2019 post को attributed था
    • Page 11 पर यही statistic digital fraud prevention company Forter की NRF 2020 summary को attributed था
    • Paystone और Forter, दोनों में से कोई भी रिपोर्ट की references table में शामिल नहीं थे, और original source शायद Ipsos का 2017 survey था

  • Loyalty fraud attacks में 89% वृद्धि statistic

    • Page 6 पर दावा था कि loyalty program fraud attacks 2019 के बाद से 89% बढ़े हैं
    • Page 11 पर यही 89% वृद्धि 2018 से 2019 तक के single-year change तक सीमित हो जाती है, और इसे Forter के Fraud Attack Index से जोड़ा गया
    • यह source वास्तव में मौजूद है और दावे के दूसरे version की आंशिक पुष्टि करता है, लेकिन EY रिपोर्ट में इस्तेमाल कई sources की तरह यह भी पुराना data है
    • परस्पर विरोधी sources, कमज़ोर quality वाले sources, पुराने statistics, और inaccurate restatements को AI slop के संकेत के रूप में पेश किया गया

सार्वजनिक प्रभाव और data contamination का जोखिम

  • Points of Attack ने कनाडा में शायद बड़ा असर नहीं डाला, लेकिन इसे हाल की Canberra Times report में cite किया गया, और वह article ऑस्ट्रेलिया भर के 60 से अधिक newspapers में वितरित हुआ
  • यह रिपोर्ट public domain के बाहर customer briefings, internal presentations, और proprietary media के ज़रिए भी circulate हुई हो सकती है
  • online reports का publication इंटरनेट knowledge pool में data injection जैसा है, और अगर कोई जानी-मानी consulting firm high-traffic website पर false information या hallucinated citations डालती है, तो वह बाद के researchers को गुमराह कर सकती है
  • AI “deep research” tools इंसानों से अलग signals के आधार पर sources चुनते हैं, इसलिए वे ऐसे data contamination के प्रति और अधिक संवेदनशील हो सकते हैं
  • Claude, ChatGPT, और Perplexity ने EY की त्रुटिपूर्ण रिपोर्ट से निकली hallucinated information को दिखाया

Hallucination Check का उद्देश्य

  • GPTZero का मानना है कि vibe citing अब researchers, academia, consultants, और web search पर निर्भर लोगों के लिए एक मौजूदा जोखिम बन चुका है
  • Hallucination Check को ऐसे tool के रूप में पेश किया गया है जो हर citation को manually verify किए बिना hallucinated citations और false information की पहचान कर सके
  • यह tool IJCAI, ICLR, ICSE जैसे academic conferences की submissions review करने में भी इस्तेमाल हो रहा है
  • निष्कर्ष यह है कि Ernst & Young जैसे प्रतिष्ठित source के citations को भी अब सिर्फ भरोसे के आधार पर स्वीकार करना मुश्किल हो गया है
  • GPTZero के Hallucination Check का link दिया गया है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2026-06-01
Hacker News की राय

  • कई पेशों में दिखने वाली समस्या यह है कि AI outputs की ठीक से समीक्षा जानकार लोगों—जैसे अनुभवी analyst, senior engineer, विशेषज्ञ वकील, resident doctor—द्वारा नहीं की जाती
    ज़्यादा से ज़्यादा ऊपर-ऊपर से देख लिया जाता है, और सबसे खराब स्थिति में publish, distribute, production में डालने, customer को भेजने, या court में जमा करने से पहले देखा ही नहीं जाता
    कई मामलों में संगठन के भीतर ज़रूरी review क्षमता मौजूद होती है, लेकिन वे लोग पहले से ही रोज़मर्रा के काम से ओवरलोड होते हैं
    कुछ महीने पहले Amazon के बारे में एक पोस्ट देखी थी कि वह generative AI outputs की senior engineers से समीक्षा करवाता है (https://news.ycombinator.com/item?id=47323017)। यह पढ़कर हँसी ही आई। लोग पहले से ही व्यस्त हैं, और यह मानना मुश्किल है कि Amazon project और core infrastructure development में बढ़ते human bottleneck को सचमुच स्वीकार करेगा

    • समस्या का एक हिस्सा यह है कि review के लिए दस्तावेज़ तब फेंक दिया जाता है जब वह पूरी तरह पककर तैयार हो चुका होता है
      मैं पूरे संगठन में बुनियादी engineering principles की ज़रूरत पर ज़ोर दे रहा हूँ
      आप किसी engineer से यह नहीं कहेंगे कि बिना original spec जाने, कि हासिल क्या करना था, 1000 lines of code review कर लो। कम से कम context होना चाहिए, और आदर्श रूप से reviewer उस समय मौजूद हो जब काम पहली बार introduce किया जाए, ताकि पूरा context समझ सके
      लेकिन ऐसे दस्तावेज़ सब-कुछ-या-कुछ-भी-नहीं के रूप में आते हैं। 39वें metric तक बारीकी से define हो जाने के बाद क्या अब इसे पलटना है, या फिर मान लेना है कि अब तो यही हो गया
      एक one-pager, या Amazon स्टाइल में शायद 6-page document भी हो सकता है, लेकिन कम से कम इतना कि “मैं यह propose कर रहा हूँ” — तभी idea की skeletal stage में उसके overall shape पर आपत्ति और refinement हो सकता है
      यह उस emotional investment के बनने से पहले होना चाहिए जिसमें लगता है कि कीमती report अब पूरी हो चुकी है
      पारंपरिक रूप से यह वैसा ही है जैसे product टीम SCRUM environment में spec को देखती है और engineers ठीक से code review करते हैं। हाँ, SCRUM मर चुका है, लेकिन वह अलग बात है
    • वकील के नज़रिए से AI output review शुरू से खुद करने की तुलना में ज़्यादा समय लेता हुआ लगता है। मौजूदा templates इस्तेमाल करने की तुलना तो छोड़ ही दें
      AI इस्तेमाल करने पर सब कुछ पढ़ना पड़ता है, समझाना पड़ता है कि क्या गलत है, और अक्सर अंत में सब कुछ फिर से लिखना पड़ता है
      billable hours काफ़ी बढ़ जाते हैं, लेकिन यह इस बात का लक्षण लगता है कि AI का वह फ़ायदा—कि यह विषय न समझने वाले व्यक्ति के लिए तेज़ और accessible है—कैसे गायब हो जाता है
    • “जानकार लोग AI outputs की समीक्षा नहीं करते” — क्या इसका मतलब वही लोग हैं जिन्हें निकाला गया और demoralize कर दिया गया?
      “महान पुरुषों और महिलाओं” को vibe coding पसंद आने की एक वजह यह है कि अब उन्हें लगता है कि वे ऐसे काम खुद कर सकते हैं जिन्हें पहले “context expert” के पास भेजने की तकलीफ़ उठानी पड़ती थी
      अब LLM ही उनका “built-in context expert” बन गया है, इसलिए उन्हें लगता है कि outputs की समीक्षा करने की ज़रूरत नहीं रही
    • समस्या यह है कि कभी-कभी output verify करने में शुरू से खुद बनाने से भी ज़्यादा समय लग जाता है
      तब AI कई उपयोगों में ROI के हिसाब से बहुत बड़ा negative सिस्टम बन जाता है
    • मेरी खास दिलचस्पी education और human knowledge management में है। मैंने IT education की रफ़्तार को लगभग शून्य के करीब जाते देखा है
      ज़रा उस professional training के बारे में सोचिए जहाँ गलती का नतीजा शाम की खबरों में आ सकता है
      numbers की matrix से निकली strings को suspended judgment की हालत में स्वीकार कर लेना, जबकि हर कोई सिर्फ अपनी जवाबदेही से बचना चाहता हो—यह विचार ही डरावना है
      यह कुछ वैसा है जैसे South Asian airlines ने pilots को manual landing से रोका, जिससे skill degrade हुई और आखिरकार वह कई मशहूर आपदाओं तक जा पहुँचा
      अगर high-paid consultants भी links verify नहीं करते, तो चिंता और बढ़ जाती है

  • क्या इसका कोई source है जिसे बस plain text में देखा जा सके? CSS styling की वजह से सिर दर्द हो रहा है, और reading mode काम नहीं कर रहा या block हुआ लगता है

    • scroll करना सच में बहुत तकलीफ़देह है, और reading mode में बदलने पर भी सब टूटा हुआ था
    • Firefox में एक आसान Reader view होता है जो page से सिर्फ text निकालकर simplified form में दिखाता है। Mac पर इसे Opt + CMD + R से चालू कर सकते हैं
      लेकिन इसमें भी यह समस्या है कि इस्तेमाल किए गए कुछ sources वाली images हट जाती हैं
    • iOS के Lockdown Mode में भी यही हाल है

  • असली कॉमेडी यह देखना है कि ऐसा कचरा senior management से नीचे आता है। घटिया prompts, hallucinated कचरा, actionable information शून्य, और असल जानकार analysis भी शून्य—सिर्फ बकवास
    “Jira से निकाले गए support issues का analysis देखिए। इन top three समस्याओं को ज़रूर ठीक करना होगा!!!” — लेकिन असलियत में यह सब बातें सभी को सालों से पता थीं, बस management ने किसी को इन्हें ठीक करने का अधिकार नहीं दिया था
    यह दो बार से ज़्यादा देख चुका हूँ, इसलिए इसके लिए कोई नाम होना चाहिए। शायद Garbagemaxxing

    • अगर “top three समस्याओं को ठीक करना होगा” असल में वही पुरानी समस्याएँ हैं जिन्हें सभी पहले से जानते थे और management ने हल करने का अधिकार नहीं दिया था, तो क्या net effect positive नहीं है?

  • यह page explore करने के लिहाज़ से सचमुच भयानक है

    • mobile पर यह scroll hijack कर लेता है, इसलिए शाब्दिक रूप से नीचे जाना संभव नहीं होता। reading mode भी बस पहला paragraph जैसा कुछ ही दिखाता है
      बाद में desktop पर फिर देखूँगा। content दिलचस्प लगता है, लेकिन असल में पढ़ पाना लगभग असंभव है। Ernst and Young का introduction section पार ही नहीं किया जा सकता
    • मुझे लग रहा है मेरी scrolling खुद hallucinate कर रही है
    • यह user hostility के बिल्कुल अलग स्तर की चीज़ है। ऐसा पहले कभी नहीं देखा
    • iPhone ने अपने आप reading mode चालू कर दिया था, लेकिन मैंने यह देखने के लिए बंद किया कि बात क्या है—और फिर सहमत हो गया
    • शाब्दिक रूप से रुकावटों वाला nonlinear feedback, कितना भयानक
      कुछ लोगों को websites बनानी ही नहीं चाहिए

  • क्या किसी ने इस बात पर भी hallucinate कर लिया कि webpage में scroll कैसे काम करना चाहिए?

  • अजीब बात यह है कि 12–18 महीने पहले यह report बहुत बड़ा scandal बन जाती और लंबे समय तक चलने वाला brand damage करती, लेकिन अब लगता है कि कोई इसे याद भी नहीं रखेगा या notice भी नहीं करेगा

  • पहले website ठीक करनी चाहिए। यह बेहूदा JavaScript animations फेंक देनी चाहिए। ऐसी चीज़ें तो 2014 में ही D3JS और jQuery से effectively हल हो चुकी थीं

  • समझ नहीं आता कि ऐसा आखिर होता कैसे है। उदाहरण के लिए Qwen Chat या Perplexity generated हर sentence के अंत में citations देते हैं
    इसलिए आप हर citation पर mouse hover करके देख सकते हैं कि वह किस website से आया
    क्या किसी ने बस web search के बिना ChatGPT में prompt डालकर copy-paste कर दिया?

  • EY पिछले एक साल से चुपचाप लोगों को निकालता आ रहा है
    कम लोगों से ज़्यादा काम करवाने की कोशिश का quality drop में बदलना कोई हैरानी की बात नहीं है

    • दिलचस्प बात यह है कि ऐसी service की भी अच्छी-खासी demand हो सकती है जो असल में कुछ नहीं करती
      बहुत-सा corporate काम बस checkbox भरना होता है
      boss कहता है, “X पर एक report लाओ। मैं वह report अपने boss को दूँगा, और वह उसे पढ़ेगा नहीं”
      फिर ढाँचा बन जाता है: “E&Y, एक report बना दीजिए। यह रहे 200,000 dollars”

  • संभव है कि webpage खुद भी vibe coding से बना हो, और लेखक को इसकी परवाह ही न रही हो