Alex Morgan के आखिरी प्रो मैच में उनका ज़िक्र करना भूल गया ESPN का AI सारांश

 (awfulannouncing.com)
2 पॉइंट द्वारा GN⁺ 2024-09-10 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • ESPN के AI-जनित मैच सारांश ने यह अहम संदर्भ ही छोड़ दिया कि यह Alex Morgan का रिटायरमेंट मैच था, जिससे दिखता है कि स्वचालित सारांश सिर्फ नतीजा सही बताकर भी पाठकों के लिए महत्वपूर्ण कहानी मिस कर सकते हैं
  • San Diego Wave, North Carolina Courage से 4-1 से हार गई, और Morgan ने 15 मिनट खेलकर पेनल्टी किक ली, फिर दर्शकों को धन्यवाद और विदाई दी
  • ESPN Generative AI Services का सारांश पूर्वी समयानुसार रात 8:52 बजे वेबसाइट और ऐप पर प्रकाशित हुआ, और 215 शब्दों में स्कोरिंग व मैच का प्रवाह तो बताया, लेकिन Morgan का एक बार भी ज़िक्र नहीं किया
  • ESPN का कहना था कि हर AI सारांश मानवीय संपादक की समीक्षा से गुजरता है, लेकिन यह स्पष्ट नहीं है कि इस चूक को समीक्षा प्रक्रिया में नजरअंदाज किया गया या संपादकीय निर्णय के तहत बाहर रखा गया
  • भले ही Morgan के आखिरी मैच पर अलग लेख मौजूद था, लेकिन कम कवरेज पाने वाले खेलों के प्रशंसकों के लिए दिए जाने वाले AI सारांश को भरोसा जीतने के लिए संदर्भ चुनने की क्षमता भी चाहिए

AI सारांश ने मैच का सबसे महत्वपूर्ण पल छोड़ दिया

  • अमेरिकी फुटबॉल की प्रतीकात्मक खिलाड़ी Alex Morgan ने रविवार को San Diego Wave के लिए अपना आखिरी प्रोफेशनल मैच खेला, और टीम North Carolina Courage से 4-1 से हार गई
  • मैच के दौरान Morgan ने मिडफील्ड में अपने बूट उतारे और Snapdragon Stadium के दर्शकों की ओर आंखों में आंसू लेकर हाथ हिलाया
    • दर्शकों ने Morgan का नाम पुकारा और खिलाड़ियों ने उन्हें घेरकर तालियां बजाईं
    • Morgan ने मैच में 15 मिनट खेले और पेनल्टी किक ली
    • मैच के बाद उन्होंने समर्थन के लिए दर्शकों को धन्यवाद कहा और विदाई दी
  • इस मैच का एक साथ कई नेटवर्क और स्ट्रीमिंग सेवाओं पर प्रसारण हुआ

ESPN Generative AI Services सारांश में क्या छूटा

  • ESPN Generative AI Services ने उसी हफ्ते से NWSL और Premier Lacrosse League मैच सारांश देना शुरू किया था
  • विवादित सारांश ESPN की वेबसाइट और ऐप पर पूर्वी समयानुसार रात 8:52 बजे पोस्ट किया गया
  • सारांश ने सामान्य तरीके से मैच का नतीजा, गोल करने वाले खिलाड़ी और मैच का प्रवाह बताया, लेकिन पूरे 215 शब्दों में Morgan का कोई उल्लेख नहीं था
    • यह भी नहीं बताया गया कि यह Morgan का आखिरी प्रोफेशनल मैच था, जबकि वह दो बार World Cup जीत चुकी हैं और Olympic gold medalist रही हैं
    • सारांश में यह वाक्य शामिल था कि "[San Diego की Kennedy] Wesley डिफेंस और अटैक दोनों में योगदान देने वाली standout player थीं"

मानवीय संपादकीय समीक्षा पर उठे सवाल

  • सेवा की घोषणा में ESPN ने कहा था कि हर AI-जनित सारांश की गुणवत्ता और सटीकता की जांच मानवीय संपादक करते हैं
  • Morgan का नाम क्यों छूटा, यह स्पष्ट नहीं है
    • संभव है कि मानवीय संपादक Morgan की अनुपस्थिति पर ध्यान ही न दे पाए हों
    • यह भी संभव है कि उन्होंने Morgan से जुड़ा संदर्भ शामिल करने को जरूरी न समझा हो
  • भले ही सारांश में दिए गए तथ्य अपने आप में सही थे, लेकिन Morgan और उस रात के महत्व को छोड़ देने से यह मैच के पूरे संदर्भ को देने में विफल रहा

अलग लेख और बाद में किया गया संशोधन

  • ESPN ने Jeff Kassouf द्वारा लिखा गया Morgan-केंद्रित अलग लेख भी प्रकाशित किया
  • उस लेख में Morgan की भावुक आखिरी रात को कवर किया गया, लेकिन वह AI-जनित सारांश के साइड मेनू में था, इसलिए आसानी से नजर से छूट सकता था
  • ESPN ने सोमवार, 9 सितंबर को पूर्वी समयानुसार सुबह 8:59 बजे मैच सारांश में संशोधन कर Alex Morgan का उल्लेख जोड़ दिया

कम कवरेज वाले खेलों में AI सारांश की सीमाएं

  • ESPN ने कहा था कि AI-जनित सारांश का उद्देश्य कम कवरेज पाने वाले खेलों की रिपोर्टिंग को मजबूत करना और प्रशंसकों को ऐसा कंटेंट देना है जो पहले उपलब्ध नहीं था
  • महत्वपूर्ण संदर्भ छोड़ देने वाले मैच सारांश यह दिखाते हैं कि सिर्फ तथ्यों की सूची पर्याप्त नहीं है
  • एक मानवीय लेखक सिर्फ नतीजा नहीं देखता, बल्कि खिलाड़ी, लीग और प्रशंसकों के लिए अहम क्षणों को भी पहचान सकता है, लेकिन यह AI सारांश वह भूमिका निभाने में असफल रहा

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-09-10
Hacker News टिप्पणियां

  • इसे AI-generated content पर निशाना साधने के उदाहरण की तरह इस्तेमाल करना काफ़ी मज़ेदार है। Web-based sports content कंपनियां LLM के मशहूर होने से बहुत पहले से, कम-से-कम 10 सालों से, अपने-आप article content बना रही हैं
    आम तौर पर इसकी वजह search ranking होती थी, क्योंकि जितना ज़्यादा ऐसा content हो जो ऊपर से relevant लगे, search engine optimization के लिए उतना बेहतर होता था
    इस तरह की चीज़ AI से पहले भी कई बार हुई होगी, बस वह नज़र में नहीं आई या उस पर ज़्यादा ध्यान नहीं गया। यह मामला ज़्यादा ऐसा लगता है कि ESPN ने ज़मीनी संदर्भ पकड़ने में चूक की और यह सुनिश्चित नहीं किया कि कोई copywriter उस article को हाथ से update करे। ESPN पहले से ही quality से ज़्यादा quantity को प्राथमिकता देने के लिए जाना जाता रहा है
    स्रोत: ऐसी content बनाने वाली कंपनी में tech-side developer के रूप में काम कर चुका हूं

    • फिर भी इस मामले में AI ने इसे बेहतर नहीं बनाया
      यह बात अपने-आप में काफ़ी निराशाजनक है कि ऐसा generic content, जिसमें बस sports terminology मिला दी गई हो, revenue ला सकता है
    • यानी AI पुराने तरीके जितना ही खराब है, लेकिन ज़्यादा data और ज़्यादा energy consumption मांगता है?
    • “copywriters में से किसी एक से इस specific article को manually update करवाना सुनिश्चित” करने वाली बात देखें तो, पहले भी ऐसा कोई system ठीक से मौजूद नहीं था, और इस article के नतीजे को देखकर साफ़ है कि अब भी नहीं है
      कई sports articles असल में fill-in-the-blanks जैसे होते हैं, यह साफ़ दिखता है। इसलिए AP article तुरंत डाल दिया जाता है, और असली assigned reporter उसी रात या अगली सुबह अलग से article निकालता है
    • ESPN की गिरावट LLM से बहुत पहले शुरू हो चुकी थी, और AI use के और खुलकर दिखने से बस वह downward spiral तेज़ हो रहा है
    • पता नहीं पिछले 5+ सालों से आप कौन-सा web देख रहे हैं। सिर्फ sports “content” ही नहीं, हर तरह का content घटिया search engine optimization pages में बंद है
      वह auto-generated हो या नहीं, बेकार तो उतना ही है; LLM बस उसे और सस्ता बना देता है

  • यह match ESPN ने ESPN2 और ESPN+ दोनों पर broadcast किया था। ऐसे में बहुत संभावना है कि वे match से पहले, दौरान और बाद में context जोड़ने और अहम moments समझाने के लिए दो expert commentators को पैसे दे रहे थे
    क्या वे उस content को writing bot को देने के लिए caption transcript के रूप में उपलब्ध नहीं कराते? Commentary पहले से ही real-time captions में process हो रही है, इसलिए यह सच में आसान सुधार जैसा लगता है

    • मुझे यह जानने की curiosity हुई तो मैंने खुद try किया। whisper-small.en से match transcribe करने के बाद, ChatGPT से neutral prompt के साथ summary मांगी
      “निम्नलिखित soccer match का transcript है। एक अनुभवी professional sports journalist की शैली में, इस match पर 200-word article लिखिए।”
      Summary की शुरुआत थी: “अपने अंतिम professional match में Alex Morgan ने भावनाओं और resilience से भरा प्रदर्शन किया, लेकिन San Diego Wave को North Carolina Courage से 3-1 से हार मिली। San Diego के Snapdragon Stadium में खेला गया यह match सिर्फ़ एक मुकाबला नहीं था, बल्कि football की सबसे iconic हस्तियों में से एक को दी गई श्रद्धांजलि था।”
      Score गलत था। बाकी यहां है: https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
    • Sports में structured data बहुत ज़्यादा होता है, और खासकर ESPN जैसे brand के लिए उसे सही तरीके से explain करने का standard भी ऊंचा होता है
      कई घंटों के transcript को LLM में डालने पर, commentator ने किसी scoring chance या आखिरकार न हुई घटना पर excited होकर जो कहा, उसकी वजह से hallucination होने का risk काफ़ी है
      उलटे, “goal list, time, scorer, assist player आदि को sentences में बदलो” जैसे simple tasks LLM के बिना भी deterministic algorithm से किए जा सकते हैं, और इस बार भी ऐसा ही हुआ हो सकता है। Original text की कुछ grammar problems LLM से पहले वाले substitution rules के गलत combination जैसी ज़्यादा लगती हैं
      लंबे transcript को summarize करने वाले LLM के first output को बार-बार verify करने और पहले से मौजूद structured data से compare करके accuracy check करने वाला system बनाया जा सकता है। इससे rich content और acceptable error rate भी मिल सकता है, और दुनिया के top-tier machine learning engineers किसी hackathon में इसका prototype भी बना सकते हैं
      लेकिन बड़े और risk-averse organizations के लिए यह बिल्कुल आसान नहीं है। क्योंकि “जो अभी है वह imperfect है, लेकिन कम-से-कम facts गलत नहीं करता” वाली logic को हराना मुश्किल है
    • मैंने कुछ ऐसी जगहों को consult किया है जो खुद को “media/journalism” company मानती हैं, और हमेशा हैरानी वाली बात यह रही कि tech team content team से अलग होती है और उस media access permission का level भी अक्सर बहुत कम होता है
      Tech company में जिस “हर चीज़ तक access” वाले तरीके की उम्मीद होती है, या आम common sense, उससे यह काफ़ी अलग है
      ESPN कैसे काम करता है, मुझे बिल्कुल नहीं पता; यह मैं दूसरी जगहों पर देखी चीज़ों के आधार पर अनुमान लगा रहा हूं
    • मैंने भी यही सोचा था। लगता है अभी शुरुआती दौर है

  • अगर इनपुट या prompt में कहीं भी यह जानकारी नहीं थी कि “यह Alex Morgan का आख़िरी मैच है”, तो AI summary आखिर मैच की रिपोर्ट में यह बात कैसे डाल पाती?
    किसी टीनएज intern को भी अगर सिर्फ़ scorers और scoring times वाली table दे दी जाती, तो वह भी ऐसी ही रिपोर्ट लिख देता। लेकिन इसका मतलब यह बहाना नहीं बन जाता कि news organizations और sports sites हर चीज़ के लिए generative AI इस्तेमाल कर सकती हैं, और यह भी समझ आता है कि लोग ESPN से क्यों चिढ़ रहे हैं

    • अगर वह जानकारी नहीं थी, तो इसे बनाया नहीं जा सकता था, और यही समस्या है। generative AI के बड़े selling points में से एक writing process से इंसान को बाहर करना है, लेकिन अगर किसी को सचमुच मैच देखकर prompt में बताना पड़े कि क्या हुआ, तो समझ नहीं आता कि इस technology का मतलब क्या रह जाता है
      generative AI लागू करने का रूप यही है। low-quality input का इस्तेमाल करके ऐसा कुछ बनाना जो article जैसा दिखे। OpenAI ने जो चमकदार भविष्य लाकर दिया है, वह यही है
    • आलोचना का मुख्य मुद्दा “AI कितना बेवकूफ़ है” नहीं है, बल्कि यह दिखाने वाला एक उदाहरण है कि ESPN के दावे के मुताबिक़ इंसान ने review किया हो, तब भी AI content कैसे कम पड़ जाता है
    • यह AI की कोई बुनियादी सीमा कम, और उसे बेहतर तरीके से इस्तेमाल करने की समस्या ज़्यादा लगती है
      सिर्फ़ match events को LLM में डालकर summary माँगने के बजाय, prompt में मैच में शामिल खिलाड़ियों, coaches आदि से जुड़ी हाल की 10 articles की summaries, और शायद historical key articles की 10 summaries भी शामिल की जा सकती हैं—सुधार का रास्ता साफ़ दिखता है
      फिर उससे मैच summarize करने को कहा जा सकता है, और बाकी जानकारी को article quality बेहतर करने के संदर्भ के तौर पर इस्तेमाल करने को कहा जा सकता है। क्या यह ठीक वही काम नहीं लगता जो LLM अच्छी तरह कर सकता है
    • जो लोग यह article पढ़ने वाले थे, वे अच्छी तरह जानते थे कि यह Alex Morgan का आख़िरी मैच था। sports media में इतनी व्यापक पहुंच रखने वाला ESPN अगर इसे पकड़कर article में शामिल नहीं कर पाता, तो समझ नहीं आता कि कोई publisher किसी भी Y Combinator startup के बजाय ESPN की summary service क्यों इस्तेमाल करे
    • ऐसी जानकारी prompt में शामिल करने के लिए किसी तरह का retrieval-augmented generation system बनाना पड़ेगा। इसे semi-automated बनाया जा सकता है, लेकिन इसके लिए system पर ज़्यादा मेहनत करनी होगी

  • ESPN ने ज़ोर देकर कहा कि “AI द्वारा generated हर summary को quality और accuracy सुनिश्चित करने के लिए human editor review करता है”, लेकिन इस पर भरोसा करना मुश्किल है
    AI से articles लिखवाने का मुख्य उद्देश्य उन लोगों की संख्या घटाना है जिन्हें पैसे देने पड़ते हैं, इसलिए trained professionals से हर article बारीकी से review करवाने का खर्च उठाना शायद विकल्पों में शामिल ही नहीं होगा
    review की गहराई घटाकर, editor की expertise कम करके, या हर article में इंसान न लगाकर compromise किया जा सकता है, लेकिन professional editor को ठीक से काम करने के लिए पैसे नहीं दिए जाएंगे। इस पर मैं शर्त लगा सकता हूँ

    • मुझे नहीं लगता कि यह logic ठीक बैठता है। generated articles इस्तेमाल करने से बहुत पैसा बच सकता है, लेकिन अगर content accurate नहीं है तो customer यानी advertiser trust खो जाता है
      replace किए गए हर 10 journalists पर 1 editor रखने पर भी cost saving बड़ी ही रहेगी
      कुछ और generations बाद शायद editor भी replace हो जाए, लेकिन मुझे लगता है अभी बात वहां तक नहीं पहुंची है

  • ESPN ने reporting से इंसान को निकाल दिया, और AI ने report की सामग्री से इंसान को निकाल दिया
    ESPN ने service announcement में ज़ोर देकर कहा था कि “AI द्वारा generated हर summary को quality और accuracy सुनिश्चित करने के लिए human editor review करता है।” यह साफ़ नहीं है कि human editor ने Morgan की अनुपस्थिति नोटिस नहीं की, या उसे उल्लेख के लायक नहीं माना
    पिछले 100 सालों में intern को दोष देना एक शानदार scapegoat रहा है

    • मेरी व्याख्या भी कुछ ऐसी ही है। असल में ऐसा लगता है जैसे “भारत में बैठा कोई teenager दिन में 1,000 AI-generated articles को तेज़ी से scan करता है, सिर्फ़ offensive expressions या मुक़दमे लायक चीज़ें ढूँढता है, और बस”

  • WTT (World Table Tennis) matches की AI match summaries से मुझे सचमुच नफ़रत है
    AI highlights rally के बीच में कट जाते हैं, पूरे points या यहां तक कि पूरे sets छोड़ देते हैं। points के बीच होने वाली अहम घटनाएं भी reflect नहीं होतीं, और point के बाद की exciting commentary या celebration, यहां तक कि match के अंत की handshake भी काट दी जाती है

    • AI जो कुछ भी generate करता है, मुझे उससे नफ़रत है। क्या text में भी uncanny valley जैसी कोई चीज़ होती है

  • ऐसी AI summaries बनती कैसे हैं? क्या पूरे match का video file डालने पर summary निकलती है, या फिर इंसान द्वारा लिखे गए score record, जिसमें scoring timestamps हों, को देकर AI उससे sentences जोड़कर article बना देता है—यह जानने की जिज्ञासा है

    • पहले AI से पहले जब यह बनाया जाता था, तो match information पूरी API में होती थी, और उसे templates में भर दिया जाता था
      अब शायद raw API call डालकर “इस data का इस्तेमाल करके match summary article लिखो” जैसा prompt दिया जाए तो output आ जाएगा। बेशक, मेरा अनुमान है कि prompt इससे ज़्यादा carefully लिखा गया होगा। या फिर ESPN है, तो शायद नहीं भी
      हालांकि मुझे बिल्कुल याद नहीं कि retiring_players API response में शामिल होता था
      और जोड़ूँ तो play-by-play summaries सचमुच बेहद अच्छी तरह documented होती हैं। हैरान कर देने वाली हद तक। Gridiron Football या Basketball जैसे popular sports में player positions second-by-second भी होती हैं। यह data SportsRadar जैसी feeds से आता है
      शायद इतना detailed data prompt में नहीं डाला जाता होगा, लेकिन किसने कितने three-pointers मारे और कहाँ से shoot किया जैसी काफ़ी अच्छी summary information होती है
    • अगर मैं यह prototype बनाता, तो input के तौर पर सबसे पहले semi-structured text play-by-play record से शुरू करता
      इसमें roster, injuries, schedule information शामिल करके और काफ़ी basic prompt इस्तेमाल करके भी काफ़ी बेहतर होने की संभावना है
      ऐसा data अभी ज़्यादातर live matches के लिए कई web services के ज़रिए मौजूद है। ESPN के अंदर भी ऐसी information लाने के लिए पर्याप्त resources होंगे
    • कुछ companies live sports data API के रूप में देती हैं या post-match summaries देती हैं, इसलिए शायद उसी का इस्तेमाल होने की संभावना ज़्यादा है
    • box score और play-by-play events का इस्तेमाल होता है
    • “generative AI” से expectations और reality के बीच की दूरी अब ignore करने के लिए बहुत बड़ी हो चुकी है
      अगर अरबों dollar के systems “human error” की वजह से fail हो जाते हैं, तो शायद उनकी capabilities को बहुत बढ़ा-चढ़ाकर बताया गया है। अगर carefully crafted queries यानी “prompt engineering”, 100% error-free data, भारी electricity, और output को फिर से human review करने की process तक चाहिए, तो समझ नहीं आता कि हमें मिला क्या
      क्या अब यह मानने का समय नहीं आ गया कि यह AI phase एक bubble है

  • ऐसी websites trackers और ads से भरी होती हैं, और अक्सर उनका मतलब बस extremely low-effort articles को बहुत लंबा खींच देना होता है, जो ज़्यादातर बेकार चीज़ों पर reporting करते हैं