Wikimedia Foundation का प्रायोगिक LLM/RAG Chrome extension 'Citation Needed' जारी

 (chromewebstore.google.com)
1 पॉइंट द्वारा GN⁺ 2024-05-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें

Wikipedia Citation Needed Chrome extension

  • वेब ब्राउज़िंग के दौरान किसी खास टेक्स्ट अंश को चुनकर उस दावे का सत्यापन करता है
  • ChatGPT API का उपयोग करके Wikipedia में संबंधित दस्तावेज़ खोजता है और उन्हीं दस्तावेज़ों से उद्धरण देता है
  • चुने गए दावे को Wikipedia में समर्थन मिलता है या नहीं, इसकी जानकारी के साथ दस्तावेज़ की आख़िरी संपादन तिथि, references की संख्या जैसे document quality signals भी देता है, ताकि उपयोगकर्ता को मिलने वाली जानकारी (जिसमें Wikipedia से मिलने वाली जानकारी भी शामिल है) को अधिक संदर्भ के साथ समझने में मदद मिल सके

उपयोगकर्ता फ़ीडबैक का अनुरोध

  • यह feature generative AI का उपयोग करने वाला एक प्रायोगिक feature है, और यह कभी-कभी गलती कर सकता है, यह वे स्वीकार करते हैं
  • नतीजों की गुणवत्ता को समझने और बेहतर बनाने के लिए, extension के feedback link के ज़रिए मिली समस्याओं की रिपोर्ट करने का अनुरोध किया गया है
  • सामान्य feedback और इस बारे में ideas भी स्वागतयोग्य हैं कि रोज़मर्रा की web browsing में Wikipedia को और किन तरीकों से उपयोगी बनाया जा सकता है

डेवलपर जानकारी

  • यह extension Wikimedia Foundation की Future Audiences team ने विकसित किया है, जो Wikipedia और उसके sister projects का समर्थन करने वाला एक non-profit संगठन है

GN⁺ की राय

  • यह extension वेब पर उपयोगकर्ताओं को मिलने वाली जानकारी की विश्वसनीयता का आकलन करने में मदद कर सकता है। लेकिन Wikipedia के लेखों की अपनी गुणवत्ता और सटीकता की सीमाएँ हो सकती हैं, इसलिए इसे एकदम अंतिम मानक मानना उचित नहीं लगता।
  • ChatGPT जैसे large language models का उपयोग करके summary और verification को automate करना उपयोगकर्ता सुविधा बढ़ा सकता है, लेकिन साथ ही गलत जानकारी उत्पन्न होने का जोखिम भी रहता है। इसके लिए लगातार monitoring और सुधार के प्रयास ज़रूरी लगते हैं।
  • Wikipedia के अलावा, अगर अलग-अलग क्षेत्रों के विशेषज्ञों द्वारा सत्यापित भरोसेमंद सूचना स्रोतों को भी जोड़ा जाए, तो सत्यापन की सटीकता और व्यापकता बढ़ सकती है। लंबे समय में blockchain-आधारित decentralized knowledge base के निर्माण पर भी विचार किया जा सकता है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-05-13
Hacker News की राय

  • यह इंटरनेट पर किए गए दावों को Wikipedia से मिलाकर जांचने वाला एक experimental LLM-आधारित RAG application है
    अधिक जानकारी https://meta.wikimedia.org/wiki/Future_Audiences/Experiment:... पर देखी जा सकती है
    संदर्भ के लिए, मैंने इस काम में हिस्सा लिया था

    • अगर आपको ideas या code में योगदान देने वाले और developers चाहिए हों, तो मैं संपर्क करना चाहूंगा
      पिछले 6 महीनों में मैंने करीब 8 browser extensions बनाए हैं, जिनमें से अधिकतर के हजारों users हैं और एक 5 लाख users तक पहुंचा था
      अभी मैं LLM-आधारित design assistant extension बना रहा हूं, और “hello[at]papillonsoftware[dot]dev” पर संपर्क किया जा सकता है
    • ऐसा लगता है कि यह tool यह verify नहीं करता कि article खुद उस claim के लिए source cite करता है या नहीं
      इसलिए शायद इसका नाम Citation Needed है। असल में यह कुछ भी cite नहीं करता
    • मैं जानना चाहूंगा कि technical details या design पर कोई material है या नहीं
    • जानना चाहूंगा कि Safari extension की कोई योजना है या नहीं

  • उत्सुकता है कि quotes भी hallucinate हो सकते हैं या फिर deterministic quoting[1] जैसा कोई तरीका इस्तेमाल किया जाता है
    संदर्भ के लिए, मैं उस काम का author हूं
    [1] https://mattyyeung.github.io/deterministic-quoting

    • वाकई शानदार। सोच रहा हूं कि क्या यह natural language search की बुनियाद बन सकता है
      documents देखते समय keywords या regular expression से खोजने के बजाय, क्या English में ज्यादा complex concepts search करने की तरह इसे इस्तेमाल किया जा सकता है
      अगर नहीं, तो उस level तक पहुंचने के लिए और क्या work चाहिए होगा, यह भी जानना चाहूंगा
    • quote खुद hallucinate नहीं हो सकता, लेकिन यहां हम अलग approach इस्तेमाल कर रहे हैं
      फिर भी deterministic quoting वाला काम दिलचस्प लगता है

  • Firefox extension नहीं है

    • अगर Wikimedia Foundation को इस project को aggressive embrace & extend browser base पर बनाने के लिए payment नहीं मिली है, तो उन्हें देखना चाहिए कि कहीं वे पैसा छोड़ तो नहीं रहे
      ऐसे projects browser competitors को कमजोर करने में मदद करते हैं
    • तो फिर मैं इसका इस्तेमाल नहीं कर पाऊंगा

  • अच्छा idea है। आगे चलकर अच्छा होगा अगर LLM Wikipedia articles की भी fact-checking करके mark कर दे

    • फिर तो आखिरकार LLM उसी Wikipedia article को, जिससे उसने originally train किया था, उसी Wikipedia article से मिलाकर check करेगा, है न?

  • इस extension का Wikimedia Git repository यहां है
    https://gitlab.wikimedia.org/repos/future-audiences/citation...
    इसके अलावा README में build instructions अधूरे हैं और hot reload भी काम करता नहीं लगता। working build पाने के लिए npm run build-dev इस्तेमाल करें
    यह साफ नहीं है कि इसे Firefox extension बनाने से क्या रोक रहा है। शायद sidebar/sidepanel API का फर्क हो सकता है, लेकिन मैंने इसे बहुत ज्यादा नहीं खंगाला

  • अगर इसमें search-based document generator जोड़ दें, तो document generator और document checker मिल जाएंगे, और फिर सीधे 1 trillion pages बनाए जा सकते हैं
    इसे LLM training content के तौर पर भी इस्तेमाल किया जा सकता है और लोग भी शायद इस्तेमाल कर सकेंगे

  • जानना चाहूंगा कि क्या यह सिर्फ Chrome में ही चलता है। मैं इसे Arc में चला नहीं पाया

  • @wikimedia: कृपया Firefox version दें

  • कहा जा रहा है “Wikipedia में citations खोजने वाला Chrome extension”, लेकिन academia में Wikipedia citations आम तौर पर taboo हैं
    इसका एक कारण कम reliability है, और author ऐसे source को cite कर सकता है जिसे वह खुद edit कर सके
    उससे भी अहम बात यह है कि Wikipedia primary sources खोजने के लिए अच्छा हो सकता है, लेकिन अपने-आप में यह secondary source है

    • सच कहूं तो यह तर्क अब कुछ पुराना लगता है
      अब बड़े पैमाने पर academic fraud सचमुच सामने आ चुकी है और उसे ठीक करने के लिए corrections लगभग नहीं हुए
      दूसरी ओर Wikipedia ने abuse को काफी अच्छी तरह handle किया है, और Wikipedia links का इस्तेमाल academia के लिए खतरा होने से ज्यादा academic fraud Wikipedia के लिए बड़ा खतरा है
    • मुद्दा Wikipedia के अंदर की information खोजना है, और उस information के साथ आम तौर पर दूसरे sources के citations लगे होते हैं
      Google से खोजने पर उसी information की बहुत repetition मिलती है, लेकिन ज्यादातर sites sources cite नहीं करतीं
    • पहले से कुछ अलग नहीं लगता
      Wikipedia से पहले भी secondary sources cite नहीं करते थे, लेकिन किसी topic में प्रवेश करने और relevant sources खोजने के लिए उसका जरूर इस्तेमाल करते थे
    • academia में Wikipedia को ज्यादातर cite करना अनुपयुक्त होने के कई कारण हैं, लेकिन “author उस source को cite कर सकता है जिस पर उसका edit authority है” उनमें से एक नहीं है
      scholars हमेशा अपने papers या ऐसे दूसरे sources को cite करते हैं जिन पर उनका editorial control होता है
    • Wikipedia खुद tertiary source बनना पसंद करता है
      references को primary sources के बजाय secondary sources की ओर जाना चाहिए
      “Wikipedia articles should be based on reliable, published secondary sources, and to a lesser extent, on tertiary sources and primary sources. Secondary or tertiary sources are needed to establish the topic's notability and avoid novel interpretations of primary sources.”
      https://en.wikipedia.org/wiki/Wikipedia:No_original_research

  • जब मैंने इससे इसके बारे में ही पूछा, तो यह लौटाया गया

    "Citation Needed is an experimental feature developed in 2024"

    • The provided passages do not contain any information about a feature called 'Citation Needed' being developed in 2024.
    • Wikipedia
    • Discouragement in education
    • not be relied
      असली use case की तरह तो नहीं इस्तेमाल किया, लेकिन थोड़ा funny था