OpenAI ने अपना AI डिटेक्शन टूल चुपचाप बंद किया

 (decrypt.co)
1 पॉइंट द्वारा GN⁺ 2023-07-27 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • AI Classifier एक ऐसा टूल था जिसे ChatGPT जैसे जनरेटिव AI से लिखे गए टेक्स्ट की पहचान के लिए जारी किया गया था, लेकिन लगभग छह महीने में ही कम सटीकता के कारण इसे बंद कर दिया गया
  • बंद किए जाने की जानकारी किसी अलग घोषणा से नहीं, बल्कि टूल को पहली बार पेश करने वाली ब्लॉग पोस्ट में जोड़े गए एक नोट के जरिए ही दी गई, और classifier का लिंक भी अब उपलब्ध नहीं है
  • लॉन्च के समय भी OpenAI ने इस classifier को "पूरी तरह भरोसेमंद नहीं" बताया था; यह AI-लिखित टेक्स्ट का केवल 26% ही पहचान पाया और 9% मानव-लिखित टेक्स्ट को AI मानकर गलत वर्गीकृत किया
  • 1,000 वर्ण से छोटे टेक्स्ट पर विश्वसनीयता कम होना, मानव लेखन को गलत पहचानना, और ट्रेनिंग डेटा के बाहर प्रदर्शन गिरना जैसी सीमाएँ मौजूद थीं
  • छात्रों द्वारा ChatGPT से निबंध लिखवाने को लेकर चिंतित शिक्षा जगत ने इस क्षेत्र में खास रुचि दिखाई थी, और AI टेक्स्ट classifier की सीमाओं व प्रभाव को समझना महत्वपूर्ण है

AI Classifier बंद

  • AI Classifier को पिछले हफ्ते "कम सटीकता (low rate of accuracy)" के कारण चुपचाप बंद कर दिया गया
  • इसके बारे में कोई नई अलग घोषणा नहीं की गई; यह केवल टूल की मूल घोषणा वाली ब्लॉग पोस्ट में जोड़े गए नोट से बताया गया
  • OpenAI classifier तक ले जाने वाला लिंक भी अब नहीं दिया जा रहा है

लॉन्च की पृष्ठभूमि और शुरुआती प्रदर्शन

  • जनवरी में OpenAI ने इसे ChatGPT जैसे जनरेटिव AI से बनाए गए कंटेंट की पहचान करने वाले टूल के रूप में पेश किया था
  • इसे इस दावे के साथ जारी किया गया कि यह मानव और AI द्वारा लिखे गए टेक्स्ट में अंतर कर सकता है, लेकिन उसी समय यह भी स्पष्ट किया गया कि यह "पूरी तरह भरोसेमंद नहीं" है
  • अंग्रेज़ी टेक्स्ट "challenge set" के मूल्यांकन परिणाम भी साझा किए गए थे
    • AI-लिखित टेक्स्ट के 26% को सही तरीके से "AI द्वारा लिखे जाने की संभावना अधिक" के रूप में पहचाना गया
    • मानव-लिखित टेक्स्ट के 9% को गलती से AI-लिखित मान लिया गया

AI Classifier की सीमाएँ

  • 1,000 वर्ण से छोटे टेक्स्ट पर विश्वसनीयता कम थी
  • मानव द्वारा लिखे गए टेक्स्ट को AI-लिखित बताकर गलत वर्गीकृत कर देता था
  • neural network आधारित classifier का प्रदर्शन ट्रेनिंग डेटा से बाहर के क्षेत्रों में कमजोर था

OpenAI की आगे की दिशा

  • कंपनी फीडबैक को शामिल करने पर काम कर रही है और टेक्स्ट के लिए अधिक प्रभावी provenance तकनीकों पर शोध कर रही है
  • ऑडियो और वीडियो कंटेंट के AI-जनित होने या न होने को समझने के लिए उपयोगकर्ताओं को सक्षम बनाने वाले मैकेनिज़्म विकसित और जारी करने का वादा किया गया है

शिक्षा जगत और AI डिटेक्शन की मांग

  • नवंबर में ChatGPT के लॉन्च के बाद, छात्रों द्वारा निबंध लेखन में इसके दुरुपयोग को लेकर शिक्षकों ने चिंता जताई
  • यह स्वीकार किया गया कि AI टेक्स्ट पहचान शिक्षकों के बीच एक महत्वपूर्ण चर्चा का विषय रही है, लेकिन कक्षा में AI-जनित टेक्स्ट classifier की सीमाओं और प्रभाव को समझना भी उतना ही जरूरी है
  • लगातार अधिक परिष्कृत AI टूल लगभग हर दिन सामने आ रहे हैं और AI detection उद्योग (cottage industry) बनता जा रहा है
  • Decrypt की टिप्पणी मांग पर अभी तक कोई जवाब नहीं मिला

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-07-27
Hacker News की राय

  • अच्छा हुआ कि उन्होंने ऐसा किया, लेकिन ज़ाहिर है कि घोषणा तो करनी चाहिए थी
    यह हैरान करने वाला है कि ecosystem में इतने लोग मानते हैं कि सिर्फ कुछ वाक्यों का टेक्स्ट देखकर यह तय किया जा सकता है कि उसे AI ने लिखा है या नहीं। इससे भी ज़्यादा अजीब यह है कि अधिकार रखने वाले लोग ऐसे “AI द्वारा लिखा vs इंसान द्वारा लिखा” tools के फैसलों पर भरोसा करके कार्रवाई करते हैं, जबकि असल में इसकी गारंटी नहीं दी जा सकती
    उम्मीद है कि यह एक और उदाहरण बनेगा कि किसी string को LLM ने output किया है या नहीं, यह सीधे-सीधे detect नहीं किया जा सकता

    • असल में यह असंभव है। मान लें कि कोई classifier है जो यह detect करता है कि कोई लेख AI-generated है या नहीं, तब भी उस classifier को generative model के पीछे जोड़कर उसे धोखा देने के लिए train किया जा सकता है, और yes/no output से generative model की input layer तक backpropagate किया जा सकता है। फिर ऐसे लेख आसानी से बनाए जा सकते हैं जो उस classifier को धोखा दें
      ऐसे models शुरू से ही असफल होने के लिए बने हैं, जब तक कि उनके parameters पूरी तरह गुप्त न रखे जाएँ और कभी leak न हों। गुप्त होने पर भी इसका मतलब बस इतना होगा कि access रखने वाले लोग ही उसे धोखा दे पाएँगे और बाकी नहीं; अंततः सामने वाले के पास भी अपना model बनाने की प्रेरणा होगी और यह एक अंतहीन arms race बन जाएगा
      असली समाधान यह होना चाहिए कि हमें बेहतर tools चाहिए जो अच्छे content को अपने-आप पहचान सकें, चाहे उसे इंसान ने लिखा हो या AI ने। अगर यह संभव हो जाए तो बहुत मदद मिलेगी, और अगर competition भी हो तो वह एक-दूसरे से बेहतर quality का content बनाने की competition होगी
    • विचार ही अच्छा नहीं है। ChatGPT मूल रूप से ऐसा tool है जिसका लक्ष्य इंसान से अलग न पहचाना जा सकने वाला लेखन करना है
      “detector” के पास जानकारी बहुत कम होती है, और जो थोड़ा-बहुत reasonable आधार है वह writing style जैसी चीज़ें ही हैं। ChatGPT की एक खास style ज़रूर है, लेकिन वह किसी भी तरह अकेली style नहीं है; और जैसे-जैसे performance बेहतर होगी, परिभाषा के अनुसार वह और भी कई styles में अच्छी तरह लिख पाएगा
    • ऐसी posts भी घूम रही हैं कि इंसानों द्वारा लिखे गए text को AI output के रूप में false positive किया जा रहा है। खासकर कुछ autistic लोगों के मामले में ऐसा ज़्यादा बताया जा रहा है। क्या यह lie detector जितना ही बेकार नहीं है?
    • tool को हटा देना सबसे अच्छा response नहीं लगता। किसी चीज़ को खत्म कर देना आम तौर पर अच्छा समाधान नहीं रहा है
      अगर समस्या यह है कि लोग इसका गलत इस्तेमाल कर रहे हैं, तो यह अधिक इस बात जैसा है कि tool को लोगों की ज़रूरत वाले use case के हिसाब से design नहीं किया गया। उदाहरण के लिए, अगर बहुत कम वाक्यों पर इस्तेमाल करने से गलती होती है, तो minimum sentence count जैसी शर्त लगाकर minimum confidence सुनिश्चित किया जा सकता है
      अर्थ दिखाने के तरीके पर भी यही बात लागू होती है। अगर लोग statistics या maths नहीं समझते, तो circle या coin जैसी visual चीज़ों से उसका मतलब दिखाया जा सकता है। विकल्प छीन लेना अच्छी बात नहीं लगता, खासकर cynically लोगों को ऐसा मानकर कि वे इसके लायक नहीं हैं, उसे हटाना तो बिल्कुल सही नहीं है
    • “हैरान करने वाली बात है कि इतने लोग मानते हैं कि सिर्फ कुछ वाक्यों से AI लेखन पहचाना जा सकता है” वाले हिस्से के संदर्भ में, आज आई यह report काफ़ी परेशान करने वाली है: https://gpai.ai/projects/responsible-ai/social-media-governa...
      Foundation AI Models Need Detection Mechanisms as a Condition of Release [pdf]

  • अच्छा है। अगर यह भरोसेमंद नहीं है, तो झूठी सुरक्षा-भावना देने की वजह से इसका होना उल्टा नुकसानदेह है
    एक मिलते-जुलते उदाहरण के तौर पर, जिस neighborhood pizza delivery place पर मैं काम करता था, वहाँ delivery person द्वारा box छेड़ने या उसमें से खाने से रोकने के लिए boxes को safety sticker से seal किया जाता था। लेकिन logistics कारणों से कभी-कभी यह छूट जाता था। जिन boxes पर sticker नहीं होता था, customers उन्हें यह सोचकर वापस करने लगे कि कहीं pepperoni चोरी तो नहीं हो गई, और थोड़े समय बाद वह system बंद कर दिया गया

    • मुझे यह ज़्यादा staff training failure जैसा लगता है, और उल्टा मैं उन shifts को weekly bonus देता जिन्होंने safety sticker नहीं छोड़ा
      यह वैसा ही है जैसे aspirin bottle पर security seal लगाना भूल जाने पर यह नहीं कहा जाएगा कि production के दौरान किसी ने bottle seal नहीं की, इसलिए सभी seals हटा दो

  • इस tool ने academia में भारी false accusations को बढ़ावा दिया है। मेरी पत्नी PhD कर रही है, और वह अक्सर बताती है कि professors गलत तरीके से students पर ChatGPT इस्तेमाल करने का आरोप लगा देते हैं

    • Reddit पर भी ऐसी कई कहानियाँ हैं जहाँ school teachers ने assignments में ChatGPT इस्तेमाल करने का आरोप students पर गलत तरीके से लगाया
    • हमारी university के कुछ students ने दावा किया कि उनके assignments को LLM से grade किया जा रहा है। उन्होंने feedback comments को OP जैसे classifier में डालकर मिले results को आधार बनाया
    • यह सिर्फ इसी एक tool की समस्या नहीं है। Online मूल रूप से सैकड़ों घटिया snake-oil जैसे “AI detectors” बेचे जा रहे हैं, और overzealous professors और school administrators लगातार उनके लिए पैसा देते रहेंगे
    • मैं PhD कर रहा हूँ और ChatGPT हमेशा इस्तेमाल करता हूँ
    • मज़ेदार बात यह है कि relatively low temperature पर रखा गया GPT output भी इंसानी लेखन की तुलना में ज़्यादा consistently इंसान द्वारा लिखा माना जाता है

  • हाल ही में सुना कि शिक्षक छात्रों से होमवर्क Google Docs में जमा करवाते हैं, ताकि edit history देखकर पता लगा सकें कि उन्होंने पूरा लेख खुद लिखा है या तैयार essay पेस्ट करके सिर्फ edits किए हैं।
    बेशक, कोई समझदार छात्र GPT output को Google Docs में stream करने का तरीका आसानी से ढूंढ लेगा। वह बीच-बीच में इधर-उधर जाकर “edit” करता हुआ भी दिखा सकता है।
    चतुर और अनैतिक छात्र के लिए, आप कोई भी बाधा लगा दें, उसे पकड़ना लगभग नामुमकिन है। यह सिर्फ उन छात्रों को रोकता है जो इतने चतुर नहीं हैं।

    • यह इंसानों के लिए proof of work जैसा है।
      कोई भी ऐसा agent बना सकता है जो ChatGPT से बने लेख को Google Docs में धीरे-धीरे type करे। Google भी शायद यह तय कर सके कि document इंसान द्वारा type किए जाने की संभावना कितनी है, लेकिन जिस वजह से OpenAI ने यह tool बंद किया, उसी वजह से Google भी ऐसा नहीं करेगा।
      कोई न कोई यह खबर या यह thread देखकर ऐसा editor या evaluator बना देगा। एक और उपाय है लिखते समय screen recording करना। सबसे अच्छा उपाय—और शिक्षकों के लिए सबसे कठिन—यह है कि ऐसी चीज़ें मांगना या grade करना बंद करें जिन्हें robot ज्यादातर इंसानों से बेहतर लिख सकते हैं।
    • यह तरीका तोड़ना मुश्किल होगा। असल में यह एक घंटे लंबा CAPTCHA है। keystroke intervals, mouse movements, edit patterns आदि देखे जा सकते हैं। नहीं लगता कि LLM इस approach से human writing classify करने के तरीके को आसानी से तोड़ पाएगा।
    • ChatGPT का text देखकर उसे फिर से type कर देना, और कभी-कभी वाक्य बदल देना, शायद काफी होगा।
    • एक तरीका है: time limit और invigilator वाली exam।
      हालांकि यह बहुत अच्छा नहीं है। घर पर किए जाने वाले projects अलग skill set को evaluate करते हैं; कुछ लोग एक में बेहतर होते हैं, कुछ दूसरे में। फिर भी reality तो reality है।
    • इतना जटिल करने की जरूरत भी नहीं। बस हमेशा की तरह essay लिखना शुरू करें और फिर GPT output सामान्य तरीके से paste कर दें।
      अगर 30 से ज्यादा छात्र हों, तो शिक्षक के edit history एक-एक करके देखने की संभावना कम है।

  • “आधे साल बाद, वह tool मर गया, क्योंकि वह अपने design goal को पूरा नहीं कर पाया” — image detectors test करते हुए मैं भी बिल्कुल इसी निष्कर्ष पर पहुंचा था।
    मौजूदा automated detection खास भरोसेमंद नहीं है। Optic का AI or Not, जो 95% accuracy का दावा करता है, मैंने अपनी कुछ images पर test किया। जिन images में AI content था उन्हें उसने सही तौर पर AI-generated बताया, लेकिन मेरे बनाए stock photo composites में से लगभग 50% को भी AI-generated बता दिया।
    अगर generative AI moving target न होता, तो मैं आशावादी होता कि ऐसे tools विकसित होकर बहुत भरोसेमंद बन जाएंगे। लेकिन वास्तविकता ऐसी नहीं है, और मुझे संदेह है कि यह कभी भरोसेमंद solution बन पाएगा।
    यह मेरे AI art वाले लेख से लिया गया है: https://www.mindprison.cc/p/ai-art-challenges-meaning-in-a-w...

    • क्या ऐसा हो सकता है कि आपने जिन stock photos को मूल के रूप में इस्तेमाल किया, उनमें से काफी असल में AI-generated images रही हों?

  • मेरे अनुभव में, अगर ChatGPT का response ZeroGPT जैसे tools में AI-generated के रूप में classify होता था, तो prompt को थोड़ा बदलकर यह निर्देश देना कि वह AI द्वारा लिखा हुआ न लगे, बहुत अधिक संभावना के साथ detection bypass कर देता था।
    इसके अलावा, अगर उससे किसी मशहूर लेखक की writing style में response बनवाया जाए, तो कई AI detection models में वह अक्सर 100% human-written के रूप में आता था।

    • आधे साल पहले यह काम नहीं करता था। दोबारा लिखा text भी वे अब भी AI-generated ही बता देते थे।
      लगता है हाल की updates से ChatGPT का tone काफी बदल गया है, इसलिए अब वह detection radar पर नहीं आता।

  • अच्छा है। AI output में watermark डालना भी मुझे dead end लगता है। बेहतर है कि जब तक अलग से साबित न हो, सभी content को fake मान लिया जाए।
    अगर भरोसेमंद photo चाहिए, तो photo खींचते ही hardware level पर image को cryptographically sign करना बेहतर लगता है। AI content में स्वेच्छा से watermark डालना पूरी तरह बेमानी है।

    • police bodycam जैसे special devices के लिए यह काम कर सकता है। लेकिन अगर दुनिया भर के सभी camera manufacturers को keys manage करके उन्हें sensors में सुरक्षित install करना पड़े, तो कुछ ही हफ्तों में leaked keys सामने आ जाएंगी।
    • यहां cryptography भी नहीं बचा पाएगी। लोग कुछ ही महीनों में AI images को crypto hardware में भेजकर sign करवाने का तरीका ढूंढ निकालेंगे। यह बस एक और fake security layer बनकर रह जाएगा।

  • मैं SEO industry में हूं, और कुछ “बड़े खिलाड़ियों” से बात की है; वे मानते थे कि Google AI update तैयार हो रहा है। मौजूदा हालत में निकट भविष्य में search results AI content से पूरी तरह भर जाएंगे।
    लंबे समय में मैं इसे मूर्खतापूर्ण कदम मानता हूं, लेकिन लंबे articles में ChatGPT और अन्य models को काफी सफलतापूर्वक detect करने वाले AI classifier detectors अभी मौजूद हैं। Originality.ai इसका प्रमुख उदाहरण है।
    तरीका काफी सरल है: ChatGPT, GPT-4, LLaMA जैसे major models से भारी संख्या में examples generate करके classification model बनाना।
    इस strategy की स्पष्ट कमजोरी यह है कि fine-tuning writing style output को बदल देती है। उसी “बड़े खिलाड़ी” ने कहा कि उसने अपनी fine-tuning method से Originality.ai detector को bypass करने में सफलता पाई, और इस प्रक्रिया में कई महीनों की testing और हजारों डॉलर लगे।

    • Google को पूरी तरह 180 डिग्री पलटकर, search query का जवाब देने वाली सबसे संक्षिप्त websites को ही ऊपर लाना चाहिए।
      Google की मौजूदा हालत आपदा जैसी है। हर लेख 100 paragraphs का होता है, और जो जवाब आप ढूंढ रहे होते हैं वह बीच में कहीं दबा होता है ताकि algorithm को संतुष्ट करने के लिए dwell time और scrolling बढ़े।
      मैं इंतजार कर रहा हूं कि Google इन सभी spam websites को डुबो दे।

  • यहां कई posts मानती दिखती हैं कि human-generated text और AI-generated text को व्यवहारिक रूप से classify करना असंभव हो जाएगा। क्योंकि ऐसी कोशिशों को अंतहीन cat-and-mouse game में कई तरीकों से निष्प्रभावी किया जा सकता है।
    अगर हम यह स्वीकार कर लें, तो मेरे हिसाब से चुनौती यह है:
    हम AI revolution के बिल्कुल शुरुआती दौर में हैं, और आगे LLM को और sophisticated और powerful बनने के लिए उच्च-गुणवत्ता वाला human-generated या human-curated training data चाहिए होगा। उसका scale शायद manual curation, cleanup और quality checking के लिए बहुत बड़ा होगा।
    और इसमें कोई शक नहीं कि आगे हर medium AI-generated content से bombard और spamified हो जाएगा।
    तो भविष्य के LLMs को train करने और उनकी potential निकालने के लिए, असली data और AI-generated noise को कैसे filter किया जा सकता है?
    यह समस्या कुछ समय से मेरे दिमाग में अटकी है, और बेहतर शब्द न होने पर मैंने पहले इसे अस्थायी रूप से data pollution कहा था। दूसरे perspectives जानना चाहूंगा।

    • क्या curation कर देना काफी नहीं होगा? अगर content अच्छा माना जाता है, तो क्या यह मायने रखता है कि उसे LLM ने बनाया है या नहीं?

  • डिजिटल प्लेटफ़ॉर्म पर AI को सवालों के जवाब देने से रोकने का एकमात्र तरीका यही है कि किसी छात्र के किसी संस्थान में पूरे समय के दौरान जमा हुई typing style के आधार पर machine learning database बनाया जाए
    उसकी मंज़ूरी मिल जाए, इसके लिए शुभकामनाएँ। विभागों को grades या demographic data तक access करने के लिए भी operational group को 3-स्तरीय committee process से गुजरना पड़ता है
    ¯_(ツ)_/¯ तो फिर कागज़ इस्तेमाल करने के अलावा कोई रास्ता नहीं। OCR को फिर से अभ्यास कराने का समय आ गया है

    • अगर AI भाषा के patterns को इस हद तक replicate कर सकता है कि इंसान और model दोनों उसे detect न कर सकें, तो natural typing style, rhythm और cadence की detect न हो सकने वाली नकल करने वाला machine learning model बनाना ज़्यादा आसान लगता है
      लेकिन असल typing style data सबसे ज़्यादा Google, Microsoft, Meta और documents, email, messaging SaaS चलाने वाली हर कंपनी के पास है। कई छात्र शायद Google Docs, Word जैसी जगहों पर essays लिखते हैं और उन्हें attachment के रूप में submit करते हैं या text box में copy-paste कर देते हैं