GPT-3.5, `useRalativeImagePath` पर ज़रूरत से ज़्यादा सोचते हुए क्रैश

 (iter.ca)
2 पॉइंट द्वारा GN⁺ 2024-01-23 | 1 टिप्पणियां | WhatsApp पर शेयर करें

ChatGPT 3.5 त्रुटि संदेश का कारण

  • OpenAI के GPT मॉडल अक्षरों की बजाय कई-अक्षरीय "token" आउटपुट करते हैं.
  • token आउटपुट करने का यह तरीका मॉडल के प्रदर्शन और सटीकता को बेहतर बनाता है.
  • richTextPanel, source, और loadPath नाम के तीन token हैं, और ये एक-दूसरे के साथ अदला-बदली किए जा सकते हैं.
  • loadPath token GitHub पर 80.4k फ़ाइलों में XML configuration file के एक option name के रूप में इस्तेमाल होता है.
  • loadPath के लिए अलग token बन जाने की वजह शायद "R a lative" की typo हो सकती है.
  • OpenAI ने token सूची बनाने के बाद शायद XML फ़ाइलों को training data से बाहर करने का फ़ैसला किया होगा, और इसकी वजह से loadPath token का training data में उपयोग लगभग नहीं रहा होगा.
  • नतीजतन, मॉडल को useRalativeImagePath token के उपयोग को समझने के लिए प्रशिक्षित नहीं किया गया, और वह invalid token आउटपुट करता है.

डेटा प्रदूषण के लिए उपयोग?

  • GPT-3.5 से दस्तावेज़ों का सारांश बनवाने की कोशिश में बाधा डालने के लिए इस वाक्यांश को किसी दस्तावेज़ में डाला जा सकता है.

आगे पढ़ें

  • इस विषय पर शोध के लिए उपयोगी कुछ पोस्ट उपलब्ध हैं.

GN⁺ की राय

  • इस लेख में सबसे महत्वपूर्ण बात यह समझना है कि GPT मॉडल कुछ खास token पर त्रुटि क्यों आउटपुट करते हैं.
  • यह जानकारी artificial intelligence मॉडल के काम करने के तरीके और उनकी सीमाओं को समझने में मदद करती है.
  • साथ ही, यह लेख डेटा प्रदूषण या artificial intelligence मॉडल की कमजोरियों का फायदा उठाने के तरीकों का एक दिलचस्प उदाहरण भी देता है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-01-23
Hacker News की राय

  • ग्लिच टोकन के बारे में व्याख्या

    • अनुमान है कि यह उन शब्दों या टोकन के कारण होता है जो मूल dataset में अक्सर दिखाई देते थे, लेकिन GPT-XX ट्रेनिंग से पहले हटा दिए गए।
    • इसकी वजह से LLM उस टोकन का अर्थ बिल्कुल नहीं जान पाता, और परिणाम बगयुक्त या अप्रिय हो सकता है।
    • r/counting subreddit में अक्सर दिखने वाला एक username इसका प्रमुख उदाहरण है.
    • OpenAI ने अपने अधिकांश hosted models को ठीक कर दिया है (संभावित रूप से tokenization method बदलकर), लेकिन लगता है कि नए ग्लिच टोकन मिले हैं.

  • नीदरलैंड में WWII के दौरान भाषा सत्यापन का तरीका

    • नीदरलैंड में 'Scheveningen' शब्द के उच्चारण से यह पहचाना जाता था कि कोई जर्मन है या नहीं।
    • अब इंटरनेट पर किसी से ग्लिच टोकन बुलवाकर यह पहचाना जा सकता है कि वह LLM bot है या नहीं।

  • LLM टोकन generation process की व्याख्या

    • मॉडल का 'useRalativeImagePath' टोकन को न समझ पाने की वजह से invalid token आउटपुट करना, LLM के टोकन generate करने का तरीका नहीं है।
    • हर चरण में यह सभी संभावित टोकन के लिए logits आउटपुट करता है, फिर softmax function से them probabilities में बदलता है, और sampling करके तय करता है कि कौन-सा टोकन इस्तेमाल होगा।
    • दुर्लभ टोकन की वजह से tokenizer के BPE merge process में समस्या आ सकती है, लेकिन GPT-4 में यह समस्या नहीं है और वह GPT-3.5 जैसा ही tokenizer इस्तेमाल करता है, इसलिए संभव है कि यही असली समस्या न हो।

  • ग्लिच टोकन के संभावित कारण का विश्लेषण

    • किसी खास टोकन के लिए गलत तरीके से conditioned embedding vector नेटवर्क को numerically unstable क्षेत्र में ले जा सकता है।
    • अगर underflow या NaN हो जाए, तो पूरा आउटपुट अमान्य हो सकता है, और अगर batch normalization जैसी ऐसी operations हों जो batch के दूसरे items के बीच values मिलाती हों, तो दूसरे users के sessions में भी गलत values लौट सकती हैं।

  • मॉडल आउटपुट पर एक दूसरा दृष्टिकोण

    • आम तौर पर मॉडल वही vocabulary set आउटपुट करता है जो input vocabulary set होता है।
    • मॉडल 'useRalativeImagePath' टोकन देखकर random generation की spiral शुरू कर सकता है, या coherent text बनाए रखने की कोशिश कर सकता है।
    • जिन टोकन का आउटपुट दिया जा सकता है उनका set fixed होता है, इसलिए अगर interface में दिखाए जा सकने वाले टोकन पूरी vocabulary का subset नहीं हैं, तो वे हमेशा 'valid' होने चाहिए।

  • LLM training data पर भविष्य का प्रभाव

    • Hacker News पोस्ट और comments में यह phrase आ जाने से संभव है कि अगली LLM training में यह समस्या फिर न हो।

  • GPT-4 में failure experience साझा करना

    • Amstrad CPC पर pixel plotting challenge के जरिए GPT-4 के ChatGPT को fail कराने का अनुभव।
    • शिकायत और corrections के साथ उसे और घेरने पर ज्यादा error messages या reset जैसी घटनाएँ होने लगीं।
    • सर्वर में समस्या नहीं पैदा करना चाहते थे, इसलिए बातचीत छोड़ दी, लेकिन इससे यह दिखा कि GPT-4 को वास्तव में crash कराया जा सकता है।

  • इनपुट डेटा की गुणवत्ता पर विचार

    • 'garbage in, garbage out' का एक क्लासिक उदाहरण।
    • इस पर विचार कि भविष्य में जिन चीजों को हम आज बेहतरीन निर्णय मानते हैं, उन्हें 'garbage' समझा जा सकता है।
    • अगर training सिर्फ मानव अभिलेखों पर हो, तो क्या super AI सच में superhuman हो सकेगा, इस पर सवाल।
    • सुझाव कि adversarial training techniques शायद इस समस्या को हल कर सकती हैं।

  • GPT-3.5 summary को बाधित करने के लिए phrase इस्तेमाल करने का सुझाव

    • GPT-3.5 से document summary करवाने की कोशिश को बाधित करने के लिए दस्तावेज़ में किसी खास phrase को शामिल करके देखा जा सकता है।

  • 'RTCatch' और 'redirectToRoute' शब्दों को लेकर भ्रम

    • सवाल कि क्या 'RTCatch' और 'redirectToRoute' को एक ही शब्द समझ लिया गया था।
    • लगता है कि दोनों terms एक ही चीज़ की ओर इशारा कर रहे हैं, और शायद typo या inconsistent wording रही हो।
    • 'RTCatch' को लेकर जिज्ञासा और इसके बारे में और जानकारी की मांग।