चैटबॉट ChatGPT का बेकाबू व्यवहार

 (garymarcus.substack.com)
1 पॉइंट द्वारा GN⁺ 2024-02-22 | 1 टिप्पणियां | WhatsApp पर शेयर करें

ChatGPT में बखेड़ा

  • ChatGPT का बेकाबू होना कोई मज़ाक नहीं, यह एक उदाहरण और चेतावनी दोनों है।
  • पिछले कुछ घंटों में लोगों ने ChatGPT से जुड़ी कई समस्याएँ रिपोर्ट की हैं।
  • OpenAI ने भी इस मुद्दे को स्वीकार किया है।

AI की अल्केमी

  • Generative AI किसी हद तक अल्केमी जैसा है; लोग जितना संभव हो सके उतना डेटा इकट्ठा करके और छिपे हुए prompts से छेड़छाड़ करके यह उम्मीद करते हैं कि सब कुछ ठीक से चले।
  • लेकिन ये सिस्टम कभी भी पूरी तरह स्थिर साबित नहीं हुए हैं, और सुरक्षा सुनिश्चित करने वाली इंजीनियरिंग अभी मौजूद नहीं है।
  • अधिक पारदर्शी, व्याख्येय, आसानी से मेंटेन होने वाली और डिबगिंग के लिए अनुकूल नई तकनीक की जरूरत अभी भी महत्वपूर्ण है।

GN⁺ की राय

  • ChatGPT की समस्या AI तकनीक की वर्तमान सीमाओं और स्थिरता की समस्याओं को उजागर करने वाला उदाहरण है।
  • यह AI की विश्वसनीयता और सुरक्षा को बेहतर बनाने के लिए नई तकनीकों और नए तरीके अपनाने की जरूरत पर जोर देता है।
  • यह घटना AI डेवलपर्स और यूज़र दोनों के लिए चेतावनी का काम कर सकती है और बेहतर भविष्य की AI तकनीक निर्माण के लिए एक महत्वपूर्ण सबक प्रदान करती है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-22
Hacker News टिप्पणी
  • एक उपयोगकर्ता ने कहा कि हाल ही में उन्हें ChatGPT का मिला जवाब बहुत उलझाने वाला लगा। आम तौर पर कम से कम जवाबों में कुछ consistency रहती थी, लेकिन इस बार उसने अजीब-सा वाक्य दे दिया। यह PowerShell स्क्रिप्ट चलाने के तरीके पर था, लेकिन आख़िर में उसने अचानक वर्कस्पेस की एंटीक चीज़ों या code decoration जैसी उपमा दी जिससे उलझन बढ़ गई।
  • दूसरे उपयोगकर्ता का अनुमान था कि शायद ChatGPT के backend मॉडल के लिए भेजे गए request में frequency penalty और presence penalty बहुत ज़्यादा सेट थे। इन्हीं parameters को API से tune करने पर मॉडल लगभग इसी तरह behave करता है। OpenAI API में generation पर मुख्यतः असर डालने वाले चार parameters हैं: temperature, top_p, frequency penalty, और presence penalty। ये अच्छी तरह documented हैं। हालांकि यह उपयोगकर्ता मानता है कि उसकी शुरुआती शंका गलत हो सकती है और समस्या शायद high temperature सेटिंग की वजह से भी हो।
  • दूसरे एक उपयोगकर्ता ने कहा कि दिए गए उदाहरण Samuel Beckett के नाटक "Waiting for Godot" में Lucky के monologue की याद दिलाते हैं। वह भाषण अर्थ के आसपास घूमता है, लेकिन कभी उसे सच में नहीं छूता—पूरी तरह का gibberish नहीं, बस हमेशा अर्थ के आसपास मंडराता एक टेक्स्ट। इस उपयोगकर्ता को लगता है कि LLMs के essence पर शायद इसमें एक बड़ा point है, पर उसे साफ़ शब्दों में बताने लायक ज्ञान नहीं मिला।
  • एक उपयोगकर्ता ने पूछा कि क्या कोई व्यक्ति LLM का इस्तेमाल meeting schedule बनाने के लिए करता है। वह चाहता था कि ChatGPT उनसे ऐसी बातचीत करे कि meetings कंपनी के निर्णय और execution में मदद के लिए क्यों महत्वपूर्ण हैं, बजाय कि वे एक mess बना दें। स्कूल और बड़ी कंपनियों का माहौल लोगों से औपचारिक प्रक्रिया के जरिए BS बनाने की अपेक्षा करता है, लेकिन किसी कंपनी में अंदरूनी communication में LLM use करना आत्म-विनाशकारी लगता है।
  • एक अन्य उपयोगकर्ता ने 2017 में Google द्वारा "AI" बनाने की याद दिलाई, जब वे एक-दूसरे से बात करने के लिए अपनी खुद की भाषा बना रहे थे। यह हमें बेवजह gibberish लग सकता है, लेकिन उनके लिए शायद यह पूरी तरह अर्थहीन नहीं होता।
  • एक उपयोगकर्ता का कहना था कि इन विफलताओं को देखकर साफ़ दिखता है कि LLM बस एक बहुत अच्छा autocomplete engine है। यह लंबी, भटकती हुई बातें धीरे-धीरे एक बड़े Markov chain के करीब ले जाती हैं, जो sampled text से बना हो। भविष्य के apps में इन issues को debug करना दिलचस्प होगा।
  • एक उपयोगकर्ता ने बताया कि ChatGPT का system prompt दिखाने वाले ट्वीट में pastebin लिंक होना चाहिए था, लेकिन ब्लॉग पोस्ट में tweet का लिंक हटाकर केवल screenshot होने से उसे बिना क्लिक के पढ़ना मुश्किल है। उन्होंने उस tweet और pastebin के लिंक साझा किए।
  • Racter के साथ 1985 की एक और तकनीकी मिसाल देने वाले उपयोगकर्ता ने बताया कि जब कंप्यूटर AI के करीब आ रहे थे, New York Times ने लिखा था कि Racter artificial madness के edge पर खड़ा है। उन्होंने Racter के outputs के लिंक दिए।
  • एक उपयोगकर्ता ने कहा कि ChatGPT के जवाब पढ़ना बहुत दिलचस्प है; ऐसा लगा जैसे Chaucer की अंग्रेज़ी को एक 'pirate-speak' फिल्टर से दूसरी बार voice कर दिया गया हो। वह जिज्ञासु थे कि इसमें इस मशीन को क्या फीड किया जा रहा है और किस तरह tune किया जा रहा है, और इस काव्यात्मक भाषा की rhythm को उन्होंने शुद्ध संगीत कहा.
  • आखिर में, एक उपयोगकर्ता ने कहा कि कल ChatGPT (GPT-4) से chat खत्म करने के बाद उसने पागलपन जैसी प्रतिक्रिया देनी शुरू कर दी और Dr. Bronner के साबुन के विज्ञापन जैसा सुनाई देने लगा। उन्होंने बताया कि यह व्यवहार अगली chats में भी दोहराया गया।