Google, Search में अजीब AI जवाबों को मैन्युअली हटाने के लिए जूझ रहा है

• SNS पर Google के नए AI Overview प्रोडक्ट के अजीब बातें करने वाले उदाहरणों को लेकर खूब चर्चा हो रही है
  • जैसे उपयोगकर्ताओं को पिज़्ज़ा पर गोंद लगाने या पत्थर खाने की सलाह देना
• इस भ्रमित करने वाले लॉन्च के कारण Google कुछ खास searches के लिए AI Overview को मैन्युअली disable करने में व्यस्त है
  • कई memes पोस्ट होने के साथ उपयोगकर्ताओं ने देखा कि सोशल नेटवर्क पर पोस्ट होने के तुरंत बाद ये जवाब गायब हो जाते हैं

Google का AI Overview

• Google एक साल से AI Overview का परीक्षण कर रहा है
  • मई 2023 में Search Generative Experience के रूप में beta लॉन्च किया गया
  • CEO Sundar Pichai ने कहा कि इस अवधि में 1 अरब से अधिक queries प्रोसेस की गईं
• Pichai ने यह भी बताया कि AI जवाब देने की लागत 80% कम कर दी गई है
  • यह hardware, engineering और technical breakthroughs की वजह से संभव हुआ
  • लेकिन संभव है कि ये optimizations तकनीक के तैयार होने से पहले ही बहुत जल्दी कर दिए गए हों

AI quality समस्याएँ

• एक AI startup संस्थापक ने कहा कि अब Google की पहचान low-quality output देने के लिए होने लगी है
• Google का दावा है कि उसका AI Overview प्रोडक्ट मुख्य रूप से "high-quality information" देता है
  • Google की प्रवक्ता Meghan Farnsworth ने ईमेल के ज़रिए पुष्टि की कि कंपनी कुछ queries के लिए AI Overview हटाने हेतु तेज़ी से कार्रवाई कर रही है
  • उन्होंने कहा कि इन उदाहरणों का उपयोग सिस्टम में व्यापक सुधार विकसित करने के लिए किया जा रहा है

AI विशेषज्ञों की राय

• New York University में neuroscience के emeritus professor Gary Marcus ने कहा कि कई AI कंपनियाँ यह सपना बेच रही हैं कि तकनीक 80% से 100% तक पहुँच जाएगी
  • शुरुआती 80% तक पहुँचना बड़ी मात्रा के human data का approximation करके अपेक्षाकृत आसान है
  • आख़िरी 20% बेहद कठिन काम है
  • वास्तव में इसके लिए Artificial General Intelligence (AGI) की ज़रूरत पड़ सकती है

Google की प्रतिस्पर्धी स्थिति

• Bing ने Google से पहले AI अपनाया
  • OpenAI अपना खुद का search engine विकसित कर रहा है
  • नए AI search startups की valuation पहले ही 1 अरब डॉलर तक पहुँच चुकी है
  • युवा पीढ़ी best experience चाहती है और TikTok की ओर जा रही है
• Google प्रतिस्पर्धी दबाव महसूस कर रहा है, और यही इस अव्यवस्थित AI लॉन्च का कारण बना
  • 2022 में Meta ने Galactica नामक AI system लॉन्च किया था, लेकिन काँच खाने की सलाह जैसी समस्याओं के कारण उसे जल्दी वापस लेना पड़ा

Google की AI Overview योजना

• Google के पास AI Overview के लिए बड़े प्लान हैं.
  • मौजूदा फीचर कंपनी द्वारा पिछले हफ्ते घोषित चीज़ों का केवल एक हिस्सा है.
  • जटिल queries के लिए multi-step reasoning, AI द्वारा व्यवस्थित results pages बनाना, और Google Lens में video search जैसी सुविधाएँ
• लेकिन फिलहाल कंपनी की प्रतिष्ठा इस बात पर टिकी है कि वह बुनियादी चीज़ें सही ढंग से संभाल पाए, और स्थिति अभी अच्छी नहीं दिख रही

Gary Marcus - "[ये models] मूल रूप से अपने ही काम की sanity check नहीं कर सकते, और यही चीज़ इस industry को रोककर रखेगी"

GN⁺ की राय

• AI की reliability समस्या: AI systems में अपने ही काम की पुष्टि न कर पाने की एक संरचनात्मक सीमा है. इससे उपयोगकर्ताओं को गलत जानकारी मिलने का जोखिम रहता है.
• प्रतिस्पर्धी दबाव: Google अपने प्रतिद्वंद्वियों के दबाव को महसूस कर रहा है, और इसका असर product launch की quality पर पड़ सकता है.
• तकनीकी चुनौती: AI तकनीक का 80% से 100% तक पहुँचना बेहद कठिन काम है. यह AI की सीमाओं और चुनौतियों को साफ़ दिखाता है.
• यूज़र अनुभव: युवा पीढ़ी सर्वोत्तम user experience चाहती है, और यह वह क्षेत्र है जिसमें Google को लगातार सुधार करना होगा.
• अन्य विकल्प: AI search engine पर विचार करने वाले उपयोगकर्ताओं के लिए Bing या नए AI search startups भी अच्छे विकल्प हो सकते हैं.

[hhcrux]

'कई AI कंपनियां यह सपना बेच रही हैं कि तकनीक 80% से 100% तक पहुंच जाएगी'
इस हिस्से के बारे में मैं भी हमेशा यही सोचता हूं। AI की दुनिया आ जाने पर भी इंसानों के करने के लिए काम खत्म नहीं होगा, यह सोचने की यही एक वजह भी है।

[GN⁺]

Hacker News राय

Hacker News टिप्पणियों का सारांश

• Google के search suggestions को मैन्युअली हटाने का तरीका

  • यह Google के उस पुराने तरीके की याद दिलाता है, जिसमें वह search results को हाथ से समायोजित करने के बजाय algorithm को ही adjust करने की कोशिश करता था.
  • 2002 में Froogle test के दौरान "running shoes" खोजने पर garden gnome statue top result के रूप में दिखने की समस्या हुई.
  • एक engineer ने वह product खरीद लिया और समस्या हल हो गई. Algorithm बदले बिना भी सही result लौटने लगा.

• AI की accuracy समस्या

  • शुरुआती 80% accuracy हासिल करना तुलनात्मक रूप से आसान हो सकता है, लेकिन आख़िरी 20% बहुत कठिन होता है.
  • 100% accuracy ऐसा लक्ष्य है जिसे इंसान भी हासिल नहीं कर सकते.
  • लक्ष्य साफ़ तौर पर बेवकूफ़ी भरे जवाबों को कम करना है.
  • LLMs(large language models) अच्छा text generate करते हैं, लेकिन साफ़ तौर पर बेवकूफ़ी भरे जवाबों को हटाना हमेशा अच्छा नहीं होता.

• Google की search quality समस्या

  • इस पर बहस है कि AI war की वजह से Google ने अपनी दिशा खो दी है.
  • अभी Google के search results spam, clickbait और propaganda से भरे हुए हैं.
  • यह तर्क दिया गया कि search results को कम-से-कम व्यापक रूप से स्वीकार की गई सच्चाई को दिखाना चाहिए.
  • साफ़ trolling, clickbait और malicious content की पहचान करना महत्वपूर्ण है.

• search engine और question engine का अंतर

  • search engine इंटरनेट को खोजने का tool है, सवाल पूछने का tool नहीं.
  • AI के ज़रिए कुछ पूछना, इंटरनेट search करने से अलग काम है.

• Google के AI integration की समस्या

  • Google जब भी AI integrate करता है, वही समस्याएँ बार-बार सामने आती हैं.
  • समस्या होने पर senior executives कहते हैं कि वे इसे ठीक करेंगे, लेकिन वही समस्या फिर दोहराई जाती है.

• Google के dataset की समस्या

  • यह चौंकाने वाला है कि 25 साल तक search results को fine-tune करने वाला Google भी अच्छा dataset नहीं रखता.
  • हो सकता है training data बनाने के लिए पुराने encyclopedia CD का उपयोग करना पड़े.

• LLM का इस्तेमाल कर अजीब queries बनाना और test करना

  • यह निराशाजनक है कि Google ने LLM का उपयोग करके strange queries generate और test नहीं किए.
  • clean deployment से काफ़ी फायदे मिल सकते हैं.
  • मौजूदा AI race शायद bottom की ओर जाने वाली race हो सकती है.

• AI के शुरुआती versions की समस्या

  • मौजूदा AI हर मामले में traditional search से बदतर है.
  • AI द्वारा बनाई गई images में fingers प्रभावशाली हैं.

• LLM की hallucination समस्या

  • लोग सोचते हैं कि LLM सिर्फ़ कभी-कभी hallucinate करते हैं, लेकिन वास्तव में यह कहीं ज़्यादा बार होता है.

• AI results को मैन्युअली हटाने की विडंबना

  • गलत AI results को हाथ से हटाना विडंबनापूर्ण है.