Google Search का ‘हज़ार छोटे घावों’ से होता पतन
(matt-rickard.com)- Reddit के private होने और Twitter के login व speed limit जैसे बड़े साइटों पर access restrictions बढ़ने से, Google search results के कई links वास्तव में खुल ही नहीं पाते
- बड़े language models के public data पर train होने के साथ, content sites के पास डेटा को खुला रखने के बजाय उसे बेचने या खुद इस्तेमाल करने की अधिक प्रेरणा है
- ऐसी पाबंदियां Google की search indexing को रोक सकती हैं या जटिल बना सकती हैं, और AI model training data जुटाने पर भी असर डाल सकती हैं
- अगर Wikipedia जैसी, search results में अक्सर दिखने वाली साइटें भी API access को paid या restricted कर दें, तो Google Search के मुख्य स्रोत भी डगमगा सकते हैं
- Google AI answers से इसे मजबूत करने की कोशिश करे तब भी, अगर data login walls और paywalls के पीछे चला जाता है, तो search quality कई सालों में धीरे-धीरे खराब हो सकती है
access restrictions search results को dead links में बदल देती हैं
- Reddit की कुछ communities नए API rules के विरोध में अब भी private बनी हुई हैं
- Twitter ने login wall को और सख्त किया है और users पर rate limits लागू कर रहा है
- इन बदलावों से Google index में बचे लाखों search results व्यवहार में dead links बन जाते हैं
- जो users Google पर Reddit results खोजकर इस्तेमाल करते थे, वे Reddit की अपनी search को कमजोर मानते हुए विकल्प खो देते हैं
- search results में tweet links कई users को login requirement screen तक ले जाती हैं
AI युग में data control, Google index पर दबाव डालता है
- बड़े language models API के जरिए जुटाए गए public data पर train होते हैं, और content-rich sites पर अपनी ही data से train हुए models का असर पड़ने की संभावना अधिक होती है
- ऐसी sites data access सीमित करने के बाद दो विकल्पों पर विचार कर सकती हैं
- data बेचना
- अपना model train करना
- access restrictions, Google के search के लिए data को automatically collect करने की प्रक्रिया को रोक या जटिल बना सकती हैं, और model training data जुटाने पर भी असर डालती हैं
- Google Search site-by-site results खोते हुए हज़ार छोटे घावों का सामना कर सकता है
-
अगर Wikipedia पाबंदी लगाए
- अनुमान है कि Wikipedia, Google Search के 99% queries में first page पर दिखता है
- अगर API access paid या restricted हो जाए, तो search results पर इसका बड़ा असर पड़ सकता है
- Wikipedia data लगभग सभी बड़े language model corpora में शामिल dataset है
- Wikimedia Foundation donation banners के जरिए वित्तीय सहयोग मांगता रहा है, और 2021 में Wikimedia Enterprise नाम का enterprise API product लॉन्च किया था
- जब search results एक-एक करके dead links बनते हैं और index से हटते जाते हैं, तो users बंद services के भीतर site-specific search पर अधिक निर्भर हो जाते हैं
- Google AI-generated answers से results को बेहतर करने की कोशिश कर सकता है, लेकिन हर answer पर्याप्त अच्छा नहीं होगा और training data भी login walls या paywalls के पीछे जा सकता है
- नए alternatives आने तक, search कई वर्षों में धीरे-धीरे खराब हो सकती है
1 टिप्पणियां
Hacker News की राय
लगता है कि Google Search बहुत पहले से ही धीरे-धीरे मर रहा है
पहले दस्तावेज़, फ़ोरम पोस्ट, wiki जैसी संक्षिप्त जानकारी मिल जाती थी, लेकिन अब search engine optimized marketing text, link farms, clickbait, हज़ारों शब्दों में भी कुछ न कहने वाले लंबे लेख, ऐसा राजनीतिक बकवास जो अमेरिकी न होने पर संदर्भहीन लगे, और ढेर सारी ads ही दिखती हैं
यह स्थिति Google Ads और Google के search algorithm ने खुद ही बनाई हुई लगती है, इसलिए LLM से पूछना search की तुलना में कहीं ज़्यादा आकर्षक लगता है। अगर hallucination न हो, तो AI शोर हटाकर असली जानकारी निकाल देता है
web अब लोगों या information discovery के लिए नहीं, बल्कि bots, crawlers, Google algorithm और marketing के लिए बन गया है, और इंसानों के लिए इसे पचाना मुश्किल हो गया है, इसलिए वे AI से ज़्यादा संक्षिप्त और सीधे नतीजों की उम्मीद करने लगे हैं
tile-style recommendation interface के ज़रिए सिर्फ़ blog spam recipes दिखीं, जिनमें खुद cabbage soup को can करने की बातें थीं; न सामान्य text links थे और न ही असली canned soup products। कई pages देखने पर भी कुछ नहीं बदला
अजीब बात यह रही कि "canned cabbage soup history" खोजते ही वह सामान्य results mode में लौट आया और products व Wikipedia दिखने लगे। अगर कोई search सच में product खरीदने के इरादे से की जा रही हो, तो Google उसे किसी अजीब special search में क्यों बिगाड़े—इसके पीछे business reason सबसे साफ़ लगता है, लेकिन यह "blog spam serve करने" वाला mode क्यों है, समझ नहीं आता
ऊपर से अब दिन में कम से कम पाँच बार यह पूछने वाली screen दिखती है कि मैं robot हूँ या नहीं
चाहिए तो links की सूची जो वहाँ ले जाए जहाँ प्रासंगिक जानकारी है, और यह नहीं कि search engine content को summarize या refine करे। अगर खुद पढ़कर समझें नहीं, तो बहुत-सा ज्ञान और संदर्भ खो जाता है
users ads से गुज़रे बिना छोटे और सटीक जवाब पा सकते हैं, और यह कुछ-कुछ वैसा ही है जैसा web बहुत पहले हुआ करता था
जिन Stack Overflow spam clone sites को हटाया जाना चाहिए, या Canva और Pinterest जैसी वे sites जो बस title थोड़ा-थोड़ा बदलकर हज़ारों मिलते-जुलते pages बनाती हैं, वे अब भी Google में allowed हैं और ऊपर rank करती हैं
"best domain name registrar" जैसी चीज़ search करने पर जो top 10 pages आते हैं, उनसे भी नफ़रत है। affiliate links से भरी spam blog posts नहीं, बल्कि असली domain registrars दिखने चाहिए, और ChatGPT ऐसा कर देता है
Google में हद से ज़्यादा manipulation हो चुका है, और लगता है कि वह उन spam blog posts पर अपनी ads होने की वजह से उन्हें ठीक से छूता ही नहीं। HN से सीखे uBlock Origin filtering tips काम आते हैं, लेकिन search को ठीक करना Google का काम है। अभी useful content दब जाता है और spam content ऊपर rank होता है
पहले crawler को दिखने वाले लेकिन user को न दिखने वाले बहुत छोटे, transparent font में keywords जैसी तरकीबें ही भौंहें चढ़ाने के लिए काफ़ी थीं, लेकिन जिस पल search engine manipulation एक पेशा बन गया, search का अंत दिखने लगा
आख़िर में शायद हम फिर web rings और link indexes पर लौटेंगे, और वे भी integrate और heavily monetized होने के बाद छोड़ दिए जाएँगे। किस्मत अच्छी हुई तो 2040s में dial-up BBS पर लौटना पड़ेगा
लेकिन Google ऐसा लगता है कि इंसानों को यह काम अच्छे से करने के लिए रखने के बजाय, AI को train करके वही काम ठीक से न कर पाने पर अड़ा हुआ है
यह एक आसान feature लगता है, लेकिन Google बहुत पहले ही रास्ता भटक चुका है
यह कई search engines में clone sites को block और hide करती है। इसे uBlacklist के साथ भी इस्तेमाल किया जा सकता है
यह Google की innovation failure है
Google का लक्ष्य "दुनिया की जानकारी को व्यवस्थित करना" था, लेकिन वह Wikipedia जैसा इंसानों के पढ़ने लायक उच्च-गुणवत्ता वाला curated information repository नहीं बना सका, और न ही ChatGPT जैसा पहला LLM बना सका जो मामूली से अधिक स्तर पर जानकारी को याद कर सके और व्यवस्थित कर सके
Google ने search में शुरुआती सफलता के बाद बढ़त बनाए रखने के लिए "सबसे स्मार्ट लोगों" पर खूब पैसा लगाया ताकि competitors उन्हें hire न कर सकें। नतीजा यह हुआ कि innovation की बजाय Android, Chrome, email जैसी internet infrastructure को control करके अपनी मौजूदा बढ़त बचाए रखना संसाधनों के बेहतर उपयोग जैसा लगने लगा
अगर बहुत बड़ा बदलाव नहीं हुआ, तो मुझे Google चलता-फिरता शव लगता है। यहाँ "सबसे स्मार्ट लोग" से मतलब ऐसे लोगों से है जो अकादमिक रूप से सफल रहे, नियमों का अच्छी तरह पालन करते हैं, लेकिन कल्पनाशक्ति कम रखते हैं और जोखिम से बचते हैं
बस उसने उसे आम लोगों के लिए जारी नहीं किया, इसलिए innovation failure कहना सही है, लेकिन यह technology या machine learning की failure नहीं है
https://ai.googleblog.com/2020/01/towards-conversational-age...
मेरी व्याख्या यह है कि Google अपने ही भार तले दब गया। सरकारी fines और उन fines से डरने लगी corporate structure ने प्रगति को धीमा कर दिया, और ऐसे माहौल में बदलाव जारी करना बहुत मुश्किल होता है
baseline भी यही है। लोग बदलाव पर प्रतिक्रिया देते हैं और मौजूदा स्थिति को gold standard मानते हैं। ऐसी स्थिति में radical change लाना कठिन होता है
मुझे लगता है कि बाहर निकलने का रास्ता सिर्फ products को कम करना है। चाहे split करो, shard करो, या इतना छोटा हो जाओ कि बाकी की तुलना में default target न रहो। Coca Cola या Procter & Gamble जैसी कंपनियाँ यह अच्छी तरह करती हैं
जो भी चीज़ politicized हो सकती है, वह politicized हो जाती है, और जिसे किसी agenda या viewpoint को आगे बढ़ाने के लिए इस्तेमाल किया जा सकता है, उसका इस्तेमाल होता है
दुर्भावना से अलग भी, volunteer-based होने की वजह से कुछ documents में संबंधित जानकारी गायब होती है या गलतियाँ होती हैं
planetary science में काम करते समय मुझे Google पर image ID search करने की आदत थी
आम तौर पर यह किसी paper में उल्लेखित किसी खास moon-orbit image के लिए होता था, और बेशक ऐसी चीज़ें खोजने के लिए dedicated archive भी हैं, लेकिन हैरानी की बात है कि Google अच्छे results दे देता था
अब image ID search करने पर सचमुच 0 results आते हैं। पता नहीं क्या बदल गया। सोचता हूँ क्या उन्होंने Planetary Data System index हटा दिया, या planetary science papers का index हटा दिया
बिल्कुल result न मिलने से भी बदतर यह है कि हर page पर थोड़ा अलग नंबर या code वाले "results" बार-बार दिखाई देते हैं
अब या तो results नहीं मिलते, या फिर असंबंधित search engine optimization लेख ही आते हैं
संपादन: मैं यह चूक गया कि बात image नहीं, image ID search की हो रही है
उससे पहले के ज़्यादातर word embedding models single-language थे और context नहीं देखते थे, इसलिए search के लिए उपयोगी नहीं थे, और इसी वजह से Google को inverted index और वर्षों से fine-tuned algorithms का इस्तेमाल करना पड़ता था
BERT के बाद 99.99% भाषा-आधारित search queries को embed करने वाला model बनाना संभव हो गया, और चूँकि वह 99% queries पर लगभग ठीक काम करता है, लगता है उन्होंने उसे पर्याप्त मान लिया
यह पहचानना अपेक्षाकृत आसान रहा होगा कि कौन-सी queries नए तरीके की तुलना में पुराने index पर बेहतर काम करती हैं, लेकिन लगता है ऐसा नहीं किया गया, और नतीजतन phone number search जैसी बहुत-सी उपयोगिता गायब हो गई
Google की मौत corpus problem से भी गहरी है, और ranking algorithm भी बुरी तरह खराब हो रहा है
एक हफ़्ते पहले
< James Palmer manchester foreign policy >search करने पर https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... पहले page पर नहीं आया, लेकिन< James Palmer manchester site:foreignpolicy.com >से वह मिल गयाआज यह ठीक हुआ लगता है, लेकिन search intent के इतने kindergarten-level उदाहरण को भी पूरा न कर पाना कुछ साल पहले के Google में अकल्पनीय था
https://twitter.com/BeijingPalmer/status/1670904508191322112
https://twitter.com/shalmanese/status/1670973880637493249
यह इंटरनेट पर commons की tragedy है: https://en.wikipedia.org/wiki/Tragedy_of_the_commons
बहुत सारे लोग और समूह जितना हो सके उतनी कम मेहनत में लाभ कमाने की कोशिश कर रहे हैं, और इस प्रक्रिया में मुक्त रूप से सुलभ data, open API, FLOSS software जैसी साझा संपत्तियाँ दीर्घकालिक प्रभावों की परवाह किए बिना क्षीण होती जा रही हैं।
data को अनंत बार कॉपी किया जा सकता है, लेकिन शुरुआत में उसे किसी को बनाना पड़ता है, और अपडेट न किया जाए तो वह पुराना होकर कम उपयोगी हो जाता है। अगर किसी में उसे बनाने या ताज़ा रखने की इच्छा और क्षमता न हो, तो अच्छी चीज़ें गायब हो जाती हैं और signal-to-noise ratio तेज़ी से टूट जाता है। सब कुछ noise बन जाता है और हालात बहुत खराब हो जाते हैं।
बहुत-सी तकनीकें और संस्कृतियाँ ऐसी "सुरक्षा" के बिना बनीं। कभी-कभी सोचता हूँ कि अगर copyright और patent न होते तो हाल का इतिहास कैसा होता।
बहुत पहले Google, Reddit के बिना भी बेहद उपयोगी था।
उसके विशाल कंपनी बनने की वजह थी, और उसने सच में काम के tools और services बनाए थे। लोग उसके products इसलिए इस्तेमाल करते थे क्योंकि वे अच्छे थे, और Search, Gmail, Maps, Translate जैसी चीज़ें सचमुच नगीने थीं।
Search को उसने लापरवाही से बिगड़ने दिया या जानबूझकर खराब किया, यह तो नहीं पता, लेकिन Reddit से अलग भी यह टूटा हुआ है। Reddit पर जानकारी बहुत है, लेकिन वह इंटरनेट की इकलौती वेबसाइट नहीं है।
फिर भी Google ऐसा लगता है जैसे इंटरनेट की सिर्फ़ ऊपर की 150~200 साइटों को ही index करता हो, और उन नतीजों में भी अक्सर search term गायब होता है।
सबको समझ आ गया कि pageview और search engine optimization से पैसा कमाया जा सकता है, और हर search term पर नंबर 1 आने की होड़ में bottom race शुरू हो गई।
यह ऐसी समस्या लगती है जिसे Google पूरी तरह user-first नज़रिये से भी हल करना मुश्किल पाता, और इसके ऊपर Sundar के बाद का Google लगभग IBM/Oracle बन चुका है। इसलिए वह अब नाली में दोगुनी रफ़्तार से घूम रहा है।
जिस पल उसने लोगों को अपने search engine में हेरफेर करने के लिए पैसे देना शुरू किया, यानी AdSense लाया, उसी पल से पूरी चीज़ बेकार होने की राह पर चल पड़ी। ऐसे incentives पहले भी थे, लेकिन Google ने 2022 में 33 अरब डॉलर के incentive के साथ उस पर turbo लगा दिया।
अगर search ad revenue बढ़ता है, तो Search ठीक ही लगती है, सड़ी-गली या टूटी हुई नहीं।
हम मान लेते हैं कि Google users को customer की तरह देखता है, लेकिन असल में वह उन्हें शोषण योग्य प्राकृतिक संसाधन की तरह भी देख सकता है।
Wikipedia के पास downloadable data dumps हैं, Google को उपलब्ध कराने की लागत लगभग नगण्य है, और उस data को सार्वजनिक करना उसका संस्थागत मिशन भी है।
अगर वह access fee भी लेने लगे, तब भी Google शायद वहन कर सकता है। पूरी तरह अवास्तविक परिकल्पनाएँ नहीं फेंकनी चाहिए।
इस लेख से जुड़े संदर्भ में भी, ads से भरे, भद्दे तरीके से लागू किए गए versions link farm समूहों में शामिल थे, इसलिए Google पर Redactle की ranking बढ़ाना मुश्किल था। उनमें से कई तो मेरे "Redactle Unlimited" brand होने का नाटक भी करते हैं।
Google को शायद Reddit, Facebook वगैरह पर verified users द्वारा डाले गए हज़ारों links से ज़्यादा, आपस में link करने वाली spam sites के समूह पसंद आते हैं।
लेकिन अगर Wikipedia data को search results दिखाने में इस्तेमाल करने पर वह revenue का 10% माँगे तो? सोचता हूँ Google मानेगा, या फिर Wikipedia का कोई competitor service बनाकर 4 साल बाद उसे मार देगा।
यह system इतना जटिल है कि जब उसके कुछ हिस्से दूसरे constraints से प्रभावित होते हैं, तो वह कैसे व्यवहार करेगा इसका अनुमान लगाना बहुत कठिन है। Reddit बनाम OpenAI data scraping, Reddit की monetization की इच्छा, rules के विरोध में Reddit moderators, 2-दिन के blackout को अनिश्चितकाल तक बढ़ाने की माँग, और Google द्वारा प्रकाशित LLM papers का ChatGPT के ज़रिये उसके अपने business पर असर—ये सब एक-दूसरे में उलझे हुए हैं।
यहाँ असली meta problem वह पुराना सवाल है कि Search सहित web services की funding model क्या हो।
Google, Twitter, Reddit, Gfycat—ये सब उसी समस्या के तात्कालिक रूप हैं, और इस समस्या का कोई तकनीकी समाधान नहीं है। यह भोली धारणा कि ये सब चीज़ें मुफ़्त हो सकती हैं, खासकर तब जब यह बात ad revenue से टिके ecosystem के भीतर कही जाए, बेतुकी है।
किसी न किसी को development और operations की लागत चुकानी ही पड़ती है, और आम तौर पर जो पैसा देता है वही फैसले लेने लगता है, जिसका नतीजा आज की UX आपदा के रूप में सामने आता है।
कम से कम अभी, venture capital की स्थिति की वजह से, वैध प्रतिभागियों के बाज़ार को तोड़ने के लिए होने वाली वास्तविक product dumping काफ़ी कम हो गई है।
वह पैसे देने वालों, यानी investors के लिए हो जाती है।
अभी Google की समस्या Reddit या Twitter नहीं है।
Google अब सचमुच बेहद खराब results और AdWords campaigns से भरा हुआ brand बन चुका है, और यह भी साफ़ नहीं कि marketers आखिर किस चीज़ के लिए पैसे दे रहे हैं।
शायद Brin और Page के मूल paper पर लौटने की ज़रूरत है: https://research.google/pubs/pub334/
Google अभी भी AlphaZero या Project Zero जैसी चौंकाने वाली चीज़ें करता है, लेकिन एहसास यह है कि अब संगठन के भीतर से सच में नया कुछ नहीं निकलता, जैसे कभी Xerox PARC के बारे में कहा जाता था।
दूसरी ओर Google Workspace, जैसे Sheets और Docs, office क्षेत्र में अच्छे प्रतिस्पर्धी हैं। business execution अच्छा है, लेकिन Google Drive Search बेहद खराब है।