Google की बिगड़ती स्थिति
(baldurbjarnason.com)- Google और Facebook से आने वाले वेब मीडिया ट्रैफिक की अब स्थिर उम्मीद करना मुश्किल हो गया है, जिससे किफायत से चलने वाले स्वतंत्र मीडिया की जीवनरेखा भी डगमगा रही है
- Google ने सर्च क्वालिटी सुधारने के लिए machine learning-आधारित ranking लागू की, लेकिन इसकी आलोचना हो रही है कि LLM-जनरेटेड spam तो निकल जाता है, जबकि blogs और छोटे sites results से बाहर धकेल दिए जाते हैं
- 2024 Google Web Creator Summit के एक attendee ने बताया कि पिछले साल उनका revenue 2.5 लाख डॉलर था, लेकिन traffic 97% घट गया और अब वे food bank पर निर्भर हैं
- Summit attendees ने बताया कि Google ने कहा था, “content समस्या नहीं था,” और Danny ने engineering team के साथ examples debug किए, लेकिन यह नहीं पता लगा पाए कि वे दिखाई क्यों नहीं दे रहे
- जैसे-जैसे search ranking system Google के अंदर भी समझना मुश्किल black box बन गया है, यह आलोचना उठ रही है कि monopoly की स्थिति में product usefulness घटने का असर business performance पर तुरंत नहीं पड़ता
स्वतंत्र वेब मीडिया का traffic collapse
- “The End Of Independent Publishing And Giant Freakin Robot” ने Giant Freakin Robot के बंद होने की घोषणा करते हुए बताया कि पिछले 2 वर्षों में सैकड़ों independent publishers बंद हो चुके हैं और हजारों और इसी रास्ते पर जा सकते हैं
- कई विषयों पर काम करने वाले independent publishers से संपर्क करने पर पता चला कि कोई भी अच्छी स्थिति में नहीं है और अधिकतर जल्द ही business बंद होने की आशंका जता रहे हैं
- समस्या सीधे Google तक पहुंचाई गई, लेकिन लौटकर मिला संदेश यह था कि Google को परवाह नहीं है; यहां तक कि “हमारी industry खत्म हो गई” जैसी बात भी कही गई
- Web media companies अब Google या Facebook से आने वाले referral traffic पर स्थिर रूप से भरोसा नहीं कर सकतीं, और बचे हुए traffic पर टिक पाने वाली कंपनियां बहुत कम हैं
Search ranking के black box बनने की प्रक्रिया
- समस्या कुछ sites की असफलता तक सीमित नहीं है; यह Google द्वारा search results ठीक करने के लिए site ranking में machine learning इस्तेमाल करने की दिशा से जुड़ी है
- What we can learn from the Google creators summit for HCU impacted sites के अनुसार, helpful content system एक machine learning system था जो अच्छे और खराब examples से सीखकर यह predict करता था कि कोई नया example किस तरफ ज्यादा करीब है
- लेकिन पिछले 1 साल में Google Search की आलोचना हुई है कि उसने बहुत सारा LLM-जनरेटेड spam pass होने दिया और blogs व छोटे sites को अधिकांश results से गायब कर दिया
- कुछ sites को machine learning model ने व्यवहारिक रूप से exclude कर दिया, और इसकी सटीक वजह किसी को नहीं पता
- I Drank the Kool-Aid at the 2024 Google Web Creator Summit में एक attendee ने बताया कि पिछले साल 2.5 लाख डॉलर revenue के बाद उनका traffic 97% कम हो गया, और अब वे food bank से भोजन लेते हैं
- समस्या इस बात से और स्पष्ट होती है कि ये वे लोग थे जिन्हें Summit में इसलिए बुलाया गया था क्योंकि वे ऐसा content बनाते थे जिसे Google search results में दिखाना चाहता था
- Twitter conversation में साझा किया गया कि Google की ओर से कई बार कहा गया कि “content समस्या नहीं था,” और Danny ने attendees के examples लेकर engineering team के साथ debug किया, लेकिन यह पता नहीं लगा पाए कि वे दिखाई क्यों नहीं दे रहे
- Search algorithm ऐसा black box बनता दिख रहा है जिसे Google engineers के लिए भी समझना मुश्किल है
Product deterioration का business performance में न बदलना
- यह बात भी इस समस्या से जुड़ी है कि Google के ML experts ने चेतावनी दी थी कि LLM products को अव्यवस्थित और control करना मुश्किल बना सकते हैं, इसलिए उनसे बचना चाहिए
- बड़े पैमाने पर layoffs के कारण जब वे लोग चले जाते हैं जो internal systems को गहराई से समझते थे, तो बचे हुए systems और आसानी से black box बन सकते हैं
- बिगड़ती स्थिति जारी रहने की मूल वजह यह है कि इसका Google के business performance पर सीधा असर नहीं पड़ता; monopoly company product usefulness घटने पर भी आसपास पैदा होने वाली value capture कर सकती है
- अमेरिका की राजनीतिक स्थिति को देखते हुए यह अनुमान बनता है कि tech industry में monopoly और oligopoly और मजबूत होंगे, और products की वास्तविक productivity, performance और effectiveness धीरे-धीरे कम महत्वपूर्ण होती जाएंगी
1 टिप्पणियां
Hacker News की रायें
मूल रूप से, मेरी नज़र में यह उस पल से शुरू हुआ जब विज्ञापन वाले लोगों ने search engine वाले लोगों के साथ power struggle में जीत हासिल कर ली। पहले विज्ञापन शानदार technology बनाने के लिए funding जुटाने का तरीका था, और साथ में बेहद अमीर बन जाने का भी।
अब यह बस system से value की आख़िरी बूंद तक निचोड़कर numbers को हमेशा ऊपर ले जाने का साधन रह गया है, और Google की senior leadership में vision या strategy भी पूरी तरह गायब दिखती है
Google Docs भी 2006 में कमाल का था, लेकिन लगभग 20 साल बाद अब उसमें बस थोड़े usability improvements हुए हैं; बाकी चीज़ें अक्सर या तो बंद हो गईं, या शुरुआत से ही बहुत innovative नहीं थीं, या दूसरों के काम की सुस्त नकल जैसी लगीं
Ads ऊपर के sponsored results भर सकते हैं, लेकिन organic search results को प्रभावित नहीं करते। अगर “विज्ञापन पक्ष जीत गया” का मतलब sponsored slots बढ़ना है, तो इसका बस यही मतलब है कि slots बढ़े हैं; इससे natural results की quality explain नहीं होती
नहीं तो वह शानदार technology शायद ads के target लोगों को खींचने का bait भर है—यानी ad service technology का एक component। यह भी समझ नहीं आता कि फिर ad staff को hire करने के बजाय उस technology को बेचते या license क्यों नहीं करते
Morgan के कहे की तरह, यह बात दिलचस्प है कि Danny engineers की team के साथ कमरे में बैठकर उदाहरण देते हुए कह रहे थे, “ये लोग क्यों नहीं दिख रहे?”, और उन्होंने debugging process अपनाई, लेकिन वजह नहीं ढूंढ पाए।
दूसरी तरफ़, Sweden के एक व्यक्ति ने अपने living room में एक desktop-grade machine पर ऐसा search engine बना दिया जो इतना अच्छा था कि Google के fail होने पर लोग अक्सर उस पर switch कर सकते थे। आजकल मैं Kagi इस्तेमाल करता हूं; उसमें priorities और block lists हैं, लेकिन results default रूप से इतने अच्छे हैं कि मैं उन features का इस्तेमाल नहीं करता।
Kagi अपना खुद का index बना रहा है, लेकिन लंबे समय तक वह Google+Bing results को wrap करके resell करने जैसा ही था, फिर भी वह कहीं बेहतर था—यह बात रोचक है।
संभावना दो में से एक है। या तो Kagi के पास top दर्जनों results पढ़कर उन्हें reorder करने वाला बहुत smart system है, या ज़्यादा plausible यह है कि API access के जरिए वह Google input side के “query expansion and dumbification device” और output side के personalization चरण को bypass करके Google search के उस core से सीधे interact करता है जो अभी भी काम करता है।
यहां “dumbification device” से मतलब उस pipeline से है जो
obscure-js-libको मिलते-जुलते नाम वालेwell-knowm-js-lib-with-kind-of-similar-nameमें बदल देती है, या Angular केmat-tableको search करने पर यह मान लेती है कि आप Angular से असंबंधित mat बिछी हुई table चाहते हैंexactly-this-thing.pysearch करने पर ऐसा लगता है जैसे वह कह रहा हो, “आपनेsorta-related.jsगलत लिखा है। ये लीजिए।” अपने-आप प्रतिक्रिया निकलती है: “क्या मैंने हकलाकर कहा था?”लेखक ठीक-ठीक किस समस्या की बात कर रहे हैं, यह साफ़ नहीं है। क्या बात यह है कि कुछ साइटों ने search results पर आधारित business model बनाया, या यह कि Google ने search algorithm बदला और उसकी priority पसंद नहीं आई, या फिर कोई और समस्या है—यह अस्पष्ट है
यह उम्मीद करना कि Google कभी algorithm experiments न करे, थोड़ा अव्यावहारिक है, और मूलतः यह zero-sum game जैसा है। आज कोई विजेता हो सकता है, कल वही हारने वाला बन सकता है
अगर revenue sharing, traffic inflow, ad placement जैसी चीज़ों की चिंता है, तो ऐसा business बनाना जिसकी सफलता पूरी तरह किसी दूसरी कंपनी के मूड पर निर्भर हो, बहुत समझदारी नहीं है
Search को बड़े भाषा मॉडल धीरे-धीरे replace कर रहे हैं, और कई सालों से search engine optimization के कारण यह game हो चुका है, इसलिए content discovery के तरीके के रूप में यह लगातार खराब होता जा रहा है
Content discovery के लिए Hacker News जैसी समान रुचियों वाली communities द्वारा collective खोज, या curated model ज़्यादा उपयुक्त है। अगर curator या community आपकी रुचि से भटक जाए तो नया ढूंढना पड़ेगा, लेकिन अजीब तरह से उसी ढांचे के भीतर भी यह संभव है
पहले websites को webrings, directories और कई छोटे search engines से traffic मिलता था, लेकिन अब लगभग सब कुछ Google या उसकी properties, और छोटे हिस्से में Meta पर निर्भर है। Curator और community-based discovery models Google की वजह से पीड़ित हैं, समाधान नहीं
दूसरे शब्दों में, Google ने click-through rate 0.2% बढ़ाने वाले और harmless दिखने वाले 1000 experiments launch किए, और नतीजे में ऐसा system बन गया जो बस Reddit और Quora links दिखाना चाहता है
Google के private Blind section में मैंने यह बात कई बार देखी है, और आमतौर पर इसके साथ यह चर्चा भी होती थी कि 2020 से पहले search के responsible व्यक्ति ऐसे नतीजों को लेकर चिंतित थे और ज़्यादा सावधान approach अपनाते थे
एक पूर्व Google employee के तौर पर मैं October 2023 में बाहर आया, और search team में काम नहीं करता था, लेकिन Google के बाहर यह theory ज़्यादा समझी नहीं जाती लगती। नाम याद नहीं है, पर इस मुद्दे पर ठीक निशाना लगाने वाली बस दो मशहूर blog posts अपवाद हैं
मुझे जानना है कि क्या ऐसी queries की कोई list है जहाँ Google खराब results देता है। मैंने कुछ मिनट search history देखी, और ज़्यादातर simple queries थीं, जैसे लोगों के नाम, जिन्हें Google ने अच्छी तरह handle किया। People search में कभी-कभी Google, LinkedIn से भी बेहतर लगता है
कुछ complex queries को भी Kagi से compare किया। “How much bitcoin does microstrategy own” पर Google ने यहाँ सही snippet लौटाया, लेकिन Kagi ने सिर्फ हाल के दिनों में कितना acquire किया गया, उस पर articles link किए
“how to pronounce stratchery” पर Google ने Stratechery website का सही snippet दिखाया, और Kagi का पहला result गलत pronunciation वाला spam item था, जबकि दूसरा result सही pronunciation वाला tweet था
Dan Luu का लेख (https://danluu.com/seo-spam/) भी याद आया, लेकिन search history देखने पर लगा कि वे जिन queries का इस्तेमाल करते हैं, वे मेरी रोज़मर्रा की searches को बिल्कुल represent नहीं करतीं
[0]https://www.forbes.com/sites/digital-assets/2024/11/29/micro...
[1]https://stratechery.com/category/about/#:~:text=UPDATE%3A%20...
[2]https://www.howtopronounce.com/stratechery
Product reviews search engine optimization कचरे से, यानी blog spam की “Top 10” lists से भरे हैं, और travel-related searches में organic results आने से पहले ही ads का पूरा page भर जाता है। झंझट के कारण आप कोशिश भी नहीं करते, और अंत में सिर्फ वे queries बचती हैं जो अभी भी काम करती हैं
मैं जानना चाहता हूँ कि क्या कोई ठोस उदाहरण हैं जिन्हें Google से ढूंढना मुश्किल है लेकिन किसी और से आसान
हाल की worldwide usage stats हैं: Google 89.33%, Bing 4.15%, YANDEX 2.8%, Yahoo! 1.33%, Baidu 0.83%, DuckDuckGo 0.69%। October 2024 के अनुसार https://gs.statcounter.com/search-engine-market-share
अगर Google इतना खराब है, तो फिर मैं समेत लोग दूसरे search engines पर click क्यों नहीं करते—यह सवाल है। Giant Freakin Robot को clicks नहीं मिल रहे, यह दुखद है, लेकिन user perspective से Google खराब है—यह अलग मुद्दा है
मैंने सब पर click करके देखा और सब काम करते हैं। Baidu चीनी में आता है, और The Sound of Music search किया तो Google Translate के हिसाब से “नन और सात शरारती बच्चे” जैसा चीनी result आया, जिस पर थोड़ी हंसी आई
Google ने ग्राहक वैल्यू और content creator वैल्यू को प्राथमिकता देने से हटकर, अंदरूनी और अपारदर्शी मुख्य प्रदर्शन संकेतकों को प्राथमिकता देने की दिशा में साफ़ बदलाव किया है। advertisers नहीं, creators के मामले में तो यह और भी ज्यादा सच है
कुछ साल पहले DuckDuckGo पर, और पिछले साल Kagi पर जाने के बाद जब भी कभी Google पर लौटता हूँ, साफ़ महसूस होता है कि वे कितनी बुरी तरह रास्ता भटक चुके हैं
दबदबा खोने में अभी 10 साल और लग सकते हैं, लेकिन संकेत साफ़ हैं। inertia और market position ही वे वजहें हैं जिनसे वे अभी भी शीर्ष पर हैं। दूसरी ओर, युवा पीढ़ी web search का बहुत कम इस्तेमाल करती है, और tech-savvy लोग लगातार तेज़ी से बाहर निकल रहे हैं
startups के नज़रिए से यह उम्मीद जगाने वाला है। Google अब आपका lunch छीन लेने वाला 800-pound gorilla नहीं, बल्कि ऐसा चलता-फिरता मृत दिग्गज है जो अपने conceptual parts की harvesting का इंतज़ार कर रहा है
इस साल Kagi से
!gके जरिए Google पर जाने के मौके उंगलियों पर गिने जा सकते हैं, और हर बार तुरंत पछतावा हुआकुछ साल पहले DuckDuckGo इस्तेमाल करते समय
!ginstinctive था, और शायद आधे मामलों में Google results बेहतर लगते थे। DuckDuckGo पर टिके रहना idealistic था और quality second-tier जैसी लगती थी, लेकिन Kagi के साथ ऐसा नहीं है। हर महीने के 10 डॉलर productivity gain के रूप में पूरी तरह वसूल हो जाते हैंKagi भी Google search index को एक source के रूप में इस्तेमाल करता है, इसलिए ऐसा नहीं है कि Google तकनीकी रूप से results या user experience बेहतर नहीं कर सकता। बस organizationally यह असंभव लगता है
बड़े पैमाने की layoffs का एक आम नतीजा यह बताया गया था कि वे internal systems को black box बना देती हैं। क्योंकि systems को गहराई से समझने वाले सभी लोग चले जाते हैं
जानकार लोगों को सीधे खोना वास्तविक बात है, लेकिन इन systems के black box बनने की मुख्य वजह यह नहीं है
निकाले गए हर एक जानकार व्यक्ति के बदले करीब बीस लोग बचे रहते हैं, जो इस वास्तविकता के साथ तालमेल बिठाते हैं कि कंपनी में उनका भविष्य अब कहीं ज्यादा अनिश्चित हो गया है। यह adjustment हर व्यक्ति में अलग होता है, लेकिन “वाह, मुझे documentation बेहतर करनी चाहिए और knowledge share करनी चाहिए ताकि मुझे निकालना और आसान हो जाए!” ऐसा कहने वाला सचमुच कोई नहीं होता
एक महीने बाद कंपनी ने contact करके contract work का offer दिया, लेकिन मैंने मना कर दिया। उसके बाद 1 साल तक employees ने सीधे contact करके मदद मांगी, जबकि जिन चीज़ों में मैंने मदद की वे सब पहले से documented थीं
मुझे लगता है कि कंपनी में ढंग के knowledge transfer का कोई समाधान नहीं है। इसलिए जब लोगों को अचानक layoffs में जाते देखता हूँ तो यह दिलचस्प लगता है, और कंपनी एक employee से कहीं ज्यादा चीज़ें खो देती है
knowledge silos job security की गारंटी नहीं देते। उल्टा वे promotion पाने की क्षमता, orgs के बीच collaboration की क्षमता, adaptability, दूसरे काम संभालने की क्षमता और delegation की क्षमता को सीमित करते हैं, और collaboration व project success rate घटाकर organization के अंदर दिखने वाली performance भी कम करते हैं। यह सिर्फ organization के लिए नहीं, silo में रहने वाले individual engineer के लिए भी बुरा है, और इस पर कई research papers भी हैं
Yandex, यानी Russia का Google, असल में 2006 के Google जैसा है। मतलब यह कि वह मुझे वह दिखाता है जो मैं चाहता हूँ, न कि वह जो Google के lawyers और SF में promotion material संभालने वाले लोग दिखाना चाहते हैं
Russia के अंदरूनी मामलों से जुड़ी चीज़ें censor हो सकती हैं, लेकिन मेरे उपयोग के दायरे से वह काफी बाहर है
नए search engine को रोकने वाली चीज़ scale और servers के अलावा और क्या है, पता नहीं। अगर हमें बस 2006 में मौजूद साधारण पुरानी search चाहिए, तो उसे recreate करना संभव लगता है
DuckDuckGo जैसे दूसरे engines भी हैं, लेकिन पता चला कि असल में वह Bing के करीब है। तो अगर Google इतना खराब है, तो Bing ने कब्ज़ा क्यों नहीं किया, यह भी सवाल है। वह बहुत अच्छा नहीं है, लेकिन इतना खराब भी नहीं है
और पढ़ने पर लगता है कि Kagi यही कर रहा है
यह एक ठंडे दिमाग से लिखा गया लेख है जो दिखाता है कि Google अंदर से कैसे तबाह हुआ
https://www.wheresyoured.at/the-men-who-killed-google/
वास्तव में यह मेरी उम्मीद से देर से हुआ, लेकिन यह इतना स्पष्ट event लगता है कि इसका असर आज तक जारी है
Giant Freakin' Robot एक aggregation site था। उसका “content” बस दूसरी web pages के links और उन पर लंबी-चौड़ी बातें थीं। लगता है Google अब aggregation sites को पहचानकर उनकी ranking कम कर रहा है
Google खुद aggregation site है, तो किसी दूसरी aggregation site को traffic क्यों भेजे। Yelp जैसी चीज़ों को भी नीचे किया जाए तो अच्छा होगा
मैं उत्सुक हूँ कि जो लोग लंबे समय से इंटरनेट इस्तेमाल कर रहे हैं, वे इंटरनेट search किस काम के लिए करते हैं। मेरे मामले में यह तीन में से एक होता है
पहला, मुझे पता होता है कि जानकारी किस website पर है और मैं सीधे वहाँ चला जाता हूँ। उदाहरण के लिए Wikipedia, Github, Google Maps
दूसरा, मुझे असली लोगों की राय या feedback चाहिए होता है, इसलिए आम तौर पर सिर्फ Reddit domain को target करके Google search करता हूँ
तीसरा, मुझे ऐसी जानी-पहचानी जानकारी चाहिए होती है जिसे verify करना आसान हो, और यह ऐसा problem है जिसमें large language models बहुत अच्छे हैं
यह मेरी “surfing” activity का 95% से ज़्यादा है, इसलिए अगर कोई major search engine एक दिन बंद भी हो जाए तो शायद मुझे लगभग पता भी न चले