1 पॉइंट द्वारा GN⁺ 2023-07-04 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Reddit के private होने और Twitter के login व speed limit जैसे बड़े साइटों पर access restrictions बढ़ने से, Google search results के कई links वास्तव में खुल ही नहीं पाते
  • बड़े language models के public data पर train होने के साथ, content sites के पास डेटा को खुला रखने के बजाय उसे बेचने या खुद इस्तेमाल करने की अधिक प्रेरणा है
  • ऐसी पाबंदियां Google की search indexing को रोक सकती हैं या जटिल बना सकती हैं, और AI model training data जुटाने पर भी असर डाल सकती हैं
  • अगर Wikipedia जैसी, search results में अक्सर दिखने वाली साइटें भी API access को paid या restricted कर दें, तो Google Search के मुख्य स्रोत भी डगमगा सकते हैं
  • Google AI answers से इसे मजबूत करने की कोशिश करे तब भी, अगर data login walls और paywalls के पीछे चला जाता है, तो search quality कई सालों में धीरे-धीरे खराब हो सकती है

access restrictions search results को dead links में बदल देती हैं

  • Reddit की कुछ communities नए API rules के विरोध में अब भी private बनी हुई हैं
  • Twitter ने login wall को और सख्त किया है और users पर rate limits लागू कर रहा है
  • इन बदलावों से Google index में बचे लाखों search results व्यवहार में dead links बन जाते हैं
    • जो users Google पर Reddit results खोजकर इस्तेमाल करते थे, वे Reddit की अपनी search को कमजोर मानते हुए विकल्प खो देते हैं
    • search results में tweet links कई users को login requirement screen तक ले जाती हैं

AI युग में data control, Google index पर दबाव डालता है

  • बड़े language models API के जरिए जुटाए गए public data पर train होते हैं, और content-rich sites पर अपनी ही data से train हुए models का असर पड़ने की संभावना अधिक होती है
  • ऐसी sites data access सीमित करने के बाद दो विकल्पों पर विचार कर सकती हैं
    • data बेचना
    • अपना model train करना
  • access restrictions, Google के search के लिए data को automatically collect करने की प्रक्रिया को रोक या जटिल बना सकती हैं, और model training data जुटाने पर भी असर डालती हैं
  • Google Search site-by-site results खोते हुए हज़ार छोटे घावों का सामना कर सकता है
  • अगर Wikipedia पाबंदी लगाए

    • अनुमान है कि Wikipedia, Google Search के 99% queries में first page पर दिखता है
    • अगर API access paid या restricted हो जाए, तो search results पर इसका बड़ा असर पड़ सकता है
    • Wikipedia data लगभग सभी बड़े language model corpora में शामिल dataset है
    • Wikimedia Foundation donation banners के जरिए वित्तीय सहयोग मांगता रहा है, और 2021 में Wikimedia Enterprise नाम का enterprise API product लॉन्च किया था
    • जब search results एक-एक करके dead links बनते हैं और index से हटते जाते हैं, तो users बंद services के भीतर site-specific search पर अधिक निर्भर हो जाते हैं
    • Google AI-generated answers से results को बेहतर करने की कोशिश कर सकता है, लेकिन हर answer पर्याप्त अच्छा नहीं होगा और training data भी login walls या paywalls के पीछे जा सकता है
    • नए alternatives आने तक, search कई वर्षों में धीरे-धीरे खराब हो सकती है

1 टिप्पणियां

 
GN⁺ 2023-07-04
Hacker News की राय
  • लगता है कि Google Search बहुत पहले से ही धीरे-धीरे मर रहा है
    पहले दस्तावेज़, फ़ोरम पोस्ट, wiki जैसी संक्षिप्त जानकारी मिल जाती थी, लेकिन अब search engine optimized marketing text, link farms, clickbait, हज़ारों शब्दों में भी कुछ न कहने वाले लंबे लेख, ऐसा राजनीतिक बकवास जो अमेरिकी न होने पर संदर्भहीन लगे, और ढेर सारी ads ही दिखती हैं
    यह स्थिति Google Ads और Google के search algorithm ने खुद ही बनाई हुई लगती है, इसलिए LLM से पूछना search की तुलना में कहीं ज़्यादा आकर्षक लगता है। अगर hallucination न हो, तो AI शोर हटाकर असली जानकारी निकाल देता है
    web अब लोगों या information discovery के लिए नहीं, बल्कि bots, crawlers, Google algorithm और marketing के लिए बन गया है, और इंसानों के लिए इसे पचाना मुश्किल हो गया है, इसलिए वे AI से ज़्यादा संक्षिप्त और सीधे नतीजों की उम्मीद करने लगे हैं

    • Google ने मानो सोने के अंडे देने वाली हंस को ही मार डाला। Google एक स्वस्थ open web पर निर्भर है, फिर भी web पर सबसे बड़ा प्रभाव डालने वाले पक्षों में से एक होकर भी उस ecosystem को बनाए रखने या बेहतर करने में पूरी तरह विफल रहा
    • कुछ समय पहले मैंने "canned cabbage soup" खोजा, तो mobile site किसी अनजान mode में अटक गई
      tile-style recommendation interface के ज़रिए सिर्फ़ blog spam recipes दिखीं, जिनमें खुद cabbage soup को can करने की बातें थीं; न सामान्य text links थे और न ही असली canned soup products। कई pages देखने पर भी कुछ नहीं बदला
      अजीब बात यह रही कि "canned cabbage soup history" खोजते ही वह सामान्य results mode में लौट आया और products व Wikipedia दिखने लगे। अगर कोई search सच में product खरीदने के इरादे से की जा रही हो, तो Google उसे किसी अजीब special search में क्यों बिगाड़े—इसके पीछे business reason सबसे साफ़ लगता है, लेकिन यह "blog spam serve करने" वाला mode क्यों है, समझ नहीं आता
      ऊपर से अब दिन में कम से कम पाँच बार यह पूछने वाली screen दिखती है कि मैं robot हूँ या नहीं
    • कल रात मैंने किसी page title की बिल्कुल वही पंक्ति search की, और results 0 आए। search query बदलते ही वही page पहले result में आ गया, और Google सचमुच बहुत बुरी तरह गिर चुका है
    • search engine से चाहिए यह नहीं कि AI चीज़ों को और संक्षिप्त, आसानी से पचने लायक summary में बदल दे
      चाहिए तो links की सूची जो वहाँ ले जाए जहाँ प्रासंगिक जानकारी है, और यह नहीं कि search engine content को summarize या refine करे। अगर खुद पढ़कर समझें नहीं, तो बहुत-सा ज्ञान और संदर्भ खो जाता है
    • AI/machine learning को लेकर कुछ डर शायद इसलिए भी हैं कि लोगों को एहसास हो रहा है कि उनकी पूरी ads और marketing की दुनिया बेकार हो सकती है
      users ads से गुज़रे बिना छोटे और सटीक जवाब पा सकते हैं, और यह कुछ-कुछ वैसा ही है जैसा web बहुत पहले हुआ करता था
  • जिन Stack Overflow spam clone sites को हटाया जाना चाहिए, या Canva और Pinterest जैसी वे sites जो बस title थोड़ा-थोड़ा बदलकर हज़ारों मिलते-जुलते pages बनाती हैं, वे अब भी Google में allowed हैं और ऊपर rank करती हैं
    "best domain name registrar" जैसी चीज़ search करने पर जो top 10 pages आते हैं, उनसे भी नफ़रत है। affiliate links से भरी spam blog posts नहीं, बल्कि असली domain registrars दिखने चाहिए, और ChatGPT ऐसा कर देता है
    Google में हद से ज़्यादा manipulation हो चुका है, और लगता है कि वह उन spam blog posts पर अपनी ads होने की वजह से उन्हें ठीक से छूता ही नहीं। HN से सीखे uBlock Origin filtering tips काम आते हैं, लेकिन search को ठीक करना Google का काम है। अभी useful content दब जाता है और spam content ऊपर rank होता है

    • जब मैंने पहली बार SEO शब्द देखा था, तभी ऐसा लगा था जैसे search की मौत तक की घड़ी चालू हो गई हो
      पहले crawler को दिखने वाले लेकिन user को न दिखने वाले बहुत छोटे, transparent font में keywords जैसी तरकीबें ही भौंहें चढ़ाने के लिए काफ़ी थीं, लेकिन जिस पल search engine manipulation एक पेशा बन गया, search का अंत दिखने लगा
      आख़िर में शायद हम फिर web rings और link indexes पर लौटेंगे, और वे भी integrate और heavily monetized होने के बाद छोड़ दिए जाएँगे। किस्मत अच्छी हुई तो 2040s में dial-up BBS पर लौटना पड़ेगा
    • Kagi ने हाल ही में domain-by-domain custom ranking जारी की, और Pinterest "demote" में दूसरे स्थान पर, और "block" में पहले स्थान पर था: https://i.imgur.com/ViLamx7.png
    • हमेशा से लगता रहा है कि अगर कोई एक सामान्य व्यक्ति random searches करके साफ़-साफ़ spam को tag कर दे और उसे index से बाहर कर दे, तो भी काफ़ी असर होगा
      लेकिन Google ऐसा लगता है कि इंसानों को यह काम अच्छे से करने के लिए रखने के बजाय, AI को train करके वही काम ठीक से न कर पाने पर अड़ा हुआ है
    • समझ नहीं आता कि Stack Overflow clone spam sites को बस हटाया क्यों नहीं जा सकता। हर बार जवाब खोजते हुए कीमती समय बर्बाद होता है
      यह एक आसान feature लगता है, लेकिन Google बहुत पहले ही रास्ता भटक चुका है
    • जो लोग Google या DDG इस्तेमाल करते हैं, उनके लिए मेरे पास सैकड़ों GitHub/StackOverflow clone sites वाली uBlock filter list है: https://github.com/quenhus/uBlock-Origin-dev-filter
      यह कई search engines में clone sites को block और hide करती है। इसे uBlacklist के साथ भी इस्तेमाल किया जा सकता है
  • यह Google की innovation failure है
    Google का लक्ष्य "दुनिया की जानकारी को व्यवस्थित करना" था, लेकिन वह Wikipedia जैसा इंसानों के पढ़ने लायक उच्च-गुणवत्ता वाला curated information repository नहीं बना सका, और न ही ChatGPT जैसा पहला LLM बना सका जो मामूली से अधिक स्तर पर जानकारी को याद कर सके और व्यवस्थित कर सके
    Google ने search में शुरुआती सफलता के बाद बढ़त बनाए रखने के लिए "सबसे स्मार्ट लोगों" पर खूब पैसा लगाया ताकि competitors उन्हें hire न कर सकें। नतीजा यह हुआ कि innovation की बजाय Android, Chrome, email जैसी internet infrastructure को control करके अपनी मौजूदा बढ़त बचाए रखना संसाधनों के बेहतर उपयोग जैसा लगने लगा
    अगर बहुत बड़ा बदलाव नहीं हुआ, तो मुझे Google चलता-फिरता शव लगता है। यहाँ "सबसे स्मार्ट लोग" से मतलब ऐसे लोगों से है जो अकादमिक रूप से सफल रहे, नियमों का अच्छी तरह पालन करते हैं, लेकिन कल्पनाशक्ति कम रखते हैं और जोखिम से बचते हैं

    • Google ने वह मूल breakthrough बनाया जिस पर आज भी सभी LLM निर्भर हैं, खासकर attention architecture और बड़े पैमाने पर deep neural network training, और ChatGPT आने से बहुत पहले उसके पास Meena जैसा chatbot भी था
      बस उसने उसे आम लोगों के लिए जारी नहीं किया, इसलिए innovation failure कहना सही है, लेकिन यह technology या machine learning की failure नहीं है
      https://ai.googleblog.com/2020/01/towards-conversational-age...
    • Google के पास OpenAI से पहले LLM था, और उसे संभव बनाने वाली मूल techniques भी उसी ने बनाईं
      मेरी व्याख्या यह है कि Google अपने ही भार तले दब गया। सरकारी fines और उन fines से डरने लगी corporate structure ने प्रगति को धीमा कर दिया, और ऐसे माहौल में बदलाव जारी करना बहुत मुश्किल होता है
      baseline भी यही है। लोग बदलाव पर प्रतिक्रिया देते हैं और मौजूदा स्थिति को gold standard मानते हैं। ऐसी स्थिति में radical change लाना कठिन होता है
      मुझे लगता है कि बाहर निकलने का रास्ता सिर्फ products को कम करना है। चाहे split करो, shard करो, या इतना छोटा हो जाओ कि बाकी की तुलना में default target न रहो। Coca Cola या Procter & Gamble जैसी कंपनियाँ यह अच्छी तरह करती हैं
    • Wikipedia की content quality पर शक है
      जो भी चीज़ politicized हो सकती है, वह politicized हो जाती है, और जिसे किसी agenda या viewpoint को आगे बढ़ाने के लिए इस्तेमाल किया जा सकता है, उसका इस्तेमाल होता है
      दुर्भावना से अलग भी, volunteer-based होने की वजह से कुछ documents में संबंधित जानकारी गायब होती है या गलतियाँ होती हैं
    • यह भविष्यवाणी कि Google मर रहा है, जल्दबाज़ी लगती है। search से आगे बढ़कर वह Android ecosystem को control करता है
    • कुछ दिन पहले कुछ लोग Schumpeter के इस विचार पर चर्चा कर रहे थे कि "बहुत बड़ी कंपनियाँ innovation को आगे बढ़ाती हैं"; उस नज़रिये से Google Search को कैसे देखना चाहिए, यह जानने की उत्सुकता है
  • planetary science में काम करते समय मुझे Google पर image ID search करने की आदत थी
    आम तौर पर यह किसी paper में उल्लेखित किसी खास moon-orbit image के लिए होता था, और बेशक ऐसी चीज़ें खोजने के लिए dedicated archive भी हैं, लेकिन हैरानी की बात है कि Google अच्छे results दे देता था
    अब image ID search करने पर सचमुच 0 results आते हैं। पता नहीं क्या बदल गया। सोचता हूँ क्या उन्होंने Planetary Data System index हटा दिया, या planetary science papers का index हटा दिया

    • part numbers, error codes जैसे high-entropy search terms भी शायद उसी हाल में पहुँच गए हैं
      बिल्कुल result न मिलने से भी बदतर यह है कि हर page पर थोड़ा अलग नंबर या code वाले "results" बार-बार दिखाई देते हैं
    • मुझे index से हटाने की बजाय यह ज़्यादा लगता है कि उन्होंने text matching के बजाय vector search शुरू कर दी है। ऐसे IDs के लिए vector space में कोई जगह नहीं होती
    • जब मैं literature पढ़ता था, तो किसी याद रह गए text या paper के छोटे-छोटे टुकड़ों का वर्णन भर करके भी बहुत धुंधले references ढूँढ़ लेता था
      अब या तो results नहीं मिलते, या फिर असंबंधित search engine optimization लेख ही आते हैं
    • अगर image search की बात हो, तो Google की जगह Yandex आज़माना बेहतर है। image search में वह Google से एक order of magnitude आगे है
      संपादन: मैं यह चूक गया कि बात image नहीं, image ID search की हो रही है
    • शक BERT और semantic search पर जाता है
      उससे पहले के ज़्यादातर word embedding models single-language थे और context नहीं देखते थे, इसलिए search के लिए उपयोगी नहीं थे, और इसी वजह से Google को inverted index और वर्षों से fine-tuned algorithms का इस्तेमाल करना पड़ता था
      BERT के बाद 99.99% भाषा-आधारित search queries को embed करने वाला model बनाना संभव हो गया, और चूँकि वह 99% queries पर लगभग ठीक काम करता है, लगता है उन्होंने उसे पर्याप्त मान लिया
      यह पहचानना अपेक्षाकृत आसान रहा होगा कि कौन-सी queries नए तरीके की तुलना में पुराने index पर बेहतर काम करती हैं, लेकिन लगता है ऐसा नहीं किया गया, और नतीजतन phone number search जैसी बहुत-सी उपयोगिता गायब हो गई
  • Google की मौत corpus problem से भी गहरी है, और ranking algorithm भी बुरी तरह खराब हो रहा है
    एक हफ़्ते पहले < James Palmer manchester foreign policy > search करने पर https://foreignpolicy.com/2017/05/23/i-love-manchester-but-p... पहले page पर नहीं आया, लेकिन < James Palmer manchester site:foreignpolicy.com > से वह मिल गया
    आज यह ठीक हुआ लगता है, लेकिन search intent के इतने kindergarten-level उदाहरण को भी पूरा न कर पाना कुछ साल पहले के Google में अकल्पनीय था
    https://twitter.com/BeijingPalmer/status/1670904508191322112
    https://twitter.com/shalmanese/status/1670973880637493249

  • यह इंटरनेट पर commons की tragedy है: https://en.wikipedia.org/wiki/Tragedy_of_the_commons
    बहुत सारे लोग और समूह जितना हो सके उतनी कम मेहनत में लाभ कमाने की कोशिश कर रहे हैं, और इस प्रक्रिया में मुक्त रूप से सुलभ data, open API, FLOSS software जैसी साझा संपत्तियाँ दीर्घकालिक प्रभावों की परवाह किए बिना क्षीण होती जा रही हैं।
    data को अनंत बार कॉपी किया जा सकता है, लेकिन शुरुआत में उसे किसी को बनाना पड़ता है, और अपडेट न किया जाए तो वह पुराना होकर कम उपयोगी हो जाता है। अगर किसी में उसे बनाने या ताज़ा रखने की इच्छा और क्षमता न हो, तो अच्छी चीज़ें गायब हो जाती हैं और signal-to-noise ratio तेज़ी से टूट जाता है। सब कुछ noise बन जाता है और हालात बहुत खराब हो जाते हैं।

    • मानव इतिहास में बौद्धिक संपदा अधिकार अपेक्षाकृत हाल की घटना हैं।
      बहुत-सी तकनीकें और संस्कृतियाँ ऐसी "सुरक्षा" के बिना बनीं। कभी-कभी सोचता हूँ कि अगर copyright और patent न होते तो हाल का इतिहास कैसा होता।
    • अभी हालात किसी MMO के उस हिस्से जैसे हैं जहाँ spammer और seller इतने घने हो गए हैं कि quest giver को ढूँढना मुश्किल हो गया है।
  • बहुत पहले Google, Reddit के बिना भी बेहद उपयोगी था।
    उसके विशाल कंपनी बनने की वजह थी, और उसने सच में काम के tools और services बनाए थे। लोग उसके products इसलिए इस्तेमाल करते थे क्योंकि वे अच्छे थे, और Search, Gmail, Maps, Translate जैसी चीज़ें सचमुच नगीने थीं।
    Search को उसने लापरवाही से बिगड़ने दिया या जानबूझकर खराब किया, यह तो नहीं पता, लेकिन Reddit से अलग भी यह टूटा हुआ है। Reddit पर जानकारी बहुत है, लेकिन वह इंटरनेट की इकलौती वेबसाइट नहीं है।
    फिर भी Google ऐसा लगता है जैसे इंटरनेट की सिर्फ़ ऊपर की 150~200 साइटों को ही index करता हो, और उन नतीजों में भी अक्सर search term गायब होता है।

    • मेरा मानना है कि इंटरनेट का siloization होना, और सार्वजनिक जगहों का बड़े पैमाने पर login के पीछे चले जाना भी एक कारण है।
    • Google Search, AdWords के दौर में इंटरनेट के विकसित होने के साथ बिगड़ी।
      सबको समझ आ गया कि pageview और search engine optimization से पैसा कमाया जा सकता है, और हर search term पर नंबर 1 आने की होड़ में bottom race शुरू हो गई।
      यह ऐसी समस्या लगती है जिसे Google पूरी तरह user-first नज़रिये से भी हल करना मुश्किल पाता, और इसके ऊपर Sundar के बाद का Google लगभग IBM/Oracle बन चुका है। इसलिए वह अब नाली में दोगुनी रफ़्तार से घूम रहा है।
    • इसे पैसे के लिए जानबूझकर बिगाड़ा गया।
      जिस पल उसने लोगों को अपने search engine में हेरफेर करने के लिए पैसे देना शुरू किया, यानी AdSense लाया, उसी पल से पूरी चीज़ बेकार होने की राह पर चल पड़ी। ऐसे incentives पहले भी थे, लेकिन Google ने 2022 में 33 अरब डॉलर के incentive के साथ उस पर turbo लगा दिया।
    • अल्पकालिक कंपनी-दृष्टि से देखें तो "Search को लावारिस छोड़ दिया गया या जानबूझकर बिगाड़ा गया" यह गलत द्वैत हो सकता है।
      अगर search ad revenue बढ़ता है, तो Search ठीक ही लगती है, सड़ी-गली या टूटी हुई नहीं।
      हम मान लेते हैं कि Google users को customer की तरह देखता है, लेकिन असल में वह उन्हें शोषण योग्य प्राकृतिक संसाधन की तरह भी देख सकता है।
  • Wikipedia के पास downloadable data dumps हैं, Google को उपलब्ध कराने की लागत लगभग नगण्य है, और उस data को सार्वजनिक करना उसका संस्थागत मिशन भी है।
    अगर वह access fee भी लेने लगे, तब भी Google शायद वहन कर सकता है। पूरी तरह अवास्तविक परिकल्पनाएँ नहीं फेंकनी चाहिए।

    • "उपभोज्य" data access बेचने वाली सेवा Wikimedia Enterprise है: https://en.wikipedia.org/wiki/Wikimedia_Enterprise
    • अगर Wikipedia API access को paid या restricted कर दे, तो मेरा puzzle game Redactle(https://redactle.net) उसी तरह ख़तरे में पड़ जाएगा जैसे GeoGuessr पर Google Maps billing से खतरा आया था।
      इस लेख से जुड़े संदर्भ में भी, ads से भरे, भद्दे तरीके से लागू किए गए versions link farm समूहों में शामिल थे, इसलिए Google पर Redactle की ranking बढ़ाना मुश्किल था। उनमें से कई तो मेरे "Redactle Unlimited" brand होने का नाटक भी करते हैं।
      Google को शायद Reddit, Facebook वगैरह पर verified users द्वारा डाले गए हज़ारों links से ज़्यादा, आपस में link करने वाली spam sites के समूह पसंद आते हैं।
    • यह सही है कि Google लागत उठा सकता है।
      लेकिन अगर Wikipedia data को search results दिखाने में इस्तेमाल करने पर वह revenue का 10% माँगे तो? सोचता हूँ Google मानेगा, या फिर Wikipedia का कोई competitor service बनाकर 4 साल बाद उसे मार देगा।
      यह system इतना जटिल है कि जब उसके कुछ हिस्से दूसरे constraints से प्रभावित होते हैं, तो वह कैसे व्यवहार करेगा इसका अनुमान लगाना बहुत कठिन है। Reddit बनाम OpenAI data scraping, Reddit की monetization की इच्छा, rules के विरोध में Reddit moderators, 2-दिन के blackout को अनिश्चितकाल तक बढ़ाने की माँग, और Google द्वारा प्रकाशित LLM papers का ChatGPT के ज़रिये उसके अपने business पर असर—ये सब एक-दूसरे में उलझे हुए हैं।
  • यहाँ असली meta problem वह पुराना सवाल है कि Search सहित web services की funding model क्या हो।
    Google, Twitter, Reddit, Gfycat—ये सब उसी समस्या के तात्कालिक रूप हैं, और इस समस्या का कोई तकनीकी समाधान नहीं है। यह भोली धारणा कि ये सब चीज़ें मुफ़्त हो सकती हैं, खासकर तब जब यह बात ad revenue से टिके ecosystem के भीतर कही जाए, बेतुकी है।
    किसी न किसी को development और operations की लागत चुकानी ही पड़ती है, और आम तौर पर जो पैसा देता है वही फैसले लेने लगता है, जिसका नतीजा आज की UX आपदा के रूप में सामने आता है।
    कम से कम अभी, venture capital की स्थिति की वजह से, वैध प्रतिभागियों के बाज़ार को तोड़ने के लिए होने वाली वास्तविक product dumping काफ़ी कम हो गई है।

    • सहमत। जब लोग उस चीज़ के लिए पैसे नहीं देना चाहते जिसे वे खुद मूल्यवान मानते हैं, तो वह चीज़ फिर उनके लिए नहीं रह जाती।
      वह पैसे देने वालों, यानी investors के लिए हो जाती है।
  • अभी Google की समस्या Reddit या Twitter नहीं है।
    Google अब सचमुच बेहद खराब results और AdWords campaigns से भरा हुआ brand बन चुका है, और यह भी साफ़ नहीं कि marketers आखिर किस चीज़ के लिए पैसे दे रहे हैं।
    शायद Brin और Page के मूल paper पर लौटने की ज़रूरत है: https://research.google/pubs/pub334/
    Google अभी भी AlphaZero या Project Zero जैसी चौंकाने वाली चीज़ें करता है, लेकिन एहसास यह है कि अब संगठन के भीतर से सच में नया कुछ नहीं निकलता, जैसे कभी Xerox PARC के बारे में कहा जाता था।
    दूसरी ओर Google Workspace, जैसे Sheets और Docs, office क्षेत्र में अच्छे प्रतिस्पर्धी हैं। business execution अच्छा है, लेकिन Google Drive Search बेहद खराब है।