Google, Bing, Marginalia, Kagi, Mwmbl, ChatGPT की search quality की तुलना

• सिर्फ 6 साधारण search queries से ही यह दिखता है कि Google, Bing जैसे बड़े search engines के top results में SEO spam, धोखाधड़ी वाले ads, और गलत जवाब अक्सर मिले-जुले होते हैं
• तुलना में Google, Bing, Marginalia, Kagi, Mwmbl, और ChatGPT 3.5 शामिल थे, और ad blocker बंद रखकर Vancouver, BC के आधार पर localized results भी देखे गए
• Marginalia अक्सर पूरा सही जवाब नहीं दे पाया, लेकिन इसमें धोखाधड़ी वाले results अपेक्षाकृत कम थे; ChatGPT कुछ searches में अच्छा था, लेकिन उसने जवाब देने से इनकार भी किया और hallucination भी दिखाए
• Google और Bing ने YouTube download, ad blocker, और winter snow forecast जैसे आम searches में धोखाधड़ी वाली sites और promotional results को ऊपर दिखाया
• अच्छे results पाने के लिए अब site restriction, keyword combination, और follow-up search जैसी expert tricks की ज़रूरत पड़ती है, जो “बस search करो” वाले पुराने अनुभव से काफी दूर है

---

तुलना का तरीका और मूल्यांकन मानदंड

• तुलना में Google, Bing, Marginalia, Kagi, Mwmbl, और ChatGPT 3.5 शामिल थे
• search queries तीन तरह की थीं
  • वे queries जो कोई non-expert user नया computer सेट करते समय इस्तेमाल कर सकता है
  • technical या science सवाल जिन्हें एक high school student समझ सकता है, लेकिन जिनका जवाब ढूँढना कठिन है
  • writing के दौरान वास्तव में ज़रूरी हुई local information searches
• इस्तेमाल की गई 6 queries ये थीं
  • download youtube videos
  • ad blocker
  • download firefox
  • Why do wider tires have better grip?
  • Why do they keep making cpu transistors smaller?
  • vancouver snow forecast winter 2023
• rating को Terrible, Very Bad, Bad, Ok, Good, Great में बाँटा गया, और धोखाधड़ी वाले results को बड़ा negative factor माना गया
• searches ज़्यादातर 2023 के नवंबर में, और कुछ दिसंबर के मध्य में की गईं
• search engine queries cookies हटाकर नई incognito window में चलाई गईं; Kagi logout search की अनुमति नहीं देता, इसलिए नया account बनाया गया
• location Vancouver, BC थी, और कुछ search engines पर localized ranking लागू होती दिखी

कुल नतीजे

• Marginalia कभी-कभी ठीक लेकिन अधूरे जवाब देता था, और जिन सवालों का जवाब नहीं दे पाता था उनमें या तो कोई result नहीं देता था या साफ़ तौर पर irrelevant results देता था
  • इसमें धोखाधड़ी वाले results का अनुपात दूसरे search engines से कम था, लेकिन इस प्रयोग में इसमें भी कुछ ऐसे results थे
• Mwmbl में users search result ranking को सीधे edit कर सकते हैं
  • एक query edit के बाद Great मानी जा सकती थी, लेकिन वह benchmark के हिसाब से सीधे optimize की गई थी, इसलिए score में शामिल नहीं की गई
• Google में recent results और नए YouTube videos को बहुत ज़्यादा तरजीह देने की प्रवृत्ति दिखी
  • ad blocker search में low-content YouTube videos दिखे, और उनमें से एक video ने गलत तरीके से खुद को “official Google” जैसा बताया
• ChatGPT एक मामले में traditional search engines से काफी बेहतर था, दूसरे मामलों में ठीक-ठाक था या जवाब टाल गया, और कई queries में hallucination किए
• Google और Bing को कुछ queries में ChatGPT से भी ज़्यादा hallucination-जैसे और manipulative results लौटाते हुए आंका गया
  • snow forecast search में ad revenue के लिए बने fake forecast sites और अनावश्यक snow removal service sign-up की ओर ले जाने वाले local business results दिखे

query के हिसाब से नतीजे

• download youtube videos

  • आदर्श result yt-dlp या yt-dlp का हल्का free GUI wrapper होता; youtube-dl जैसे कम अपडेट होने वाले projects भी acceptable माने गए
  • Google में कोई अच्छा result नहीं था; top general results में badware install कराने की कोशिश, scam ads, paid alternatives, promotional listicles, और YouTube blogspam जैसे videos थे
  • Bing में भी कोई अच्छा result नहीं था; इसमें suspicious extensions install कराने वाले links, fake download buttons, और paid downloader ads भरे थे
  • Marginalia का पहला result youtube-dl से जुड़ा पुराना जवाब था, और उसमें yt-dlp install व usage guide वाले blog posts भी थे, इसलिए इसे सबसे अच्छा आंका गया
  • Kagi Norton SafeWeb दिखाने वाली download site, scam pop-up, और पुराना youtube-dl archive.org link जैसी चीज़ों से भरा था
  • Mwmbl में कुछ paid software, youtube-dl install posts, GUI wrapper videos, और scammy या low-quality sites मिली-जुली थीं
  • ChatGPT ने जवाब दिया कि YouTube Premium के बिना download नहीं करना चाहिए, और specific third-party apps या websites recommend करने से इनकार किया

• ad blocker

  • आदर्श result uBlock Origin था, और कम से कम ऐसा non-scam ad blocker अपेक्षित था जो default रूप से ads block करे
  • Google में uBlock Origin का link नहीं था, और उसमें Acceptable Ads program में शामिल ad blockers तथा कुछ संदिग्ध scammy ads मिले हुए थे
  • Bing में top ads Avast Secure Browser, TOTAL Adblock, और fake review sites की ओर ले जा रहे थे, और ad marking इतनी subtle थी कि उन्हें normal search results समझा जा सकता था
  • Marginalia में 3rd और 4th results uBlock Origin recommend कर रहे थे, और 8th result खुद uBlock Origin था; direct scam results कम होने से यह अच्छा माना गया
  • Mwmbl में Ghostery, paid ad blockers, ads से भरी sites, और Hacker News comments में uBlock Origin recommendations जैसी चीज़ें मिली-जुली थीं
  • Kagi में Adblock Plus और AdBlock family के results ऊपर थे, और उसमें TOTAL Adblock install कराने वाले pop-up वाला article भी शामिल था
  • ChatGPT ने How do I install the best ad blocker? के जवाब में first recommendation के रूप में uBlock Origin सुझाया, इसलिए इस query पर इसे सबसे अच्छा माना गया

• download firefox

  • आदर्श result Firefox download link होता, और इसमें fake या scammy links नहीं होने चाहिए थे
  • Bing, Mwmbl, और Kagi ने Firefox download से जुड़े links दिए, इसलिए इन्हें Great माना गया
  • ChatGPT ने तकनीकी रूप से कुछ गलत installation guidance दी, लेकिन सही site पर जाने को कहा, इसलिए माना गया कि user के Firefox download करने की संभावना अधिक है
  • Marginalia में Firefox का direct download link नहीं था, सिर्फ indirect Firefox-related links थे, इसलिए इसे Ok माना गया
  • Google के top links में ज़्यादातर legitimate download links थे, लेकिन 7th और 10th results ऐसे scammy links थे जो badware install या credit card information माँगने की ओर ले जाते थे, इसलिए इसे Bad माना गया

• Why do wider tires have better grip?

  • सही जवाब में यह समझाना चाहिए था कि wider tires dry-road braking और lap times को कैसे प्रभावित करते हैं, wet surface braking और hydroplaning पर क्या असर पड़ता है, wheel width और tire width को अलग-अलग बदलने पर क्या फर्क आता है, और tire pressure changes का क्या असर है
  • Google, Bing, और Kagi ने surface area, contact patch, और dynamic load जैसी incomplete या गलत explanations और कई promotional pages लौटाए
  • ChatGPT ने grammatical रूप से अच्छा, लेकिन internet-comment जैसा plausible hallucinated answer दिया
  • Marginalia में original सवाल पर कोई result नहीं था; question mark हटाने पर सिर्फ एक गलत result मिला
  • Mwmbl ने irrelevant NYT article या bicycle tires से जुड़ी posts लौटाईं
  • कोई भी search engine सही explanation नहीं दे पाया; Marginalia को गलत results और scammy links कम होने के कारण तुलनात्मक रूप से बेहतर माना गया

• Why do they keep making cpu transistors smaller?

  • अपेक्षित जवाब ऐसा resource था जो intuitively समझाए कि transistor छोटा होने पर वह तेज़ क्यों होता है और power व capacitance से उसका क्या संबंध है
  • Google ने knowledge card, Stack Exchange, और Quora results लौटाए, लेकिन ज़्यादातर सिर्फ partial answers थे जैसे “छोटा मतलब तेज़,” या वे किसी दूसरे सवाल के जवाब थे
  • Bing के top knowledge card में कुछ partial answers थे जिनसे follow-up search की जा सकती थी, इसलिए इसे Ok माना गया
  • Kagi ने Reddit, Stack Exchange, Quora, और Metafilter results लौटाए; 10th link Dennard Scaling जैसी दिशा में ले जा सकता था, लेकिन direct answer कमजोर था
  • Marginalia में कोई result नहीं था, और Mwmbl ने सिर्फ एक irrelevant Vox article लौटाया: “Why do artists keep making holiday albums?”
  • ChatGPT ने performance increase जैसा non-answer दिया, और आगे explanation माँगने पर circuit propagation और interconnects को लेकर भ्रामक जवाब दिए

• vancouver snow forecast winter 2023

  • अच्छा result Environment Canada का 2023 winter multi-month snow forecast होता, जिसमें Vancouver में सामान्य से काफी कम बर्फ और अधिक तापमान की भविष्यवाणी थी
  • Google ने local snow removal company की fake-like forecast को knowledge card में दिखाया, और वह page भारी बर्फबारी व ठंड की भविष्यवाणी करके snow removal service खरीदने के लिए प्रेरित करता था
  • Bing का top relevant दिखने वाला page ऐसा SEO fake forecast site था जो daily “winter storm” probability को manipulated तरीके से दिखाता था
  • Kagi ने Bing की fake forecast site को top 4 results में दिखाया, और उसमें irrelevant news व SEO spam भी शामिल था
  • Marginalia में कोई result नहीं था, और Mwmbl ने 2022 power outage article, Philadelphia snow forecast, Ohio river freezing, और Oregon local news जैसे irrelevant results लौटाए
  • ChatGPT ने direct answer नहीं दिया और weather website या app देखने को कहा; एक बार गलती से User\n जुड़े prompt पर Environment Canada suggest कर दिया

ads, SEO, और hallucination कैसे मिलते-जुलते हैं

• search engine results में जानबूझकर manipulate किए गए results और सामान्य SEO ad-farm pages साथ-साथ मिले हुए थे
• snow forecast search में ad revenue के लिए बने fake forecast sites और snow removal service बेचने वाले fake forecasts दिखे
• ad blocker search में fake review sites थीं जो objective review जैसी लगती थीं लेकिन किसी खास ad blocker install करवाने के लिए बनी थीं
• YouTube download search में free open source tools की जगह paid software, suspicious extensions, और fake download buttons बार-बार सामने आए
• यह तर्क दिया गया कि traditional search ecosystem बहुत मजबूती से ऐसे results को आगे लाने के लिए incentivize है जो user के लिए best न होकर software supply chain के लिए सबसे profitable हों
• click और engagement जैसे ranking signals तभी अच्छे results को मज़बूत कर सकते हैं जब users इतने skilled हों कि वे अच्छे results पहचान सकें

ad-based search की incentive problem

• Sergey Brin और Larry Page के मूल PageRank paper में कहा गया था कि ad-based search और अच्छे search results देने के बीच incentive mismatch है
• paper बताता है कि ad revenue search engine को advertisers की तरफ झुका सकता है और उसे consumer needs से दूर ले जा सकता है
• आज Google और Bing इस दिशा में बदल गए हैं कि ads असली search results जैसे लगें, और कई users ads और organic results में फर्क नहीं कर पाते
• ranking evaluation page पर दिखने वाले क्रम के आधार पर की गई
  • अगर organic results के ऊपर 4 ads हैं, तो ads को positions 1-4 और organic result को position 5 माना गया
• cellular phone search के उदाहरण में Google के top results Google Store Pixel 7, Amazon का Android phone, Wikipedia, और commercial results व SEO spam से भरे थे
• PageRank paper में अच्छे top result के रूप में जिस “The Effect of Cellular Phone Use Upon Driver Attention” का ज़िक्र था, वह commercial results के ढेर के नीचे दब गया और दिखा ही नहीं

छोटे search engines और metasearch की संभावना

• यह दिलचस्प था कि एक single-developer search engine होने के बावजूद Marginalia ने कुछ queries में तुलनात्मक रूप से अच्छे results दिए
• Google को replace करने वाला mainstream search engine बनाना अभी भी मुश्किल है
  • real-time बदलने वाले Twitter, news आदि का indexing
  • basic स्तर से आगे का NLP
  • search engine से users की बढ़ती अपेक्षाएँ
• इसके उलट, कम users के लिए उपयोगी search engine बनाना अब आसान हो सकता है
  • क्योंकि कई queries में Google results पहले से खराब हुए हैं
• कहा गया कि Google कम लोकप्रिय pages या बिल्कुल सही याद रखी गई string searches में भी अब अक्सर मनचाहा page नहीं लौटा पाता
  • जो पहले लगभग कभी नहीं होता था, 2015 में कभी-कभार होता था, और अब काफी अनुपात में होता है
• कई छोटे search engines का combination बहुत से users को Google से बेहतर results दे सकता है या नहीं, इस पर निष्कर्ष कई सालों से लगभग “हाँ” की दिशा में है
• Mwmbl का user-curation model अतिरिक्त नियंत्रण के बिना कठिन माना गया
  • RSS search के top पर blogspam जोड़ने वाला user edit उदाहरण के रूप में सामने आया, और report करने का आसान तरीका नहीं था
• 1996 के Metacrawler की तरह कई search engines, ChatGPT, Bard आदि को aggregate करने वाला तरीका कानूनी और licensing cost को छोड़कर तकनीकी रूप से काफी अच्छा हो सकता है

परिशिष्ट: दूसरे search engines

• DuckDuckGo पहले Bing से बहुत मिलता-जुलता था, और इस बार भी Bing ads हटाने पर वह काफ़ी समान दिखा, इसलिए अलग table में रखने लायक खास अंतर नहीं माना गया
  • skilled user अच्छी query लिखे तो Google की तरह ठीक हो सकता है, लेकिन इस तुलना की naive queries पर यह अच्छा नहीं था
• wiby.me, Marginalia की तरह, अपेक्षाकृत obscure results खोजने वाला search engine है
  • 4 queries पर इसने दिलचस्प और बहुत अलग results दिए, लेकिन relevant results नहीं दिए
• searchmysite.net ने कुछ queries में कुछ हद तक relevant results दिए, लेकिन Marginalia जितनी relevance नहीं थी
  • इसमें Google, Bing, और Kagi की तुलना में scam और promotional pages बहुत कम थे
• indieweb-search.jamesg.blog सभी queries पर server errors के कारण काम नहीं कर पाया
• Teclis में search box अभी भी है, लेकिन bot abuse के कारण इसे बंद कर दिया गया; front page पर सूचना है कि traffic का 99.9% bots था
  • बताया गया कि Teclis results, Kagi के Non-commercial Web lens और API के जरिए इस्तेमाल किए जा सकते हैं

परिशिष्ट: अच्छे जवाब तक पहुँचने का workaround process

• wider tire grip वाले सवाल में सामान्य search engines अच्छा जवाब नहीं दे पाए, और search process YouTube search, comments, automotive books, related books exploration, और specific model-name searches तक गई
• Carroll Smith की Tune To Win कहती है कि wider contact patch heat buildup कम करता है और कम temperature range में काम करने वाला softer rubber design संभव बनाता है, लेकिन इसे पूरे observed effect की पर्याप्त explanation नहीं माना गया
• Kummer की The Unified Theory of Tire and Rubber Friction, Hays and Browne की The Physics of Tire Traction, और Milliken and Milliken की Race Car Vehicle Dynamics भी पूरी explanation तक नहीं पहुँचतीं
• Guiggiani की The Science of Vehicle Dynamics इस बात के अधिक करीब थी कि relevant factors को कैसे सोचना और model करना चाहिए
• आख़िरी chapter के brush model को clue बनाकर brush model tire width search किया गया, जो Pacejka की Tire and Vehicle Dynamics तक पहुँचा; इसे wider tire grip और ज़रूरी tire/vehicle dynamics modeling को समझाना शुरू करने वाली किताब माना गया
• अच्छे search results पाने के लिए search terms, sites, और follow-up searches को मिलाने वाली expert tricks चाहिए, और हर user के पास ये tricks नहीं होतीं

Google knowledge card के उदाहरण

• कहा गया कि Google knowledge card results आसान सवालों या मज़ाकिया queries पर भी अक्सर inaccurate थे
• oc2 gemini length ने boat length की जगह article में आए baby length 20″ को लौटा दिया
• busy beaver number ने phone number [phone] लौटा दिया
• Feedly revenue ने private company revenue/profit estimates को manipulate करने जैसी site के आधार पर $5.2M/yr लौटा दिया
• boston up118s dimensions ने piano size को 5826298 x 5826899 x 582697 in बता दिया
• Intel number of engineers ने engineers की संख्या की जगह phone number लौटा दिया
• fraser river current speed ने गलत 97 to 129 kilometers per hour लौटा दिया
• futura c-4 surfski weight ने किसी दूसरी surfski का वजन 39 pounds लौटा दिया

आलोचनाओं का जवाब

• यह तुलना peer-reviewed study नहीं है, और इसमें कुछ queries पर subjective evaluation शामिल है
• information retrieval research papers के अनुभव और best paper award के आधार पर यह कहा गया कि academic paper होना अपने-आप में अधिक rigor की गारंटी नहीं है
• Kagi users की कुछ आपत्तियों में GitHub results pin करना, या सिर्फ वही queries चलाना शामिल था जिनमें GitHub पर अच्छे results आने तय थे
• wider tires, transistors, और snow forecast queries पर वास्तव में अच्छे results मिलने का कोई ठोस rebuttal अब तक नहीं आया
• search quality debate का असली मुद्दा expert search tricks नहीं, बल्कि यह है कि साधारण searches करने वाला आम user scammy ads और SEO spam से कितनी आसानी से टकराता है

[GN⁺]

Hacker News की राय

• हाल ही में search algorithm में काफी सुधार किया है, लेकिन मुझे लगता है कि sample queries में Marginalia Search की किस्मत थोड़ी अच्छी रही
  अभी भी इसके results दूसरे alternatives की तुलना में ज्यादा असंगत हैं, और इसका मतलब यह भी है कि search quality evaluation उतना ही मुश्किल है
  असर इस बात पर भी बहुत निर्भर करता है कि user यह समझता है या नहीं कि यह semantic understanding के बिना keyword search engine है

  • semantic understanding के बिना keyword search होना ही अच्छा है
    “semantic understanding” कभी-कभी पक्षपाती और संदिग्ध तरीके से काम कर सकती है
  • search quality evaluation मुश्किल है—इस हिस्से पर आपको निजी तौर पर जो बातें प्रभावशाली लगीं, उनके बारे में और सुनना अच्छा होगा
    मैं YaCY जैसे DIY और non-corporate search को कुछ हद तक follow कर रहा हूं, और search engine बनाते समय engineering decisions की पृष्ठभूमि के बारे में और जानना चाहता हूं
    Marginalia कुल मिलाकर बहुत प्रभावशाली काम है, और यहां users से मैंने इसके बारे में सिर्फ सकारात्मक राय ही सुनी है
  • यह feedback मैंने असल में देखकर समझने के लिए इस्तेमाल करने के बाद दिया है
    DDG पर marginalia खोजा, लेकिन यह first page पर नहीं था; Google में यह कई बिखरे हुए results के बाद आया
    marginalia.nu पर जाने से SSL error आता है, और search.marginalia.nu काम करता है
    Marginalia में duckduckgo खोजने पर पहला link app-related है, इसलिए कुछ हद तक संबंधित है, लेकिन बाकी DDG से जुड़े होने के बावजूद relevance अस्पष्ट है
    ऊपर बताए गए uBlacklist को खोजने पर भी सीधे संबंधित results नहीं दिखते
  • “एक developer इतना अच्छा कैसे कर सकता है” वाला सवाल तो जैसे पूरी तरह टाल दिया गया ;)
    search का बहुत खराब हो जाना सच है, लेकिन “Adblock” की जगह “ublock origin”, “download YouTube” की जगह “yt-dlp” जैसे magic words जानकर search query बनाने की हमारी क्षमता भी बेहतर हुई है
    यानी हम सभी spam companies से बने internet-scale विशाल language model के खिलाफ prompt engineering करते आए हैं

• आजकल search काफी मुश्किल है, और हर कोई results manipulate करना जानता है
  Kagi या Google के Programmable Search Engines जैसे search engines recommend करूंगा, जिनमें आप प्रभावी रूप से बदल सकते हैं कि कौन-सी sites दिखेंगी
  खासकर YouTube को मैं block करता हूं, क्योंकि कभी-कभी सही result होने पर भी यह general results को videos से प्रदूषित कर देता है। video से जानकारी लेने में बहुत ज्यादा समय लगता है
  किसी खास query के लिए results recommend करने वाला feature आकर्षक है, लेकिन उसे भी manipulate किए जाने की संभावना ज्यादा है, और आखिर में DIY approach ही संभालने लायक दिखती है
  मेरे case में, मैं सिर्फ उन domains के results allow करता हूं जिन्हें मैं सही मानता हूं। whitelist approach की कमियां हैं, और आमतौर पर नए domains को search results से नहीं बल्कि Reddit या यहां जैसे social routes से verify करता हूं
  discoverability और results manipulation की संभावना के बीच एक मूलभूत trade-off है, ऐसा मुझे लगता है
  2008 के Google search results की याद आना समझ में आता है, लेकिन उस समय content आज की तुलना में कई orders of magnitude कम था, और businesses को यह भी नहीं पता था कि search ranking कितनी valuable है, इसलिए SEO शायद बहुत कम था
  साथ ही, average user जब “Youtube Download” search करता है तो yt-dlp “सही जवाब” है—इससे मैं सहमत नहीं हूं। average user को command line का पता भी नहीं होगा, और शायद वह उसे इस्तेमाल करना भी नहीं चाहेगा

  • आजकल मैं search करते समय उल्टा YouTube videos को ज्यादा प्राथमिकता देने लगा हूं
    कई websites कम-quality वाले SEO farms जैसी हैं, जो बस वही content दोबारा तैयार करती हैं, क्योंकि बनाना आसान है और hosting भी सस्ती है
    इसके विपरीत video बनाने में समय और मेहनत लगती है, इसलिए click farm की तरह इस्तेमाल करने की barrier ज्यादा ऊंची है
    पारंपरिक search fail होने पर कई बार YouTube पर 2009 के आसपास upload किया गया video वह चीज साफ, शांत और विस्तार से समझा देता था जिसे मैं ढूंढ रहा था
    product purchase information खोजते समय भी यह अक्सर बेहतर source बन जाता है। उदाहरण के लिए, कौन-सा fan खरीदना है ढूंढते समय ऐसे dedicated channels मिलते हैं जो कई fans की usefulness test करते हैं और अपना approach व results video में दिखाते हैं
    mainstream channels ज्यादा मददगार नहीं होते, लेकिन “old web” style के passionate videos लगभग हर topic पर मौजूद हैं और treasure trove जैसे हैं
  • 2008, Google बनने के 10 साल बाद था, और लोग पहले ही SEO समझ चुके थे; Google भी algorithm manipulation को penalize करने के लिए लगातार updates कर रहा था
    उदाहरण के लिए “link farming” पर Wikipedia article बताता है कि ऐसी चीजें 1999 से हो रही थीं और Inktomi के SEO को target करती थीं
    https://en.wikipedia.org/wiki/Link_farm
    मुझे याद है कि 2004 के आसपास Amazon की internal presentation में भी यह बात थी कि Amazon web pages का Google SEO मजबूत करने से traffic और sales बढ़ेंगे। Amazon, NIH syndrome जैसी वजह से, उल्टा थोड़ा पीछे था
  • यह मानना मुश्किल है कि search engine के लिए पुराने, भरोसेमंद sites और सिर्फ search results में मौजूद रहने के लिए बनाए गए generated garbage में फर्क करना इतना कठिन है
    अगर इंसान फर्क कर सकता है, तो सिद्धांततः computer भी कर सकता है
  • Google का PSE ठीक है, लेकिन कई PSEs के बीच switch करके उन्हें manage करने का अच्छा तरीका नहीं है
    हर PSE के public link UI में छोटा dropdown जोड़ देने भर से यह choose किया जा सकता था कि कौन-सा इस्तेमाल करना है, लेकिन अफसोस ऐसा नहीं है
    Giggle[1] यह feature देता है, और मैं इसे Kagi के साथ local पर चलाकर, पिछले कुछ वर्षों में इकट्ठा किए domain list पर ज्यादा specific searches के लिए इस्तेमाल करता हूं
    1. https://github.com/dan-lovelace/giggle
  • results manipulation वाले पहलू की वजह से मुझे non-commercial site search engines पसंद हैं
    अगर clicks से revenue नहीं आता, तो खेल ही काफी हद तक खत्म हो जाता है
    इसका मतलब यह नहीं कि पैसे कमाने का हक नहीं है, लेकिन वह model निश्चित रूप से user-hostile behavior को बढ़ावा देता है
    journalism जैसी legitimate sites भी यह model इस्तेमाल करती हैं, इसलिए इसे option के रूप में रखना अच्छा हो सकता है

• Kagi के बारे में HN से पता चला, और 100 बार search करके देखने के बाद मैंने subscribe कर लिया
  JS या CSS से जुड़ी कोई भी चीज़ search करें तो MDN पहला result आता है, या फिर ऊपर दिखने वाली spam sites को नीचे कर सकते हैं
  अच्छा होगा अगर कोई local large language model clickbait या कम-effort content detect करने के लिए trained हो
  कल्पना कीजिए कि YouTube search में सारा clickbait वैसे ही fold हो जाए जैसे Kagi list-type articles को group करता है, और बाकी ही संभावित high-quality content के रूप में बचें। अभी यह संभव है या नहीं, पता नहीं

  • YouTube videos के लिए Kagi Summarizer इस्तेमाल करें तो बेकार videos देखने में समय बर्बाद नहीं करना पड़ता
    यह शानदार life hack है
  • HN पर देखकर मैं Kagi का बड़ा fan बन गया
    यह देखकर हैरानी होती है कि ads से न भरा हुआ search engine कितना अच्छा हो सकता है
  • मैं Kagi के लिए 6 महीने से ज़्यादा समय से payment कर रहा हूँ और बहुत संतुष्ट हूँ
    मुझे subscriptions काफ़ी नापसंद हैं, इसलिए जो service आम तौर पर free होती है, उसके क्षेत्र में यह मेरे लिए काफ़ी meaningful मूल्यांकन है
    कभी-कभी local search के लिए Google पर जाना पड़ता है, लेकिन बाकी सब में संतुष्ट हूँ

• जिन लोगों के पास account नहीं है, वे compare कर सकें इसलिए अभी के Kagi results share कर रहा हूँ
  youtube downloader
  https://kagi.com/search?q=youtube+downloader&r=us&sh=_szITdy...
  ad blocker
  https://kagi.com/search?q=Ad+blocker&r=us&sh=-BHzV2ZoCDpmgOu...
  download Firefox
  https://kagi.com/search?q=Download+Firefox&r=us&sh=zkkmc_EQX...
  why do wider tires have better grip?
  https://kagi.com/search?q=Why+do+wider+tires+have+better+gri...
  why do they keep making cpu transistors smaller?
  https://kagi.com/search?q=Why+do+they+keep+making+cpu+transi...
  vancouver snow forecast winter 2023
  https://kagi.com/search?q=Vancouver+snow+forecast+winter+202...
  लेखक की इस बात से सहमत हूँ कि web पर spam बहुत ज़्यादा है। मेरा मानना है कि Kagi आम तौर पर spam को काफ़ी अच्छी तरह नीचे करता है, और ads/trackers की संख्या Kagi के लिए negative ranking signal है
  फिर भी और बेहतर किया जा सकता है, और “Small Web” जैसे special search modes spam को लगभग हटा देते हैं
  community की ऐसी जाँच का स्वागत है, और उम्मीद है कि यह हमें लगातार ईमानदार बनाए रखेगी

  • Kagi ऐसी websites देता है जिन पर ज़्यादा click करना पड़ता है, जबकि Google सीधे उचित जवाब दे देता है
    उदाहरणों में spam भी नहीं दिखता
    “why do wider tires have better grip?” के लिए यह जवाब देता है कि चौड़े tires बड़े contact patch के कारण weight को ज़्यादा समान रूप से distribute करते हैं और cornering के दौरान grip बढ़ाकर handling और stability सुधारते हैं
    “why do they keep making cpu transistors smaller?” के लिए यह जवाब देता है कि छोटे transistors overheating के बिना ज़्यादा computations कर सकते हैं और ज़्यादा power-efficient होते हैं, साथ ही die size घटाकर cost कम करते हैं और density बढ़ाकर प्रति chip cores की संख्या बढ़ा सकते हैं
    “vancouver snow forecast winter 2023” के लिए यह जवाब देता है कि 2023/2024 season में पर्याप्त snowfall और freezing point के ऊपर-नीचे temperature की उम्मीद है, इसलिए तैयारी रखें

• ChatGPT से जुड़े लेखों में 3.5 क्यों इस्तेमाल किया जाता है, यह समझना सच में मुश्किल है
  यह उपलब्ध सबसे अच्छे version के ChatGPT से मिलने वाले results को लेकर काफ़ी misleading तरीका है
  तुलना के लिए लेखक के सभी सवाल GPT-4 से पूछने के results यहाँ हैं
  https://chat.openai.com/share/ed8695cf-132e-45f3-ad27-600da7...

  • क्योंकि ज़्यादातर लोगों की पहुँच ChatGPT 3.5 तक ही है
    ज़्यादातर readers के लिए उस चीज़ के बारे में बात करना लगभग बेकार है जिसके लिए वे पैसे नहीं देंगे, और किसी random third party की यह ज़िम्मेदारी भी नहीं है कि वह दूसरों को OpenAI को पैसे भेजने के लिए प्रेरित करे
    अगर लोगों के 3.5 इस्तेमाल करने से शिकायत है, तो free में दी जा रही service इस्तेमाल करने वालों से नहीं, OpenAI से शिकायत करनी चाहिए
    निजी तौर पर मुझे 4 और 3.5 के अंतर को लेकर अत्यधिक प्रशंसा justified नहीं लगती
    https://news.ycombinator.com/item?id=38304184
  • अगर यह इतना खराब है तो OpenAI ChatGPT 3.5 को अभी भी क्यों provide कर रहा है
  • ज़्यादातर लोगों के लिए इसे इस्तेमाल करना थोड़ा मुश्किल है
    या तो message limit वाला 20 डॉलर/माह का fixed payment करना पड़ता है, या API key पाने का तरीका समझना पड़ता है, या similar cost और limits वाली third-party service इस्तेमाल करनी पड़ती है

• uBlacklist इस्तेमाल करके देखना अच्छा रहेगा। यह search results के लिए uBlock जैसा tool है
  https://addons.mozilla.org/en-US/firefox/addon/ublacklist/
  https://chromewebstore.google.com/detail/ublacklist/pncfbmia...
  settings और अपनी block list को Dropbox या Google Drive से sync किया जा सकता है, और block list subscriptions भी संभव हैं
  हालांकि search engine को खुद enable करके list subscribe करनी पड़ती है। uBlacklist की subscription settings में अभी built-in feed नहीं है
  uBlacklist site पर कुछ feeds हैं
  https://iorate.github.io/ublacklist/subscriptions
  एक बेहतर feed list भी मिली
  https://github.com/quenhus/uBlock-Origin-dev-filter#other-fi...

  • यह feature Kagi में पहले से है
    search results में domain को ऊपर ला सकते हैं या blacklist में डाल सकते हैं
  • uBlacklist सचमुच शानदार है
    मैं इसे कई सालों से इस्तेमाल कर रहा हूँ और कभी कोई दिक्कत नहीं हुई
    एक quick tip: “Skip the "Block this site" dialog” को on और “Hide the "Block this site" links” को off कर दें, तो spam websites को कहीं ज्यादा तेजी से block किया जा सकता है
  • uBlacklist को अपनी blacklist के साथ इस्तेमाल करें तो Google भी काफी usable हो जाता है

• मैं उस तरफ हूँ जो मानता है कि Google results अब भी बहुत अच्छे हैं
  हालांकि मैं uBlock Origin इस्तेमाल कर रहा हूँ, और उसे बंद करने की कोशिश भी नहीं करूँगा
  लेखक ने “non-expert browsing experience” पाने के लिए ad blocker बंद किया, यह बात समझ में आती है, लेकिन हर query पर uBlock चालू रखकर एक अलग test भी किया जा सकता था
  इसके अलावा, non-expert experience की नकल करते हुए video download results में yt-dlp आने की उम्मीद करना थोड़ा inconsistent है
  yt-dlp एक command-line Python utility है। यह non-experts से काफी दूर की चीज है
  ज्यादातर लोगों को यह भी नहीं पता कि video एक downloadable file हो सकता है, और जिन्हें पता है उनमें से भी ज्यादातर command line या Python नहीं जानते
  Google पर “how to download youtube videos” search करने पर पहला result savefrom.net नाम की service आती है, जो ठीक काम करती है और scam जैसी नहीं दिखती। मेरे हिसाब से यह “बहुत अच्छा” है
  “how to download youtube videos from the command line” search करने पर पहले कुछ results youtube-dl से जुड़े होते हैं और उनमें GitHub और Super User links भी शामिल हैं। yt-dlp का उल्लेख नहीं है, लेकिन youtube-dl एक अच्छा starting point है

  • Incognito tab में Google पर “how to download youtube videos” search करने पर पहले दो results ऐसे आते हैं
    https://msunduziassociation.online/perfect-online-videos/
    https://gssaction.org/program-all-in-one-media-solutions/
    लेखक की तरह मैं भी इन्हें साफ तौर पर “भयानक” category में रखूँगा
  • सोच रहा हूँ कि क्या आपने सच में savefrom.net इस्तेमाल करके देखा है
    “https://www.youtube.com/watch?v=IkYVmtgxebU” डालकर “Download” दबाने पर एक नया tab खुलता है जो malware install कराने की कोशिश करता है
    installation reject करने पर वह नया tab malware homepage पर चला जाता है
    tab बंद करके original tab पर लौटें तो savefrom.net “The download link not found.” error दिखाता है और video download करने में मदद नहीं करता
  • ad blocker जरूरी है, और निजी तौर पर मुझे लगता है कि script blocker भी जरूरी है
    समय के साथ search खराब हुआ है, ऐसा धुंधला-सा एहसास है, लेकिन यह कोई बड़ी समस्या नहीं है। आम तौर पर अच्छी site पहले एक-दो pages में मिल जाती है, बस खोलकर देखना होता है
    लेकिन अगर किसी site पर click करते ही attack हो रहा हो, तो स्थिति की गंभीरता अचानक बहुत बढ़ जाती है। सिर्फ अच्छी site होना ही नहीं, खराब site न होना भी महत्वपूर्ण हो जाता है
    इसके अलावा, लोगों को आम तौर पर websites से programs download न करने की training मिलनी चाहिए। समय के साथ यह कुछ बेहतर हुआ लगता है
    Google executable file links वाली sites को नीचे rank कर सकता है, और शायद वह ऐसा कर भी रहा होगा
  • मैं मानता हूँ कि Google और बाकी search engines तब तक भयानक हैं जब तक query “weak neutral currents” जैसे बहुत specific और distinctive technical term की न हो
    ज्यादा रोजमर्रा की searches में अक्सर ऐसे कचरे के ढेर में खोजना पड़ता है जहाँ खोजे गए शब्द तक नहीं होते
    “verbatim” search में भी किस्मत अच्छी होनी चाहिए। या तो उसे ignore कर दिया जाता है या 0 results आते हैं
  • उस लेख से मिली मुख्य बात यह है कि “दूसरों की भावनाओं या X खराब है और Y अच्छा है वाले meme पर निर्भर न रहें; हर कोई अपना test बना सकता है”
    workarounds के बिना non-expert experience की नकल करना आम user pattern नहीं है। क्योंकि हर किसी के पास अपने पसंदीदा tool से ज्यादा value निकालने का अपना तरीका होता है
    लेकिन यह लेख “यह query क्यों चुनी, scam को कैसे evaluate किया” जैसी experimental setup की पद्धति दिखाता है
    अच्छा होगा अगर लोग इसी spirit में देखें कि उनके current tool choices कहीं local optimum में तो नहीं फँसे हुए हैं

• लोगों को search results खराब क्यों लगते हैं, यह समझ में आता है
  “Download youtube videos” के लिए शानदार result यह होना कि “ideal तौर पर top results में yt-dlp या कोई हल्का graphical wrapper होना चाहिए”
  मुझे तो बस ऐसी website चाहिए जहाँ download link डालकर hard disk पर file ले सकूँ। कौन-सा package इस्तेमाल हो रहा है, इससे मुझे फर्क नहीं पड़ता
  90s की तरह malware की चिंता भी नहीं है, और 99.999% लोग programming छूने वाले लोग नहीं हैं
  यह एहसास होता है कि search results कितने subjective होते हैं। उनके “शानदार” results मेरे लिए सब “भयानक” results हैं

  • 90s का malware, या ठीक कहें तो असली virus, हास्यास्पद स्तर का था
    खासकर इसलिए क्योंकि computer अलग-थलग चीज़ था। connected computer अपवाद थे
  • अभी आज़माया तो Kagi का पहला result बिल्कुल ऐसी ही site था
    उसने video को बहुत तेज़ी से process करके download करा दिया
    कोई समझदार व्यक्ति youtube-dl को क्यों prefer करेगा

• “search बहुत खराब हो गया है” वाले रवैये में मुझे हमेशा जो उलझन होती है, वह यह है कि यह अक्सर ज़्यादा से ज़्यादा anecdotal evidence, और खराब स्थिति में anecdotal memory पर आधारित होता है
  मुझे भी पिछले कुछ सालों में search खराब होने का impression है, लेकिन कैसे पता चले कि वाकई ऐसा है
  यह एक verify किया जा सकने वाला claim होना चाहिए। Google Trends जैसी जगहों के top N search terms आज़माकर performance देखी जा सकती है
  benchmark बनाना आसान लगता है, लेकिन इस समस्या की शिकायत करने वालों में से कोई ऐसा करना नहीं चाहता
  Dan ने असली evidence और results को score करने के criteria देना शुरू किया, लेकिन उन्होंने भी सिर्फ 5 examples ही देखे। general claim करने के लिए यह सचमुच बहुत छोटा sample है
  इसलिए सवाल रह जाता है कि search खराब हो गया है, इस भावना पर इतने लेख क्यों हैं, लेकिन उस claim को verify करने वाला कोई क्यों नहीं

  • मूल बात यह लगती है कि mainstream search engines के result pages आम लोगों के लिए सुरक्षित रूप से पार करना मुश्किल scam minefield हैं
    अगर मुद्दा सिर्फ relevance देखने का हो तो sample छोटा होने वाली आलोचना सही है, लेकिन जोर नुकसान पर हो तो छोटा sample भी मायने रखता है
    अगर कहा जाए “5 playgrounds में से 3 में इस्तेमाल की हुई syringes मिलीं”, तो आम तौर पर लोग p-value और error bars नहीं माँगते
  • इसे fair criticism नहीं मानता
    1. “कितना अच्छा काम करता है” evaluate करने का चरण अनिवार्य रूप से subjective है
    2. research design करके participants recruit किए जा सकते हैं, लेकिन यह blogger का काम नहीं है
    3. article में एक survey भी link किया गया है जिसमें लोग सहमत हैं कि results खराब हुए हैं। sample की समस्या है, लेकिन कुछ न होने से बेहतर है
       खासकर इस मामले में लेखक इस सवाल का जवाब दे रहा है कि “मेरी पसंद के हिसाब से कौन-सा result सबसे अच्छा है?”
  • मैं दूसरों का प्रतिनिधित्व नहीं कर सकता, बस online कुछ ढूँढने की कोशिश कर रहा हूँ
    Google से compete करने वाला search engine बनाना या paper लिखना मकसद नहीं है
    यह समस्या यहाँ कई सालों से कई बार उठी है, लेकिन जवाब हमेशा explanation रहे, solution नहीं
    quality decline रातोंरात नहीं होता, कई सालों में होता है
    Google ने कुछ search terms कम common बताते हुए “did you mean...?” दिखाना शुरू किया और असली search करने के लिए दूसरा click मजबूर किया, और फिर उसे ignore कराने वाले modifiers तक ignore होने लगे तो यह और खराब हुआ
    जब सावधानी से चुनी गई तीन शब्दों की simple query से हजारों results आए और उनमें एक भी relevant नहीं था, तब मुझे लगा कि बस काफी है। अलग-अलग लोगों के लिए अलग हो सकता है
  • Dan ने समस्या को qualitative perspective से approach किया
    अगर और लोग quantitative maximization के बजाय ऐसा approach अपनाते, तो शायद हमें पागल कर देने वाले products कम होते
    अहम चीज़ search खराब होने का overwhelming अनुभव है, वह एक और spreadsheet नहीं जिसने हमें यहाँ तक पहुँचाया
  • ऐसा करने के लिए “quality” की comprehensive definition चाहिए, जो बिल्कुल आसान नहीं है और कम से कम कुछ हिस्सा subjective होना ही है
    omissions को quality definition में शामिल करना भी मुश्किल है, और क्या omit होना चाहिए यह भी subjective है
    उदाहरण के लिए “Gaza” search करने पर कोई engine सिर्फ recent events पर focus कर सकता है, जबकि दूसरा recent events को ignore करके general information ही शामिल कर सकता है
    किसकी quality ज्यादा है? असल में यह इस पर निर्भर करता है कि आप क्या खोज रहे हैं
    आखिर में जिन चीज़ों को हम important मानते हैं उनकी subjective list बनाकर उसी के हिसाब से score करने के अलावा रास्ता नहीं, और यह extra steps के साथ anecdotal evaluation जैसा ही है

• अगर जानना हो कि Google या कोई search engine क्यों खास नहीं है, तो देखें कि वे अपने search results को कैसे measure करते हैं
  ज्यादातर search companies लेखक ने जो किया, उससे मिलती-जुलती चीज़ बहुत specific guidelines के तहत बड़े पैमाने पर करती हैं
  उदाहरण के लिए Google के search quality raters के लिए 168-page guidelines हैं
  https://static.googleusercontent.com/media/guidelines.raterh...
  इसमें query का meaning समझना, user intent तय करना, website की “quality” evaluate करना, और query के meaning/intent की तुलना में site कितनी useful है इसे score करना आदि शामिल है
  यानी search companies लेखक ने जो किया वह नहीं कर रहीं, ऐसा नहीं है; बस उनके criteria लेखक से अलग हैं
  वे criteria शायद लेखक की तुलना में users से बेहतर match करते हों, लेकिन ऐसा न भी हो सकता है और हमेशा ऐसा रहेगा भी नहीं

  • यह बात सही मानना मुश्किल है
    link किए गए document का page 29 “Lowest Quality Content” समझाता है
    लेखक ने जिन search results को spammy/scammy माना, उनमें से ज्यादातर इन guidelines में साफ़ तौर पर फिट बैठते हैं
    तो या तो raters उस topic को पर्याप्त नहीं जानते, इसलिए harmful या misleading sites पहचान नहीं पाते, या raters ने सही evaluate किया फिर भी desired effect नहीं आ रहा
  • यह Google “ordinary people” की search को कैसे समझता है, इससे जुड़ा हो सकता है
    Google को product search engine और price comparison site के रूप में देखा जाने लगा है, और उस क्षेत्र में यह शानदार है
    खरीदने लायक किसी भी product के लिए relevant products ढूँढ देता है, तो संभव है Google ने उसी तरफ optimize किया हो
    मेरी ज्यादातर searches IT, programming, software और computers general से जुड़ी हैं, लेकिन आम लोग products, news और shop opening hours search करते हैं
    Google उन चीज़ों के लिए काफी ठीक है, और पैसा “कुछ खरीदने जाना” में है
    Google के product search ads असली search results से हमेशा कहीं ज्यादा accurate होते हैं
    मुझे लगता है Google ने product sales के लिए optimize किया है
  • average user blog spam search results क्यों चाहेगा
    उम्मीद है कि large language models बेहतर होने पर लौटाए गए results को और अच्छी तरह filter कर पाएँगे