सर्च इंजन का पतन एक अवसर है

• सर्च इंजन की गुणवत्ता में गिरावट, वेब नेविगेशन के पुराने तरीके hyperlink और व्यक्तिगत link page को फिर से उपयोग में लाने का अवसर बनती है
• Google कई वर्षों से ठीक से उपयोग करने लायक नहीं रहा, DuckDuckGo/Bing लगातार खराब होते जा रहे हैं, और Yandex तुलनात्मक रूप से प्रभावशाली है, लेकिन फिर भी पुराने अत्याधुनिक स्तर तक नहीं पहुँचता
• YouTube वास्तव में सबसे खराब है; एक जैसे चेहरे और चमकाकर बनाए गए title background बार-बार दिखते हैं, जिससे सर्च करने से ही बचने का मन होता है
• Kagi इन सर्च इंजनों पर निर्भर दिखता है, और LLM search summary की सीमा यह है कि वह कम-गुणवत्ता वाले search result के ऊपर बना non-deterministic summary है
• जब व्यक्तिगत साइटें अपनी पसंदीदा वेबसाइटों को सीधे लिंक करती हैं, तो यह केंद्रीकृत वेब के खिलाफ World Wide Web को hyperlink दर hyperlink वापस हासिल करने का तरीका बनता है

---

मुख्य समस्या-बोध

• शुरुआत इस समझ से होती है कि सर्च इंजन के प्रदर्शन में गिरावट को अब नकारना मुश्किल है
• Google कई वर्षों से उपयोग करने लायक नहीं रहा, DuckDuckGo/Bing लगातार खराब होते जा रहे हैं, और Yandex तुलना में अधिक प्रभावशाली है, लेकिन अतीत के अत्याधुनिक स्तर से फिर भी कुछ कदम पीछे है
• YouTube search एक ऐसी चीज़ बन गया है जिससे स्वाभाविक रूप से बचने का मन होता है, क्योंकि वीडियो में एक जैसे format वाले चेहरे और title card बार-बार दोहराए जाते हैं
• Kagi की अक्सर सिफारिश की जाती है, लेकिन वह ऊपर बताए गए 3 providers पर निर्भर दिखता है
• LLM इसकी जगह खोज कर सकता है, लेकिन जब search result की गुणवत्ता ही कम हो, तो उसके ऊपर बना non-deterministic summary समस्या का समाधान नहीं कर सकता

प्रस्तावित प्रतिक्रिया

• समाधान यह है कि search box के बाहर सोचा जाए, और उसका जवाब hyperlink है
• शुरुआती वेब में, लोग किसी शानदार साइट के आम “links” page पर क्लिक करके दूसरी दिलचस्प साइटें खोज लिया करते थे
• ऐसे link कभी-कभी असंबंधित होते थे या dead होते थे, लेकिन कभी-कभी वे बिल्कुल सही निकलते थे और याद रह जाने वाली साइट तक ले जाते थे
• केंद्रीकृत वेब पर अफसोस करने के बजाय, वेबसाइट चलाने वाले लोग अपनी पसंदीदा वेबसाइटों को सीधे लिंक कर सकते हैं
• मेरा नया links page न तो “web ring” है, न ही mutual follow, बल्कि बस पसंद की चीज़ों की एक सूची है
• यह अपेक्षा नहीं है कि linked site फिर से लिंक करेगी, और अगर कोई लिंक करे भी, तो उससे reciprocal link की उम्मीद नहीं करनी चाहिए
• अगर हर कोई जहाँ चाहे वहाँ लिंक करे और अपना खुद का link page बनाए, तो इस तरह एक-एक hyperlink के जरिए World Wide Web को वापस हासिल किया जा सकता है

[GN⁺]

Lobste.rs की राय

• अफसोस की बात है कि मैंने देखा है Google ने AI Overview panel के अंदर सचमुच काफ़ी अच्छे links रखे हैं, और वे links अक्सर ऊपर के search results से बेहतर होते हैं उदाहरण के लिए, जब मैंने "what is a linked list" खोजा, तो AI सेक्शन के side panel के सबसे ऊपर एक Reddit thread था, और उसके बाद वही Wikipedia article आया। निजी तौर पर मुझे लगता है Wikipedia को पहला स्थान मिलना चाहिए, लेकिन खैर ऐसा ही था वहीं सामान्य search में पहला result GeeksForGeeks का article था। मैं GeeksForGeeks को कोसना नहीं चाहता, लेकिन वह search engine optimization से बहुत ज़्यादा प्रभावित article है, और web पर बेहतर content होने के बावजूद वह ऊपर rank करता है। इस मामले में Wikipedia दूसरे स्थान पर था भले ही लगे कि LLM links बेहतर चुनता है, मुझे नहीं लगता कि वास्तव में ऐसा है; ज़्यादा संभावना है कि यह सावधानी से design किया गया result हो, और यह enshittification का एक प्रतिनिधि उदाहरण है। अच्छे links को `` के अंदर छिपा दिया जाता है, और वहाँ click करने पर metrics में आप एक खुश कबाड़-उपभोक्ता बन जाते हैं। ऐसा इसलिए है क्योंकि उन्हें पहले से पता है कि असली search results बहुत खराब हैं

  • मैंने कहा था “मैं GeeksForGeeks को कोसना नहीं चाहता”, लेकिन उस site की आलोचना पूरी तरह जायज़ है। वह search engine optimization तो अच्छी करती है, लेकिन जब वास्तव में जानकारी चाहिए होती है तब शायद ही काम आती है, और ‘slop’ शब्द के आम होने से पहले से ही उसका content वैसा था। इसलिए search results में block की हुई sites में वह एक है
  • सामान्य-purpose search engine इस्तेमाल करने के बजाय, जहाँ साफ़ तौर पर ज़्यादा उपयुक्त specialized search मौजूद हो, वहाँ उसी का उपयोग करना मेरे लिए बड़ा एहसास था। linked list ढूँढते समय जिस चीज़ की ज़रूरत है उसके Wikipedia पर होने की संभावना ज़्यादा है, तो फिर Google इस्तेमाल करने की क्या ज़रूरत है मैंने Firefox में shortcut जोड़ रखा है ताकि @w linked list जैसा टाइप करते ही सीधे Wikipedia पर चला जाए। Arch Wiki, MDN, Stack Overflow, IMDB जैसी और भी कई संकरी और विशेषीकृत searches संभव हैं शुरू से ही यह विचार काफ़ी संदिग्ध है कि दुनिया की किसी भी जानकारी को ढूँढने वाली सेवा एक ही कंपनी चलाए। इस बारे में मैंने पिछले साल लिखा भी था पुरानी याद में यह कहना आसान है कि “पहले Google में बस कुछ keywords डालो और जो भी मौजूद है वह मिल जाता था”, लेकिन सच तो यह है कि यह कभी सही नहीं था। उलझे हुए web में भटकने से बचाने के बदले हमने Google को web की परिभाषा ही बदलने दी। हम कहते थे “अगर वह Google पर नहीं है, तो वह मौजूद नहीं है”, लेकिन वह गलत था, और अब जाकर हम देखना शुरू कर रहे हैं कि वह कितना गलत था पूरे web को ईश्वर-दृष्टि से वस्तुनिष्ठ रूप में देख पाना मूल रूप से असंभव है। web जितनी विशाल चीज़ को index करते हुए दुरुपयोग रोकना हो, तो बड़े-छोटे हज़ारों फैसले लेने पड़ते हैं। हर बार search करते हुए, बल्कि हर abstraction में, हमें वास्तविकता के सरलीकरण को स्वीकार करना पड़ता है। जैसे नक्शा इलाक़ा नहीं होता, वैसे ही index web नहीं है https://search.technomancy.us/why
  • &udm=14 नाम का एक स्वयंभू “enshittification हटाने वाला Konami code” है। यह आपको लगभग हमेशा Web search tab पर redirect कर देता है, जो आम तौर पर “More” के नीचे छिपा होता है। मैंने इसे कुछ समय से कई devices पर चालू कर रखा है और “बेकार” search वापस पाकर बहुत संतुष्ट हूँ इसमें अब भी search engine optimization और ranking manipulation की खामियाँ हैं, लेकिन AI Overview ने जो नियंत्रण छीन लिया था उसका कुछ हिस्सा यह वापस देता है
  • यह काफ़ी समय से चल रहा है, और मैंने पिछले साल इसका एक उदाहरण blog पर लिखा था। यह बेहद चिढ़ाने वाला है, और ऐसा लगता है कि यह लोगों को Google site पर ज़्यादा देर तक रोके रखने के लिए जानबूझकर किया गया design है मुझे लगता है कि Google और websites के बीच का सौदा लगभग अमान्य हो चुका है। अगर वे मेरी site का link दिखाने को तैयार नहीं हैं, तो फिर मैं उनके bots को अपनी site crawl करने की अनुमति क्यों दूँ?

• जैसा कि ब्लॉग में भी उल्लेख किया गया था, अगर आपने अभी तक इसे नहीं आज़माया है तो Kagi एक बार इस्तेमाल करके देखना अच्छा रहेगा। यह अच्छी तरह जाना जाता है कि Kagi दूसरे बड़े search engines के crawling data या search index का इस्तेमाल करता है, लेकिन सिर्फ data का इस्तेमाल करता है और search result ranking खुद तय करता है मैं इसे 2 साल से ज़्यादा समय से इस्तेमाल कर रहा हूँ और संतुष्ट हूँ, और जो चीज़ें DuckDuckGo से नहीं मिलती थीं वे भी कभी-कभी इसमें मिल गईं। आप search results में sites को ऊपर या नीचे कर सकते हैं या block कर सकते हैं, और Redirects (URL Rewrites) जैसी कई features भी हैं Kagi का public communication करने का तरीका भी मुझे पसंद है। Changelog में Kagi Feedback के हर ticket के links जुड़े होते हैं, और यह issue tracker की तरह भी काम करता है। एक Status page भी है। अपनी साइट पर links page बनाने के विचार के संदर्भ में Kagi Small Web कुछ हद तक वैसा ही है, और Kagi Small Web website पर random sites देखी जा सकती हैं John Gruber(Daring Fireball) और Cory Doctorow(Pluralistic) भी इसका इस्तेमाल करते हैं। उदाहरण के लिए Seriously, Give Kagi a Try, Another Periodic Suggestion to Try, Just Try, Switching to Kagi for Search, Tim Bray: ‘Mourning Google’, The Talk Show: ‘A Professional Internet User’, With Kagi Founder and CEO Vlad Prelovac, Tag: kagi देखें 100 searches का trial है, और आपके search volume के हिसाब से सालाना $54 वाला Starter प्लान काफी हो सकता है। ज़्यादा चाहिए तो Individual Pricing में देख सकते हैं। Duo and Family भी है, इसलिए प्रति व्यक्ति लागत और कम हो सकती है, लेकिन यह सिर्फ Professional में संभव है। कभी भी upgrade या downgrade किया जा सकता है, और बचा हुआ balance pro-rata के हिसाब से नए plan में apply हो जाता है

  • लेकिन Kagi Yandex का इस्तेमाल करता है, इसलिए इसके लिए पैसे देना अप्रत्यक्ष रूप से Putin शासन का समर्थन करने जैसा है। यह जानते हुए कि उससे यूक्रेनियों की हत्या करने वाली व्यवस्था को मदद मिलती है, मैं उसे support नहीं करना चाहता
  • वास्तव में यह कई sources को aggregate करता है। फिर भी मैं सहमत हूँ कि यह शानदार है, और मैंने अभी-अभी अपनी subscription renew की है
  • मेरी जानकारी के अनुसार DuckDuckGo में भी search results से sites को block किया जा सकता है। Sites को ऊपर या नीचे करने की सुविधा शायद नहीं है, कम-से-कम मैंने कोशिश नहीं की यह भी जानना चाहिए कि Kagi search पर pivot करने से पहले एक AI company के रूप में शुरू हुआ था [https://help.kagi.com/kagi/ai/kagi-ai.html]। मैं सिर्फ इस तथ्य के आधार पर कुछ insinuate नहीं कर रहा, लेकिन बहुत से लोगों को यह पता नहीं होगा इसलिए साझा कर रहा हूँ और ज़्यादा सीधे तौर पर कहूँ तो, पूरा लेख advertisement जैसा लिखा गया है, इसलिए सलाह को थोड़ी सावधानी से लेना बेहतर होगा
  • मैंने Kagi की बहुत तारीफ़ सुनी है, लेकिन मेरे साथ वैसा अनुभव नहीं रहा। मैं उस अनुभव को नकार नहीं रहा, और मुझे लगता है कि संभव है कि मैं इसे गलत तरीके से इस्तेमाल कर रहा हूँ। इसलिए मैं जानना चाहता हूँ कि आप Kagi में किस तरह की searches डालते हैं मेरा benchmark query था "sesans spin echo length formula"। DuckDuckGo में पहला link SESANS Wiki page है, लेकिन उसमें वह formula नहीं है जिसकी मुझे तलाश थी, और दूसरा link उस formula वाला paper है। Google में पहला link एक conference material है जिसमें SESANS की mathematical foundations काफी हैं, लेकिन मनचाहा formula उसमें भी नहीं है, और फिर भी दूसरा link वही paper है जिसमें formula मिलता है। Constant की explanation भी DDG के दूसरे link से बेहतर है Kagi में मुझे वह संबंध सिर्फ छठे link पर जाकर मिला। मेरे लिए Kagi खराब रहा, लेकिन शायद benchmark ही खराब है। मैं जानना चाहता हूँ कि Kagi किस तरह की searches में सबसे अच्छा काम करता है
  • मुझे Kagi पसंद था, लेकिन जब पता चला कि वे रूस की ओर पैसा पहुँचा रहे हैं, तो मैंने इसका इस्तेमाल बंद कर दिया हाल में मैंने Uruky इस्तेमाल करना शुरू किया है और यह मुझे काफी पसंद आ रहा है। यह परफेक्ट नहीं है, लेकिन आज के Google से बेहतर है। हालांकि मैंने इसके data sources को गहराई से नहीं खंगाला, सिर्फ इतना देखा कि यह Yandex नहीं है, इसलिए अगर किसी को ज़्यादा जानकारी हो तो जानना चाहूँगा

• 2024 में Google और Reddit ने Reddit content को Google AI training में इस्तेमाल करने के लिए $60 million का contract किया। इसलिए आजकल Google search करना लगभग site:Reddit prefix लगाकर search करने जैसा हो गया है पुराने अच्छे websites अब कम relevance वाले low-quality results के पीछे छिप जाते हैं

• आजकल सोचता हूँ कि कहीं Yahoo के शुरुआती दौर जैसी human-curated directory ही समाधान तो नहीं। और उसके साथ उन sites को search करने का तरीका जोड़ दिया जाए। Marginalia कुछ हद तक ऐसा लगता है, लेकिन directory दिखाई नहीं देती

  • मैंने भी यही सोचा था। लेखक ने असल में web directory को फिर से invent किया है, और scalability की समस्या के बावजूद लगता है कि अब इसकी फिर से ज़रूरत पड़ने लगी है
  • हाँ, बिल्कुल वही। कृपया कोई इसे बना दे

• यह बात सही है या नहीं कि “Kagi ऊपर बताए गए 3 providers पर निर्भर लगता है”, मुझे नहीं पता, लेकिन सच कहूँ तो इसका खास महत्व नहीं है। Kagi search सच में बेहतरीन है, और कीमत दोगुनी भी हो जाए तो शायद मैं फिर भी भुगतान करूँगा। मैं औसतन महीने में 1,432 searches करता हूँ, इसलिए यह पूरी तरह वाजिब है

  • मैं जानना चाहता हूँ कि Kagi को दूसरे search engines के साथ side-by-side चलाने पर आपको क्या फर्क दिखा। क्या कोई example queries हैं

• “Search engine functionality का गिरना अब नकारना मुश्किल है” — लेकिन क्या सिर्फ मुझे ऐसा महसूस नहीं हो रहा? मैं अब भी search करके अपनी ज़रूरत की चीज़ें ढूँढ लेता हूँ

• मैं लगभग हर चीज़ को लगातार cache करके full-text search के लिए index करने का तरीका सोच रहा हूँ। क्योंकि कुछ सामग्री वेब से गायब हो जाती है या फिर उसे ढूंढना लगभग असंभव हो जाता है पहले यहाँ ऐसे मिलते-जुलते प्रोजेक्ट साझा किए गए थे। मूल विचार यह है कि हर चीज़ के लिए SQLite और FTS5 का इस्तेमाल किया जाए। इस क्षेत्र को और देखने की ज़रूरत है

  • मैंने SQLite FTS5 के साथ अपना hyper-personalized search engine बनाया है। अभी तक मैंने browser history को index नहीं किया है, सिर्फ bookmarks और अपने social media accounts पर पोस्ट किए गए सभी URL को index किया है। फिर भी browser history indexing के बारे में गंभीरता से सोच रहा हूँ। https://search.technomancy.us अच्छा होगा अगर दूसरे लोग भी इस पर प्रयोग करें

• मैंने इसे इस थ्रेड की दो टिप्पणियों में ज़िक्र होते देखा, लेकिन लिंक के रूप में छोड़ना ठीक रहेगा। Marginalia Search शानदार है https://marginalia-search.com/ https://about.marginalia-search.com/

• मैंने इस थ्रेड में किसी और को जवाब लिखा था, लेकिन यह ब्लॉग पोस्ट से संबंधित लगा, इसलिए इसे top-level पर भी लिख रहा हूँ। अगर यह बहुत self-promotion जैसा लगे या असहज लगे, तो इसे हटाया जा सकता है संक्षेप में, अपने अनुभव को कम शब्दों में कहूँ तो, मुझे कुछ समय तक ऐसा लगा मानो मैं उस वेब का शोक मना रहा था जिसे मैं बड़े होते हुए जानता था। लेकिन उसका बड़ा हिस्सा अब भी कहीं न कहीं मौजूद है, बस मुझे इसका पता नहीं था। आधुनिक वेब निश्चित ही वैसा नहीं है, और जिस चीज़ का मैं “शोक” मना रहा था उसका काफी हिस्सा nostalgia या उस समय मेरी उम्र जैसी बातों से जुड़ा है, लेकिन फिर भी वेब अब भी विशाल है और दिलचस्प, उपयोगी और मज़ेदार चीज़ों से भरा हुआ है। बस AI tools के search engines को निगलने से पहले भी इसे ढूंढना सच में बहुत कठिन हो गया था मैंने बहुत सोचा कि मैं किस तरह के अनुभव से वंचित रह गया था, और कई कारणों से मैं ब्लॉग पोस्ट के लेखक जैसे ही निष्कर्ष पर पहुँचा। अच्छी चीज़ों तक ले जाने वाले links को वास्तविक लोगों द्वारा साझा किया जाना चाहिए, और हमें वेब सर्फिंग के प्रति एक धीमा और अधिक इरादतन रवैया विकसित करना चाहिए। इसी भावना से मैंने collaborative web directories बनाने का एक tool बनाया: https://linklists.net यह बहुत छोटा है और इसमें कई खुरदरे हिस्से हैं। यह एक tool भी है और कुछ हद तक एक art project भी, इसलिए मैंने इसका लगभग कोई प्रचार नहीं किया और इसे मुख्य रूप से indie web के लोगों के बीच ही थोड़ा फैलाया। यह कई महीनों से alpha में चल रहा है और मुझे पहले से ही दिख रहा है कि किन हिस्सों में बड़े बदलाव की ज़रूरत है, लेकिन अगर कोई जिज्ञासावश इसे आज़माना चाहे, तो देख सकता है