सर्च की भोर का इंतज़ार: सर्च index, Google फ़ैसला, और Kagi पर उसका असर

 (blog.kagi.com)
2 पॉइंट द्वारा GN⁺ 2026-01-23 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • वैश्विक सर्च बाज़ार में 90% से अधिक हिस्सेदारी Google के पास है, और इससे ऐसी संरचना बनती है जिसमें AI प्रगति और सूचना तक पहुंच की मुख्य इंफ्रास्ट्रक्चर पर एक ही कंपनी का नियंत्रण हो जाता है
  • अगस्त 2024 में अमेरिकी अदालत ने फैसला दिया कि Google ने जनरल सर्च सर्विसेज़ में अपने एकाधिकार की स्थिति का दुरुपयोग किया, जिसके बाद DOJ (अमेरिकी न्याय विभाग) ने index खोलने और data sharing सहित सुधारात्मक उपाय घोषित किए
  • Kagi एक विज्ञापन-मुक्त paid search service है, जो Google और Bing के साथ direct licensing negotiation में असफल रही और फिलहाल third-party API के ज़रिये अस्थायी access model का उपयोग कर रही है
  • अगर DOJ के सुधारात्मक प्रस्ताव लागू होते हैं, तो Google को सर्च index और query-based results प्रतिस्पर्धियों को निष्पक्ष शर्तों पर उपलब्ध कराने होंगे, जिससे Kagi जैसी स्वतंत्र सर्च कंपनियों के लिए innovation के अवसर बढ़ेंगे
  • Kagi का लक्ष्य एक बहु-स्तरीय ecosystem है जिसमें public, ad-supported, और paid search साथ मौजूद हों, और जो सूचना तक पहुंच को फिर से सार्वजनिक संपदा के रूप में स्थापित करने की दिशा में काम करे

सर्च एकाधिकार की वास्तविकता

  • अक्टूबर 2025 तक के StatCounter data के अनुसार, वैश्विक सर्च में Google की हिस्सेदारी 90.06% है, जबकि अमेरिका में यह 85% है
    • Bing 4.31%, Yandex 1.84%, Yahoo 1.45%, DuckDuckGo 0.89%, Baidu 0.73% के स्तर पर हैं
  • यह प्रतिस्पर्धी बाज़ार नहीं बल्कि वास्तविकता में एक एकाधिकार संरचना है, जहां search index एक अपरिवर्तनीय core infrastructure की तरह काम करता है
  • Microsoft ने 20 साल में Bing पर लगभग 100 अरब डॉलर का निवेश किया, फिर भी उसकी हिस्सेदारी एकल अंक में ही रही
  • Sherman Act का उल्लेख ऐसे कानून के रूप में किया गया है जो इस तरह के core infrastructure monopoly को नियंत्रित करने और निष्पक्ष access लागू कराने का आधार देता है
  • इसमें चेतावनी भी शामिल है कि अगर सूचना तक पहुंच को एक ad-based gatekeeper नियंत्रित करे, तो लोकतांत्रिक निर्णय-प्रक्रिया और सामाजिक सीखने की क्षमता कमजोर हो सकती है

Kagi का दृष्टिकोण और सीमाएं

  • Kagi एक विज्ञापन-मुक्त subscription search service है, जो कई data sources को एकीकृत कर high-quality results देती है
  • FRAND शर्तों (fair, reasonable, non-discriminatory) पर प्रमुख index providers से बातचीत कर उसने Mojeek, Brave, Yandex, Wikipedia, TripAdvisor, Yelp, Apple, Wolfram Alpha आदि के साथ direct licensing agreements किए
  • लेकिन Google और Bing के साथ बातचीत विफल रही
    • Bing ने results के re-ranking और merging पर रोक लगाई और अगस्त 2025 में Bing Search API को बंद कर दिया
    • Google कोई public search API उपलब्ध नहीं कराता, और केवल ad bundle के रूप में partnership की अनुमति देता है
  • इसके चलते Kagi third-party SERP API providers के ज़रिये results हासिल करती है, लेकिन यह सिर्फ एक अस्थायी उपाय है

Google antitrust मुकदमा और DOJ के सुधारात्मक प्रस्ताव

  • 2020 में शुरू हुए अमेरिकी न्याय विभाग (DoJ) बनाम Google मुकदमे में, अगस्त 2024 में अदालत ने फैसला दिया कि Google ने अपने monopoly को बनाए रखने वाली गतिविधियों के ज़रिये Sherman Act की धारा 2 का उल्लंघन किया
  • सितंबर 2025 में DOJ ने निम्न सुधारात्मक उपाय घोषित किए
    • एकाधिकार अनुबंधों पर रोक: Search, Chrome, Assistant, Gemini से जुड़े exclusive contracts पर प्रतिबंध
    • data sharing: प्रतिस्पर्धियों को search index और interaction data उपलब्ध कराना
    • ad tying पर रोक: सर्च परिणामों तक पहुंच को Google Ads के उपयोग से नहीं जोड़ा जा सकता
    • index data access: URL, crawling metadata, spam scores आदि को सीमांत लागत के स्तर पर उपलब्ध कराना
    • अवधि: 6 साल तक प्रभावी, और 5 साल की guaranteed license अवधि
  • Kagi को उम्मीद है कि ये उपाय लागू होने पर index तक निष्पक्ष पहुंच संभव हो सकेगी

लागू करने और प्रवर्तन का महत्व

  • दिसंबर 2025 में Google ने SerpApi के खिलाफ बड़े पैमाने की scraping lawsuit दायर की
  • Kagi का कहना है कि यह “ऐसी संरचनात्मक समस्या है जो इसलिए पैदा हुई क्योंकि Google वैध index access उपलब्ध नहीं कराता”
  • Google ने अतीत में robots.txt मानक से पहले के दौर में वेब को स्वतंत्र रूप से crawl करके अपना index बनाया था, लेकिन अब वह अपने एकाधिकार की स्थिति का उपयोग कर third-party access सीमित कर रहा है
  • Kagi का रुख है कि वह “direct licensing और वैध access चाहती है”, और वह ज़ोर देती है कि DOJ के उपाय वास्तविक access rights की गारंटी में बदलने चाहिए

बहु-स्तरीय सर्च ecosystem की परिकल्पना

  • DOJ का फैसला तुरंत स्वस्थ बाज़ार नहीं बनाएगा, लेकिन यह निष्पक्ष प्रतिस्पर्धा की बुनियाद तैयार करता है
  • Kagi ने तीन-स्तरीय search structure प्रस्तावित किया है
    • स्तर 1: सरकार द्वारा संचालित public search service (search.org) — विज्ञापन और बिचौलियों के बिना non-profit information access
    • स्तर 2: मुफ्त ad-supported search — commercial features पर केंद्रित
    • स्तर 3: paid subscription search — quality, privacy, और advanced features पर केंद्रित (Kagi का क्षेत्र)
  • यह मॉडल ऐसी संरचना पेश करता है जिसमें public information access, commercial convenience, और premium quality competition साथ मौजूद रहें, और यह Sherman Act की भावना के अनुरूप है

निष्कर्ष

  • DOJ के उपाय बंद एकाधिकार इंफ्रास्ट्रक्चर को खुली सार्वजनिक इंफ्रास्ट्रक्चर में बदलने की पहली सीढ़ी हैं
  • अगर Google index access को निष्पक्ष शर्तों पर उपलब्ध कराता है, तो search और AI ecosystem में innovation competition संभव होगी
  • Kagi multi-source search और अपने Small Web Index का विस्तार जारी रखे हुए है, और वैध व पारदर्शी access framework की तैयारी कर रही है
  • लक्ष्य है “सूचना तक पहुंच को सार्वजनिक संपदा के रूप में बहाल करने वाला search ecosystem” बनाना, और इससे आने वाले 10 वर्षों में AI और search की विविधता की बहाली की उम्मीद है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2026-01-23
Hacker News की राय

  • Google का search index नए सिरे से बनाना किसी देश के रेल नेटवर्क को फिर से बिछाने जितना विशाल काम है
    मुझे दो बातें जाननी हैं। पहली, दूसरी big tech कंपनियाँ Google के एकाधिकार को तोड़ने के लिए अपना index क्यों नहीं बनातीं? अगर इसे LLM training dataset की तरह public good के रूप में दिया जाए, तो पूरे UX में ताज़गी भरा बदलाव आ सकता है। दूसरी, DOJ ने monopoly से जुड़े guidelines दिए हैं, फिर इन्हें state level पर लागू क्यों नहीं कराया जा सकता?

    • Google ने शुरुआत में robots.txt के आम होने से पहले पूरे web को आज़ादी से crawl करके अपना index बनाया था। अब वह 90% हिस्सेदारी को हथियार बनाकर दूसरे crawlers को सीमित कर रहा है। यानी, Google आज जो नियम लागू कर रहा है, वही नियम उसने अपने बढ़ने के समय नहीं माने थे
    • Index बनाना आसान है, लेकिन ‘नया index’ बनाना बहुत मुश्किल है। Ranking भी सिर्फ BM25 जैसी साधारण चीज़ नहीं है। 25 साल में जमा हुए Google के defaults और users की आदतें बदलने के लिए antitrust action या तकनीकी विकल्प चाहिए
    • Scraping अपने आप में कठिन है, और high-quality scraping उससे भी कठिन। Public index की कोशिशें हुई थीं, लेकिन कोई भी सफल नहीं हुई
    • Google के पास पहले से ही इतनी पहचान है कि उसका नाम क्रिया की तरह इस्तेमाल होता है, इसलिए प्रतिस्पर्धा लगभग असंभव है
    • Apple, Microsoft, Meta, Amazon आदि ने ad market Google को छोड़कर अपने-अपने क्षेत्रों की रक्षा करने जैसा एक मौन समझौता कर रखा है। Google ads web पर tax की तरह काम करते हैं, और public index आ भी जाए तो site operators की revenue structure नहीं बदलेगी। Google यह हकीकत अच्छी तरह जानता है

  • मैं Kagi का समर्थन करता हूँ। मुझे technology समझ आती है, लेकिन search industry की अंदरूनी बनावट का ज़्यादा ज्ञान नहीं था, इसलिए उनकी transparency प्रभावशाली लगी। हालांकि Google सच में corrective order मानेगा या नहीं, यह स्पष्ट नहीं है। फिर भी थोड़ी उम्मीद है

    • मैं Kagi की block feature की वजह से उसका समर्थन करता हूँ। इससे SEO से भरी low-quality sites को पूरी तरह फ़िल्टर किया जा सकता है

  • लेख में दिए गए आँकड़ों पर भरोसा करना मुश्किल है। दुनिया के 20% लोग ऐसे इलाकों में हैं जहाँ Google blocked है, इसलिए “दुनिया के 90% लोग Google इस्तेमाल करते हैं” कहना बढ़ा-चढ़ाकर कहा गया लगता है। असल में यह अमेरिका-केंद्रित आँकड़ा लगता है

    • Wikipedia के search engine market share को देखें तो रूस में Yandex 70%, चीन में Baidu 59%, कोरिया में Naver 59%, जापान में Google 76% है, यानी क्षेत्रवार बड़ा अंतर है
    • चीन के users Google चुन ही नहीं सकते, इसलिए शायद उन्हें आँकड़ों से बाहर रखा गया है। StatCounter data पर्याप्त प्रतिनिधिक नहीं है
    • वैसे भी Kagi चीन में शायद इस्तेमाल नहीं किया जा सकेगा
    • जिन देशों में Google blocked है, उनमें ज़्यादातर जगहें ऐसी हैं जहाँ नैतिक कारणों से पश्चिमी कंपनियों के लिए प्रवेश करना कठिन है। Kagi के साथ भी यही होगा

  • यह बात दिलचस्प थी कि Kagi ने बताया कि वह Google API सीधे इस्तेमाल नहीं कर सकता, इसलिए SerpAPI जैसे third-party API का उपयोग करता है। DeepMind जैसे Google समूह की कंपनी का भी customer list में होना विडंबनापूर्ण है। लेकिन आखिरकार Kagi की queries Google तक पहुँच सकती हैं, इसलिए privacy policy की सीमाएँ बनी रहती हैं

    • किसी ने इसे ऐसे कहा कि “Google अनुमति नहीं देता, इसलिए Kagi चोरी करके दोबारा बेच रहा है”
      • लेकिन web पर सार्वजनिक जानकारी का उपयोग करना कानूनी grey area है। Google ने भी शुरुआत में बिना अनुमति web crawl किया था
      • Antitrust के नज़रिए से search index को public infrastructure माना जाना चाहिए। तर्क यह है कि अतीत के rail या telecom network की तरह इसे अलग और साझा किया जाना चाहिए
      • व्यवहार में सिर्फ Google crawler को ही विशेष व्यवहार मिलता है, इसलिए नए search engines के लिए प्रतिस्पर्धा करना कठिन है
      • “पैसा कमाने में ethics नहीं होती” जैसी निंदक राय भी थी
      • “Google की AI summary feature भी आखिर वही काम नहीं कर रही?” ऐसा मत भी आया

  • यूरोप में Open Web Search Initiative और Open Web Index जैसे प्रोजेक्ट चल रहे हैं। 14 research institutions मिलकर public web index infrastructure बना रहे हैं, और search engines व LLM के लिए इस्तेमाल योग्य structured data देने की कोशिश कर रहे हैं

  • Kagi की pricing explanation में “paid, subscription-based search” कहा गया, लेकिन “ad-free” शब्द नहीं था—इस पर भी ध्यान दिलाया गया

    • किसी ने कहा कि ऐसे छोटे शब्द को लेकर Kagi पर शक करना मुद्दे को भटकाना है। Kagi के ads जोड़ने की संभावना कम है, और अगर जोड़े भी तो शायद user-choice ads जैसी किसी व्यवस्था में होंगे
    • कुछ लोगों का मानना था कि “हम users का attention नहीं बेचते” जैसी पंक्ति है, इसलिए बड़ी समस्या नहीं है
    • Paid users के नज़रिए से ads आते ही वे तुरंत subscription cancel कर देंगे। क्योंकि ad-free search experience ही इसकी मुख्य value है
    • “Paid, ad-free, asbestos-free” कहकर मज़ाक करने और ज़रूरत से ज़्यादा साज़िश सिद्धांतों से सावधान रहने वाली टिप्पणी भी थी। साथ में xkcd 641 लिंक देकर हास्य जोड़ा गया

  • Google ने इस फ़ैसले के corrective order के खिलाफ appeal और stay of execution request दायर की है। संबंधित दस्तावेज़ CourtListener पर सार्वजनिक हैं। सोच रहा हूँ कि Kagi plaintiff side का समर्थन करने वाला amicus brief दाखिल करेगा या नहीं। Google, Epic appeal के समय की तरह, friendly groups को funding भी दे सकता है (संबंधित लेख)

  • मैं अक्सर “Google करना” कहता हूँ, लेकिन वास्तव में Kagi या DDG इस्तेमाल करता हूँ

    • ऐसी genericization कानूनी रूप से Google के लिए नुकसानदेह है। जैसे ‘Aspirin’ ने trademark protection खो दिया था
    • मैं “web पर search करना” जैसा brand-neutral expression इस्तेमाल करने की कोशिश करता हूँ
    • इटालियन में “to google” बदलकर “googl-are” हो जाता है, लेकिन अगर Kagi पर बदलें तो “kag-are” slang में ‘पाखाना करना’ जैसा अर्थ देता है, इसलिए मज़ेदार लगता है
    • “Xerox” या “Kleenex” की तरह Google भी सामान्य संज्ञा बन चुका है, फिर भी वह अभी व्यावहारिक एकाधिकार की स्थिति में है
    • ज़्यादातर लोग Kagi को जानते ही नहीं, इसलिए अलग से समझाने का मन नहीं करता

  • Kagi का AI assistant source-focused summary देता है, इसलिए यह संतोषजनक लगता है। Claude या ChatGPT की तरह व्यक्तित्व की नकल नहीं करता, इसलिए research के लिए अच्छा है। source-based response इसकी सबसे बड़ी ताकत है