Google ने web search product और Programmable Search Engine features को अपडेट किया

• Google ने Programmable Search Engine को फिर से व्यवस्थित कर तीन उपयोग-परिदृश्य आधारित solutions में सरल बनाया है: वेबसाइट-विशिष्ट, enterprise, और पूरे web search
• Site-only search को ‘Programmable Search Element’ में एकीकृत किया गया है, जिसमें अधिकतम 50 domains तक मुफ्त में निर्दिष्ट किए जा सकते हैं
• जिन enterprise customers को advanced features चाहिए, वे Vertex AI Search के जरिए AI-आधारित conversational search और enterprise-grade features का उपयोग कर सकते हैं
• जिन partners को पूरे web search की आवश्यकता है, वे अलग आवेदन के माध्यम से Google के full index तक पहुंच देने वाले full web search solution का उपयोग कर सकते हैं
• सभी transition 1 जनवरी 2027 तक पूरे होने चाहिए, और यह बदलाव developer partners को अधिक केंद्रित search experience देने के लिए किया गया है

---

Programmable Search Engine का विकास

• Programmable Search Engine ने शैक्षणिक संस्थानों से लेकर retail websites तक विभिन्न partners को अपने site के भीतर search functionality उपलब्ध कराने में मदद की है
• Google आगे हर उपयोग-परिदृश्य के अनुरूप उन्नत solutions प्रदान कर उपयोगकर्ताओं और partners दोनों के लिए उच्च गुणवत्ता वाला search experience सुनिश्चित करने की योजना बना रहा है
• इस पुनर्गठन का लक्ष्य product simplification और modernization है, और संरचना को इस तरह बदला गया है कि उपयोग के उद्देश्य के अनुसार सबसे उपयुक्त tool चुना जा सके

Search जरूरतों के अनुसार स्पष्ट रास्ता

• Site-only search: Programmable Search Element (‘Search Element’) विशिष्ट content-केंद्रित search experience बनाने के लिए सर्वोत्तम tool बना रहेगा
  • इसमें अधिकतम 50 domains तक निर्दिष्ट किए जा सकते हैं, और यह खास audience के लिए content पर केंद्रित उपयोग में उपयुक्त है
• Enterprise-grade search: AI-आधारित conversational search और enterprise-grade grounding features देने वाला Google Vertex AI Search जारी रहेगा
• Full web search: उन partners के लिए full web search solution उपलब्ध कराया जाएगा जिन्हें निर्दिष्ट domains से बाहर पूरे web index में खोज करनी है
  • इस feature का उपयोग करने के इच्छुक लोग Google form के जरिए interest register कर सकते हैं और अधिक जानकारी का अनुरोध कर सकते हैं

अधिक शक्तिशाली tools की ओर transition plan

• Google ने partners के लिए नई solutions की क्षमता का पूरा लाभ उठाने हेतु transition period को 1 जनवरी 2027 तक तय किया है
• Search Element users में जो 50 या उससे कम domains खोजते हैं, वे मौजूदा functionality को वैसे ही बनाए रख सकते हैं
• यदि 50 से अधिक domains या ‘Search the entire web’ option का उपयोग किया जा रहा है, तो full web search solution में transition आवश्यक है
  • transition पूरा करने की अंतिम तिथि 1 जनवरी 2027 है
• Custom Search JSON API users 50 या उससे कम domains के लिए Vertex AI Search में, और पूरे web search की जरूरत होने पर full web search solution में transition कर सकते हैं

नए engine settings में बदलाव

• 20 जनवरी 2026 के बाद बनाए जाने वाले सभी नए engines में ‘Sites to search’ feature का उपयोग अनिवार्य होगा
• मौजूदा engines प्रभावित नहीं होंगे, और वे 1 जनवरी 2027 तक ‘Search the entire web’ option का उपयोग कर सकेंगे
• यह बदलाव अधिक केंद्रित product development और बेहतर search experience की नींव तैयार करने के लिए है

आगे की दिशा

• Google इस बदलाव के माध्यम से developer partners के लिए बेहतर search experience और अधिक अनुकूलित tools प्रदान करने की योजना बना रहा है
• Programmable Search Engine team ने partners के साथ मिलकर search ecosystem के भविष्य को बनाने की अपनी प्रतिबद्धता जताई है

[GN⁺]

Hacker News की टिप्पणियाँ

• Google ने Programmable Search (पहले Custom Search) की नीति चुपचाप बदल दी है
  अब नए search engine अधिकतम 50 domains ही खोज सकते हैं, और मौजूदा पूरे web search फीचर को 1 जनवरी 2027 तक बंद किया जाना है
  अगर पूरे web search की ज़रूरत है, तो अब Vertex AI Search जैसे enterprise solution के लिए “interest form” की ओर भेजा जा रहा है
  न कीमत सार्वजनिक है, न जवाब की कोई गारंटी
  यह बदलाव व्यावहारिक रूप से indie·niche search engine युग के अंत जैसा लगता है
  संबंधित सूचना लिंक: Google सहायता दस्तावेज़

  • DuckDuckGo Microsoft Bing Custom Search का उपयोग करता है, और मुझे लगता है कि यह कहीं ज़्यादा स्थिर system है
    Google की तरह कभी भी सेवा बंद हो जाने की चिंता नहीं रहती
    customsearch.ai
  • अगर Google अपील में हार जाता है या Partial Stay का अनुरोध खारिज हो जाता है, तो अदालत के फैसले के अनुसार Google पर “Qualified Competitors” को पूरे web search की आपूर्ति करने की बाध्यता आ जाएगी
    संबंधित दस्तावेज़: अदालत का फैसला PDF
  • मैंने खुद अपना web index बनाया है। अभी 3.4 करोड़ documents index किए गए हैं
    greppr.org
    दूसरों के infrastructure पर निर्भर रहना जोखिम भरा है। Google Graveyard सच में मौजूद है
  • आज ही पहली बार पता चला कि “search the entire web” जैसा फीचर था
    यह जानकर हैरानी हुई कि Google असल में अपनी search को पैकेज करके दूसरों को उस पर ads लगाकर बेचने देता था
  • इस बदलाव से प्रभावित होने वाले niche search engine कौन-कौन से हैं, यह जानने की उत्सुकता है

• यह मामला proprietary API पर निर्भरता के जोखिम को बहुत अच्छी तरह दिखाता है
  Twitter API प्रतिबंधों की तरह, यह वही सामान्य पैटर्न है जिसमें platform धीरे-धीरे ecosystem को बंद करता जाता है
  विकल्प के तौर पर

  1. Meilisearch, Typesense जैसे tools से अपना infrastructure बनाना
  2. SerpAPI जैसी bypass services का उपयोग करना (हालाँकि Google कानूनी कार्रवाई कर रहा है)
  3. data source पर सीधा नियंत्रण रखने वाले specialized search engine की ओर जाना
     सबसे बड़ा सबक यही है कि ‘मुख्य value खुद के पास होनी चाहिए’
     Google का संदेश साफ़ है — “indie search खत्म है, enterprise pricing दो या निकलो”

• संबंधित चर्चा: Kagi और Google फ़ैसले का प्रभाव

  • Kagi की पोस्ट के अनुसार Google को web index data (crawl metadata, spam scores आदि) लागत के स्तर पर उपलब्ध कराना होगा
    लेकिन यह कदम उस फैसले के विरोधाभासी जैसा दिखता है
    शायद Google पुराना integration तरीका हटाकर Kagi या Ecosia जैसी कंपनियों को असुविधाजनक तरीके से data खरीदने पर मजबूर करना चाहता है

• यूरोप में Qwant और Ecosia अपना search index बनाने के लिए साथ काम कर रहे हैं
  EUSP project

  • कोशिश अच्छी है, लेकिन शुरुआत बहुत देर से हुई है इसलिए प्रभाव सीमित रह सकता है
    फिर भी 2025 के अंत तक फ्रांस की search queries के 30% को कवर करने का लक्ष्य है
    project details

• यह बदलाव व्यावहारिक रूप से Startpage और Ecosia जैसे Google-आधारित white-label search engine पर बड़ा झटका होगा
  Bing के अलावा लगभग कोई विकल्प नहीं है, जबकि AI कंपनियों (Perplexity, Anthropic) ने शायद अपने index बना लिए हैं

  • संदर्भ के लिए Mojeek 9 अरब से अधिक pages index कर चुकी अपनी web search API देती है
    Mojeek API

• मैं “Google Search in a TUI” नाम का एक toy project बना रहा था, लेकिन इस policy के बाद मुझे पूरी दिशा बदलनी पड़ेगी
  पहले Brave Search को backend option के रूप में जोड़ने वाला था, अब उसे default बनाने की योजना है
  यह बदलाव निर्णायक कारण बन गया

• मैं भी खुद एक toy search engine बनाना चाहता हूँ, जानना चाहता हूँ कि क्या किसी ने वास्तव में ऐसा किया है

  • मैंने 2021 में शुरुआत की थी और अब 1.1 अरब documents index कर रहा हूँ
    यह एक single server पर चलता है, लेकिन scale करना और quality बनाए रखना सबसे मुश्किल है
    कुछ million documents तक आसान है, लेकिन कई अरब पर पहुँचते ही समस्या पूरी तरह बदल जाती है
    development log: Marginalia Devlog
    असली search engine: Marginalia Search
    अभी index compression पर काम चल रहा है इसलिए performance थोड़ी कम है
  • YaCy नाम का एक distributed search engine भी है
    इसमें users web crawl करते हैं और एक-दूसरे के index साझा करते हैं, यानी torrent-जैसी संरचना है
    वास्तविक search engine के रूप में यह कमज़ोर है, लेकिन अवधारणा रोचक है
  • लेकिन Google न हों तो web crawling block से टकराना आसान है

• कहा जा रहा है कि आजकल AI crawlers बहुत बढ़ गए हैं, तो फिर लगता है कि नए full web datasets भी काफ़ी बने होंगे
  समझ नहीं आता कि ऐसे datasets को API के रूप में क्यों नहीं दिया जा सकता — क्या वजह quality है, या update cycle?
  यह व्यावहारिक रूप से एक नया business opportunity भी हो सकता है

  • “AI crawlers servers को ठप कर देते हैं” वाली बात बढ़ा-चढ़ाकर कही गई लगती है
    1990s के hardware से भी अरबों requests process किए जा सकते थे
    अगर pages हर बार generate न करके सिर्फ बदलाव होने पर refresh किए जाएँ, तो वह काफ़ी है

• यह जानना दिलचस्प होगा कि Bing, Ecosia, Qwant जैसे competing indexes सच में वस्तुनिष्ठ रूप से कमतर हैं, या बस Google की inertia का असर है
  क्या यह बदलाव उल्टा competition को बढ़ावा दे सकता है?

  • Bing ने हाल में API बंद कर दी, और पहले भी उसकी लागत बहुत अधिक थी
    अब programmatically search results पाने का रास्ता लगभग नहीं बचा है
  • Google Programmable Search का फायदा यह था कि यह मुफ़्त था, और AdSense integration से monetization भी संभव था
    दूसरी ओर Bing प्रति query शुल्क लेता है
    Ecosia और Qwant ने Bing के साथ licensing deals की हैं, इसलिए वे आम users की तुलना में कम लागत पर इसका उपयोग करते हैं
  • English search में दूसरे indexes काफ़ी उपयोगी हो सकते हैं, लेकिन छोटी भाषाओं की search में Google लगभग अकेला विकल्प है
    दूसरे engines के लिए उस scale तक पहुँचना मुश्किल है
  • Bing का index Google से छोटा है, और Reddit जैसी sites ने Google के साथ exclusive search agreements किए हैं, इसलिए result quality गिरती है
  • English के बाहर ज़्यादातर भाषाओं में quality बहुत खराब है, इसलिए अरबों users अब भी Google पर निर्भर रहने को मजबूर हैं