Google के AI सारांश से अपनी वेबसाइट को कैसे बाहर रखें

 (teruza.com)
3 पॉइंट द्वारा GN⁺ 2025-09-01 | 3 टिप्पणियां | WhatsApp पर शेयर करें
  • Google ने search results में AI-जनरेटेड सारांश (AI Overviews) पेश किए हैं, जो अक्सर साइट के content को खींचकर traffic छीनने वाला असर पैदा करते हैं
  • साइट ऑपरेटरों के पास व्यवहारिक रूप से केवल snippet blocking (max-snippet:0, nosnippet) या आंशिक blocking (data-nosnippet) जैसे अतिवादी विकल्प ही हैं, जिससे वे लगभग बिना निकास वाली दुविधा में फंस जाते हैं
  • उपयोगकर्ता पक्ष में Search Labs setting disable करना, URL parameters, extensions जैसी केवल सीमित और अपूर्ण बचाव-व्यवस्थाएं ही मौजूद हैं
  • EU और UK के regulators फिलहाल Google AI Overviews की anti-competitive प्रकृति और publishers को होने वाले नुकसान की जांच कर रहे हैं, और traffic sharing·fair opt-out जैसे नियमों पर विचार कर रहे हैं
  • फिलहाल publishers के लिए उपलब्ध एकमात्र व्यावहारिक जवाब max-snippet:0 है, लेकिन इसकी घातक कमी click-through rate में गिरावट है, इसलिए इसे Google के dark pattern जैसे design के रूप में आलोचना मिल रही है

Google AI सारांश (AI Overviews) की समस्या

  • हाल ही में Google ने search results में AI द्वारा अपने-आप बनाए गए AI सारांश (SGE: Search Generative Experience) पेश किए
  • यह feature वेबसाइट के मुख्य content का विश्लेषण करके उसका संक्षिप्त सार सीधे दिखाता है, जिसका उद्देश्य user experience को बेहतर बनाना है
  • लेकिन इसके कारण कई website owners ऐसी स्थिति का सामना कर रहे हैं जहां मूल साइट पर गए बिना ही सिर्फ summary content खपत हो रहा है
  • इसका नतीजा आखिरकार वेबसाइट के organic traffic में कमी के रूप में सामने आ रहा है

Google AI सारांश का प्रभाव

  • AI सारांश वेबसाइट मालिक की सहमति के बिना content को अपने-आप summarize करके search के शीर्ष पर दिखाता है
  • उपयोगकर्ताओं में केवल सारांश देखकर मूल साइट पर क्लिक न करने की प्रवृत्ति बढ़ रही है
  • इसके चलते पारंपरिक SEO रणनीतियों का असर कमजोर पड़ता है और यह साइट ऑपरेटरों के लिए नुकसानदेह बनता है

वेबमास्टर के जवाबी तरीके

  • 1. max-snippet:0
    • <meta name="robots" content="max-snippet:0">
    • सभी snippets और AI सारांश ब्लॉक होकर search results में सिर्फ title+URL दिखते हैं
      • इसकी कमी यह है कि इससे click-through rate (CTR) काफी घट सकता है
    • फिलहाल यह सबसे प्रभावी तरीका है, लेकिन पूरी तरह समाधान नहीं है
  • 2. nosnippet
    • <meta name="robots" content="nosnippet">
    • max-snippet:0 जैसा ही असर, जिसमें search results से description या summary पूरी तरह हट जाते हैं
      • नतीजतन search listing एकरस हो सकती है और उसका आकर्षण घट सकता है
    • यह AI सारांश को रोकता है, लेकिन search visibility कम होने की संभावना भी पैदा करता है
  • 3. data-nosnippet
    • <span data-nosnippet>…</span>
    • यह खास content को चुनिंदा रूप से बाहर रखने का तरीका है
      • लेकिन Google फिर भी दूसरे text को सारांश में इस्तेमाल कर सकता है, इसलिए पूरी control संभव नहीं
    • इसे HTML elements (span, div, section) पर लागू किया जा सकता है
  • 4. उपयोगकर्ता पक्ष के विकल्प (सिर्फ personal account पर असर)
    • Search Labs opt-out: login किए हुए उपयोगकर्ता “AI Overviews and more” को disable कर सकते हैं
      • यह केवल उपयोगकर्ता account पर लागू होता है, वेबसाइट दूसरों को कैसे दिखेगी उस पर इसका असर नहीं पड़ता
    • URL modifier: search query में &udm=14, -AR, -noai जोड़ना
    • Browser extension: Bye Bye Google AI जैसे tools इस्तेमाल किए जा सकते हैं
      • Google update के समय ये काम न करें, ऐसा हो सकता है
    • Reddit hacking: गाली-गलौज वाले शब्द जोड़कर AI सारांश को bypass करने का तरीका सुझाया गया
      • यह व्यावहारिक नहीं, सिर्फ अस्थायी जुगाड़ है
    • iOS में Google app पर Gemini display बंद करना, Web tab का उपयोग करना, या Safari, DuckDuckGo जैसे वैकल्पिक browsers का इस्तेमाल करना संभव है
  • 5. नियामकीय उम्मीद: EU और UK की जांच
    • EU
      • Independent Publishers Alliance, Movement for an Open Web, Foxglove Legal आदि ने EU Commission में antitrust complaint दायर की
      • उनका कहना है कि AI Overviews content का दुरुपयोग, traffic leakage, और fair opt-out की कमी पैदा करता है
    • UK
      • Competition and Markets Authority (CMA) AI सारांश के competition-suppressing प्रभाव और publishers को नुकसान की जांच कर रही है
      • अनिवार्य source attribution, traffic sharing, और Google की self-preferencing पर रोक जैसे उपायों की समीक्षा हो रही है

समस्या का मूल

  • Publishers की दुविधा: snippet ब्लॉक नहीं करें तो AI content निकालकर traffic loss करता है, और ब्लॉक करें तो search visibility गिरती है
  • उपयोगकर्ता नियंत्रण की कमी: उपलब्ध विकल्प असुविधाजनक, अधूरे और असंगत हैं
  • Dark pattern की आलोचना: Google की संरचनात्मक design को ऐसा manipulative design माना जा रहा है जो publishers को महत्वपूर्ण चीजें छोड़ने पर मजबूर करता है
    • यह publishers पर नुकसानदेह विकल्प थोपने वाला एक विशिष्ट dark pattern है

निष्कर्ष

  • जब तक regulators बदलाव लागू नहीं करते, तब तक publishers के पास मौजूदा समय में max-snippet:0 ही एकमात्र विकल्प है, लेकिन इसके साथ visibility का गंभीर नुकसान जुड़ा है
    • वेबसाइट मालिकों को AI सारांश ब्लॉक करने और visibility loss के बीच एक अनुचित चुनाव करना पड़ता है
  • Google की policy बिना निकास वाली मजबूरन पसंद की संरचना, यानी एक विशिष्ट dark pattern है
  • EU और UK regulators के आने वाले फैसले ही स्थिति बदलने की एकमात्र उम्मीद हो सकते हैं, लेकिन यह तत्काल समाधान नहीं है

संबंधित पढ़ाई

3 टिप्पणियां

 
laeyoung 2025-09-01

इससे संबंधित SEO युग का अंत? AI एजेंटों के लिए marketing optimization की शुरुआत लेख भी साथ में देखना अच्छा रहेगा.

SEO से जुड़े Reddit को देखें तो, Google पर exposure पहले जैसा ही है, लेकिन Zero click की वजह से traffic inflow काफ़ी कम हो गया है, इसलिए चिंता जताने वाली कई पोस्टें सामने आती रहती हैं.
 
crawler 2025-09-01

> क्या आप इसे एक उचित फीचर मानेंगे—या dark pattern engineering का एक क्लासिक उदाहरण? हमें comments में बताइए।

वाकई मुख्य लेख में comments छोड़ने को कहा गया है, लेकिन साइट पर comment फ़ीचर दिखता ही नहीं है।
अगर AI को रोकने पर लिखा गया यह लेख खुद AI से लिखा गया है, तो यह काफ़ी विडंबनापूर्ण है।
 
GN⁺ 2025-09-01
Hacker News राय

  • पिछले कई दशकों से हर क्षेत्र में फैलती जा रही "portal/broker" घटना जैसा महसूस हो रहा है। उपभोक्ता और उत्पादक के बीच एक तीसरी परत आ गई है, जिससे दोनों पक्षों के लिए कुछ चीज़ें आसान हुई हैं, लेकिन अब दोनों को इसी परत पर निर्भर रहना पड़ता है। Amazon पर ऑर्डर करते समय अब हम सीधे विक्रेता से बात नहीं करते, और खाना ऑर्डर करते समय भी सीधे रेस्तरां को भुगतान नहीं करते। वेब पर जानकारी खोजते समय भी अब किसी अलग लेखक की शैली, navigation, विज्ञापन आदि से जूझना नहीं पड़ता। लेकिन content owner के नज़रिए से देखें तो इस ढांचे में page visits कम हो जाती हैं, जिससे ad revenue पर चोट पड़ती है, और Amazon या delivery apps के विपरीत, Google summaries से होने वाले ad loss की कोई भरपाई नहीं होती। जब ऑनलाइन content का अधिकांश हिस्सा ads से चलता है, तो Google की जान भी आख़िरकार ad revenue ही है, फिर भी भविष्य के लिए वह मजबूरी में इस तरह के evolution को आगे बढ़ा रहा है। Google मानो सिर्फ़ भविष्य में अपनी जगह बचाए रखने पर ध्यान दे रहा है

    • सच कहूँ तो यह बात दिलचस्प लगी कि यह बदलाव दोनों पक्षों के लिए फ़ायदेमंद बताया जा रहा है। transition के दौरान एक पक्ष को नुकसान होना तय है, लेकिन अंत में उपभोक्ता और platform को मिलने वाला लाभ ज़्यादा बड़ा लगता है

  • मुझे यह बात परेशान करती है कि मेरी software product website की copyrighted सामग्री को Google या दूसरे AI बिना अनुमति scrape करके दोबारा प्रोसेस करते हैं। लेकिन अगर मैं इसे block कर दूँ, तो मेरी content का उनके AI summary में ज़िक्र होने की संभावना लगभग ख़त्म हो जाती है

    • इस तरह block करने पर, मेरे product या company से जुड़े results में AI summary दूसरे नंबर की बजाय किसी और जानकारी को refer कर सकती है, जिससे स्थिति वास्तव में और खराब हो सकती है। उदाहरण के लिए, अगर 'PayPal se paise nikalne ka tarika' जैसी खोज में दूसरे नंबर की site कोई 'PayPal sucks' जैसा नकारात्मक domain हो, तो official site के summary से बाहर होने पर बात और उलझ सकती है। निष्कर्षतः publishers के लिए बस इसकी अनुमति देना ही बेहतर है। अगर traffic कम होने की चिंता है, तो summary में दिखने वाला 'source' link किसी भी दूसरे result से पहले नज़र आता है। अगर misinformation की चिंता है, तो accuracy report या content edits से उससे निपटा जा सकता है। और Google को AI summaries और snippets के लिए अलग-अलग opt-out देना चाहिए, और अगर AI summaries चिंता का विषय हैं, तो snippets भी उतने ही चिंता का विषय होने चाहिए
    • आगे चलकर यह डर है कि Google कह सकता है कि अगर आप चाहते हैं कि वह आपकी तुलना में आपके competitor को कम और आपको ज़्यादा सकारात्मक दिखाए, तो पैसे दो; या अगर आप अन्यायपूर्ण ढंग से बनी झूठी जानकारी हटवाना चाहते हैं, तो उसके लिए भी पैसे दो
    • अगर website सीधे कुछ बेचती है, तो मुझे लगता है कि AI summary में दिखना उल्टा फ़ायदेमंद ही है

  • समझ नहीं आता कि इस तरह की AI summary सुविधा Google की भविष्य की कमाई को कैसे नहीं खा जाएगी। Google ads के ज़रिए sites पर traffic भेजकर पैसा कमाता है, लेकिन इस तरह की summary service से वह websites को ही अनावश्यक बना रहा है। फिर बिना visitors वाली site कौन बनाएगा

    • AI summaries में product/service ads डालने की तकनीक भी Google के पास पहले से है। असल उदाहरण में 'chhutti' खोजने पर hotel और airline के अपने-अपने उल्लेख आने की बात research में समझाई गई थी। उस paper का लिंक यहाँ है
    • revenue का 99% हिस्सा "buy macbook" या "book trip to dc" जैसे साफ़ purchase intent वाले search terms पर केंद्रित है। informational searches में ad revenue लगभग नहीं के बराबर है
    • वास्तव में revenue कमाने वाली queries बहुत कम हैं, और यह बात इस तथ्य से भी दिखती है कि ज़्यादातर search terms पर ad bidding ही नहीं होती
    • असल में Google को इससे ज़्यादा डर है कि ChatGPT जैसी तकनीक उसकी जगह ले सकती है। इसलिए users को मनचाही जानकारी तुरंत देना ही अपनी जगह बचाने का सबसे अच्छा तरीका है। मेरे हिसाब से LLMs अपूर्ण हैं, लेकिन अस्पष्ट सवालों, information synthesis, translation जैसी चीज़ों में search engines से कहीं बेहतर तकनीक हैं। जब लक्ष्य किसी खास page को ढूँढना नहीं बल्कि जानकारी पाना हो, तो LLMs आदर्श के ज़्यादा क़रीब लगते हैं। अगले 10 साल में search engines ग़ायब हो जाएँ तो मुझे हैरानी नहीं होगी
    • शायद Google ने भी यह बदलाव मजबूरी में लागू किया है, क्योंकि LLM services धीरे-धीरे उसकी जगह खा रही हैं। Google ने AI summaries को ads के ऊपर रखा है, इससे उसकी बेचैनी महसूस होती है

  • मैंने अपनी personal site पर Apache settings के ज़रिए index, snippet, translation, image indexing सब block कर दिया था। फिर भी Internet Archive ने इसे नज़रअंदाज़ करके scrape किया, और कई बार deletion request भेजने के बावजूद कभी नहीं माना। अब मैं Anubis से अतिरिक्त scraping भी रोक रहा हूँ। (यह site 2000 में शुरू हुई एक public diary है, इसलिए मैं नहीं चाहता कि यह searchable हो)

    • समझ नहीं आता कि कोई चीज़ इंटरनेट पर सार्वजनिक रखकर भी यह चाहे कि उसका backup न बने। अगर domain ग़ायब हो जाए और कभी भविष्य में उसे फिर देखना हो, तो Internet Archive में उसका बचा रहना तो उल्टा अच्छी बात है। इंटरनेट पर डाल दिया तो मूल रूप से वह सार्वजनिक ही है
    • मुझे सबसे बुरा यह लगता है कि Internet Archive मेरे अनुरोधों का जवाब ही नहीं देता। अवैध content (मानहानि, राज्य रहस्य, कुछ प्रकार की अश्लील सामग्री आदि) जैसी चीज़ों को अपवादस्वरूप हटाया जा सकता है, लेकिन सामान्य सिद्धांत यही है कि अगर आपने खुद उसे सार्वजनिक किया है, तो historical record से उसे हटाने की अनुमति नहीं दी जानी चाहिए। अगर मुझे सच में निजी जानकारी छिपानी होती, तो मैं उसे login के पीछे रखता। site अभी भी मौजूद है, और कोई न कोई उसे crawl करता ही रहेगा
    • snapshots में 'why?' नाम का field होता है। असल में Internet Archive के अलावा Common Crawl, Archive Team आदि ने भी मेरी site को push किया हो सकता है। कारण देखकर सही target की पहचान करनी होगी
    • robots.txt से Internet Archive पर removal या exclusion request आज़माकर देखें। यह policy कई बार बदली है, लेकिन पिछले कुछ वर्षों में वह फिर से robots.txt का सम्मान कर रहा है। FAQ देखें

  • एक मायने में publishing का मतलब ही है किसी चीज़ को सार्वजनिक करना ताकि लोग उसे कुछ हद तक स्वतंत्रता के साथ इस्तेमाल कर सकें। वह स्वतंत्रता site के लिए फ़ायदेमंद भी हो सकती है और नहीं भी। Google जैसे बड़े platforms जब भी बदलते हैं, content publishers हमेशा खुद को ढालते आए हैं। AI summaries भी उसी बदलाव की धारा का हिस्सा हैं

    • मेरे हिसाब से यह कुछ हद तक entitlement वाला नज़रिया है। मैंने software को license conditions के तहत publish किया है। सिर्फ़ सार्वजनिक कर देने का मतलब यह नहीं कि हर कोई उसे किसी भी उद्देश्य से इस्तेमाल कर सकता है
    • मेरा मतलब यह है कि मैं अपने content का copyright रखते हुए उसे publish करता हूँ। इसका मतलब यह नहीं कि मैं किसी को उसे commercial तौर पर republish करने की छूट देता हूँ। शायद भविष्य ऐसा आ जाए जहाँ content को login के पीछे छिपाना पड़े, और यह वेब का कड़वा भविष्य होगा
    • 1710 के Anne Act (पहला copyright law) के बाद से, सार्वजनिक रूप से वितरित जानकारी पर भी नियम लागू होते हैं
    • मैं अपनी लिखी चीज़ें इसलिए publish करता हूँ कि लोग उन्हें सीधे पढ़ें, न कि Google उन्हें ढीले-ढाले तरीके से AI summary में बदल दे। Google के फ़ैसले आख़िरकार Google के ही फ़ायदे की दिशा में जाते हैं
    • publishing का मतलब यह नहीं होना चाहिए कि आप अपने सारे अधिकार छोड़ दें। बहुत से लोग अपने जैसे पाठकों तक पहुँचने के लिए लिखते हैं। बीच में mediator आ जाए तो पाठक और लेखक के बीच का रिश्ता उल्टा कमज़ोर हो जाता है। अगर summary बनानी है तो मैं उसे अपने मनचाहे ढंग से कर सकता हूँ, लेकिन ज़्यादातर लेखक LLM summary नहीं चाहते। और LLMs में पक्षपात बहुत होता है, और वे कभी-कभी अहम paragraph को अपने filters से हटा भी देते हैं, जिससे summary अजीब ढंग से विकृत हो सकती है। मेरी राय का कमजोर, विकृत संस्करण लोगों तक पहुँचना किसी भी विचार के लिए सबसे नुकसानदेह चीज़ों में से एक है

  • इस blog post में आख़िरी पंक्ति में 'कृपया comment छोड़ें' लिखा है, लेकिन असली comment section दिख नहीं रहा, इसलिए सोच रहा हूँ कि कहीं यह AI-generated तो नहीं

  • सोच रहा हूँ कि यह सुविधा Perplexity, OpenAI, Claude आदि में भी काम करती है या नहीं

  • मुझे लगता है कि अगर Google, Perplexity की तरह sources को साफ़ तौर पर cite करे, तो सबके लिए बेहतर नतीजा होगा। original को link और credit भी मिलेगा और UX भी बेहतर होगा

    • Google citation देता तो है, लेकिन इतना कम दिखने वाले, ‘link’ जैसे एक-अक्षर वाले Unicode symbol से कि नज़र ही नहीं पड़ती। उस पर click करने से सीधे source page पर जाने के बजाय side panel खुल जाता है, और उसके अंदर कई sources होते हैं। तकनीकी रूप से यह citation result page का पहला link है, लेकिन वास्तव में मेरे page तक पहुँचने के लिए 2 clicks करने पड़ते हैं। अच्छा हो अगर citations ज़्यादा साफ़ दिखें, page title को anchor text बनाकर direct link दिया जाए। अगर citations कई हों, तो side panel शुरू से खुला रहे या सब citations main page पर ही साफ़ तौर पर दिखें

  • आगे चलकर मेरी विशेषज्ञता शायद corporate websites को इस तरह बनाना होगी कि LLM उन्हें अच्छी तरह summarize कर सकें। इस तरह की detailed और faithful guidance content की ज़रूरत है

  • मैंने इस लेख का title और domain paste किया, तो result अलग आया। संदर्भ छवि