Google ने मेरे पूरे Bear Blog को खोज इंडेक्स से हटाया, लेकिन कारण अभी तक अज्ञात है

 (journal.james-zhan.com)
1 पॉइंट द्वारा GN⁺ 2025-12-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • निजी ब्लॉग blog.james-zhan.com केवल एक महीने के अंदर ही Google खोज इंडेक्स से पूरी तरह बाहर हो गया
  • Google Search Console (GSC) में RSS फीड URL की गलत validation के तुरंत बाद, सभी पोस्ट “Crawled – currently not indexed” स्थिति में दिखने लगीं
  • डोमेन सेटिंग, कंटेंट की क्वालिटी, इंटर्नल लिंक स्ट्रक्चर आदि कई संभावित कारणों की जाँच की, लेकिन कोई निश्चित समस्या नहीं मिली
  • Bear Blog के फाउंडर Herman की मदद से DNS, HTML/CSS और प्लेटफॉर्म संबंधी मुद्दे भी बाहर कर दिए गए, जबकि अन्य सर्च इंजन में ब्लॉग सामान्य रूप से indexed था
  • अंततः ब्लॉग को नए सबडोमेन पर माइग्रेट करके Google की नेचुरल इंडेक्सिंग पर छोड़ने का फैसला किया गया, फिर भी कारण अस्पष्ट बना रहा

प्रारंभिक स्थिति

  • ब्लॉग 4 अक्टूबर को शुरू हुआ और पहला लंबा समसामयिक कॉलम शैली का पोस्ट प्रकाशित किया गया
    • Google Search Console (GSC) में साइटमैप भेजकर इंडेक्सिंग रिक्वेस्ट की गई, तो अगली ही दिन खोज परिणामों में दिखने लगा
    • उसके बाद हर नए पोस्ट पर बार-बार रिक्वेस्ट की गई और सामान्य रूप से इंडेक्स हो गया

समस्या उत्पन्न होना

  • 14 अक्टूबर को, GSC में यह संदेश देखकर कि एक URL index नहीं हो रहा, “Validate” बटन क्लिक किया गया
    • वह URL एक RSS फीड (feed/?type=rss) था, वास्तविक पेज नहीं
  • 20 अक्टूबर को, GSC से “कुछ सुधार विफल” ईमेल मिलने के बाद सभी पोस्ट की इंडेक्सिंग हट गई
    • स्थिति संदेश था: “Page is not indexed: Crawled – currently not indexed”
    • साइटमैप को दोबारा सबमिट करने और अलग-अलग URL की indexing request करने के बाद भी असर नहीं हुआ

कारण खोज

  • इंडेक्स validation शुरू करने का दिन और सभी पोस्ट के de-index होने की तारीख समान थी
    • संभव है कि RSS फीड validation प्रयास ही कारण बना हो, लेकिन यह निश्चित नहीं था
  • उसके बाद जो भी नए पोस्ट प्रकाशित हुए, वे भी इसी error state में रहे
    • 3 नवंबर को अंतिम बचे पोस्ट तक की इंडेक्स हट गई

संभावित कारणों की जांच

  • डोमेन समस्या: GoDaddy पर उपयोग हो रहा james-zhan.com अन्य सबडोमेन पर ठीक से indexed था → कारण नहीं
  • कंटेंट क्वालिटी: अन्य Bear Blog उदाहरणों की तुलना में कंटेंट की मात्रा या क्वालिटी में कोई समस्या नहीं दिखी → कारण नहीं
  • इन्ट्रानल लिंक की कमी: Bear Blog का बेसिक स्ट्रक्चर समान है और अन्य ब्लॉग्स सही तरह indexed थे → कारण नहीं
  • अन्य संभावित कारण: Bear Blog के फाउंडर Herman की पुष्टि के बाद
    • DNS, HTML/CSS और प्लेटफॉर्म सेटिंग्स सामान्य थे
    • कस्टम CSS code का इंडेक्स पर कोई प्रभाव नहीं था

अन्य खोज इंजन और की गई कार्रवाइयाँ

  • DuckDuckGo, Bing, Brave आदि पर ब्लॉग सामान्य रूप से indexed था
    • अनुमान है कि यह Google-साइड की समस्या है, न कि किसी टेक्निकल फॉल्ट की
  • ब्लॉग को नए सबडोमेन (journal.james-zhan.com) पर माइग्रेट किया गया
    • GoDaddy से Porkbun पर डोमेन ट्रांसफर किया गया
    • URL forwarding सेट करके पुराने लिंक नए ब्लॉग पर ऑटोमैटिक रीडायरेक्ट हों, ऐसा सेटअप किया गया
  • नए ब्लॉग के लिए GSC पर कोई साइटमैप submit नहीं किया गया; उसे नेचुरल इंडेक्सिंग पर छोड़ दिया गया
  • कारण अब भी स्पष्ट नहीं है, और लेखक ने Google इंडेक्सिंग सिस्टम की अस्पष्टता पर सवाल उठाए

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-12-13
Hacker News की राय
  • इस साल मेरे ब्लॉग का ट्रैफ़िक अचानक बहुत गिर गया। वजह ढूँढने पर दो कारण मिले
    1. AI Overview की वजह से। इम्प्रेशन और रैंकिंग वही रहे, लेकिन क्लिक-थ्रू रेट बहुत गिर गई। यूज़र सिर्फ़ सारांश पढ़ते हैं और क्लिक नहीं करते
    2. स्पैम एक्सपोज़र की समस्या थी। सर्च पेज पर यूज़र क्वेरी h1 में दिख रही थी, और Google ने उसे स्पैम कंटेंट समझ लिया।
      AI Overview पर मेरा कोई नियंत्रण नहीं है, लेकिन सर्च पेज में noindex जोड़ने के बाद एक हफ़्ते में ट्रैफ़िक वापस आ गया
      विस्तार से मैंने अपने ब्लॉग पोस्ट में लिखा है
    • दूसरी समस्या Negative SEO हमला जैसी लगती है। /search पेज शायद cache होकर crawler के सामने आ गया।
      सर्च पेज को cache नहीं करना चाहिए, और X-Robots-Tag से noindex लगाना बेहतर है
    • सितंबर के आसपास Google के क्लिक और इम्प्रेशन गिनने के तरीके में बदलाव हुआ था। कहा गया कि अब पुराने डेटा से तुलना संभव नहीं है।
      आगे से शायद अपने analytics tool से ट्रैफ़िक ट्रैक करना पड़ेगा
    • लगता है Google ने यह स्थिति बहुत पहले से प्लान की थी।
      1. SEO साइटें बढ़ाकर उपयोगी कंटेंट को नीचे धकेलो
      2. ऊपर ads रखकर उसे और नीचे करो
      3. AI summary लाकर यूज़रों के पास क्लिक करने की वजह ही न रहे
        अब लोग सिर्फ़ summary और ads देखकर चले जाते हैं
    • एक बात समझ नहीं आती। अगर किसी ने मेरे ब्लॉग पर “crypto” सर्च किया, तो वह रिज़ल्ट पेज Google में index कैसे हो गया?
      क्या किसी दूसरी साइट ने उस search URL का लिंक दिया होगा और उसी से crawl हुआ होगा?
    • AI Overview शायद गायब नहीं होने वाला। आम यूज़र सिर्फ़ summary पढ़ते हैं।
      अगर Google summary के वाक्यों में source links दे, तो शायद क्लिक-थ्रू रेट थोड़ी सुधर सकती है
  • यह मामला सच हो या न हो, समस्या Google की अपारदर्शी penalty व्यवस्था है
    किसी साइट पर action हो जाए तो न वजह पता चलती है, न appeal का रास्ता मिलता है।
    Google व्यावहारिक रूप से gatekeeper की भूमिका निभा रहा है।
    जब यह एक public utility की तरह काम करता है, तो इसके अनुरूप support system और accountability भी होनी चाहिए।
    regulation हर चीज़ का समाधान नहीं है, लेकिन ऐसी utility-स्तर की कंपनियों पर कम-से-कम access guarantee की ज़िम्मेदारी तो होनी चाहिए
    • यह gatekeeper से ज़्यादा monopoly की समस्या है। Google के पास indexer भी है और search tool भी
    • अगर Google को नैतिक ज़िम्मेदारी महसूस होती, तो ad bidding competition कम करके सामान्य साइटों को first page पर दिखने देना चाहिए।
      अभी ढांचा ऐसा है कि search में दिखने के लिए ads पर पैसा देना पड़ता है
  • 6 महीने पहले Ahrefs की सलाह पर URL path से Unicode characters हटाए और redirect लगा दिया।
    उसके बाद indexed pages हज़ारों से घटकर 100 रह गए
    screenshot देखें।
    6 महीने बाद भी रिकवरी नहीं हुई। यह personal project है इसलिए ठीक है, लेकिन business होता तो बहुत गुस्सा आता
    updated screenshot
    • शायद Google ने AI पर resources केंद्रित कर दिए, और cache invalidate होने के बाद दोबारा crawl किए गए pages की ranking बदल गई
    • Google ज़रूरी कंटेंट पहले ही इकट्ठा कर चुका है। अब websites उसके लिए AI training competitors बन गई हैं
    • सीख सीधी है — अगर ठीक चल रहा हो, तो छेड़ो मत
    • मेरे साथ भी यही हुआ। हज़ारों pages de-index हो गए और आख़िरकार मुझे ad-based content business बंद करना पड़ा
  • Google Maps में ग़ैरक़ानूनी ads बहुत हैं। बिना परमिट वाले lodging business या liquor shops खुलकर listed हैं।
    कुछ समय चलने के बाद उन्हें ‘existing use rights’ जैसा दर्जा भी मिल जाता है।
    मैंने तो अदालत में Google Maps screenshot को सबूत के रूप में पेश होते भी देखा है
    • मैं भी इसका शिकार हुआ हूँ। Google Maps पर पास का locksmith ढूँढा था,
      लेकिन वह असल में fraud business निकला। उसने ताला तोड़ दिया और 600 डॉलर माँगे।
      रिपोर्ट करने पर Google ने जल्दी हटा दिया, लेकिन मुझे लगता है ऐसी listings के समय real-name verification ज़रूरी होना चाहिए
    • इससे पुराने map-makers की Trap Street वाली कहानियाँ याद आती हैं।
      फ़र्क बस इतना है कि कभी-कभी हक़ीक़त नक्शे के हिसाब से बदलने लगती है
    • सोचता हूँ क्या इन ads को बाकी ads से अलग तरह से treat किया जाता है।
      प्रशासनिक प्रक्रियाओं में अक्सर “जब तक कोई आपत्ति न करे, तब तक ठीक है” वाला रवैया होता है
    • यह एक तरह की legal citogenesis जैसी लगती है — यानी ग़लत जानकारी का आधिकारिक दस्तावेज़ों में जम जाना
  • आजकल Google Search की quality बहुत गिर गई है।
    मेरी साइट को duplicate content समझकर de-index किया जा रहा है।
    Bing में कोई समस्या नहीं, लेकिन Google ही ऐसी गलती कर रहा है
    • मुझे भी कुछ ऐसा ही लगा। Hugging Face के लोकप्रिय models search में नहीं दिखते,
      और Reddit pages सिर्फ़ किसी अजीब भाषा में अनुवादित version के रूप में दिखते हैं।
      शायद deduplication logic गड़बड़ कर रहा है
    • शायद यह जाँचना चाहिए कि SNI requests गलत route तो नहीं हो रही हैं।
      अगर किसी दूसरे domain पर reverse proxy लगा हो, तो Google duplicate indexing कर सकता है।
      Canonical tags और absolute-path links इस्तेमाल करना बेहतर है
    • Amazon और Google दोनों fake products और spam results से भरे पड़े हैं
    • Bing मेरी सभी sites पर ठीक काम करता है, लेकिन Google सब पर fail होता है
    • आजकल Google Search लगभग बेकार हो गया है। हैरानी है कि उसने अपनी core capability को इस हालत में छोड़ दिया
  • मुझे भी यही समस्या हुई। मैं Hugo Bear theme इस्तेमाल करता हूँ, और हाल में Bing ने पूरी साइट de-index कर दी।
    17 साल तक ब्लॉग में कोई समस्या नहीं थी
  • संभव है RSS validation failure ने spam flag ट्रिगर किया हो।
    spam इतना बढ़ गया है कि false positives भी बढ़ते दिख रहे हैं
    • अगर सिर्फ़ एक RSS error से पूरी साइट de-index हो जाती है, तो यह बहुत गंभीर समस्या है।
      इस तरह का तरीका उल्टा सामान्य कंटेंट का अनुपात घटाने वाला असर पैदा करता है
  • सच कहूँ तो “Google de-indexed my Bear Blog” शीर्षक देखकर मैंने सोचा यह भालू ब्लॉग की कहानी होगी, इसलिए क्लिक किया
    • अगर आपको सचमुच भालुओं वाला ब्लॉग मिल जाए, तो अनपेक्षित नतीजे भी मिल सकते हैं
    • मैं भी अब तक नहीं समझ पाया कि शीर्षक में “Bear” क्यों है
    • एक शांत लोमड़ी (quietfox) होने के नाते, अपने बचाव का ध्यान रखना ज़रूरी है ^^
  • यह पिछले HN thread जैसा ही है।
    समानता यह है कि Google के पास यह तय करने की ताकत है कि कौन बचेगा
    • संबंधित उदाहरण के तौर पर यह लेख भी है।
      हो सकता है RSS error सिर्फ़ उपेक्षा को ट्रिगर करने वाला कारण बना हो
    • पहले TripAdvisor का UK local review market में 60% हिस्सा था,
      तो क्या Google Maps ने वाकई इतनी जल्दी उसे पीछे छोड़ दिया?
      Instagram और TikTok का असर भी नज़रअंदाज़ नहीं किया जा सकता,
      इसलिए Google को ही बहुत ज़्यादा सत्ता देने वाली व्याख्या लगती है
  • Google Search बड़ी साइटों को तरजीह देता है और नई साइटों के लिए माहौल ख़राब करता है।
    आख़िरकार बात मुर्गी पहले या अंडा जैसी समस्या पर आ जाती है।
    छोटी साइटों को visibility नहीं मिलती, इसलिए वे बढ़ नहीं पातीं,
    जबकि बड़ी साइटें बिना किसी दिक्कत के लगातार ऊपर दिखती रहती हैं