- Kiwix ने बताया कि 1 दिसंबर 2024, रविवार 00:00 बजे उसकी hosting बिना किसी पूर्व चेतावनी के बंद कर दी गई, जिससे library access और file downloads रुक गए
- वजह यह थी कि Hetzner ने Kiwix account रद्द कर दिया और सभी servers बंद कर दिए; Kiwix ने spam folder तक जांचा, लेकिन कोई prior notice नहीं मिला
- सोमवार सुबह Hetzner से संपर्क हुआ, लेकिन cancellation की वजह पता नहीं चली; Hetzner ने जिस email को भेजने की बात कही, उसे भी दोबारा भेजना संभव नहीं बताया
- server data पहले ही delete हो जाने के बाद Kiwix ने अप्रभावित mirrors और Scaleway की नई machines से करीब 8TB data restore किया; दोबारा online होने में लगभग 48 घंटे लगे
- बाद में share किए गए cancellation email में भी कोई वजह नहीं थी, और Kiwix ने इस incident के बाद resource constraints के भीतर नए safeguards पर विचार करने का फैसला किया
रविवार आधी रात को बंद हुई Kiwix सेवा
- 1 दिसंबर 2024, रविवार 00:00 बजे Kiwix की server hosting बिना notice के बंद हो गई
- Kiwix ने कहा कि इसी आधार पर वह Hetzner Online services की सिफारिश नहीं करता
- server connection टूटने का समय रविवार आधी रात था, और Kiwix ने माना कि यह Hetzner की ओर से scheduled service termination जैसा दिखता है
- मुख्य storage backend पूरी तरह inaccessible हो गया
- आम users library access नहीं कर सके या files download नहीं कर सके
- Kiwix भी storage से connect होकर वजह जांच नहीं सका
Account cancellation और तुरंत delete हुआ server data
- जांच में पता चला कि Hetzner ने Kiwix account रद्द कर दिया था और सभी servers बंद कर दिए थे
- Kiwix को कोई prior warning नहीं मिली थी, और spam folder में भी कोई संबंधित notice नहीं मिला
- रविवार को संपर्क करने के लिए कोई उपलब्ध नहीं था, और सोमवार सुबह ही Hetzner से संपर्क हो पाया
- cancellation की वजह आखिर तक नहीं बताई गई
- Hetzner ने जवाब दिया कि उसने email भेजा था
- Kiwix ने resend का अनुरोध किया, लेकिन Hetzner ने कहा कि वह वह email फिर से नहीं भेज सकता
- इस बीच सभी servers पहले ही delete हो चुके थे, इसलिए Kiwix के पास data recover करने का कोई तरीका नहीं था
Mirrors और Scaleway के जरिए recovery
- Kiwix के पास अप्रभावित mirrors बचे हुए थे
- नई machines दूसरे provider Scaleway से ली गईं
- इसके बाद नए Master server पर तुरंत data फिर से लाना शुरू किया गया
- करीब 8TB data को फिर से online करने में कुल मिलाकर लगभग 48 घंटे लगे
सामने आई operational कमजोरियां और आगे की कार्रवाई
- इस incident से Kiwix ने कुछ weak points की पहचान की
- साथ ही यह भी साफ हुआ कि infrastructure maintainers अपेक्षाकृत कम समय में स्थिति को पलट सकते हैं
- Kiwix ने कहा कि आने वाले कुछ हफ्तों या महीनों में वह resource constraints के भीतर नए safeguards लागू करने के तरीकों पर विचार करेगा
देर से share किया गया cancellation email
- बाद में Hetzner ने cancellation email share किया
- email में सिर्फ इतना simple notice था कि अगले महीने के अंत में Kiwix account बंद कर दिया जाएगा
- cancellation की कोई वजह नहीं थी, और wording से ऐसा नहीं लगा कि Kiwix ने Hetzner की Terms of Service का उल्लंघन किया था
- Kiwix ने कहा कि इस email से वह incident को conclude करके आगे बढ़ सका
- Kiwix ने जोड़ा कि internet पर समस्या को public रूप से उठाना असरदार रहा
1 टिप्पणियां
Hacker News की राय
जब CTO से पूछा जाता है कि क्या उनके पास backup या plan B है, तो अक्सर जवाब मिलता है, “यह AWS पर है, वहीं backup भी है, और AWS जैसी कंपनी के डूबने की कोई संभावना नहीं है।”
इसलिए मैं फिर पूछता हूँ कि अगर account बंद हो जाए तो क्या करेंगे। जैसे, किसी ऐसी कंपनी जैसा phone number इस्तेमाल करने की वजह से account link हो जाए जो Amazon पर problematic सामान बेचती है, या कुछ साल पहले GCP ने Drive की images को गलत classify करके account बंद कर दिया था—ऐसे मामले।
Backup किसी दूसरी location में होना चाहिए, और Terraform भी किसी दूसरे cloud provider पर verify किया हुआ होना चाहिए। वरना आप पूरी कंपनी को जोखिम में डाल रहे हैं।
साथ में, मेरा मतलब Hetzner को दोष देना नहीं है। मैं 20 साल से ज्यादा समय से इसे इस्तेमाल कर रहा हूँ, और इस दौरान अलग-अलग servers कभी-कभी stop हुए हैं, लेकिन पूरा account कभी cancel नहीं हुआ।
शुरुआत में कहा गया कि on-premises से बाहर निकलो, cost की परवाह नहीं; फिर कहा गया कि cloud-neutral होना चाहिए; और जब deadline करीब आई तो बात बदलकर “technical debt की परवाह नहीं, जितनी जल्दी हो सके AWS पर चलाओ” हो गई।
अब AWS cost को लेकर हंगामा है, इसलिए feature development और maintenance के ऊपर “cloud-neutral” और “हर cloud पर service cost घटाना”—दोनों चीजें एक साथ हमारे सिर पर हैं। Technical debt और bugs इतने ज्यादा हैं कि दोनों काम 10 गुना धीमे हो गए हैं।
जल्दी नई नौकरी ढूँढनी होगी। Executives और top management कंपनी को बहुत बुरी तरह चला रहे हैं। हर दिन किसी ऐसे व्यक्ति की ad-hoc प्रतिक्रिया आती है जो वास्तविकता से कटा हुआ है या जिसे चीजें कैसे काम करती हैं, इसकी बहुत कम समझ है; और असली समस्याएँ हल करने में ज्यादा मदद न करने वाली process-related समस्याएँ ही बढ़ती रहती हैं।
आम तौर पर जवाब आता है, “यह built-in tool है, तो हमें क्यों मानना चाहिए कि यह खराब होगा?” और फिर कुछ महीनों या सालों बाद जब restore करने की कोशिश करते हैं, तो पता चलता है कि असल में महत्वपूर्ण data का कभी backup लिया ही नहीं गया था।
Google Cloud ने इस साल की शुरुआत में Australia के एक pension fund की पूरी cloud deployment गलती से delete कर दी थी। अगर सच में मजबूत backup चाहिए, तो आखिरकार इसे object storage तक समेट पाने लायक होना चाहिए, और किसी दूसरी कंपनी के cloud में रखना चाहिए।
ऊपर से, यह untested पड़ा रह सकता है और जब इसकी सबसे ज्यादा जरूरत हो, तब बेकार साबित होने की संभावना बड़ी है।
मैंने manually सबका backup ले रखा है, लेकिन यह सच में बहुत खराब स्थिति है।
इस मामले को लेकर गलत खबरें फैल रही हैं, इसलिए लिख रही हूँ। 30 अक्तूबर 2024 को हमने terms के अनुसार तय समय-सीमा बताते हुए ईमेल से termination notice भेजा था।
हमारी टीम इस ग्राहक से पहले ही कई बार संपर्क कर चुकी है, और हमारे पास communication transmission records भी हैं। हम randomly accounts बंद नहीं करते, निश्चिंत रहें। सेवा के दुरुपयोग, terms के उल्लंघन आदि जैसे हमेशा ठोस और वैध कारण होते हैं।
इसलिए कृपया terms का पालन करें: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
पिछले कुछ वर्षों में ऑनलाइन ऐसे कई लोग दिखे हैं जो दावा करते हैं कि Hetzner ने बिना वजह बताए उनके accounts बंद कर दिए। मुझे लगता है कि उनमें से अधिकतर ने जानबूझकर कुछ बातें छोड़ दी होंगी, ताकि मामला terms violation जैसा न लगे।
फिर भी, Hetzner ग्राहक के रूप में—भले ही मैं छोटा ग्राहक हूँ—मैं जानना चाहता हूँ कि ऐसी शिकायतें बेबुनियाद हैं और मैं अब भी इस कंपनी पर भरोसा कर सकता हूँ।
आपके पास हमारा address होना चाहिए, लेकिन शायद वह “खो” गया हो, इसलिए 30 अक्तूबर वाला ईमेल contact @ kiwix.org पर forward कर दें।
नीचे वह point है जहाँ से हमने शुरुआत की थी, और reference number से इसे आसानी से ढूँढा जा सकेगा:
खासकर तब, जब सिर्फ ईमेल से सूचना दी गई हो, receipt confirmation भी न हो और कोई दूसरा संपर्क तरीका आज़माया भी न गया हो। क्या service बंद होते ही data को permanently delete करना आपकी standard procedure है?
यहाँ backups असली मुद्दा नहीं हैं। बेशक backups महत्वपूर्ण हैं, लेकिन अगर Hetzner ने वाकई warning या migration grace period दिए बिना operational data delete कर दिया, तो यह इतना भरोसेमंद आधार नहीं है जिस पर कोई अपना infrastructure खड़ा करे।
इसी वजह से मैं कभी Google Cloud customer नहीं बना, और जब तक Hetzner साफ़-साफ़ नहीं बताता कि क्या गलत हुआ और ऐसी गलती दोबारा न हो इसके लिए वह क्या करेगा, तब तक मैं Hetzner पर नए servers deploy नहीं करूँगा।
Hetzner, अब गेंद आपके पाले में है।
“गेंद Hetzner के पाले में है” भी ज़रूरी नहीं कि सही हो। Terms पढ़ें तो उनमें लिखा है कि वे servers के साथ कुछ भी कर सकते हैं।
Terms 2.7 में लिखा है, “इसके अलावा, उचित कारण होने पर बिना notice दिए contractual relationship समाप्त करने का अधिकार सुरक्षित रखते हैं।”
किसी भी कंपनी का कोई भी server यही कर सकता है। Amazon के बारे में भी ऐसी कई कहानियाँ हैं, और Google के बारे में भी।
जब तक यह colocation न हो या hardware आपका अपना न हो, आपको कई तरीकों से नुकसान हो सकता है। मैं dedicated server hosts पर कभी पूरा भरोसा नहीं करूँगा।
Hetzner ने किसी के सर्वर बंद कर दिए—ऐसी शिकायतें आमतौर पर शर्तों के खिलाफ़ content host करने या इसी तरह की वजहों से होती थीं
लेकिन यह मामला कई तरीकों से “offline Wikipedia” जैसे Kiwix के बारे में दिखता है, और किसी आपत्तिजनक content से जुड़ा नहीं लगता
आखिरकार Hetzner का पक्ष भी सामने आएगा, ऐसा लगता है। आम तौर पर जब सामने वाला सार्वजनिक रूप से लिखना शुरू करता है, तो Hetzner भी सार्वजनिक रूप से समस्या पर लिखना शुरू कर देता है
व्यक्तिगत रूप से मैंने कई सालों तक Hetzner को संतुष्टि के साथ इस्तेमाल किया है, और मेरी गलती के बिना कोई समस्या नहीं हुई। लेकिन Berlin समय के अनुसार रविवार आधी रात को servers delete कर दिए गए, data तुरंत मिटा दिया गया और कोई remedy नहीं था—यह कहानी काफ़ी आक्रामक लगती है। गनीमत है कि मेरे और Kiwix दोनों के महत्वपूर्ण data के mirrors हैं, ऐसा लगता है
हो सकता है किसी arbitrary filename में मौजूद string की वजह से ऐसा फैसला किया गया हो, या हाल में किसी Mastodon instance के मामले की तरह केवल इसलिए Hetzner ने जोखिम माना हो कि users images upload कर सकते हैं। ऐसी functionality आम है, और illegal content upload होने पर action लेने के लिए moderation और strategy मौजूद थी, फिर भी उस दिन review करने वाला कर्मचारी over-sensitive था और appeal करने का कोई तरीका नहीं था
user पहले Kiwix या browser extension download करता है, फिर Kiwix के जरिए offline पढ़ने के लिए content download करता है [1]
“हमारा मुख्य repository backend पूरी तरह inaccessible हो गया। आम users के लिए इसका मतलब था कि वे library access नहीं कर सकते और files download नहीं कर सकते, और हमारे लिए इसका मतलब था कि हम connect करके यह भी नहीं देख सकते थे कि क्या गलत हुआ” [2]
शायद Wikimedia पर कुछ अजीब तस्वीरें upload हुईं, और वे Hetzner server पर automatic sync होते हुए alert trigger कर गईं
Hetzner ने data delete किया—इस हिस्से पर फैसला करना मुश्किल है, लेकिन Kiwix team से ठीक से संपर्क करने की कोशिश न करना वाकई भयानक response है। जबकि उन्हें पता रहा होगा कि यह team दुनिया के लिए अच्छा काम करने की कोशिश कर रही है। यह उन Google जैसी हरकतों की श्रेणी में है जो users का account access बिना कुछ बताए रोक देता है, या उन German companies जैसी जो security vulnerability बताने वाले researchers पर मुकदमा कर देती हैं
Hetzner को शर्म आनी चाहिए
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
रुकिए, क्या Hetzner ने सच में बिना warning के सारा data delete कर दिया?
यह सचमुच पागलपन है और किसी business को मार सकता है। Hetzner की reputation के लिए भी और customers के लिए भी यह घातक हो सकता है
लेकिन यह सस्ता है, और ज्यादातर लोग company के बारे में जानने की कोशिश करें तो भी online शिकायत करने वालों को शायद ढूंढ नहीं पाएंगे, इसलिए अफसोस की बात है कि लगता है बड़ा असर नहीं पड़ा
यह हकीकत डरावनी है कि Hetzner के पास ऐसी power है और वह data को irrecoverably delete कर सकता है
पिछले साल Docker service की port settings गलत कर दी थीं, और किसी ने उसका फायदा उठाकर port scanner चला दिया था। मैं घर से बाहर था, इसलिए अगर service abuse email समय पर न देखता, तो कुछ दिन बाद लौटकर सभी data मिटे हुए या uptime monitor को हंगामा करते देख सकता था
German companies का customer support बहुत खराब है। EU के अंदर भी ऐसा ही है
सीधे जवाब देने के लिए Mastodon अकाउंट नहीं है, इसलिए यह बात उस व्यक्ति के लिए छोड़ रहा/रही हूँ जिसे यह सुननी चाहिए
मेरे साथ भी VPS provider की वजह से content हटने की समस्या हुई है
जो तरीका अच्छे से चला, वह था ऐसा VPS provider इस्तेमाल करना जो आम जनता में बहुत प्रसिद्ध न हो। कुछ समय तक मैंने OVH इस्तेमाल किया, क्योंकि उसमें unlimited bandwidth थी और Wikipedia व Julian Assange OVH इस्तेमाल करते थे। अब भी ऐसा है या नहीं, पता नहीं; बाद में मैंने content को ENS और IPFS पर ले गया/गई
खैर, असली content जहाँ भी host हो, मैंने अपने “real” server को content origin बनाया और उसे बाहर से दिखाई न देने के लिए छिपा दिया। firewall से lock करके उसे केवल disposable Squid proxy servers से accessible बनाया, जिनमें 10 लाइन की config file थी
फिर DNS और Cloudflare आदि को Squid nodes की ओर point कर दिया, और वे nodes down हो जाएँ तो परवाह नहीं की। क्योंकि उन्हें किसी और जगह कुछ ही मिनटों में फिर से deploy किया जा सकता था
ऐसा नहीं था कि कोई “bad content” था; बस Tonya Harding की तरह लगातार हमला करने वाला एक बेरहम business competitor था। आपका content भी इतना aggressive नहीं लगता, इसलिए share कर रहा/रही हूँ
front-end VPS node में actual content address को remote origin के रूप में डालना होता है। तब आपके अलावा कोई उसकी location नहीं जान पाएगा
तब आम तौर पर hosting company भी files खंगाले बिना नहीं जान पाएगी कि वह क्या है। अगर वे खंगालते हैं, तो वे भी खत्म हैं
censorship से बचने के तरीके के रूप में इसे आगे भेज सकते हैं, या इसे proprietary जानकारी की तरह अपने पास रख सकते हैं। Squid config example चाहिए तो बताइए। सच में ज़्यादा से ज़्यादा 10 lines की है और Google पर examples भी बहुत हैं
latency भी बहुत बढ़ेगी, failure point भी जुड़ेंगे, और “front-end” IP को “real” server के साथ sync करके access allow करना होगा। ऊपर से “real” hosting और “front-end” hosting, दोनों के लिए दो भरोसेमंद providers ढूँढने होंगे। अगर वही provider इस्तेमाल किया तो original post जैसी समस्या होगी
अगर आपके लिए यह अच्छा काम करता है तो अच्छी बात है और बधाई, लेकिन यह कहना मुश्किल है कि यह बहुत लोगों की समस्या हल करता है। असल में यह आपकी समस्या भी हल करता है या नहीं, इस पर भी शक है; मूल रूप से यह Cloudflare/Akamai जैसी चीज़ इस्तेमाल करने जैसा है, बस VPS पर proxy manually खड़ी की गई है
यह पहली बार नहीं है:
यहाँ भी negative experience रहा है। अगर किसी से copyright infringement request मिलती है, तो Hetzner पहले customer से contact नहीं करता। बस server तुरंत down कर देता है और जवाब देने को कहता है
जाहिर है, यह कोई sane process नहीं है, और किसी भी production system के लिए Hetzner recommend नहीं कर सकता/सकती
HN पर Hetzner से जुड़ी post जब भी देखता/देखती हूँ, गुस्सा आता है। ऐसी company को publicity नहीं, blacklist मिलनी चाहिए
और website किस बारे में थी, यह भी जानने की उत्सुकता है। मुझे भी notification मिला था कि 24 घंटे के अंदर जवाब देना होगा, नहीं तो server delete कर देंगे। लेकिन मैंने हमेशा जवाब दिया और comply किया, इसलिए server कभी delete नहीं हुआ
अगर आप नहीं हटाते, तो मामला infrastructure तक चला जाता है। आप post हटा सकते हैं, लेकिन hosting provider सिर्फ post नहीं हटा सकता, server हटा सकता है। और उसे ऐसा करना ही पड़ता है। नहीं तो fine या jail का risk होता है
अब पूरी कहानी जाननी होगी। क्या public DMCA takedown request link था और आपने सच में request handle की, लेकिन complainant ने उसे ignore करके सीधे Hetzner के पास गया? या आप user-generated content server चला रहे थे और “ठीक ही होगा” सोचकर casually कर रहे थे?
मैं यह नहीं कह रहा/रही कि आप गलत हैं, लेकिन आप कहानी का बहुत छोटा हिस्सा ही बता रहे हैं
Hetzner ने मेरा account इसलिए freeze कर दिया क्योंकि मैं उन्हें 0.02 euro owed था/थी
VISA credit card, VISA debit card या Amex से payment नहीं कर पा रहा/रही था/थी, और उन्होंने bank transfer माँगा। लेकिन मेरे bank ने amount बहुत कम होने के कारण 0.02 euro transfer allow नहीं किया
सिर्फ जिद में मैंने अपना datacenter खुद बना लिया
अगर share कर सकें तो details सुनना चाहूँगा/चाहूँगी
लोग सुनना नहीं चाहते, लेकिन Hetzner support बेहद खराब है
हमने 2 साल तक account बनाए रखा और कई auction servers इस्तेमाल किए, और support से कुछ बार संपर्क करना पड़ा; हर बार बातचीत की शुरुआत “यह हमारी मदद करने की चीज़ नहीं है” से होती थी
कहते थे कि supposedly सिर्फ खराबी होने पर ही मदद करेंगे, लेकिन असली technical issues में भी—जैसे NVMe का लगभग ठप पड़ जाने जितना धीमा हो जाना या अस्थायी network problems—वे जितना हो सके “हमें परवाह नहीं” वाले रवैये से पेश आए
इसलिए पिछले महीने हमने account बंद कर दिया
अगर उन्होंने OP के साथ जैसा किया, वैसा हमारा पूरा data उड़ा दिया होता, तो कैसी तकलीफ़ होती इसकी कल्पना भी नहीं कर सकता