चल रहे SourceHut आउटेज पर बयान

 (outage.sr.ht)
1 पॉइंट द्वारा GN⁺ 2024-01-14 | 1 टिप्पणियां | WhatsApp पर शेयर करें

वर्तमान सेवा उपलब्धता

  • sr.ht: ऑफलाइन
  • meta.sr.ht: ऑफलाइन
  • git.sr.ht: ऑफलाइन
  • hg.sr.ht: ऑफलाइन
  • todo.sr.ht: ऑफलाइन
  • lists.sr.ht: ऑफलाइन
  • paste.sr.ht: ऑफलाइन
  • man.sr.ht: ऑफलाइन
  • pages.sr.ht: ऑफलाइन
  • builds.sr.ht: ऑफलाइन
  • chat.sr.ht: ऑफलाइन
  • object storage इस समय उपलब्ध नहीं है, इसलिए git और hg टैग्स से जुड़ी releases भी अभी उपलब्ध नहीं हैं.
  • hg.sr.ht में ज्ञात performance समस्याएँ और hg clone से जुड़ी दिक्कतें हैं, और क्योंकि इसका रखरखाव community द्वारा किया जाता है, community maintainer के शामिल होने तक recovery कार्य रुका हुआ है.

अपडेट 2024-01-13 14:17 UTC

  • एक नया transit provider ढूँढ़ना होगा, और समस्या को कम करने के लिए providers के साथ बातचीत चल रही है.
  • engineering कार्य जल्द शुरू होगा, और आगे कोई अपडेट होने पर सूचित किया जाएगा.

अपडेट 2024-01-13 13:00 UTC

  • नए transit provider ने सूचित किया है कि DDoS हमला नए network तक पहुँच गया है.
  • provider ने mitigation लागू कर दी है, और service interruption की उम्मीद नहीं है.

अपडेट 2024-01-13 12:40 UTC

  • lists और todo के लिए mail service बहाल कर दी गई है.
  • outage के दौरान queue में रुके emails अब processing फिर से शुरू करेंगे, और ऐसा नहीं माना जा रहा कि कोई email खोया है.

अपडेट 2024-01-13 11:42 UTC

  • pages.sr.ht को read-only रूप में service में ला दिया गया है.
  • सभी custom domains जल्द काम करने चाहिए, लेकिन apex record इस्तेमाल करने वाले custom domains को छोड़कर.
  • प्रभावित users के लिए manual intervention की आवश्यकता है.

अपडेट 2024-01-13 11:00 UTC

  • अधिकांश services के लिए read/write access सक्षम कर दिया गया है.
  • hg अभी भी read-only है, और todo व lists web पर requests संभाल रहे हैं, लेकिन mail systems पर काम अभी जारी है.

अपडेट 2024-01-13 09:26 UTC

  • hg.sr.ht को read-only mode में ला दिया गया है.
  • आज उपलब्ध services के लिए read/write सक्षम करने पर काम चल रहा है.
  • git.sr.hg के backup से differences लाने का काम पूरा हो गया है, और hg के differences भी जल्द पूरे हो जाएंगे.

अपडेट 2024-01-12 20:49 UTC

  • आज के लक्ष्यों के अंतिम कार्य पर काम चल रहा है.
  • 7 मुख्य services read-only mode में चल रही हैं.
  • git clone/fetch से जुड़ी पिछली समस्याएँ भी हल हो गई हैं.

अपडेट 2024-01-12 16:38 UTC

  • todo और lists को read-only mode में online ला दिया गया है.

अपडेट 2024-01-12 16:13 UTC

  • कुछ services को online लाना शुरू कर दिया गया है.
  • meta और git DNS propagation के अनुसार उपलब्ध हो जाएंगे.

SourceHut क्या है?

  • SourceHut Drew द्वारा स्थापित कंपनी है, और इस समय बाधित है.
  • reliability के लिए जाना जाने वाला SourceHut इस बार अपने सबसे गंभीर और लंबे outage का सामना कर रहा है.
  • SourceHut टीम समस्या को हल करने और services को जितनी जल्दी हो सके बहाल करने के लिए हर संभव प्रयास कर रही है.

क्या हो रहा है?

  • 10 जनवरी 06:30 UTC पर SourceHut को निशाना बनाकर distributed denial-of-service (DDoS) हमला शुरू हुआ.
  • SourceHut सामान्य DDoS हमलों को संभाल सकता है, लेकिन इस बार हमले का पैमाना इतना बड़ा था कि वह अपनी क्षमता से बाहर था.
  • upstream network provider ने SourceHut को पूरी तरह block कर दिया, जिससे इंटरनेट और SourceHut staff दोनों ही servers तक पहुँच नहीं सके.
  • PHL datacenter प्रभावित हुआ, और SourceHut PHL vendor से colocation space किराए पर लेता है.
  • PHL vendor के दो बार अधिग्रहण होने के कारण SourceHut का account ticket system migration के दौरान छूट गया, जिससे शुरुआती चरण में vendor से संपर्क में देरी हुई.
  • 10 जनवरी की शाम SourceHut की उपलब्धता आंशिक रूप से बहाल हुई, लेकिन 11 जनवरी की शुरुआत में DDoS बढ़ने पर vendor ने फिर से block लागू कर दिया.

हम क्या कदम उठा रहे हैं?

  • SourceHut तीन sites (PHL, FRE, AMS) बनाए रखता है, और PHL primary site है जो फिलहाल offline है.
  • PHL तक कोई पहुँच न रहने पर AMS में SourceHut की parallel installation के लिए backup से recovery शुरू की गई.
  • user data loss की संभावना अच्छी दिख रही है, और backups नियमित रूप से चलते हैं तथा test किए जाते हैं.
  • AMS में SourceHut services को बहाल किया जा रहा है, और meta, todo, lists, paste, project hub production data के साथ पूरी तरह काम कर रहे हैं.
  • git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht, builds.sr.ht जैसी services की बहाली को प्राथमिकता दी जा रही है.
  • लक्ष्य है कि community के लिए read-only access जल्द से जल्द सक्षम किया जाए, और उसके बाद पूरा read/write access बहाल किया जाए.

आप कैसे मदद कर सकते हैं?

  • सबसे ज़रूरी चीज़ धैर्य और समझ है.
  • ऐसे हमलों को कम करना marathon जैसा होता है, इसलिए staff को overwork न करने का ध्यान रखना चाहिए.
  • Mastodon और Libera Chat के #sr.ht IRC channel में updates और समर्थन के संदेश साझा किए जा सकते हैं.

GN⁺ की राय:

  1. SourceHut की मौजूदा स्थिति open source community और developers के लिए एक महत्वपूर्ण घटना है, जो reliable services की कमजोरियों और emergency response planning के महत्व को दिखाती है.
  2. यह घटना DDoS हमलों की गंभीरता और बड़े पैमाने के cyber attacks के लिए कंपनियों की तैयारी की आवश्यकता को उजागर करती है.
  3. SourceHut टीम का transparent communication और समस्या समाधान के लिए प्रयास users में भरोसा पैदा करता है, और यह दिखाता है कि community का समर्थन और धैर्य महत्वपूर्ण भूमिका निभाते हैं.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-01-14
Hacker News की राय

  • हाल ही में हमारी चल रही सेवा पर DDoS हमला हुआ, और ठीक उससे पहले भारत की एक पुलिस एजेंसी ने किसी खास user का data मांगा था
    उन्होंने दावा किया कि मामला आतंकवाद से जुड़ा है, और जब हमने समझाया कि हमारे jurisdiction में इसके लिए लंबी कानूनी प्रक्रिया की जरूरत होती है, तो कुछ ही घंटों में service down हो गई और करीब 12 घंटे तक रही
    कोई ransom मांग नहीं आई थी, और संभावित वजहें बस तीन थीं: भारतीय पुलिस/सरकार, मूल user, या पूरी तरह संयोग
    ऐसी घटना होने पर लगता है कि “यह संभव नहीं होना चाहिए”, और यह दिखता है कि चाहे समाधान को अनदेखा किया जाए या खुद इस्तेमाल किया जाए, यह ताकतवर पक्ष के लिए जरूरत से ज्यादा फायदेमंद खेल है

    • मुझे जानना है कि हम कितने यकीन से कह सकते हैं कि वह request सच में भारतीय पुलिस से आई थी
      क्या यह कोई और व्यक्ति भी हो सकता था जो मनचाहा data न मिलने पर irrationally नाराज हो गया हो?
    • हाल ही में हम पर भी DDoS हुआ था, और हर बार सोचता हूं कि इससे किसे फायदा होता है, या किसे हममें दिलचस्पी भी है
      competitor है, बस bored कोई व्यक्ति है, या नाराज customer है—पता नहीं चल सकता, और शायद कभी पता न चले
    • यह महत्वपूर्ण है कि कौन-सी police agency थी
      CRPF या ITBP जैसे नाम में “Police” रखने वाले military/internal security organizations भी हैं, और अगर यह MHA के तहत है तो “national security” category में आना आश्चर्यजनक नहीं होगा
    • हैरानी की बात यह है कि उस service के पास पहले से किसी रूप में DDoS protection नहीं था
      public services में यह 10–20 साल से लगभग standard की तरह जुड़ा रहता है, और छोटी service के लिए Cloudflare भी free या सस्ता है, साथ में कई दूसरे विकल्प भी हैं
      यह मानकर चलना बेहतर है कि launch के तुरंत बाद random DDoS हो सकता है, और attacker का पता लग भी जाए तो उसे trace कर punish करने की संभावना बहुत कम है
      यहां से मिलने वाला निष्कर्ष “यह संभव नहीं होना चाहिए” नहीं, बल्कि “यह दशकों से आम बात रही है और होती रहेगी, इसलिए अगली बार के लिए तैयार रहना चाहिए” जैसा है
      चाहे corrupt local agency हो या script kiddie, जब तक दुनिया का आधा हिस्सा खराब devices से connected है, DDoS होता रहेगा
    • मुझे नहीं लगता कि भारतीय पुलिस इतनी सक्षम होगी कि उस service पर DDoS कर सके

  • [बड़े public code hosting] में join करने के पहले हफ्ते में ही [nation-state actor] ने हमला किया था, शायद इसलिए क्योंकि हम [country] को नापसंद कोई चीज host कर रहे थे
    SourceHut और Codeberg को ऐसा ध्यान मिलना इस बात का उत्साहजनक संकेत भी है कि alternative code hosting सच में traction हासिल करने लगी हैं

    • मुझे जानना है कि कैसे पता चला कि वह [country] ही था
      क्या कोई स्पष्ट धमकी या “यह नहीं किया तो…” जैसा demand message था?

  • यह जानना दिलचस्प है कि HN क्यों down हुआ था
    बात यह है: “आपने देखा होगा कि 10 जनवरी को Hacker News down था; मेरा मानना है कि SourceHut को निशाना बनाने वाले DDoS को mitigate करने की प्रक्रिया में Cogent की जरूरत से ज्यादा कठोर प्रतिक्रिया का यह नतीजा था”
    https://news.ycombinator.com/item?id=38939532 पर भी था, लेकिन मैंने पहले नहीं देखा था

    • मैं confuse हूं कि Cogent ने SourceHut के IP address को blackhole किया, तो उससे HN के IP address पर असर कैसे पड़ा
      दोनों पूरी तरह अलग IP allocations और ASN में हैं
    • एक point पर DDoS defense में border router की remotely triggered blackholing ही बची हुई option होती है
      नतीजे में पूरा /24 network अपने network में route नहीं होता और peer side पर drop कर दिया जाता है
    • Drew को Hacker News पसंद नहीं है, यह देखते हुए भी ऐसा mention डालना थोड़ा unexpected है

  • यह अफसोस की बात है कि team को ऐसी चीजें संभालनी पड़ रही हैं, लेकिन customers से communicate करने के तरीके के तौर पर यह बेहतरीन उदाहरण है, इसलिए तारीफ करनी चाहिए

  • उम्मीद है sr.ht के लोग AMS migration अच्छे से पूरा कर लें
    अच्छी बात है कि git काफी distributed है, इसलिए पिछले कुछ दिनों में लगभग सब काम हो पाया; बस official upstream repository में नया release push नहीं कर सका

    • SourceHut users से git send-email को overprotectively छिपाता नहीं है, इसलिए उस platform पर होने वाला collaborative development खास तौर पर चलते रहने लायक structure रखता है
    • क्या आपका मतलब AWS migration से है?
      AWS पर DDoS होने पर Amazon traffic absorb कर भी ले, तब भी Drew और SourceHut के bankrupt होने की संभावना काफी है
      और शुरुआत से ही AWS को लेकर उनके principled issues भी हैं

  • “हमने CloudFlare से बात की, लेकिन उन्होंने ऐसा amount quote किया जिसे financially संभालना मुश्किल था” वाला हिस्सा देखकर लगता है कि Cloudflare के अंदर कोई senior इस case को escalate करके उचित quote दिलाने में मदद कर सकता है

    • लगता है कई लोगों को नहीं पता कि Cloudflare की free/low-cost services का बड़ा हिस्सा HTTP-focused है
      multiple protocols handle करने वाली functionality उनके revenue-generating enterprise plans में है
    • quote महंगा है, इसका मतलब यह नहीं कि वह उचित quote नहीं है
      CloudFlare को या तो promotion के लिए free में करना चाहिए, या फिर proper quote के मुताबिक charge करना चाहिए
    • समझ नहीं आता कि Cloudflare से SourceHut की जगह cost उठाने की उम्मीद क्यों रखनी चाहिए
    • SSH जैसी non-HTTP services को protect करने वाले Cloudflare Spectrum की pricing शायद बेतहाशा महंगी हो सकती है
    • मैं जानना चाहूंगा कि quote public क्यों नहीं किया गया
      दूसरी companies बेहतर terms offer कर सकती हैं

  • Godot, Codeberg, SourceHut तक hit हो चुके हैं, तो क्या और sites भी हैं?
    लगता है कोई open-source से जुड़ी websites को target कर रहा है

    • हो सकता है कोई malicious buyers को capacity बेचने के लिए अपनी DDoS capability demonstrate कर रहा हो

  • DDoS attacks का motive आम तौर पर क्या होता है, यह जानना चाहता हूं
    criminal prosecution का कुछ risk तो होगा, इसलिए कुछ हासिल होना चाहिए; extortion या competitor disruption की बात करें तो इस case में दोनों ही ज्यादा plausible नहीं लगते

    • कई बार यह इतना simple होता है कि कोई unstable individual, जिसे लगता है कि victim ने उसके साथ अन्याय किया, attack किराए पर ले लेता है
      Discord के popular होने की बड़ी वजहों में से एक यह भी थी कि Skype और Teamspeak IP addresses expose करते थे, और ज्यादातर online games ने direct P2P networking इसी वजह से बंद की
    • script kiddie, nation-state actor, misconfigured botnet—causes कई तरह के होते हैं
      motive अक्सर वैसे ही होते हैं जैसे कई चीजें फिर से लिखी जाती हैं: “क्योंकि कर सकते हैं” या “क्योंकि वह वहां है”
      मैं संबंधित groups में नहीं हूं, लेकिन history और news देखकर लगता है कि यह अक्सर adult prosecution age से कम उम्र के लोगों या enforcement की इच्छा न रखने वाले देशों में होता है, इसलिए risk छोटा है; और risk हो भी तो कई लोगों को भरोसा होता है कि वे पकड़े नहीं जाएंगे
    • motives में ransom, competitors को हटाना, censorship आदि होते हैं
      उदाहरण के लिए gambling sites पर attack करना, या VPN software host करने की वजह से Chinese government का regularly GitHub को target करना
    • जानना चाहूंगा कि क्या DDoS के लिए सच में prosecution के cases हुए हैं
    • सबसे obvious वजह यह हो सकती है कि किसी को website पर मौजूद code का कोई हिस्सा पसंद नहीं आया, और site को गिराना आसान था
      संभव है कि कोई हल्की warning पहले आई हो, जिसके बारे में हमें पता नहीं

  • Codeberg भी करीब 12 घंटे पहले DDoS की वजह से down हो गया था
    https://status.codeberg.eu/status/codeberg

    • समझ नहीं आता कि EU में migration पर विचार क्यों कर रहे हैं
      उसी region की peer service भी वही problem झेलती दिख रही है, और Europe में shift करने से solution नहीं होगा, फिर भी public notice में ऐसा लिखा था