ऐसी pages उम्मीद से ज़्यादा बार manually updated होती हैं। और यह काम अक्सर उस on-call engineer के हिस्से आता है, जिसके पास पहले से ही करने के लिए बहुत कुछ होता है
हो सकता है status page को अपडेट करने वाली plumbing भी साथ में डाउन हो गई हो
लगता है ऐसा outage लगभग हर 2 हफ्ते में हो रहा है। आजकल GitHub में क्या चल रहा है?
लगता है Copilot जैसे नए features जोड़ते समय site reliability में पर्याप्त निवेश नहीं हो रहा
अगर बदलाव न हों और सिर्फ bug fixes ठीक से हों, तो चीज़ों को अपेक्षाकृत स्थिर रखना आसान होता है। बदलाव, यानी नए features, नए bugs और नया load लाते हैं
शायद कोई node_modules को .gitignore में डालना भूल गया
शायद जो लोग Microsoft-स्टाइल management के साथ फिट नहीं बैठे, उन्होंने नई नौकरी ढूँढ ली?
क्या gpt4-ops का test चल रहा है?
Microsoft की अयोग्यता + DDoS?
शायद हमारे सारे open source को एक ही जगह ठूँस देना अच्छा विचार नहीं है >_<
हो सकता है व्यवहार में फ़र्क सिर्फ इतना हो कि किसी बिंदु पर आपको लगे, “काश दूसरी तरफ होते”
intuitively, 1% सब कुछ का 100% समय तक डाउन रहना, 100% सब कुछ का 1% समय तक डाउन रहने से बेहतर लग सकता है, लेकिन व्यवहारिक रूप से कौन-सा ज़्यादा उपयोगी है, यह साफ़ नहीं है। बेशक, चाहें तो mirroring की जा सकती है, लेकिन वह अभी भी संभव है, इसलिए इस बात का असली मुद्दा वह नहीं है
distributed version control system का पूरा मतलब यही है कि git clone करने वाले हर व्यक्ति के पास पूरे repository की एक complete copy हो, और वह central server से बात किए बिना भी ज़्यादातर काम कर सके
छोटे downtime का असर असली code से ज़्यादा उसके आसपास के infrastructure पर पड़ता है, यानी workflow, issues वगैरह पर
ईमानदारी से कहूँ तो, एक ही जगह इकट्ठा होना बेहतर है। industry भर का एक साथ रुकना, random लोग random समय पर रुकने से बेहतर है
यह us-east-1 के डाउन होने जैसा है। सब एक ही नाव में हैं, तो सब साथ में ब्रेक लेते हैं, और थोड़ा आराम से रहने का वैध बहाना भी मिल जाता है
कंपनी का सारा code वहाँ रखना बढ़िया idea है। मुफ्त की छुट्टी मिलती है
GitHub का मुख्य selling point distribution नहीं था। जब मैंने 2008 में join किया था, तब यह developers के मिलने-जुलने वाले social network के ज़्यादा क़रीब था
लगता है अब यह फिर से ऊपर आ गया है। मैं हाल की outages पर deep analysis और इस भरोसे के बारे में सुनना चाहूँगा कि नए features से पहले stability को प्राथमिकता दी जाएगी
कुछ महीने पहले customer support की तरफ़ के एक व्यक्ति से बात हुई थी, और उन्होंने लगभग यह कहा कि बड़े ग्राहकों के लिए किए जाने वाले हर तरह के custom काम की वजह से stability गिर रही है। नतीजे में technical debt काफ़ी ज़्यादा जमा हो चुकी लगती है
GitHub Enterprise instance चलाने के लिए लगभग 64GB RAM चाहिए। यह बहुत बड़ा दैत्य है
ऐसे custom काम errors या कुछ features के malfunction तक ले जा सकते हैं। लेकिन पूरी site का downtime, ख़ासकर GH Pages जैसी static content तक का डाउन हो जाना, पूरी तरह SRE problem है
इसकी संभावना ज़्यादा है कि यह network routing या layer 4 से नीचे की किसी और गड़बड़ी का मामला हो। ज़्यादातर application changes phased rollout और canary deployment से जाते हैं, और समस्या हो तो उन्हें काफ़ी जल्दी rollback किया जा सकता है
लगता है इस outage का असर GitHub Pages पर भी पड़ रहा है। .github.io pages unicorn 503 page दिखा रहे हैं
We're having a really bad day.
The Unicorns have taken over. We're doing our best to get them under control and get GitHub back up and running.
वाह, status page भी लोड नहीं हो रही। लग रहा है जैसे पूरा web ही डाउन हो गया हो, और आख़िरी बार सब कुछ इस तरह कब डाउन हुआ था, याद भी नहीं
ऐसे मसलों से खुद को isolate करने के लिए आप लोग क्या इस्तेमाल करते हैं? read operations के लिए cache जोड़ना समझदारी लगता है, और performance भी बेहतर होगी। अगर किसी ने असर से सफलतापूर्वक बचाव किया हो तो साझा करना अच्छा होगा
मेरी पिछली नौकरी में एक organization के “GitOps” setup में GitLab को AWS CodeCommit पर mirror किया गया था, और automation के single source of truth के रूप में उसी का इस्तेमाल होता था
वह फ़ैसला कई बार समझदारी भरा साबित हुआ, और मुझे CodeCommit में कोई ख़ास समस्या याद नहीं। लेकिन अगर असली development process में आप GitHub को forge की तरह इस्तेमाल करते हैं, और issue tracker या review के लिए PR वगैरह का उपयोग करते हैं, तो खुद को isolate करने का कोई बहुत अच्छा तरीका मुझे नहीं दिखता
मेरी पिछली कंपनी में local-hosted GitHub Enterprise था, और जब Twitter पर सब लोग “github डाउन हो गया! आज जल्दी छुट्टी!” कहते थे, तब मुझे हमेशा थोड़ा बुरा लगता था :(
बेशक, जब कोई tool public GitHub पर मौजूद dependency को update करने के लिए कहता था तो वह अब भी परेशान करता था, लेकिन कम से कम deployment से जुड़े काम वगैरह चलते रहते थे
coffee break
git मूल रूप से offline इस्तेमाल के लिए बनाया गया tool है, इसलिए जो local clone पहले से मौजूद है, उसी का इस्तेमाल करें
status page अभी-अभी बदली है:
Investigating - We are currently experiencing an outage of GitHub products and are investigating.
Jun 29, 2023 - 17:52 UTC
read तक सब कुछ लाल है। मुझे लगता है status page पर हर item का लाल होना मैं पहली बार देख रहा हूँ
1 टिप्पणियां
Hacker News की रायें
https://downdetector.com/status/github/
अगर बदलाव न हों और सिर्फ bug fixes ठीक से हों, तो चीज़ों को अपेक्षाकृत स्थिर रखना आसान होता है। बदलाव, यानी नए features, नए bugs और नया load लाते हैं
node_modulesको.gitignoreमें डालना भूल गयाintuitively, 1% सब कुछ का 100% समय तक डाउन रहना, 100% सब कुछ का 1% समय तक डाउन रहने से बेहतर लग सकता है, लेकिन व्यवहारिक रूप से कौन-सा ज़्यादा उपयोगी है, यह साफ़ नहीं है। बेशक, चाहें तो mirroring की जा सकती है, लेकिन वह अभी भी संभव है, इसलिए इस बात का असली मुद्दा वह नहीं है
git cloneकरने वाले हर व्यक्ति के पास पूरे repository की एक complete copy हो, और वह central server से बात किए बिना भी ज़्यादातर काम कर सकेछोटे downtime का असर असली code से ज़्यादा उसके आसपास के infrastructure पर पड़ता है, यानी workflow, issues वगैरह पर
यह us-east-1 के डाउन होने जैसा है। सब एक ही नाव में हैं, तो सब साथ में ब्रेक लेते हैं, और थोड़ा आराम से रहने का वैध बहाना भी मिल जाता है
कुछ महीने पहले customer support की तरफ़ के एक व्यक्ति से बात हुई थी, और उन्होंने लगभग यह कहा कि बड़े ग्राहकों के लिए किए जाने वाले हर तरह के custom काम की वजह से stability गिर रही है। नतीजे में technical debt काफ़ी ज़्यादा जमा हो चुकी लगती है
इसकी संभावना ज़्यादा है कि यह network routing या layer 4 से नीचे की किसी और गड़बड़ी का मामला हो। ज़्यादातर application changes phased rollout और canary deployment से जाते हैं, और समस्या हो तो उन्हें काफ़ी जल्दी rollback किया जा सकता है
.github.iopages unicorn 503 page दिखा रहे हैंवह फ़ैसला कई बार समझदारी भरा साबित हुआ, और मुझे CodeCommit में कोई ख़ास समस्या याद नहीं। लेकिन अगर असली development process में आप GitHub को forge की तरह इस्तेमाल करते हैं, और issue tracker या review के लिए PR वगैरह का उपयोग करते हैं, तो खुद को isolate करने का कोई बहुत अच्छा तरीका मुझे नहीं दिखता
बेशक, जब कोई tool public GitHub पर मौजूद dependency को update करने के लिए कहता था तो वह अब भी परेशान करता था, लेकिन कम से कम deployment से जुड़े काम वगैरह चलते रहते थे
gitमूल रूप से offline इस्तेमाल के लिए बनाया गया tool है, इसलिए जो local clone पहले से मौजूद है, उसी का इस्तेमाल करेंInvestigating - We are currently experiencing an outage of GitHub products and are investigating.
Jun 29, 2023 - 17:52 UTC