अमेरिका में cellular service outage, AT&T·T-Mobile·Verizon यूज़र्स प्रभावित

 (cnbc.com)
1 पॉइंट द्वारा GN⁺ 2024-02-23 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • गुरुवार को अमेरिका में हुए AT&T wireless outage के कारण कॉल, टेक्स्ट और कुछ 911 emergency calls में बाधा आई, और AT&T ने बताया कि Eastern Time के अनुसार दोपहर 3 बजे के तुरंत बाद सभी प्रभावित ग्राहकों की service बहाल कर दी गई
  • शुरुआती समीक्षा में वजह cyber attack नहीं, बल्कि network expansion प्रक्रिया में गलत process का application और execution पाई गई; AT&T आगे भी अतिरिक्त assessment जारी रखेगा
  • Downdetector reports Eastern Time सुबह करीब 4 बजे बढ़नी शुरू हुईं, सुबह 8:30 बजे करीब 74,000 पर peak पर पहुंचीं, और दोपहर के आसपास भी करीब 58,000 reports दर्ज हुईं
  • प्रभावित devices में signal bars गायब हो गए या SOS दिखने लगा, और ग्राहक Wi-Fi calling चालू करके कॉल कर सकते थे
  • Verizon और T-Mobile पर भी अलग-अलग कई हजार reports आईं, लेकिन दोनों कंपनियों ने माना कि यह संभवतः दूसरे networks के users से connect करने की कोशिश के दौरान आई दिक्कतों को दर्शाता है

AT&T outage और recovery की स्थिति

  • गुरुवार को अमेरिका में हजारों AT&T users ने cellular outage का सामना किया, जिससे calls और text messages के इस्तेमाल में बाधा आई
  • AT&T ने बताया कि Eastern Time के अनुसार दोपहर 3 बजे के तुरंत बाद सभी प्रभावित ग्राहकों की service बहाल कर दी गई
  • कंपनी ने कहा कि ग्राहकों को connected रखना उसकी सबसे बड़ी प्राथमिकता है, और वह यह सुनिश्चित करने के लिए कदम उठा रही है कि ग्राहकों को दोबारा ऐसी स्थिति का सामना न करना पड़े
  • AT&T ने system updates website बनाई, लेकिन गुरुवार के outage से प्रभावित ग्राहकों की संख्या सार्वजनिक नहीं की

Outage की वजह और regulatory agencies की प्रतिक्रिया

  • AT&T की गुरुवार देर शाम की शुरुआती समीक्षा में outage की वजह network expansion process में इस्तेमाल किए गए गलत process का application और execution पाई गई
  • उसी स्पष्टीकरण में पुष्टि की गई कि यह outage cyber attack नहीं था
  • FCC ने X पर कहा कि वह इस घटना की जांच कर रहा है और AT&T तथा safety authorities के संपर्क में है
  • AT&T outage का assessment जारी रखेगा

Downdetector reports का trend और stock price

  • Downdetector.com के अनुसार outage reports Eastern Time सुबह करीब 4 बजे बढ़नी शुरू हुईं
  • reports की संख्या सुबह करीब 8:30 बजे लगभग 74,000 पर peak पर पहुंची
  • दोपहर के आसपास लगभग 58,000 outage reports दर्ज की गईं
  • AT&T का stock गुरुवार को 2.41% गिरावट के साथ बंद हुआ

Device display और 911 पर असर

  • outage से प्रभावित phones की screen के ऊपर दाईं ओर signal bars नहीं दिख रहे थे या SOS text दिख रहा था
  • ग्राहक Wi-Fi calling enable करके calls कर सकते थे
  • San Francisco Fire Department ने X post में बताया कि AT&T wireless customers calls कर या receive नहीं कर पा रहे हैं, जिसमें 911 calls भी शामिल हैं
  • Atlanta के mayor Andre Dickens ने कहा कि शहर 911 calls receive और make कर पा रहा था, लेकिन local AT&T customers ने report किया कि उनके phones SOS mode में हैं
  • Massachusetts State Police ने कहा कि 911 centers पर ऐसे calls की बाढ़ आ रही है जिनमें लोग यह check करना चाहते हैं कि mobile 911 service काम कर रही है या नहीं, और ऐसा न करने का अनुरोध किया
    • बताया कि अगर आप general number पर non-emergency call सफलतापूर्वक कर सकते हैं, तो 911 service भी काम कर रही है

Verizon और T-Mobile reports

  • Downdetector के अनुसार Eastern Time सुबह 10 बजे तक Verizon और T-Mobile users ने भी अलग-अलग कई हजार outage reports दर्ज कीं
  • दोनों कंपनियों ने माना कि ये reports संभवतः दूसरे network users से connect करने की कोशिश में आई मुश्किलों को दर्शाती हैं
  • T-Mobile ने emailed statement में बताया कि Downdetector संभवतः उन problems को reflect कर रहा था जो customers को दूसरे network users से connect करने की कोशिश करते समय हुईं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-23
Hacker News टिप्पणियाँ

  • यह एक गंभीर architecture flaw है
    Bell System के electromechanical switching के पूरे इतिहास को देखें तो प्राकृतिक आपदाओं या NYC में एक बड़ी आग की घटना को छोड़कर, कोई भी central office 30 मिनट से ज़्यादा बंद नहीं रहा था
    1960–70 के दशक में AT&T Long Lines system में 10 regional centers सभी स्वतंत्र थे और आपस में घने रूप से जुड़े हुए थे, और Bedminster, NJ का control center सिर्फ monitoring और 15 मिनट के अंतराल पर routing updates के लिए जिम्मेदार था
    ज़रूरत पड़ने पर सभी exchanges default routing पर वापस जा सकते थे, और load ज़्यादा होने पर कुछ calls fail हो सकती थीं, लेकिन ज़्यादातर फिर भी चलती रहती थीं

    • 1990 में Mother's Day outage हुआ था
      वजह routing संभालने वाले C code में break statement को continue statement से बदलना था, और इसका cascading effect हुआ
      हालांकि इसका असर केवल long-distance phone service पर पड़ा था
    • मुझे लगता रहा है कि आजकल अमेरिका का लगभग सारा infrastructure 20वीं सदी के उत्तरार्ध की तुलना में reliability में कमज़ोर है
      यह सिर्फ मेरी कल्पना है या सच में ऐसा है, और अगर ऐसा है तो इसका मतलब क्या है—यह जानने की उत्सुकता है
    • हैरानी है कि WiFi calling चालू करने की कोशिश करते समय 502 दिखना किसी ने नहीं देखा
      502 का स्रोत Azure था, और यह cloud architecture की समस्या लगती है
    • वजह शायद यह भी हो सकती है: https://www.webwire.com/ViewPressRel.asp?aId=318230
    • इस संदर्भ में जिस central office की बात हो रही है, उसका भौतिक आकार स्थानीय स्तर पर कितना होता है, यह जानना चाहूँगा

  • यहाँ एक बात पर ज़्यादा चर्चा नहीं हो रही: इस outage का cascading effect, खासकर drivers पर इसका असर कैसा रहा होगा?
    इमारतों के अंदर मौजूद कई लोग Wi-Fi के जरिए रास्ता निकाल पाए होंगे, लेकिन drivers पर इसका असर काफी व्यापक रहा होगा
    उदाहरण के लिए, phone map apps पर निर्भर UPS, FedEx, Amazon और truck drivers की delivery delays; Uber/Lyft/taxi drivers को pickup/drop-off route guidance न मिलना; route optimization या destination guidance न मिलने से बिगड़ा traffic—ऐसी बातें दिमाग में आती हैं
    बड़ी कंपनियों के पास अपना infrastructure या dedicated GPS devices जैसी redundancy हो सकती है, लेकिन सच में ऐसे असर हुए या कोई workaround था, यह जानना चाहूँगा
    drivers से अलग, phone न कर पाने के कारण emergency में treatment न मिल पाने का risk भी बढ़ा होगा, और emergency calls पर क्या असर पड़ा यह भी स्पष्ट नहीं है

    • 2022 में Canada के Rogers outage के दौरान भी traffic की dependency दिखी थी
      Toronto में signal timing बदलने के लिए कुल traffic signals का एक-चौथाई हिस्सा Rogers cellular network पर निर्भर था, और municipal buildings के fire alarms तथा sprinklers की remote monitoring में भी Rogers GSM network इस्तेमाल होता था
      public parking payment और public bike service भी इस्तेमाल नहीं हो पा रही थीं
      https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
      याद है कि गर्मियों के कारण बच्चों के लिए कुछ park programs भी cancel हुए थे। वजह यह थी कि staff के पास ऐसा mobile phone होना ज़रूरी था जिससे 9-1-1 पर call की जा सके, हालांकि कम से कम वह call itself यहाँ काम करती लगती थी
    • आज सुबह मोहल्ले के बीचोंबीच अचानक भारी जाम में फँसने की वजह शायद यही रही होगी
      मैंने जानबूझकर phone पर निर्भरता घटा दी है, इसलिए पता ही नहीं था कि कोई outage है। पहले बहुत छोटी दूरी के लिए भी Google Maps अपने-आप खोल लेता था, लेकिन जब एहसास हुआ कि company मेरी location track करे और निर्देश दे, इस पर पूरी तरह निर्भर होने से मेरी खुद रास्ता ढूँढने की क्षमता खत्म हो जाएगी, तो deGoogle प्रक्रिया में Organic Maps पर स्विच कर लिया
      फिर भी जहाँ संभव हो, GPS की मदद के बिना खुद रास्ता ढूँढने की कोशिश करता हूँ, क्योंकि wayfinding ऐसा skill लगता है जिसे practice न करने पर सच में खोया जा सकता है
      आज सुबह शहर के पार एक काम निपटाने के बाद, जिस सबसे बड़ी arterial road को मैं जानता हूँ उस पर वापस लौटना चाहा, तो westbound दिशा में कम से कम 1 mile तक फैले पूरी तरह रुके हुए traffic में सीधे फँस गया। लगा कोई accident होगा, लेकिन कुछ दिखाई नहीं दिया, सब बस रुके हुए थे
      तुरंत U-turn लेकर north में 0.75 mile दूर दूसरी westbound road पर गया, तो वहाँ कोई car नहीं थी और speed limit पर घर तक पहुँच सका
      आमतौर पर इस्तेमाल होने वाले navigation apps jam होने पर alternate routes सुझाते हैं, तो फिर 1 mile से भी कम दूर parallel road खाली होने के बावजूद सब लोग उसी jam में क्यों बैठे थे? शायद phone उन्हें दूसरा रास्ता बताने में असमर्थ था, और phone के निर्देशों के आदी बहुत-से लोगों की वजह से यह cascading effect पैदा हुआ
    • Google Maps इस्तेमाल करने पर, जिन इलाकों में connectivity खराब मानी जाती है, वहाँ वह अपने-आप उस इलाके का map download करने को कहता है
      लगता है automatic local maps feature भी है
    • यह बात साफ कर देना ठीक रहेगा कि GPS cellular service पर निर्भर नहीं करता
    • drivers route optimize नहीं कर पाए इसलिए traffic बिगड़ा—इस पर मुझे यकीन नहीं
      ज़्यादातर drivers जाने-पहचाने routes पर चलते हैं और electronic means से directions नहीं लेते
      बेहतर सवाल यह है कि self-driving cars का क्या हुआ। क्या वे cellular coverage के बिना रास्ता नहीं ढूँढ पाईं और सड़क किनारे खड़ी रह गईं?

  • मूल कारण का अंदाज़ा लगाने की कोशिश करने वालों से कहूँ तो, अब तक आए comment की जानकारी के आधार पर निष्कर्ष निकालना पर्याप्त नहीं है
    telecom company में काम करते समय मैंने Canada-भर के cellular issues कई बार संभाले हैं, और nationwide impact सचमुच कई तरह के कारणों से आया था
    एक बार network में नया route inject होने पर कुछ cellular equipment के routing engine पूरे देश में crash हो गए थे, और नतीजा यह हुआ कि nationwide cellular devices का सिर्फ internet access बंद हुआ। सौभाग्य से यह रात 2 बजे के maintenance window में था, और business hours से पहले पता लगाकर rollback कर दिया गया, इसलिए ज्यादातर लोगों को पता भी नहीं चला
    एक बार technician ने नया router plug किया तो मौजूदा core routers crash होकर reboot हो गए। खबर बनने लायक impact करीब 20 मिनट का regional outage था, लेकिन उसके बाद 12 घंटों तक Pacific से Atlantic coast तक bugs और side effects मिलते रहे
    इसलिए “location x में impact हुआ” जैसा data यह अलग करना मुश्किल बनाता है कि उस region में सब down हैं, बहुत लोगों को दिक्कत है, या सिर्फ एक-दो लोगों की समस्या दूसरे region तक फैली है; किसी specific location पर चल रहा/नहीं चल रहा जैसी जानकारी की value सीमित होती है
    एक बार messaging relay configured rate limit से टकरा गया था, और protocol retries की वजह से message rate और बढ़ गई, जिससे एक particular protocol में practically congestion collapse हो गया था। क्योंकि यह state propagation की congestion problem थी, nationwide impact था, लेकिन फिर भी x% probability से message flow complete होकर service काम कर जाती थी
    मशहूर Rogers outage में भी, मुझे याद नहीं कि उन्होंने पूरा root cause स्वीकार किया था या नहीं। speculation था कि routing network में change या upgrade करते समय problem के side effect के तौर पर technicians भी network से बाहर हो गए थे। nationwide network down था और employees भी वही network इस्तेमाल कर रहे थे, जिससे coordination मुश्किल हो गया और recovery कठिन हो गई
    जिन CRTC submissions को मैंने देखा, उनमें useful information पूरी तरह redact की गई थी, इसलिए सीखने लायक बहुत कम था। अटकलें लगाना मज़ेदार है, लेकिन उम्मीद है इस बार AT&T Canada की telecom companies से ज्यादा transparent होगा ताकि industry सीख सके

    • Rogers ने स्वाभाविक रूप से vendor को दोष दिया, और शायद वह Ericsson रहा होगा। आखिर Rogers से गलती हो ही नहीं सकती
      यह देखना दिलचस्प था कि एक और विशाल organization के पास ऐसे change के लिए rollback या failure plan नहीं था जो company को ठप कर सकता था। basic IT 101 भी नहीं था, या बहुत सीमित था
      सकारात्मक सीख यह थी कि बड़े 3, असल में 2 telecom operators ने सोचा कि जब उनका अपना network down हो, तो key employees को दूसरे network के emergency backup SIM एक-दूसरे को देना अच्छा रहेगा। उन्होंने यह 2015 में ही किया, लेकिन देर से करना भी न करने से बेहतर है
      Rogers wireless और wired connections के लिए वही core इस्तेमाल करता था, इसलिए Rogers पर चलने वाले third-party internet providers इस्तेमाल करने वाले लोगों ने भी complete blackout झेला। websites, enterprise circuits, लगभग सब कुछ down था और Rogers की communication भी practically नहीं थी
      सौभाग्य से हमारी organization multi-circuit configuration पर थी, इसलिए सुबह 6 बजे circuit switch कर दिया और field operations ज्यादातर बिना समस्या चलते रहे
      एक और दिलचस्प बात यह थी कि cell towers बस इतना चालू थे कि phones उनसे attach हो जाएँ, लेकिन कुछ कर नहीं पा रहे थे; इसलिए 9-1-1 calls दूसरे networks पर hand over नहीं हुईं और बस fail हो गईं। यह GSM spec या Rogers SIM programming की कमी जैसा लगता है, लेकिन पता नहीं इसे ठीक किया गया या नहीं
      https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
    • speculation इसलिए दिलचस्प होती है क्योंकि वह अक्सर खुद व्यक्ति को reflect करती है। सोचता हूँ कि इसके लिए कोई term है क्या
      बहुत मोटे तौर पर generalize करें तो, science वाले लोग solar flare का अनुमान लगाते हैं, मेरा right-wing दोस्त international hackers का, मैंने failed software deployment का अनुमान लगाया, और इस thread में किसी ने लिखा कि उसके military friend ने fuel भरकर रखने को कहा
      लेकिन बाकी सबकी तरह मुझे भी सच में लगता है कि मेरा अनुमान शायद सही है
    • DownDetector comments देखें तो यह routing issue नहीं लगता
      ऐसी बहुत reports हैं कि एक ही घर में छह लोग सभी AT&T पर हैं, लेकिन उनमें से सिर्फ एक को problem हो रही है
      यह आधा-applied upgrade लगता है, या timing देखते हुए आधा-applied rollback
    • सोचता हूँ कि CRTC submissions में useful information पूरी तरह redact होना industry में आम बात है क्या
    • मुझे लगता है कि कुछ लोगों के अभी भी service इस्तेमाल कर पाने का एक मुख्य कारण roaming होगा

  • Verizon और T-Mobile, दोनों ने कहा कि उनके अपने outages नहीं हैं, बल्कि उनके customers AT&T customers को call नहीं कर पा रहे हैं
    हालांकि अमेरिका में AT&T network का बड़ा हिस्सा down दिख रहा है

    • reported Verizon/T-Mobile problems के बारे में एक theory यह है कि AT&T offline होते ही सभी AT&T phones SOS mode में चले गए और 911 calls के लिए बचे हुए networks, Verizon और T-Mobile, पर register करने की कोशिश करने लगे
      एक साथ register करने की कोशिश करने वाले devices की अचानक भारी संख्या ने उन networks के कुछ हिस्सों को overload किया हो सकता है
    • Atlanta से MVNO के जरिए AT&T data point: Eastern Time करीब 11 बजे तक connected था, फिर disconnect हो गया और उसके बाद reconnect नहीं हुआ
    • मेरी पत्नी google-fi इस्तेमाल करती है और colleague verizon, दोनों कहते हैं कि वे call नहीं कर पा रहे

  • शायद संबंधित नहीं है, लेकिन timing खराब है क्योंकि AT&T ने California के कुछ इलाकों में landline service बंद करने के लिए आवेदन किया है
    https://www.wired.com/story/att-landline-california-complain...

  • outage समाप्त
    status: restored
    AT&T FINAL, Service Degradation, Global Smart Messaging Suite
    AT&T Global Smart Messaging Suite
    event description: FINAL, Service Degradation
    impacted service: MMS MT
    start: 2024-02-21 Eastern 22:00, Central 21:00, Pacific 19:00
    end: 2024-02-22 Eastern 11:00, Central 10:00, Pacific 08:00
    downtime: 780 minutes
    प्रिय ग्राहक, हम आपको सूचित करना चाहते हैं कि Global Smart Messaging Suite अब उपलब्ध है। MMS MT service restore हो गई है और हमारी team monitor कर रही है
    AT&T Business Solutions
    Kind Regards,
    The AT&T SMS Service Administrator

    • मुझे लगता है ऐसे notices में यह शामिल होना चाहिए कि root cause investigation चल रही है या नहीं, और अगर पक्का नहीं है तो investigation results साझा किए जाएँगे या नहीं और कहाँ साझा किए जाएँगे
      शायद मैं जरूरत से ज्यादा पढ़ रहा हूँ, लेकिन यह detail missing होना मुझे खटकता है
    • सोचता हूँ कि क्या इसमें cellular voice calls भी शामिल हैं

  • हाल की status page चर्चा याद आती है: https://news.ycombinator.com/item?id=39099980
    status page सटीक होने चाहिए, लेकिन AT&T की स्थिति दावा करती है कि सब कुछ सामान्य है
    मेरी wireless service बंद है और DownDetector पर दसियों हज़ार reports हैं, तो साफ़ है कि सब कुछ सामान्य नहीं है

    • सार्वजनिक status page मूल रूप से लगभग बेकार होते हैं
      वे या तो automated tests से update होते हैं, या manually update होते हैं
      अगर automated हों तो लगभग हमेशा internal use के लिए होते हैं, public के लिए नहीं; और अगर manual हों तो लगभग हमेशा देर से update होते हैं और वैसे भी outage HN पर आने के बाद ही update होते हैं
    • अच्छा होगा अगर FTC यह अनिवार्य करे कि status page सटीक होने चाहिए
      marketing department के status page पर कब्ज़ा कर लेने से बदनाम green check और छोटा “i” दिखने वाली स्थिति सचमुच परेशान करने वाली है
    • मौजूदा AT&T outage page पर यह banner है:
      “Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
      https://www.att.com/outages/
    • जिज्ञासा है कि किस status page की बात हो रही है

  • अभी NANOG पर जानकारी नहीं है, लेकिन लगता है कि अगले कुछ घंटों में इस thread में कुछ आएगा: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...

  • myATT app इस्तेमाल करने पर भी मेरा wireless account बिल्कुल दिखाई नहीं दे रहा
    पूरा family account service के तौर पर भी नहीं दिख रहा। यह hack या account delete कर देने वाली internal problem जैसा लग रहा है
    क्या दूसरे लोग confirm कर सकते हैं कि उन्हें account दिख रहा है या नहीं

    • लगता है कई APIs बीच-बीच में 502 लौटा रही हैं, और उसी वजह से web/mobile app में अजीब behavior दिख रहा है
    • थोड़ी देर पहले जो पढ़ा, उसके मुताबिक मूल रूप से SIM number database में समस्या है
      SIMs ने network authentication खो दिया है, इसलिए वे सभी network से बाहर हो गए हैं। अगर ऐसा है तो failed software deployment होने की संभावना ज़्यादा लगती है
      online account भी यह जानकारी किसी न किसी तरह fetch करता होगा, इसलिए portal टूटने की वजह भी समझ आती है
      prepaid hotspot ठीक चल रहा है, लेकिन “family plan” के monthly contract phones में से कोई भी काम नहीं कर रहा
      यह भी सोच रहा हूं कि physical SIM और eSIM का फर्क क्या “newer” models के चलने की वजह समझा सकता है
    • outage status page भी पूरी तरह टूटा हुआ है। कुछ भी नहीं दिखा रहा
    • मेरा account दिख रहा है
      phone न चलने पर मैंने सबसे पहले यही किया कि कहीं bill unpaid तो नहीं है, इसलिए login करके bill pay किया
    • account management और status tools वैसे भी सामान्य दिनों में धीमे और unstable रहे हैं
      थोड़ा सा extra traffic आने से ही वे गिर गए हों, इस संभावना को मैं खारिज नहीं करूंगा। correlation का मतलब causation नहीं होता

  • outage map नाम की चीज़ है[1]। लेकिन बेकार है
    यह बस अमेरिका में जहां ज़्यादा लोग रहते हैं, उन जगहों को दिखाने वाला map है
    [1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...