CrowdStrike आउटेज का विमानन उद्योग पर असर

 (heavymeta.org)
1 पॉइंट द्वारा GN⁺ 2024-07-30 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 19 जुलाई 2024 को 04:09 UTC पर जारी CrowdStrike के Windows के लिए sensor configuration update के कारण करीब 85 लाख कंप्यूटरों पर blue screen आई, और airline operations भी प्रभावित हुए
  • अगर fire, police, military और general aviation को भी शामिल करें, तो 19 जुलाई को 04:00 के बाद अमेरिका में कुल air traffic की cumulative takeoffs संख्या पिछले शुक्रवार से 2.6% ज़्यादा थी, लेकिन 08:00~09:00 के बीच यह 378 flights से घटकर 261 flights हो गई, यानी 31% कमी
  • शीर्ष 4 अमेरिकी airlines पर असर काफी अलग-अलग रहा: Delta में -1,087 flights (-46%), United में -596 flights (-36%), American में -376 flights (-16%), और Southwest में +101 flights (+3%) दर्ज हुआ
  • Delta ने कई दिनों तक हज़ारों flights cancel कीं और recovery लंबी खिंच गई; ABC News के मुताबिक Southwest प्रभावित नहीं हुआ क्योंकि वह CrowdStrike इस्तेमाल नहीं करता था
  • विश्लेषण में ADS-B Exchange के raw ADS-B data से takeoffs detect करके उन्हें flights के करीब माना गया; यह मानकर चला गया कि absolute flight counts कम आ सकते हैं, फिर भी periods के बीच percentage comparison के लिए यह valid है

19 जुलाई 2024 के CrowdStrike आउटेज की शुरुआत

  • 19 जुलाई 2024 को 04:09 UTC पर CrowdStrike ने Windows systems के लिए sensor configuration update deploy किया
  • इसके बाद करीब 85 लाख कंप्यूटर blue screen से प्रभावित हुए, और hospitals, banks, 911 systems जैसे कई क्षेत्रों पर असर पड़ा
  • Linux, Mac और mobile phones को इस outage के direct impact targets के रूप में नहीं बताया गया
  • Gmail, Facebook, Twitter जैसी services चलती रहीं, लेकिन reservations, account opening और police dispatch जैसे असली operational काम संभालने वाली Windows machines में failures दिखे
  • Airline systems भी इसी Windows-based operational area में आते हैं

Cancellations की संख्या से ज़्यादा वास्तविक air traffic comparison पर focus

  • सिर्फ airline cancellations देखने के बजाय, वास्तव में आसमान में मौजूद aircraft की संख्या की तुलना उन aircraft से करने का तरीका चुना गया जो सामान्य रूप से उड़ने चाहिए थे
  • FlightRadar24 के आधार पर American Airlines, Delta और United का 12-hour timelapse video share किया गया था, लेकिन comparison baseline न होने से impact का scale समझना मुश्किल था
  • रात के समय aircraft कम होना रोज़ होता है, इसलिए उसी weekday के normal pattern से तुलना करनी चाहिए
  • Bellingcat के “OSHIT: Seven Deadly Sins of Bad Open Source Research” में बताए गए “घटना के संदर्भ की कमी” वाला मुद्दा इस case पर लागू होता है

पूरे अमेरिका में takeoffs की hourly change

  • CrowdStrike outage वाले 19 जुलाई और उसके पिछले शुक्रवार 12 जुलाई के लिए अमेरिका में hourly takeoff counts की तुलना की गई
  • comparison में commercial aviation के साथ-साथ fire aircraft, police, military और general aviation भी शामिल थे
  • 18 जुलाई को भी साथ में check किया गया, लेकिन वह पिछले शुक्रवार से बहुत मिलता-जुलता था, इसलिए main comparison baseline 12 जुलाई ही रखा गया
  • लगभग 06:00~13:00 के बीच flights की संख्या थोड़ी घटी, और उसके बाद थोड़ी बढ़ी
  • 04:00 के बाद cumulative basis पर 19 जुलाई की flights संख्या पिछले शुक्रवार की same period की तुलना में 2.6% बढ़ी
  • सबसे बड़ी कमी 08:00~09:00 interval में दिखी, जहां पिछले शुक्रवार की 378 flights की तुलना में 261 flights रहीं, यानी 31% कमी

Airlines के हिसाब से असर में बड़ा फर्क

  • शीर्ष 4 अमेरिकी airlines में बदलाव आपस में काफी अलग रहे
    • Delta Air Lines: -1,087 flights, -46%
    • United Airlines: -596 flights, -36%
    • American Airlines: -376 flights, -16%
    • Southwest Airlines: +101 flights, +3%
  • Delta सबसे ज़्यादा प्रभावित हुआ, उसके बाद United रहा, जबकि American में गिरावट कम थी
  • figures के हिसाब से Southwest प्रभावित नहीं दिखा
  • यह explanation कि Southwest ने Windows 3.1 इस्तेमाल करना जारी रखा इसलिए असर से बच गया, TechRadar article में आया था, लेकिन OSNews ने इसे false बताया
  • ABC News article ने बताया कि Southwest प्रभावित नहीं हुआ क्योंकि वह CrowdStrike इस्तेमाल नहीं करता था

Delta recovery delay को लेकर explanations और सीमाएं

  • CrowdStrike update के बाद Delta Air Lines ने कई दिनों तक हज़ारों flights cancel कीं और recovery में लंबा समय लगा
  • ABC News article के मुताबिक outage response के लिए हर computer system की manual fix ज़रूरी थी; fix खुद 10 minutes के अंदर हो सकता था, लेकिन Delta के digital terminals बहुत ज़्यादा होने के कारण काफी staff चाहिए था
  • सिर्फ इस explanation से Delta और दूसरी airlines के बीच फर्क को पूरी तरह समझाना मुश्किल है
  • एक Reddit comment ने एक unverified explanation दिया कि Delta के पास उचित disaster recovery plan और IT business continuity plan नहीं था, जबकि United, American और Frontier ने plans तुरंत execute किए और जल्दी recover कर गए
    • इस comment का दावा है कि United और American भी Delta जितने ही Windows-dependent हैं
    • इसमें यह भी कहा गया कि American शुक्रवार के अंत तक recover हो गया और शनिवार को normal operations फिर शुरू कर दिए, जबकि United ने शनिवार सुबह issue resolve करने के बाद शनिवार दोपहर normal schedule फिर शुरू किया
    • यह explanation source-less Reddit comment है, और इसके गलत हो सकने की caveat लगी हुई है

ADS-B data आधारित analysis method

  • analysis में ADS-B Exchange का raw ADS-B data इस्तेमाल हुआ
  • custom code से aircraft takeoffs detect किए गए, और takeoff को roughly एक flight के बराबर माना गया
  • takeoff count और flight count पूरी तरह एक जैसे नहीं होते, लेकिन इस purpose के लिए sufficiently close माने गए
  • ADS-B Exchange coverage से बाहर के airfields से takeoff करने वाले aircraft जैसे कुछ cases undercount हो सकते हैं
  • undercount systematic तरीके से होता है, इसलिए period-to-period comparison में इसका उपयोग किया जा सकता है; absolute flight count कम आ सकता है, लेकिन percentage change accurate माना गया
  • चूंकि takeoff detection code पहले से मौजूद था, इसलिए airborne aircraft count नए सिरे से गिनने के बजाय takeoff count इस्तेमाल किया गया

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-07-30
Hacker News की राय

  • मैंने पढ़ा कि Delta में crew tracking software पर बड़ा असर पड़ा, इसलिए recovery में समय लगा
    स्रोत: https://news.delta.com/update-delta-customers-ceo-ed-bastian
    इसमें यह बात है कि “खास तौर पर crew tracking से जुड़ा एक tool प्रभावित हुआ, जो system outage से पैदा हुए अभूतपूर्व बदलावों की संख्या को प्रभावी ढंग से संभाल नहीं पाया”

    • एक और बात जिसने हालात बिगाड़े, वह यह है कि Delta का headquarters और मुख्य operating pattern East Coast पर है। CrowdStrike ने airlines को लगभग एक ही समय पर प्रभावित किया था, इसलिए Delta के पास सुबह की peak flights में जाने से पहले response के लिए लगभग 1–2 घंटे कम थे
      सुबह की rush में systems की जरूरत पड़ने तक वे तैयार नहीं थे, इसलिए संभव है कि वे अपनी business continuity strategy यानी manual processing पर चले गए हों। इस तरीके में throughput और recovery time के लिहाज से नुकसान होता है, और यह स्थिति जितनी लंबी चले, जाहिर है उतनी ही बिगड़ती जाती है
      Southwest की घटना और इस Delta घटना से जो बात दिखती है, वह यह लगती है कि बड़ी airlines के पास business continuity mode में shift करने पर टिके रहने के लिए पर्याप्त staff या schedule buffer नहीं है। इसकी जांच की जरूरत है, और उम्मीद है कि financial penalties व्यवहार बदलने के लिए प्रेरित करेंगी, लेकिन यह तो समय ही बताएगा
    • Delta पर सिर्फ “बहुत बुरा” असर नहीं पड़ा; बल्कि Delta जिस hub-and-spoke model का इस्तेमाल करती है, उसमें शुक्रवार को schedule management जरा भी नीचे जाए और उस पर FAA working-hour limits जुड़ जाएं, तो flights को फिर से assign करने की difficulty exponential हो जाती है
      आसान शब्दों में कहें तो शुक्रवार सुबह scheduling software 4 घंटे बंद था, इसलिए late या sick employees की जगह भरने के लिए इधर-उधर से staff “उधार” लेना पड़ा। इससे अगली flights के लिए available staff गड़बड़ा जाता है, और तब तक उम्मीद होती है कि system वापस आ जाएगा; लेकिन अगर नहीं आया तो शाम की flights से फिर staff उधार लेना पड़ता है
      इसी बीच delayed और cancelled flights उन employees के बचे हुए working hours को भी प्रभावित करती हैं जो मूल रूप से available थे। ऐसी chain reaction के बाद जब weekend आता है, तो पहले यह साफ करना पड़ता है कि हर crew member ने वास्तव में कितने घंटे log किए हैं, और उन्हें समय पर अपनी original location पर वापस कैसे लाया जाए, यह भी uncertain हो जाता है
    • radio पर जो सुना, उसके मुताबिक computers से ज्यादा Delta की response strategy बड़ी वजह थी
      बाकी airlines ने flights delay कीं, जबकि Delta ने तुरंत cancel कर दिया, और नतीजतन ज्यादा लोग और planes गलत जगहों पर फंस गए, जिससे recovery मुश्किल हो गई

  • सोच रहा हूं कि क्या एक मजबूत, up-to-date और अच्छी तरह rehearsed disaster recovery plan ने सच में किसी को बचाया। या फिर IT backups और recovery पर पैसा खर्च करे या नहीं, सब बस बिना तैयारी के operation चला रहे हैं

    • हमारे systems ठीक थे। इसकी वजह यह थी कि हमने मानकर चला था कि SentinelOne, CrowdStrike जैसे software समेत कुछ न कुछ fail होगा, और हमारे पास ऐसे disaster recovery systems थे जिनके सहारे operations लंगड़ाते हुए भी जारी रह सकें
      हमारे पास ऐसे recovery systems हैं जो Thames Barrier fail होकर Docklands खत्म हो जाने जैसी दूसरी स्थितियों में भी काम करेंगे। दुर्भाग्य से कुछ outsourced vendors में ऐसा attitude नहीं था
    • निश्चित रूप से मदद मिलती है। जब एक जगह fiber-optic cable गलती से unplug हो गई, तब HSRP और VRRP, और दूसरे SD-WAN features ने फर्क पैदा किया। data center technician ने बड़ी गड़बड़ी कर दी, जिससे हम और कम-से-कम एक अन्य customer भी down हो गए
      साफ तौर पर momentary outage था और लगभग 10 मिनट तक page timeouts या process restarts जैसी दिक्कतें रहीं, लेकिन कुल मिलाकर sites failover हो गईं और root cause पता करते समय लंगड़ाते हुए चलती रहीं
      data center ने शायद 19 डॉलर या 21 डॉलर का service credit और apology दी। CEO lawsuit करने की बात पर बहुत नाराज थे, लेकिन असल में बात आगे नहीं बढ़ी, और IT infrastructure director ने चुपचाप हमारा शुक्रिया अदा किया कि हमने ऐसा failover तैयार रखा था जो ज्यादातर काम कर गया
    • जाहिर है disaster recovery infrastructure तैयार रहा होगा। बस सभी disaster recovery servers पर CrowdStrike पहले से installed रहा होगा
    • मैंने खुद कभी नहीं देखा। बेशक sample bias हो सकता है, लेकिन success stories सुनना चाहूंगा
    • मेरे post करने के ठीक बाद किसी ने यह post किया: https://news.ycombinator.com/item?id=41103486
      इसलिए लगता है कि Delta के इतने बुरी तरह बिगड़ने की वजह वाकई disaster recovery की कमी थी

  • इन graphs में जो बात समझ नहीं आती, वह यह है कि CrowdStrike update deploy होने से थोड़ा पहले takeoffs की संख्या relative रूप से क्यों बढ़ी
    यह overall graph में भी है और United, American, खास तौर पर Delta के graphs में भी दिखता है। कोई वजह समझ नहीं आ रही; शायद यह random noise हो, या पिछले हफ्ते इसी समय कोई खास बात हुई हो

    • absolute flight count और percentage change दोनों को chart में रखने की एक वजह broader context समझना था। वे relative increases CrowdStrike के फटने से ठीक पहले, यानी US Eastern Time के करीब midnight पर थे, और उस समय traffic पहले से ही बहुत कम था
      इसलिए 25% increase का मतलब भी पूरे US में एक घंटे में take off करने वाली flights में बस करीब 12 flights का इजाफा हो सकता है। noise निश्चित रूप से बहुत है, और absolute values व percentage change को साथ देखने से यह समझने में मदद मिलती है कि क्या हुआ
      दो दिनों का data CrowdStrike impact की मुख्य trend देखने के लिए पर्याप्त हो सकता है, लेकिन हर fluctuation को explain करने के लिए कम है
    • यह व्यापक रूप से report हुआ था कि काफी समय बाद यह सबसे busy travel day था, और उसी ने समस्या को और बड़ा कर दिया
    • variation का अंदाजा लगाने के लिए कुछ हफ्तों का data और जोड़ना इतना मुश्किल नहीं रहा होगा

  • सबसे दिलचस्प यह होगा कि Delta Microsoft और CrowdStrike के खिलाफ जो lawsuit लाने की कोशिश कर रही है, वह कैसे आगे बढ़ता है
    https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a

  • शामिल लिंक की सामग्री: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
    उसमें कहा गया है, “यह ऑपरेटिंग सिस्टम कितना पुराना है, इसका अंदाजा देने के लिए: Windows 3.1 मूल रूप से 1992 में रिलीज़ हुआ था, Microsoft ने embedded version को छोड़कर 31 दिसंबर 2001 को इसका support खत्म कर दिया था, और embedded version भी 2008 में आधिकारिक तौर पर बंद हो गया था।”
    Windows 3.1 वाली बात बार-बार सुन रहा हूँ। यह TechRadar से आई है और नाम में “Pro” भी लगा है, तो शायद यह मनगढ़ंत नहीं होगा? फिर भी पूरी तरह भरोसा नहीं हो रहा। क्या Southwest में काम करने वाला कोई व्यक्ति पुष्टि कर सकता है कि मुख्य scheduling system Windows 3.1 पर चलता है या नहीं?

    • यह गलत है [1], और यह देखने के लिए litmus test जैसा बन गया है कि media claims को स्वतंत्र रूप से verify करता है या नहीं
      “Southwest के internally developed SkySolver और Crew Web Access ‘historically ऐसे दिखते हैं जैसे Windows 95 पर design किए गए हों’” वाली बात को तोड़-मरोड़कर “Windows 3.1 पर चलता है” बना दिया गया
      [1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
    • TechRadar ने Tom's Hardware को quote किया, और Tom's Hardware ने सिर्फ एक tweet को quote किया
      वह Southwest का tweet भी नहीं था, न ही किसी ऐसे व्यक्ति का जिसने कहा हो कि वह Southwest में काम कर चुका है। बस एक tweet था
    • जिसने यह बात सबसे पहले शुरू की, उसने खुद कहा कि यह बस “troll tweet” था
      https://x.com/ArtemR/status/1815408553131426179
    • “Southwest Windows 3.1 इस्तेमाल करता है” वाला दावा झूठा है, और यह इस बात का अच्छा उदाहरण है कि जब कुछ हद तक “भरोसेमंद” संगठन झूठी अफवाह दोहराते हैं, तो internet पर बकवास कैसे फैलती है
      https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
    • 2000 के दशक के आखिरी वर्षों में SITA(https://en.wikipedia.org/wiki/SITA_(business_services_company)) में काम किया था। दुनिया भर की airlines को जोड़ने वाला एक विशाल X.25 serial network था
      कुछ ग्राहक data center में पुराने AT systems पर अभी भी Windows 3.11 चला रहे थे, और खराबी आने पर इस्तेमाल के लिए hardware जुटाने के लिए craigslist और eBay से पुराने computers खरीदते थे। अगर ऐसे systems आज भी इस्तेमाल में हों, तो मुझे आश्चर्य नहीं होगा

  • Berlin Brandenburg पर बड़ा असर पड़ा। BER से नाराज़ रहने वाले user के तौर पर, यह बिल्कुल हैरान करने वाला नहीं कि वह सबसे बुरे असर झेलने वालों में से एक था

    • German IT ऐसी चीज़ों से अक्सर बुरी तरह प्रभावित होता है। हालांकि जो अभी भी कागज़ पर चल रहा है, वह अपवाद है
      फिर भी website के सबसे ऊपर banner लगाकर तुरंत जानकारी देना बेहतर था। immigration office का appointment system एक महीने से ज़्यादा down रहा, और इस बात को मानने में ही 3 हफ्ते लग गए
    • यह बात अब भी हैरान करती है कि Brandenburg सच में खुल गया

  • मुकदमे आने की संभावना है। Delta तो लगता है पहले से तैयारी कर रहा है
    https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html

    • इसमें लिखा है कि “Microsoft और CrowdStrike से मुआवज़ा मांगने के लिए law firm hire की है”, लेकिन यहाँ Microsoft को निशाना बनाना गलत दिशा में लगता है
      अपनी IT department द्वारा install किए गए third-party driver से Microsoft का क्या लेना-देना?

  • क्या किसी को पता है कि Minneapolis-St Paul में बाकी अमेरिकी airports की तुलना में काफी पहले cancellations क्यों शुरू हो गई थीं?

  • नाकाम न होने का तरीका: Southwest प्रभावित नहीं हुआ क्योंकि वह CrowdStrike इस्तेमाल नहीं करता था

  • मेरी सोशल मीडिया में बेहतर backup और infrastructure है, लेकिन दुनिया भर में इस्तेमाल होने वाले operating system वाले पक्ष में ऐसा क्यों नहीं है, यह सच में समझ नहीं आता

    • क्योंकि IT सोशल मीडिया कंपनी का मुख्य काम है। वे IT को अंदर तक समझते हैं, जानते हैं कि क्या गलत हो सकता है और उसे कैसे कम किया जा सकता है
      इसके उलट airlines का मुख्य काम हवाई जहाज़ उड़ाना है, और वे यह बहुत अच्छी तरह करती हैं। लेकिन IT उनके लिए बाहर से खरीदे गए tool जैसा है, और वे उसे सोशल मीडिया कंपनी जितनी उसी तरह नहीं समझतीं
      इसलिए वे इसे ठीक से करने के लिए बाहरी contractors पर निर्भर करती हैं, और वे contractors अक्सर सबसे सस्ते होते हैं या खरीदार को यह समझाकर काम हासिल करते हैं कि उनकी service “industry best practice” है
    • मैं यह मानकर नहीं चलूंगा कि FAANG किसी ऐसे configuration update से immune है जो दुनिया रोक सकता है। Facebook में भी 2021 में सब कुछ कई घंटों के लिए down हो गया था, जिसमें engineers की datacenter access भी शामिल थी
      https://news.ycombinator.com/item?id=28750894
      और “operating system की तुलना में infrastructure” वाली बात पर, मुझे लगता है कि Microsoft infrastructure की quality यहां relevant नहीं है
    • सोशल मीडिया कंपनी की tech roles और bank·airline जैसी बड़ी traditional कंपनियों की tech roles में मिलने वाली salary, working conditions, status की तुलना कर लें
      पहली वाली जगहों पर pay अच्छा होता है और कुछ हद तक status व political capital होता है। दूसरी जगहों पर pay कम होता है, और status या political capital अक्सर cleaning staff के बराबर होता है
    • Meta दुनिया की सबसे valuable कंपनियों में से एक है, और उसके पास best-in-class हर चीज़ खरीदने के resources हैं। इसका market cap 1.28 trillion dollars है, जो American, Delta, United को मिलाकर भी 30 गुना बड़ा है
      पिछले साल profit भी 39 billion dollars था, जबकि सभी US airlines का कुल 7.8 billion dollars था। जाहिर है, उसके systems बेहतर होंगे
    • क्योंकि एक नियंत्रित किए जा सकने वाले datacenter के अंदर है, और दूसरा ऐसे user-owned hardware पर deploy होता है जिसे नियंत्रित नहीं किया जा सकता