ChatGPT और API में हुई बड़े पैमाने की आउटेज

• 8 नवंबर 5:42AM~7:16AM PT के दौरान OpenAI के ChatGPT और API में बड़ी संख्या में अनुरोध 502 या 503 errors के साथ फेल हुए, जिससे सभी models और API endpoints प्रभावित हुए
• routing layer nodes memory limit तक पहुँच गए और readiness checks में फेल हो गए; पर्याप्त nodes unavailable होने पर incoming traffic संभालने की क्षमता कम पड़ गई
• उसी दिन सुबह completion requests पहले किसी भी दिन की तुलना में काफी बढ़ गए, जिससे मौजूदा memory issue पूरे service outage में बदलने का tipping point बना
• recovery के लिए incoming traffic को limit करना, service का large-scale redeploy करना, और traffic को चरणबद्ध तरीके से फिर शुरू करना शामिल था; responseBuffer reuse fix के बाद memory और CPU usage में 3x सुधार हुआ
• OpenAI ने memory limits को adjust किया, rate limit आधारित load shedding लागू की, capacity बढ़ाई, और memory alerts तथा auto scaling configuration जोड़ने की योजना बनाई है

---

आउटेज का दायरा और सीधा कारण

• 8 नवंबर 5:42AM~7:16AM PT के बीच OpenAI requests का बड़ा हिस्सा 502 या 503 errors के साथ फेल हुआ
• आउटेज के दौरान सभी models और API endpoints में बड़े पैमाने पर failures हुए
• सीधा कारण यह था कि routing layer nodes memory limit तक पहुँच गए और readiness checks में फेल हो गए
  • service के भीतर पर्याप्त संख्या में nodes unavailable हो गए
  • incoming traffic को संभालने के लिए पर्याप्त capacity नहीं बची
  • service अपने-आप recover नहीं कर सकी
• उस दिन सुबह completion requests पहले किसी भी दिन की तुलना में बहुत अधिक थे, और यही outage को ट्रिगर करने वाला tipping point बना

recovery उपाय और दोबारा होने से रोकथाम

• तुरंत प्रतिक्रिया में तीन काम एक साथ किए गए
  • incoming traffic को limit करना
  • service का large-scale redeploy
  • traffic को धीरे-धीरे फिर बढ़ाना
• लंबे समय से चली आ रही memory समस्या की जड़ यह थी कि loop के अंदर responseBuffer को reuse करने के बजाय बार-बार नया allocate किया जा रहा था
  • requests अधिक होने पर GC पीछे छूटने की समस्या हुई
  • fix में buffer को पहले से allocate करके reuse करना शामिल था
  • deployment के बाद memory और CPU usage दोनों में 3x सुधार हुआ
• पहले से लागू अतिरिक्त उपाय:
  • configured memory limits को उचित स्तर पर adjust किया गया, जिससे service में पर्याप्त headroom मिला
  • traffic को अधिक smoothly कम करने के लिए rate limit controls लागू किए गए
  • अतिरिक्त preventive measure के रूप में service capacity बढ़ाई गई
• आगे लागू किए जाने वाले बदलाव:
  • memory behavior को service issue बनने से पहले पकड़ने के लिए alert changes लागू किए जाएँगे
  • पहले capacity जोड़ने से upstream service पर नकारात्मक असर पड़ सकता था, इसलिए इस service पर auto scaling चालू नहीं किया जा सकता था
  • यह root issue हल होने के बाद OpenAI इस service के लिए auto scaling configure करेगा
• लंबे समय तक API outage ग्राहकों के products और business पर असर डालते हैं, और इस स्तर का outage खास तौर पर अधिक नुकसानदेह हो सकता है

[xguru]

लगता है इस बार के डेवलपर इवेंट के असर से ट्रैफ़िक कुछ ज़्यादा आ गया होगा.
वाकई GPT-4 Turbo का आउटपुट काफ़ी बदल गया है.
GN+ सारांश में भी मैंने prompt लगभग बदला ही नहीं था, फिर भी format बदल गया है.

[GN⁺]

Hacker News की राय

• ChatGPT डाउन था, इसलिए आज पहली बार Google Bard इस्तेमाल किया; सच कहूं तो काफ़ी ठीक लगा
  ChatGPT से अलग, बयान करना मुश्किल-सा एक हल्का अलग अंदाज़ है

  • Bard की सिफ़ारिश अक्सर मिलती है, लेकिन लगभग हर बार यह गलत या भ्रम पैदा करने वाली जानकारी लौटा देता है
  • Bard का training data और training method अलग है, इसलिए सिर्फ़ इससे भी कुछ हद तक समझ आता है कि वह ChatGPT से अलग क्यों है
    यूज़र के नज़रिए से मनचाहा जवाब निकलवाने के तरीके अलग हैं, और सवाल पूछने का तरीका या prompt engineering भी अलग होनी चाहिए
  • इसी वजह से आज पहली बार इस्तेमाल किया, लेकिन यह धीमा था और coding में कहीं ज़्यादा कमजोर लगा
    मैंने सिर्फ़ SQL aggregation query पूछी थी, लेकिन इसने query requirements के कुछ हिस्से सीधे नज़रअंदाज़ कर दिए
  • Bard के filters ज़रूरत से ज़्यादा aggressive हैं
    fantasy world के चोरों के ideas brainstorm करने पर भी, जैसे Lies of Locke Lamora जैसी vibe हो, तब भी यह अक्सर सहयोग करने से मना कर देता है
    लगता है यूज़र को दिखाने से पहले output पर कोई heuristic filter चलाता है, और prompt थोड़ा बदलने पर कभी-कभी pass हो जाता है
    ChatGPT वाला system इतना smart है कि समझ लेता है कि fantasy crime असली अपराध करने की जानकारी नहीं है
  • https://you.com/chat आज़माया, बुरा नहीं लगा
    GPT4 model के लिए एक महीने का free trial coupon "codegpt" है, और GPT3.5 free है

• Phind coding के लिए काफ़ी अच्छा है, और अतिरिक्त अरबों code tokens पर trained LLama 2-based होने की वजह से अभी ज़िंदा है: https://www.phind.com/s

  • मैं उत्सुक हूं कि लोग Phind को कैसे इस्तेमाल करते हैं
    हाल ही में Phind से सीधे बातचीत की, तो उसने कहा कि मेरी मदद करने के लिए उसे मेरा codebase पढ़ना होगा, तभी वह उन models को समझ पाएगा जिनकी मैं बात कर रहा हूं
    codebase न पता हो तो मुझे लगता है कि सबसे मामूली functions के अलावा यह ठीक से कुछ नहीं लिख सकता
    Phind ने भी हां कहा, लेकिन बताया कि असल में वह codebase पढ़ नहीं सकता
    उसकी बात काफ़ी व्यवस्थित थी और ऐसा लगा कि वह मेरी बात समझ रहा है
    अगर यह ऐसे functions में मदद नहीं कर सकता जो non-trivial classes को parameter के रूप में लेते हैं या return करते हैं, तो समझ नहीं आता इसकी value आखिर कहां से आती है
  • Phind से मुझे बहुत अच्छे results मिले हैं
    इसका latest fine-tuned model V7 इस्तेमाल में अच्छा लगा, और ज़्यादातर open-source models से बेहतर था
    हालांकि link के अंत में s लगा है, इसलिए 404 आ रहा है
  • Phind में consistency की थोड़ी दिक्कत रही, लेकिन कुल मिलाकर बड़ी शिकायत नहीं है
    बड़े prompts में response न आना या answer options गायब हो जाना जैसी छोटी खामियां कभी-कभी दिखीं
    कुल मिलाकर ChatGPT के साथ ideas exchange करने या अलग perspective पाने के लिए अच्छा है
    जिन websites से information ली गई है उन्हें दिखाने वाला annotation feature भी बहुत अच्छी तरह बनाया गया है
  • लगता है Phind भी down हो गया है
    "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
  • अभी-अभी इस्तेमाल किया: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
    मेरी नज़र में पूरा hallucination है। documentation links देना अच्छा है
    edit: astrojs को vite में बदलने पर बहुत अच्छा और accurate जवाब मिला: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
    काफ़ी impressive है

• वाह, सच में पसीने छूट गए थे
  launch से लगभग 48 घंटे पहले ही हमने ज़्यादातर services को Azure OpenAI पर shift किया था, और इस outage का असर हम पर नहीं पड़ा
  वाकई राहत मिली

  • दिलचस्प है। तो क्या Azure OpenAI प्रभावित नहीं हुआ?
    सोच रहा हूं कि क्या उसे OpenAI API जैसी system updates उसी समय मिलती हैं, और pricing भी वही है या नहीं

• यह बताने का बिल्कुल सही समय है कि HuggingFace कई open-source chat models host करता है
  मेरे पसंदीदा models में से एक Mistral 7B का fine-tuned version है: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

  • पहले मैंने local large language models के साथ थोड़ा experiment किया था, लेकिन उस समय 3080 Ti पर चलाने लायक छोटा और अच्छा model नहीं मिला
    यह model मुश्किल से usable speed पर चलने जितना छोटा है, प्रति सेकंड 1 token से थोड़ा ज़्यादा देता है, और अब तक GPT3.5 के लगभग करीब level का लगता है
  • अगर यह free है, तो पैसा कैसे कमाते हैं, जानना चाहूंगा

• मैं कहने वाला था कि Bard के चमकने का मौका है, लेकिन लगता है Bard भी outage का शिकार हो गया

  • Bard आज़माने गया, screen साफ-सुथरी थी और UI सच में बहुत अच्छा था
    responses भी अच्छी तरह organized और देखने में अच्छे लगे
    काश AI भी OpenAI जितना अच्छा होता
  • लगता है foil hat निकालनी पड़ेगी। यह coincidence तो हो ही नहीं सकता :D
  • "Something went wrong. Sorry, Bard is still experimental" दिख रहा है
    लगता है मौका गंवा दिया
  • Bard अभी भी बहुत डरा-सहमा है, और ऊपर से अभी international service भी नहीं है
  • लगता है वे आपस में बात करने लगे हैं

• अचानक शांत हो गए बातूनी लोगों के आधार पर, यह देखने के लिए अभी HN comments scrape करने का बढ़िया समय है कि कौन ChatGPT से HN comments लिख रहा था

  • हेहे। एक large language model के रूप में, मेरा मानना है कि बाकी इंसानों को इस इंसान की बात नहीं माननी चाहिए ;)

• आउटेज का पता चल गया
  ऐसा लगता है कि बहुत से लोग ChatGPT को साइकिल के सपोर्टिंग पहियों की तरह इस्तेमाल करते-करते, बिना सपोर्टिंग पहियों के चलाना भूल गए हैं

  • उस तुलना के हिसाब से यह सपोर्टिंग पहियों से ज़्यादा बैसाखी जैसा लगता है
    अगर उसके बिना चला ही नहीं सकते, तो आपने असल में कुछ ट्रेन नहीं किया
  • बल्कि यह कुछ ऐसा लगता है
    आप एक पारंपरिक मोटरसाइकिल बना रहे हैं, तभी कोई इलेक्ट्रिक साइकिल इंजन सुझाता है, और आप सोचते हैं कि अभी आपके पास internal combustion engine भी नहीं है, तो इससे demo या market launch जल्दी कर लेते हैं और बाद में असली engine से बदल देंगे
    लेकिन जब तक आप handlebar पूरा करते हैं, इलेक्ट्रिक साइकिल engine चार बार upgrade होकर किसी भी internal combustion engine से बेहतर हो चुका होता है। तब उसे बदलने की कोई खास वजह नहीं बचती
    बाजार तक पहुंचते-पहुंचते वह engine और कई बार update होकर पूरी तरह autonomous driving करने वाला और शायद उड़ने वाला भी हो सकता है
    ऊपर से उसमें self-replication तक संभव हो जाती है, इसलिए अब buyers को शायद आपकी जरूरत ही न रहे

• अब लाखों junior developers को manuals पढ़ने पड़ेंगे
  क्या शानदार दिन है

  • हैरानी होती है कि ChatGPT की ओर shift और उस पर dependency कितनी अचानक और पूरी तरह हो गई
    हमारे profession के आखिरी दिन हैं, मज़े कर लो
  • manuals पढ़ना तो dinosaurs का काम है, अब तो googling करनी चाहिए

• आज Bard इस्तेमाल करके देखा, काफी बेहतर हो गया है

  • उम्मीद है ऐसा ही हो
    Bard की समस्याएं अब भी चौंकाती हैं
    पिछले महीने उसने किसी fact के बारे में झूठ बोला, और जब मैंने ज्यादा detail में पूछा तो दावा किया कि उसने email भेजा है
    फिर उसने माफी मांगी कि असल में उसने email नहीं भेजा था और वह “जानता” था कि वह भेज नहीं सकता
    ऐसा दोस्त लगता है जो ‘मुझे नहीं पता’ नहीं कह पाता और उसकी जगह झूठ बोलता है
    मैंने पूछा था कि Lisbon की ‘Christ the King’ statue के अंदर कभी कोई market रहा है क्या, और मैं किसी local से सुनी अफवाह की पुष्टि करना चाहता था
    असल में ऐसा नहीं था, लेकिन Bard को विश्वास था कि था

• सौभाग्य से OpenAI के पास service-level agreement नहीं है: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

  • GPT का जबरदस्त fan होने के नाते कह रहा हूं, हैरानी होती है कि एक company के रूप में OpenAI कितना खराब है, और फिर भी हम उस भयानक platform पर कितनी जल्दी चढ़ गए
    9 महीने पहले नई job में मेरे work OpenAI account में login न कर पाने वाला एक bug था
    support request का जवाब देने में उन्हें 6 महीने लगे, और मुझे एक generic copy-paste जवाब मिला जिसका मेरी problem से कोई लेना-देना नहीं था
    हम बहुत ज्यादा पैसा खर्च कर रहे थे, लेकिन कोई response मिलना या phone पर बात करने के लिए कोई इंसान मिलना मुमकिन नहीं था
    आखिरकार मुझे colleagues से अपने लिए सारे keys बनवाने पड़े
    फिर करीब 8 महीने बाद एक दिन अचानक बिना किसी वजह के यह फिर से काम करने लगा
    उसके तुरंत बाद हम Azure OpenAI Service पर चले गए, क्योंकि किसी serious enterprise के इस्तेमाल के लिए OpenAI platform बेहद बुरी तरह खराब था