ChatGPT की गलती से $10,000 का नुकसान

ChatGPT की एक गलती से $10,000+ का नुकसान

कमाई शुरू करने की प्रक्रिया 🛣️

• पृष्ठभूमि: startup के शुरुआती चरण में monetization शुरू किया गया।
• pricing: YC group partner की सलाह पर इसे $40 प्रति माह तय किया गया।
• tech stack: NextJS से Python/FastAPI पर migration किया गया। Stripe integration पूरा किया गया।

$10,000 के नुकसान की वजह 💰

• समस्या की शुरुआत: subscription feature में infinite loading spinner की समस्या आई।
• समस्या का समाधान: 5 दिनों तक अनगिनत email और logs का विश्लेषण करने के बाद समस्या का पता चला।
• कारण: ChatGPT द्वारा जनरेट किए गए code में ID generation के तरीके में गलती थी। एक fixed ID string के इस्तेमाल से ID collision हुआ।

bug पकड़ना 🐛

• समस्या का विवरण: fixed ID string के इस्तेमाल की वजह से ID collision हुआ। AWS ECS पर कई instances चल रहे थे, इसलिए दिन में कोई समस्या नहीं दिखी, लेकिन रात में collision हुआ।
• समाधान: fixed ID की जगह UUID generation function का इस्तेमाल किया गया। समस्या हल होने के बाद सिस्टम स्थिर हो गया।

निष्कर्ष 🤖

• सीख: test की कमी, code copy-paste करना, और सीधे main branch पर commit करने जैसी गलतियों को स्वीकार किया गया।
• अनुभव: यह दर्दनाक अनुभव था, लेकिन startup के एक महत्वपूर्ण क्षण के रूप में याद रहेगा।

GN⁺ की राय

• test का महत्व: पर्याप्त unit test और integration test ज़रूरी हैं।
• code review: code copy-paste करने के बजाय code review और verification महत्वपूर्ण हैं।
• deployment strategy: सीधे main branch पर commit करने के बजाय अलग branch का इस्तेमाल करना और code review से गुजरना बेहतर है।
• समस्या-समाधान क्षमता: समस्या को जल्दी पहचानने और हल करने की क्षमता महत्वपूर्ण है।
• tech stack का चयन: tech stack में बदलाव सोच-समझकर plan और test करने चाहिए।

[znjadong]

अरे, AI द्वारा अपने-आप जनरेट किया गया कोड तो हमेशा review करना चाहिए, उसे वैसे का वैसा क्यों इस्तेमाल करते हैं?

[GN⁺]

Hacker News की राय

• पहली राय: गलती तुरंत पकड़ ली गई थी। कारण टीम की विशेषज्ञता की कमी थी। अगर monitoring solution इस्तेमाल किया गया होता, तो इसे आसानी से पकड़ा जा सकता था।
• दूसरी राय: ChatGPT की वजह से ऐप ने revenue कमाया। coding, debugging, logging और monitoring skills की कमी ही $10,000 के नुकसान का कारण बनी।
• तीसरी राय: monitoring की कमी $10,000 के नुकसान का कारण थी। database exception हुआ था, लेकिन कोई alert नहीं था। अगर alert होता, तो इसे 5 मिनट में ठीक किया जा सकता था।
• चौथी राय: Python की default argument evaluation strategy की समस्या की ओर इशारा किया गया। यह function definition के समय evaluate होती है। संभव है कि यह efficiency के लिए जानबूझकर ऐसा किया गया हो। Python में list creation के तरीके को भी समस्या बताया गया।
• पाँचवीं राय: इंसान भी अक्सर वही गलती करते हैं। खासकर React/TypeScript/JavaScript में lambda का इस्तेमाल भूल जाना आम है। उनका मानना है कि ब्लॉग पोस्ट ने समस्या की जड़ को ठीक से नहीं समझाया।
• छठी राय: गलती आसानी से हो सकती है। लेकिन पहली failure के बाद भी यह क्यों नहीं पकड़ी गई, यह समझ से बाहर है। सवाल उठता है कि क्या logging नहीं थी।
• सातवीं राय: इस समस्या को सार्वजनिक करना कुछ भोला-भाला लगता है। ChatGPT को दोष देने की कोई वजह नहीं है। इससे code review service का एक idea याद आता है।
• आठवीं राय: यह समस्या time constraint की वजह से हुई। ऐसे constraint की वजह से software subscription से डर लगता है।
• नौवीं राय: बिना customers के ही पूरे rewrite को जायज़ ठहराने वाले startup को समझना मुश्किल है।
• दसवीं राय: LLMs का सही इस्तेमाल जानना मतलब यह जानना है कि उन्हें कब और कैसे इस्तेमाल करना है। ChatGPT का जवाब ठीक था, लेकिन एक खास line पर सभी users को delete करने की सलाह देखकर बड़ा सबक मिला।

हर राय software development process में होने वाली समस्याओं और उनके समाधान पर अलग-अलग नज़रिया देती है। यह शुरुआती software engineer के लिए उपयोगी insight दे सकती है।