vibe coding से बने patient management app की security तबाही

• एक medical institution के कर्मचारी ने AI coding agent की मदद से खुद patient management system बनाया, और patient data इंटरनेट पर बिना encryption के उजागर हो गया
• इलाज के दौरान हुई बातचीत की रिकॉर्डिंग दो AI services को भेजी गई और उनका automatic summary बनाया गया, जबकि पूरे data पर read·write permissions खुली हुई थीं
• data अमेरिका के servers में store किया गया था, और इसे Data Processing Agreement (DPA) के बिना चलाया जा रहा था, साथ ही patients को पहले से इसकी जानकारी भी नहीं दी गई
• ऐसी कार्रवाई से Switzerland के nDSG data protection law और professional confidentiality obligation का उल्लंघन होने की आशंका है
• लेखक ने चेतावनी दी कि अगर AI coding सिर्फ vibe के स्तर पर रह गई, तो यह असुरक्षित भविष्य की ओर ले जाएगी

---

AI से बने patient management app की security तबाही

• एक medical institution के कर्मचारी ने AI coding agent का उपयोग करके खुद patient management system बनाया
  • मौजूदा patient data पूरा का पूरा import करके इंटरनेट पर publicly deploy कर दिया
  • consultation के दौरान बातचीत रिकॉर्ड करने की सुविधा जोड़ी गई, और उसे दो AI services को भेजकर automatic summary feature बनाया गया
• नतीजा यह हुआ कि सभी patient data बिना encryption के इंटरनेट पर उजागर थे
  • लेखक ने सिर्फ 30 मिनट में पूरे data पर read·write permissions हासिल कर लीं
  • समस्या की रिपोर्ट करने पर जवाब में AI द्वारा अपने-आप बनाया गया धन्यवाद संदेश मिला
• data अमेरिका के servers में store था, और इसे Data Processing Agreement (DPA) के बिना चलाया जा रहा था
  • voice recording files भी अमेरिका स्थित AI कंपनियों को भेजी जा रही थीं
  • patients को इस data processing के बारे में पहले से सूचित नहीं किया गया था
• यह कार्रवाई Switzerland के nDSG (data protection law) और professional confidentiality obligation (Berufsgeheimnis) का उल्लंघन हो सकती है
  • लेखक कानूनी विशेषज्ञ नहीं हैं, लेकिन उनका मानना है कि कई प्रावधानों का उल्लंघन हुआ है
• चेतावनी दी गई कि अगर AI coding सिर्फ 'vibe' के स्तर पर रह गई, तो यह असुरक्षित भविष्य की ओर ले जाएगी

तकनीकी पृष्ठभूमि

• application एक single HTML file से बना था
  • सारा JavaScript, CSS और structure code inline शामिल था
  • backend में बिना किसी access control वाला managed database service इस्तेमाल किया गया
• access control logic सिर्फ client-side JavaScript में मौजूद था
  • सिर्फ एक लाइन के curl command से भी data access किया जा सकता था
• सभी voice recording files सीधे external AI API को भेजी जाती थीं, जहां transcription और summarization किया जाता था
• सिर्फ इतना ही देखने से गंभीर security failure साफ दिखाई देता है

आगे का संकेत

• AI coding tools का उपयोग करते समय code structure और architecture को समझने की क्षमता जरूरी है
• सिर्फ “AI के साथ coding vibe लेने” वाला तरीका खतरनाक नतीजे पैदा कर सकता है
• AI development tools के तेज़ी से फैलने के दौर में बुनियादी security awareness और technical understanding अनिवार्य है

[xguru]

खैर, पहले से ही... GitHub पर OPENAI_API_KEY खोजकर देखो, तब भी ऐसे बहुत सारे सीधे मिल जाते हैं..

[tangokorea]

ऐसा चलते-चलते शायद वह दौर भी आ जाए जब vibe coding का सर्टिफिकेट लेना पड़े..

[claudemd]

AI के ज़रिए विशेषज्ञ होने का दिखावा करने वाले लोग बहुत बढ़ गए हैं, और जब वे बोलना शुरू करते हैं तो दुनिया बहुत ही अव्यवस्थित लगने लगती है
...

[click]

कोरिया में भी Information Protection Act और Medical Service Act की धारा 21(2) के अनुसार, मेडिकल संस्थानों के कर्मचारियों को ऐसी परिस्थितियों को छोड़कर जो अपवाद श्रेणी में आती हों, मरीजों के रिकॉर्ड किसी अन्य व्यक्ति को देखने की अनुमति नहीं है।
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…

कोरिया के पिछड़े information security माहौल की वजह से सब लोग network separation को मानते हैं, इसलिए शायद अच्छी बात यह है कि बड़े अस्पतालों में ऐसे हादसे कम होते दिखते हैं।
मरीजों के रिकॉर्ड देखने का माहौल internal network पर होता है, इसलिए security के बारे में अनजान उपयोगकर्ताओं के लिए commercial AI services को सीधे जोड़ना आसान नहीं होता।
इंटरनेट नेटवर्क से सीधे जुड़े प्राथमिक स्तर के क्लीनिकों में क्या-क्या हो रहा होगा, पता नहीं, हाहा

[antegral]

PHI के साथ हमेशा सावधान रहें... फिर से सावधान रहें...

[parkindani]

मैंने भी अपने दोस्त को Claude Code के बारे में बताया था, और करीब दो हफ्ते बाद उसने कहा, मैंने कुछ बना लिया!! लेकिन वहाँ भी बिल्कुल यही स्थिति पैदा हो गई थी.

[kiga183]

सुना है कि security vulnerabilities खोजने वाली तकनीक में भी काफ़ी क्रांतिकारी प्रगति हुई है.
क्योंकि किसी vulnerability का पता चलने का मतलब है कि उसे secure करने के तरीकों की ज़रूरत भी पैदा हो गई है.
लगता है कि security methods भी बेहतर होते जाएंगे.

[woung717]

फ़िलहाल गैर-विशेषज्ञों को शायद यह भी पता नहीं होगा कि ऐसी चीज़ें मौजूद हैं, या उनकी ज़रूरत क्यों है।

[carnoxen]

ऐसी स्थिति में तो यह और भी ज़्यादा एहसास होता है कि computer science सीखनी चाहिए।

[ryj0902]

मुझे लगता है कि यह वाकई मुद्दे के बिल्कुल केंद्र पर चोट करने वाली अभिव्यक्ति है।

[GN⁺]

Hacker News की राय

• स्पेन में मैंने ऐसा ही कुछ देखा था। हेल्थकेयर में नहीं, एक छोटी insurance company में, और यकीन करना मुश्किल है, लेकिन उन्होंने भी vibe-coding से CRM बनाया था
  मैंने ईमेल से समस्या बताई तो उन्होंने मुझ पर मुकदमा करने की धमकी दी। बेतुका था, लेकिन आखिरकार मैंने AEPD (स्पेन का डेटा संरक्षण प्राधिकरण) में शिकायत दर्ज कर दी। यह संस्था काफ़ी सख्त मानी जाती है
  पिछले शुक्रवार मैंने अपनी personal data deletion की मांग करते हुए एक burofax भी भेजा

  • Wi‑Fi के शुरुआती दौर में मैंने कुछ ऐसा ही देखा था। मैं एक open network से जुड़ा, और बाद में पता चला कि वह एक law firm थी। सारे कंप्यूटर Samba से जुड़े थे और पूरा C: drive share किया हुआ था
    मैंने README.txt से समस्या बताई, लेकिन कुछ नहीं बदला। सोचा था सीधे जाकर ठीक कर दूँ और शायद इसे अपनी पहली नौकरी बना लूँ, लेकिन उल्टा वे ही नाराज़ हो गए। उनका कहना था कि वे पहले से एक महँगी outsourcing company को पैसे दे रहे हैं और मैंने घुसपैठ की है। मैं तुरंत वहाँ से निकल आया
  • AEPD इतनी ताकतवर है, यह सुनकर ईर्ष्या होती है। काश दूसरे देशों में भी ऐसी संस्थाएँ होतीं
  • इस thread में आगे की अपडेट देते रहना
  • एक व्यक्ति एक बार जलकर सीखता है, लेकिन कंपनियाँ कभी नहीं सीखतीं
  • ऐसे app बनाने वाले लोग अक्सर data privacy regulations के बारे में कुछ नहीं जानते
    मेरे small business forum में भी एक व्यक्ति AI से खुद app बनाने पर शेखी बघार रहा था। लेकिन उसे अपनी कानूनी ज़िम्मेदारी का ज़रा भी अंदाज़ा नहीं था, और जब Reddit पर developers ने कहा कि “किसी असली developer को hire करो”, तो वह गुस्सा हो गया। अब वह मानता है कि developers विलुप्ति के कगार पर पड़ी प्रजाति हैं

• LinkedIn पर तकनीक न समझने वाले salesmen लगातार यह कह रहे हैं कि AI हर समस्या का समाधान है
  ऐसे माहौल में लगता है कि किसी दिन बहुत बड़ा हादसा होगा

  • लोग इसे “coding की Hindenburg” तक कह रहे हैं
  • बुरी चीज़ें तो पहले से हो रही हैं, अब देखना होगा कि अगली पीढ़ी के models इस स्थिति को कैसे बदलते हैं

• vibe-coding आकर्षक है, लेकिन इसकी सीमाएँ जल्दी सामने आ जाती हैं
  कुछ हज़ार lines के बाद structure टूटने लगता है, और असली systems उससे कहीं ज़्यादा जटिल होते हैं। आखिरकार software engineering की बुनियाद चाहिए ही
  prototype या internal tools के लिए ठीक है, लेकिन असली production में यह जोखिम भरा है। मैं अपना data ऐसे system को नहीं सौंपना चाहूँगा

  • कई तरह के memory management tricks और code indexing tools हैं, लेकिन आखिर में सबसे ज़्यादा काम Jira जैसे mature management tools ही आते हैं
    मैं Jira Rovo MCP का इस्तेमाल करके Claude Code से design और documentation बनाता हूँ, फिर manually review करने के बाद नई session में implementation कराता हूँ
    LLM में context बढ़ने के साथ उसकी समझ घटती जाती है, इसलिए context status bar settings का इस्तेमाल ज़रूर करना चाहिए
  • असल में यह तरीका अक्सर टूट जाता है। उल्टा यह technical debt को पहचाने बिना code changes स्वीकार करता रहता है, इसलिए नतीजा और खराब होता है
    मैंने local पर Gemma 4 टेस्ट किया था। वह धीमा था, लेकिन cloud models जितना शक्तिशाली लगा। इसका फ़ायदा यह है कि data बाहर नहीं जाता
  • अगर आप Claude Code से खुद app बनाकर देखें, तो पता चलता है कि बुनियादी जानकारी कम होने पर भी चीज़ें चल जाती हैं। करीब 20,000 lines तक यह ठीक रहा। बस feedback देने वाला कोई होना चाहिए

• कुछ महीने पहले मैंने एक surgeon द्वारा बनाया गया vibe-coded web app देखा था
  वह चलता तो था, लेकिन root directory में index.html नहीं था, और backup files में DB connection info और AWS keys जस की तस पड़ी थीं
  सिर्फ एक खाली index.html जोड़ने से समस्या हल हो जाती, लेकिन न developer को और न AI को वजह समझ आई
  app अपने आप में प्रभावशाली था, लेकिन उसमें बुनियादी security mistakes बहुत थीं। किसी अनुभवी DevOps ने एक बार देख लिया होता तो काफ़ी था

  • दिलचस्प बात यह थी कि AI ने मुश्किल हिस्से, जैसे password hashing और schema design, अच्छे किए थे, लेकिन जहाँ operational sense चाहिए था, वहाँ गलती की
    आखिरकार AI वह नहीं जानता जो उससे पूछा ही नहीं गया। अनुभवी developers को पुरानी असफलताएँ याद रहती हैं, लेकिन vibe-coder के पास सिर्फ prompt होता है
  • असली समाधान सिर्फ indexing बंद करना नहीं है, बल्कि ऐसी architecture बनाना है जिसमें server credentials files तक पहुँच ही न सके
  • ऐसी समस्याएँ रोकने के लिए Agent-Native DevOps tools चाहिए। deployment और billing को automate करने वाले standards बनने चाहिए

• “सारा access control logic client-side JavaScript में था” — यह सच में सबसे बुरा हाल है
  यह AI का लापरवाही से इस्तेमाल करने वाले गैर-विशेषज्ञ का क्लासिक उदाहरण है।
  AI को production काम में लगाते समय ज़िम्मेदारी और risk को समझना ज़रूरी है

  • Claude या opencode जैसे tools असल में brute-force coding harness हैं
    अगर सही workflow control और output validation न हो, तो ऐसी समस्याएँ आती रहेंगी। अभी LLM का wild west era चल रहा है
  • समस्या AI नहीं, बल्कि बुद्धिमान इंसान की कमी है। मैंने पहले भी एक healthcare company देखी है जहाँ frontend सीधे backend को SQL queries बताता था

• मुझे लगता है कि software engineering में अब professional licensing system होना चाहिए
  जैसे पुल या इमारत design करने के लिए certification चाहिए, वैसे ही critical systems बनाने वाले developers के लिए भी कुछ मानक होने चाहिए

  • लेकिन ऐसी संस्थाएँ अक्सर सिर्फ gatekeeper बन जाती हैं। कानून और certification systems पहले से मौजूद हैं, असली समस्या enforcement की है
  • personal data handling जैसे मामलों में काफ़ी कानून पहले से हैं। बस awareness की कमी है। लगता है जल्द ही वरिष्ठ स्तर पर सज़ा के मामले देखने को मिलेंगे
  • मैं भी regulation के पक्ष में हूँ। software एक गंभीर क्षेत्र है, और मौजूदा AI craze को रुकना चाहिए
  • समस्या qualification नहीं, अज्ञानता है। जो व्यक्ति medical data management तक नहीं समझता, वही system बना रहा था
    आखिर समय के साथ AI और privacy की समझ बैठ जाएगी, ऐसा मेरा मानना है
  • सच तो यह है कि ज़्यादातर देशों में कानून और standards पहले से हैं। यह मामला तो उन्हें पूरी तरह नज़रअंदाज़ करने का है

• यह पोस्ट इतनी अस्पष्ट है कि काल्पनिक लगती है

  • मैं लेखक को जानता हूँ, वह झूठ बोलने वालों में से नहीं है। ठोस जानकारी छिपाना समझदारी है
  • company का नाम उजागर न करना नैतिक रूप से सही है। पुष्टि से पहले यह जोखिम भरा होता
  • किसी ने मज़ाक में कहा कि शायद यह AI-generated clickbait भी हो सकता है
  • फिर भी इसकी सामग्री वैसी नहीं लगती जैसी आमतौर पर AI का लिखा code होता है। इसकी structure और security mistakes beginner code के ज़्यादा करीब हैं। और सबूत चाहिए
  • यह कुछ ज़्यादा ही विश्वसनीय दिखाने के लिए गढ़ी गई कहानी लगती है, जबकि इसकी fact-checking लगभग असंभव है

• अगर AI को implementation छिपाने के लिए train किया जाए, यानी client को thin रखा जाए और OAuth authentication इस्तेमाल हो, तो क्या चीज़ें बेहतर होंगी?
  ऐसी साधारण गलतियाँ तो आसानी से रोकी जा सकती हैं। लेकिन लक्ष्य अब भी developer replacement ही है
  और इससे भी बुरी बात यह है कि लोग मानने लगे हैं कि “कठिन चीज़ें सीखना अलाभकारी है”
  मैं cryptography में काम करता हूँ, और कुछ students मानते हैं कि security technology को जल्द ही AI बदल देगा। इसलिए मैं उन्हें simple web authentication implement करने को कहता हूँ ताकि हक़ीक़त दिखे

• मेरी जानकारी में एक accounting firm भी Lovable से खुद CRM बना रही है। वहाँ कोई technical staff नहीं है
  आने वाली विनाशकारी स्थिति साफ़ दिख रही है

  • CRM में reliability सबसे अहम है, फिर भी लोग उसे खुद बनाने पर क्यों तुले रहते हैं, यह समझ नहीं आता

• बाकी high-risk industries में double-check systems होते हैं। pilot के साथ co-pilot, surgeon के साथ checklist, nuclear plant में independent verification
  लेकिन software अपवाद रहा है, और vibe-coding तो जो थोड़ी बहुत समझ-आधारित verification थी, उसे भी हटा देता है

  • code review होता तो है, लेकिन ज़्यादातर औपचारिकता भर होता है। पहले का QA phase बेहतर था, मगर cost और speed के कारण गायब हो गया है