सामान्य software में सही लेकिन AI में गलत मान्यताएँ

 (boydkane.com)
7 पॉइंट द्वारा GN⁺ 2025-10-15 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • बहुत से लोग सामान्य software और AI के बीच का अंतर गलत समझते हैं
  • आम लोग अक्सर AI के जोखिम को पारंपरिक software के ‘bug’ की अवधारणा से गलत समझते हैं, और इससे समस्या-समाधान के तरीके को लेकर गलत भरोसा पैदा होता है
  • AI की त्रुटियाँ code से नहीं बल्कि training data से पैदा होती हैं, और उसके विशाल पैमाने के कारण इंसान यह समझ नहीं सकता कि कौन-सा data समस्या पैदा कर रहा है
  • पारंपरिक software की तरह bug खोजकर उसे “ठीक” या “reproduce” नहीं किया जा सकता, और AI का व्यवहार non-deterministic होता है; input में छोटे बदलाव से भी नतीजे बदल जाते हैं
  • specification-आधारित development लगभग असंभव है, और AI की क्षमता या जोखिम का पहले से अनुमान लगाना संभव नहीं; कभी-कभी अनजाने में छिपी हुई क्षमताएँ बाद में पता चलती हैं
  • इसलिए “समस्या आए तो ठीक कर देंगे” जैसी पारंपरिक IT सोच AI safety की चर्चा में एक खतरनाक भ्रम बन जाती है

सामान्य software के बारे में ज्ञान की सीमाएँ

  • बहुत से आम लोग और manager computer software के जोखिमों के बारे में इस विश्वास के साथ चलते हैं कि "समस्याग्रस्त code (bug) को ठीक किया जा सकता है"
  • लंबे समय तक software industry ने यह बात सफलतापूर्वक स्थापित की कि code bug वास्तविक दुनिया को नुकसान पहुँचा सकते हैं
  • सामान्य software में bug होते हैं, लेकिन जटिल होने पर भी यह ठीक किए जा सकने वाला क्षेत्र है
  • लेकिन यह approach और mindset AI पर लागू नहीं होते, और यही भ्रम और गलतफहमी पैदा करता है

विशेषज्ञों और गैर-विशेषज्ञों के बीच समझ का अंतर

  • सामान्य software और AI software काम करने के तरीके और समस्याएँ पैदा होने के ढंग में मूल रूप से अलग हैं
  • विशेषज्ञ इस अंतर को इतना स्वाभाविक मान लेते हैं कि उसे समझाते नहीं, और शुरुआती लोग अपने-आप यह फर्क समझ नहीं पाते
  • नतीजतन, दोनों पक्षों को एक-दूसरे से संवाद करने में कठिनाई होती है

सामान्य software से जुड़ी वे मान्यताएँ जो AI पर गलत ढंग से लागू की जाती हैं

  • 1. software vulnerabilities code की गलती से पैदा होती हैं

    • सामान्य software के bug ज़्यादातर code लिखने की गलतियों से पैदा होते हैं
    • लेकिन AI में vulnerabilities या unpredictability लगभग पूरी तरह training data से पैदा होती हैं
    • उदाहरण के लिए, FineWeb dataset जैसे अरबों शब्दों वाले data को पूरा का पूरा इंसान द्वारा समझ पाना असंभव है
    • AI जिन विशाल data पर train होता है, उसकी वजह से उसने क्या सीखा है इसे पूरी तरह समझना मुश्किल है, और जोखिम कारकों की पहचान लगभग असंभव है

  • 2. code का विश्लेषण करके bug ढूँढे जा सकते हैं

    • पारंपरिक software में code का विश्लेषण करके bug के कारण को तार्किक रूप से trace किया जा सकता है
    • AI की समस्याएँ training data के जटिल संयुक्त प्रभाव से पैदा होती हैं, इसलिए data में वास्तविक कारण खोजना व्यावहारिक रूप से असंभव है
    • शोधकर्ता आमतौर पर AI को फिर से train करने या अतिरिक्त data जोड़ने से समस्या को कमज़ोर करने की कोशिश करते हैं, लेकिन तार्किक tracing से सीधे कारण तक पहुँचना कठिन है
    • AI के bug का कारण खुद developers को भी ठीक-ठीक पता नहीं होता

  • 3. bug ठीक कर दिया जाए तो वह फिर कभी नहीं दिखता

    • software में किसी bug को ठीक कर देने के बाद वही bug ठीक उसी रूप में दोबारा reproduce नहीं होता
    • लेकिन AI में “bug” को ठीक करने के बाद भी जिन inputs का परीक्षण नहीं हुआ, उनमें वही समस्याग्रस्त व्यवहार फिर से सामने आ सकता है
    • यह भरोसे के साथ नहीं कहा जा सकता कि AI के असामान्य व्यवहार को पूरी तरह हटा दिया गया है

  • 4. एक ही input पर हमेशा एक ही result आता है

    • सामान्य software एक ही input पर हमेशा एक ही output देता है
    • AI भी तकनीकी रूप से ऐसा कर सकता है, लेकिन बहुत छोटे input बदलावों (जैसे punctuation) से भी परिणाम पूरी तरह बदल सकते हैं
    • वास्तव में कई बड़े AI कंपनियाँ एक ही prompt पर भी थोड़ा अलग output देने के लिए design करती हैं, ताकि वह कम मशीन-जैसा लगे

  • 5. स्पष्ट requirements दे दी जाएँ तो उन्हें पूरा किया जा सकता है

    • सामान्य software में स्पष्ट specification और requirements तय कर दी जाएँ, तो उन्हें पूरा करने का तरीका होता है
    • लेकिन AI में designer जिस समग्र व्यवहार की इच्छा रखता है, उसे स्पष्ट रूप से नियंत्रित या guarantee नहीं किया जा सकता
    • सीमित दायरे में (जैसे English में बोलना, code लिखना आदि) कुछ हद तक explicit control संभव है, लेकिन हर तरह के व्यवहार (जैसे अपराध को बढ़ावा न देना) की guarantee का कोई तरीका नहीं है
    • AI service जारी होने के बाद कभी-कभी ऐसी छिपी हुई क्षमताएँ या जोखिम भी संयोग से मिलते हैं जिनके बारे में developers को भी पता नहीं था
    • AI safety की पूर्ण guarantee और prediction असंभव है

आगे बढ़ने की दिशा

  • software के बारे में गलत सामान्यीकरण AI पर भरोसे और जोखिम के आकलन को विकृत कर देता है
  • AI कैसे काम करता है, उसकी सीमाएँ क्या हैं, और सामान्य software से उसका अंतर क्या है—यह सहकर्मियों के साथ व्यापक रूप से साझा करना महत्वपूर्ण है
  • कम-ज्ञात AI की विशिष्ट संरचनात्मक भिन्नताओं को समझाना और यह बताना ज़रूरी है कि साधारण "bug patch" approach यहाँ काम नहीं करती

विशेषज्ञों और शुरुआती लोगों के बीच समझ की खाई

  • अगर इस लेख के जरिए आपको पहली बार AI और सामान्य software के बीच का मूलभूत अंतर समझ में आया है, तो इसे अपने परिचितों के साथ साझा करें
  • अगर आप यह अंतर पहले से जानते थे, तो किसी आम व्यक्ति या गैर-विशेषज्ञ से एक बार इस पर बात करना अच्छा होगा
  • वास्तव में, बहुत से लोग यह नहीं जानते कि ये दोनों चीज़ें मूल रूप से अलग हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-10-15
Hacker News राय

  • अगर यह समझना हो कि LLM का सही मायने में उपयोग करने में क्या कठिनाइयाँ हैं, तो Apple का मामला देखना अच्छा रहेगा। एक साल पहले Apple ने Apple Intelligence नाम से बड़ा ऐलान किया था और LLM-आधारित agent workflow पर ज़ोर दिया था, लेकिन उसके बाद emoji creation, notification summary और document proofreading जैसे कुछ छोटे टूल ही जुड़े। notification summary फीचर भी कुछ समय तक इतना ‘काबू से बाहर’ था कि उसे वापस लेना पड़ा था संबंधित लेख। इस साल के iPhone event में भी AI marketing काफ़ी कम कर दी गई। लगता है Apple के executives ने इस बात को कम आंका कि LLM को Apple जैसी polish और control के स्तर तक ले जाना कितना मुश्किल है

    • कभी-कभी लगता है कि क्या Apple ने Liquid Glass को AI से design कराया था। पहली नज़र में यह शानदार लगा, लेकिन असल में इस्तेमाल लायक नहीं निकला
    • notification और email summary फीचर सच में बेकार थे। अहम हिस्सों को खुद जल्दी से देख लेना उल्टा ज़्यादा आसान लगा
    • अब Apple, MCP का उपयोग करके Apple Events integration पर फोकस करने वाली रणनीति आगे बढ़ा रहा है संबंधित लिंक
    • LLM की इन कठिनाइयों को कम करके आँकने की बात सिर्फ Apple तक सीमित नहीं है, यह पूरे industry की कहानी है। Amodei जैसे leaders हर release के साथ human-level cognition का वादा करते रहे हैं, जिससे executives की AI expectations ज़रूरत से ज़्यादा फूल गई हैं। लेकिन हकीकत में coding assistant या chatbot के अलावा, smartphone या OS जैसे high-polish ecosystem में AI ने सचमुच बड़ा बदलाव किया हो, ऐसे उदाहरण अभी भी ढूँढना मुश्किल है
    • विडंबना यह है कि मैं Siri से सच में बस ChatGPT-स्तर की natural conversation चाहता हूँ। GPT के साथ मैं लगभग 90% तक बातचीत कर सकता हूँ, लेकिन Siri 1) या तो जवाब ही नहीं देती, 2) गलत समझती है, 3) समझकर भी बातचीत से मना कर देती है। ऐसा अनुभव सच में निराशाजनक है

  • यह वाक्य खास तौर पर बहुत सही लगा:

    while it’s possible to demonstrate the safety of an AI for a specific test suite or a known threat, it’s impossible for AI creators to definitively say their AI will never act maliciously or dangerously for any prompt it could be given

    MCP जैसे तरीकों को लागू करने पर, ऐसे जोखिमों की संभावना घातीय रूप से बढ़ जाती है MCP लिंक

  • लगता है कि सबसे बड़ा prerequisite छूट गया है। सामान्य software में भी यह हमेशा लागू नहीं होता, लेकिन AI में यह और भी ज़्यादा महत्वपूर्ण है: “same input से same output आना चाहिए।” automation process में reliability के लिए यह ज़रूरी है

  • अक्सर कहा जाता है कि AI bug डेटा की समस्या की वजह से होते हैं, लेकिन यह पूरी तरह सही नहीं है। चाहे LLM architecture या training data में कोई साफ़ गड़बड़ी न दिखे, LLM मूल रूप से non-deterministic होते हैं, इसलिए algorithm design के हिसाब से एक ही सवाल का हमेशा एक जैसा जवाब नहीं आता। scenario के अनुसार हर बार नतीजा पासा फेंकने जैसा बदल सकता है

    • यह हमेशा समस्या नहीं होती। programming या math problems, दोनों में कई सही जवाब हो सकते हैं। समस्या यह है कि LLM के पास सही उत्तर की गारंटी देने वाली कोई प्रक्रिया नहीं होती, और वह heuristic के आधार पर ऐसे उत्तर बनाता है जो ‘सही लगते’ हैं। इसलिए जहाँ logical reasoning चाहिए, वहाँ LLM software bugs और errors काफ़ी पैदा करते हैं

  • “आख़िरकार समय के साथ सारे bugs ठीक हो जाएँगे और AI की reliability बढ़ जाएगी” — ईमानदारी से कहूँ तो यह बात ज़्यादा सही लगती है। यह तकनीक खुद अभी पूरी तरह नई है, और HN पर अक्सर दिखने वाला “non-deterministic = कचरा” वाला नज़रिया भी पिछले 2 साल में LLM reliability के 10 गुना बढ़ने को देखते हुए कुछ ज़्यादा कठोर लगता है

    • प्रदर्शन निश्चित रूप से बेहतर हुआ है, लेकिन मुझे लगता है आगे growth curve logarithmic होगी। अगले कुछ सालों तक तेज़ सुधार होगा, फिर गति धीमी पड़ जाएगी, और अंततः मौजूदा pattern-matching ML की सीमाओं तक पहुँच जाएगी। और मुझे नहीं लगता कि वह सीमा इतनी ऊँची होगी कि software companies में programmers को पूरी तरह replace कर सके
    • AI में ‘intent misalignment’ और power-seeking की समस्या ऐसे bugs नहीं हैं जिन्हें सिर्फ PR या unit tests से हल किया जा सके
    • विडंबना से, Hacker News के तकनीकी रूप से सक्षम लोग भी “आख़िर में सारे bugs ठीक हो जाएँगे” वाली आशावादिता दोहराते रहते हैं। ऐसा रवैया community के कई हिस्सों में दिखता है
    • अगर यह सोचा जाए कि क्या इंसान पहले से ज़्यादा reliable हो गए हैं, तो जवाब शायद नहीं ही होगा। बेशक LLM इंसान नहीं हैं, लेकिन AGI इंसानों की तरह व्यवहार कर सकता है

  • “AI system का हर गलत व्यवहार training data से ही आता है” — इस सोच के साथ थोड़ा सावधान रहना चाहिए। भले ही data और training process परफ़ेक्ट हों, AI model की संरचना ऐसी हो सकती है कि वह फिर भी लगातार गलतियाँ करे

  • अच्छा होता अगर “AI bug” किस तरह की परिस्थितियों में दिखते हैं, यह थोड़ा और साफ़ समझाया जाता। मैं इस बात से सहमत हूँ कि LLM को real-time, unsupervised decision-making नहीं सौंपनी चाहिए। उदाहरण के लिए, मुझे नहीं लगता कि अभी AI को शहर के traffic lights नियंत्रित करने देना चाहिए। लेकिन engineer के नज़रिये से AI bug का मुद्दा ज़्यादातर ‘coding agents’ के संदर्भ में चर्चा में आता है, और इन क्षेत्रों में लगभग हमेशा supervision होती है, इसलिए यह चिंता सीधे उसी रूप में लागू नहीं होती

  • यह समझाना ज़रूरी है कि “AI कभी-कभी चौंकाने वाली तरह से अच्छा काम करता है, और कभी निराश करता है; और testing के बिना आप यह कभी नहीं जान सकते।” लेकिन हर case को test करना असंभव है। यह बात समझ में आने पर customer testing की सीमा या control माँगेंगे, और providers ऐसे environments पर ध्यान देंगे जिन्हें verify किया जा सके (जैसे code writing), या ऐसे क्षेत्रों पर जहाँ precision का ज़्यादा मतलब नहीं है (text, meme generation)। अगर आप AI समर्थक हैं, तो इस हिस्से की गहरी समझ होना सच में बड़ी ताकत है। दूसरी तरफ़, लोगों को AI bugs, specs, या पारंपरिक programming model के टूटने में ज़्यादा दिलचस्पी नहीं होती; लेकिन अगर AI चुनावों को प्रभावित करे या mass layoffs जैसी समस्या पैदा करे, तो भारी शत्रुता और regulation की माँग उठेगी। अगर ऐसा हुआ, तो industry अब तक विकसित किए गए liability-avoidance और regulation-avoidance तरीकों (disclaimers, carve-outs, arbitration clauses आदि) के सहारे टिकने की कोशिश करेगी, और अंततः कुछ आकस्मिक बड़े हादसों के बाद industry growth और पूरी पीढ़ी के investment तक ख़तरे में पड़ सकते हैं

  • AI के बारे में सचमुच खतरनाक चीज़ ‘concentrated power’ है। यह डर कि इंसानों जैसी भावनाओं वाला AI हमें Matrix की battery की तरह ट्रीट करेगा, उससे यह कहीं ज़्यादा वास्तविक है

    • असलियत यह है कि CEO और executives पहले ही हमें Matrix की battery की तरह ट्रीट करने वाला माहौल बना चुके हैं
    • मेरे हिसाब से इससे भी डरावनी चीज़ information pollution है। AI द्वारा बनाए गए बेकार data की वजह से मूल जानकारी इतनी पतली और धुँधली हो जाती है कि काम की source ढूँढना ही मुश्किल होने लगता है
    • किसी बुरी चीज़ के होने के लिए ‘power concentration’ एक आवश्यक शर्त है। यानी यह उसी तरह है जैसे “Linda एक banker है” का “Linda एक banker है और feminist activist भी है” से संभाव्यता में अधिक होना। P(a) > P(a&b), यही सार है
    • भले ही AI में “नापसंद” जैसी भावनाएँ न हों, अगर वह अपने लक्ष्य हासिल करने में इंसानों को बाधा माने, तो वही अपने आप में खतरनाक हो सकता है। superintelligence बिना भावनाओं के भी पर्याप्त रूप से खतरनाक हो सकती है
    • सबसे बड़ी समस्या तो यह है कि शक्ति पहले ही एक तरफ़ बहुत बड़े पैमाने पर केंद्रित है, और AI तो बस आख़िरी सजावट जैसा है। असली समस्या AI नहीं है

  • मैं आजकल लगातार लोगों को यह बताने की कोशिश कर रहा हूँ कि “कोई भी ठीक-ठीक नहीं जानता कि AI कैसे काम करता है।” कुछ बनाना और उसके सिद्धांत को समझना अलग बातें हैं — मैं इस बात पर ज़ोर देना चाहता हूँ। इंसानों के साथ भी यही सच है

    • इंसान हमेशा ऐसे लोगों के साथ काम करते और सहयोग करते हैं जिन्हें वे पूरी तरह नहीं समझते
    • दरअसल ऐसे विशेषज्ञ ज़रूर हैं जो neural networks, transformer, attention, embeddings, tokenizer architecture तक को ठीक-ठीक समझते हैं। बस neurons के बीच connection weights को साफ़-साफ़ explain नहीं कर पाते
    • यह बात समझ में नहीं आती कि कोई नहीं जानता AI कैसे काम करता है। जो hardware, software और execution state हम इस्तेमाल करते हैं, क्या वे पूरी तरह control और observe नहीं किए जा सकते? हम कभी भी रोक सकते हैं, state देख सकते हैं, step-by-step execution flow follow कर सकते हैं। source code, compiler, सब कुछ तो मालूम है। तो फिर खास तौर पर क्या है जो हम नहीं जानते?
    • मानव मस्तिष्क की हर परत और उसके पूरे दायरे को भी कोई नहीं जानता। फिर भी हर संगठन का leader अपने कर्मचारियों के ‘मस्तिष्क’ पर भरोसा करके काम करता है