मौजूदा AI की सीमाएँ और समस्याएँ
गंभीर उपयोगों के लिए AI का इस्तेमाल करना कठिन क्यों है
- सॉफ्टवेयर इंजीनियरिंग के दृष्टिकोण से, मौजूदा AI सिस्टम जटिलता और बड़े पैमाने को प्रभावी ढंग से प्रबंधित करना कठिन पाते हैं, इसलिए उनकी विश्वसनीयता कम है
- प्रभावशाली सॉफ्टवेयर में पारदर्शिता, प्रबंधनीयता और जवाबदेही होनी चाहिए, लेकिन मौजूदा AI इन मानकों को पूरा नहीं करता
- डेटा के स्रोत के प्रति जवाबदेही की कमी है, और AI एल्गोरिदम के परिणामों की जिम्मेदारी भी अस्पष्ट है
- 'Explainable AI' और bias कम करने के प्रयास हुए हैं, लेकिन डेटा जवाबदेही की मूल समस्या और इंजीनियरिंग की कठिनाई अब भी हल नहीं हुई है
न्यूरल नेटवर्क-आधारित AI कैसे काम करता है
- मौजूदा AI बड़े पैमाने के neural networks (LLM, Generative AI आदि) पर आधारित है, जिनमें लाखों neurons आपस में जुड़े होते हैं
- training मुख्यतः unsupervised learning या self-supervised learning के जरिए होती है, और मानवीय हस्तक्षेप न्यूनतम रहता है
- सिस्टम की कार्यक्षमता दिए गए डेटा को सीखकर output targets को पूरा करने के लिए train करने की प्रक्रिया में तय होती है
- इसके लिए बहुत बड़े computational resources की आवश्यकता होती है, जिससे लागत और ऊर्जा खपत बहुत अधिक होती है
न्यूरल नेटवर्क की असंरचित प्रकृति और 'उद्भवित व्यवहार'
- मौजूदा AI सिस्टम उद्भवित व्यवहार दिखाते हैं, और अलग-अलग neurons की गणितीय परिभाषा से पूरे सिस्टम के कामकाज को समझाना कठिन होता है
- सिस्टम की आंतरिक संरचना का उसके कार्य से कोई अर्थपूर्ण संबंध नहीं होता, इसलिए reuse या modular development संभव नहीं है
- न तो intermediate models होते हैं और न ही चरणबद्ध development की कोई पद्धति, इसलिए सिस्टम के कारण और तर्क को समझाना कठिन है
- 'मनुष्य द्वारा मध्यस्थता' का तरीका भी सिस्टम के परिणामों को समझाने में वास्तविक मदद नहीं करता
सॉफ्टवेयर इंजीनियरिंग में compositional approach और AI की समस्या
- compositional approach वह तरीका है जिसमें अलग-अलग घटकों के अर्थ और उनके संयोजन को समझकर पूरे सिस्टम की व्याख्या की जाती है
- मौजूदा AI इस approach को support नहीं करता, और इससे निम्न समस्याएँ पैदा होती हैं:
- आंतरिक संरचना का कोई अर्थपूर्ण मतलब नहीं होता, इसलिए functional reuse संभव नहीं
- चरणबद्ध development या verification संभव नहीं
- explicit knowledge model न होने के कारण सिस्टम अपने 'कारण' की व्याख्या नहीं कर सकता
सत्यापन की सीमाएँ
- मौजूदा AI सिस्टम में input और state space इतने बड़े होते हैं कि व्यापक testing संभव नहीं है
- probabilistic systems में सही output किसी दिए गए input के लिए केवल संभावना दिखाता है, यह हमेशा भरोसेमंद परिणाम की गारंटी नहीं देता
- unit testing या integration testing जैसे आंशिक verification संभव नहीं हैं; केवल पूरे सिस्टम का verification किया जा सकता है
- पूरे सिस्टम का परीक्षण करने पर भी coverage अपर्याप्त रहती है, इसलिए विश्वसनीयता सुनिश्चित करना कठिन है
त्रुटियाँ और सुधार की समस्या
- training data की कमी या input data की अपूर्णता के कारण त्रुटियाँ हो सकती हैं
- त्रुटि सुधार के लिए retraining करने पर भी स्थानीय स्तर पर सुधार संभव नहीं होता, और regression testing भी कठिन रहती है
- नई त्रुटियाँ शामिल होने की संभावना अधिक रहती है, और उन्हें ढूँढ़ना भी कठिन होता है
निष्कर्ष और प्रस्ताव
- मौजूदा AI सिस्टम में विश्वसनीयता और सुरक्षा की कमी है, इसलिए गंभीर अनुप्रयोगों में इनके उपयोग के लिए वे उपयुक्त नहीं हैं
- मौजूदा तकनीक training data और computational resources बढ़ाने से केवल सीमित सुधार कर सकती है; बुनियादी विश्वसनीयता में सुधार नहीं होता
- प्रस्ताव:
- neural networks और symbolic AI को मिलाकर hybrid systems विकसित करना
- explicit knowledge models और confidence levels उत्पन्न करना, या उन्हें मौजूदा data retrieval और proof techniques के साथ जोड़ना
- ऐसे सीमित क्षेत्रों में उपयोग करना जहाँ त्रुटियों को विश्वसनीय रूप से प्रबंधित किया जा सके
- मौसम पूर्वानुमान जैसे उन विशेष क्षेत्रों में उपयोग करना जहाँ probabilistic prediction उपयुक्त हो
13 टिप्पणियां
मूल बात यह है कि मौजूदा AI बिना किसी deductive verification के इस inductive verification पर निर्भर करता है कि कल तक सुरक्षित था, आज भी सुरक्षित है, तो कल भी सुरक्षित रहेगा।
black swan theory की तरह, किसी दिन घातक असामान्य व्यवहार होने की संभावना अब भी बनी हुई है, और एक तरह से देखें तो आज की सुरक्षा किस्मत पर निर्भर है।
पारंपरिक software engineering में इस समस्या के लिए अलग-अलग घटकों की पहचान और विश्लेषण करके, scenarios और tests बनाकर, हर unit को deductively verify करना संभव था, लेकिन AI में यह अभी पूरी तरह संभव नहीं है।
यह समस्या तो Tesla की autonomous driving में पहले ही हल की जा चुकी है..
ऐसा लगता है कि बड़ी समस्या यह है कि मॉडल का system verification संभव नहीं है, इसलिए उसकी विश्वसनीयता 100% तक नहीं पहुँच सकती। Autonomous driving में इसे किस तरह हल किया जा रहा है?
Tesla दिखा रहा है कि AI को वास्तविक दुनिया में सचमुच कैसे लागू किया जा सकता है।
कुछ भी 100% संभव नहीं होता। 100% या तो धोखा है या भ्रम।
दूसरे startup की तरह हम भी step by step, agile तरीके से आगे बढ़ते हैं।
समस्या की स्थिति में remote control भी किया जा सकता है, और फिलहाल इसे supervised mode में चलाया जा रहा है।
मुद्दा शायद 100% reliability जैसी संख्या नहीं, बल्कि यह है कि model structure explainable नहीं है, है न?
मुझे लगता है कि मुख्य बात यह है कि model के inference results को समझाने में मौजूदा deep learning, खासकर neural network model bases, सिर्फ internal structure दिखा देने भर से समझाना मुश्किल होता है।
हाल में कई research और Anthropic जैसी कंपनियां black box समस्या को हल करने के तरीके पेश कर रही हैं, इसलिए लगता है कि यह भी जल्द ही हल हो जाने वाली समस्या है।
मुझे लगता है कि चाहे 100% हो या explainability, दोनों ही एक भ्रम हैं.
"Chinese room" तर्क की तरह, आखिरकार महत्वपूर्ण बात यह है कि Tesla का autonomous driving सांख्यिकीय रूप से इंसानों की ड्राइविंग से ज़्यादा सुरक्षित है. और AI आगे भी scale करेगा और 100% के करीब, "लगभग" हर मामले में अच्छी तरह काम करेगा.
कई गुरु (Elon Musk, Eric Schmidt आदि) यह जानते हैं कि AI explain नहीं किया जा सकता, इसलिए वे कहते हैं कि AI के लिए safety guardrails की ज़रूरत है.
यह नीचे दिए गए Hacker News के विचारों में से है.
अगर हम मॉडल की explainability को नज़रअंदाज़ करके सिर्फ़ नतीजों की सटीकता देखें, तो हम किसी product पर भरोसा करके उसका इस्तेमाल कैसे करें?
आपने बात बहुत अस्पष्ट रूप से कही है, इसलिए ठीक से समझ नहीं आ रहा। क्या यह महत्वपूर्ण नहीं है कि मॉडल के आंतरिक कामकाज को भी "explainable होना चाहिए", तभी किसी हद तक सत्यापन संभव हो सकता है?
kandik की राय के अनुसार Functional Safety के अस्तित्व का महत्व ही समाप्त हो जाता है.
क्या इंसान के मन को समझाया जा सकता है? जब इंसान के मन को समझाना ही संभव नहीं है, तो नए कर्मचारियों का चयन कैसे किया जाता है?
क्वांटम मैकेनिक्स 100% सांख्यिकीय मॉडल है, और फिर भी वह दुनिया को अच्छी तरह समझाता है।
"विश्वास" जैसी चीज़ की अवधारणा भी तकनीक की प्रगति के साथ बदल सकती है।
किसी भी तरह देखें, डेवलपर्स के नज़रिए से यह स्थिति थकाने वाली ही है। आखिर AI का इस्तेमाल काम को आसान बनाने के लिए कर रहे हैं, लेकिन reliability के लिए testing को कितना ज़्यादा सख्त करना पड़ेगा, यह समझ ही नहीं आता।
प्रोडक्ट बनाते समय चीज़ों का explainable होना अच्छा होता है। आखिरकार, इंसान प्रोडक्ट नहीं होता, इसलिए किसी समस्या में इंसान खुद ज़िम्मेदार ठहराया जा सकता है, लेकिन अगर प्रोडक्ट में खामी हो तो ज़िम्मेदारी उसे बनाने वाले पर आती है.
इसीलिए test environment को वास्तविक दुनिया के जितना संभव हो उतना करीब रखकर टेस्ट करने की ज़रूरत और भी बढ़ जाती है। क्योंकि सिद्धांत पता नहीं है, इसलिए ऐसे training कराने के अलावा कोई तरीका नहीं बचता कि असाधारण स्थितियाँ जितनी संभव हो उतनी कम रहें.
Hacker News राय
1990 के दशक के मध्य से neural network के विकास को देखते आए हैं, और देखा है कि neural network का हर चरण एक dead end पर पहुँच जाता है। इसका कारण यह है कि mathematical approach सहज समझ में बाधा डालती है। LLM ने semantic search को आसान बनाया है, जो दिलचस्प है.
मौजूदा AI systems की scalability का अनुमान नहीं लगाया जा सकता। मानव मस्तिष्क से तुलना करें तो neural connections की संख्या बहुत कम है.
LLM-आधारित AI software development के नज़रिए से दोषपूर्ण है, और महत्वपूर्ण applications के लिए उपयुक्त नहीं है.
इंसान महत्वपूर्ण कामों में भी गलतियाँ करते हैं, और AI systems भी अलग नहीं हैं.
AI का सक्रिय रूप से उपयोग कर रहे हैं, और personal projects में इससे बहुत मदद मिलती है.
data scaling अब पहले जैसा बड़ा लाभ नहीं दे रही। LLM, AGI तक पहुँचने का रास्ता नहीं हैं.
इस पर काफी चर्चा है कि क्या AI, intelligence का प्रतिनिधित्व करता है। मानव मस्तिष्क भी भरोसेमंद नहीं है, और cyber security में LLM की उपयुक्तता पर भी चर्चा हो रही है.