प्रायिकतामूलक कृत्रिम बुद्धिमत्ता तकनीक

• प्रायिकतामूलक कृत्रिम बुद्धिमत्ता केवल prediction देने वाली AI से आगे बढ़कर uncertainty का inference करने और उसे decision-making में शामिल करने वाले दृष्टिकोण पर केंद्रित है
• सामग्री का शुरुआती भाग probabilistic machine learning पर केंद्रित है और data की कमी से पैदा होने वाली epistemic uncertainty तथा observation noise जैसी कम करना कठिन aleatoric uncertainty के बीच अंतर करता है
• Bayesian linear regression, Gaussian process models, Bayesian neural networks के माध्यम से probabilistic modeling को समझाया गया है, और जहाँ inference व prediction की गणना कठिन हो जाती है वहाँ approximate inference का उपयोग किया जाता है
• बाद का भाग active learning, Bayesian optimization, reinforcement learning जैसे sequential decision-making परिदृश्यों में uncertainty किस तरह data collection और exploration का मार्गदर्शन करती है, यह समझाता है
• यह सामग्री एक semester के graduate-level introductory course के अनुरूप है, इसलिए probability, calculus, linear algebra और basic machine learning का ज्ञान होने पर इसे समझना आसान होगा

---

प्रायिकतामूलक AI जिन मुख्य समस्याओं से निपटती है

• कृत्रिम बुद्धिमत्ता उस विज्ञान और अभियांत्रिकी को कहा जाता है जिसमें ऐसे कृत्रिम सिस्टम बनाए जाते हैं जो game play, language translation और car driving जैसे उन कार्यों को कर सकें जिन्हें मानव बुद्धि के कुछ पहलुओं की आवश्यकता वाला माना जाता है
• हाल के वर्षों में AI की प्रगति learning-based और data-driven approaches के साथ गहराई से जुड़ी रही है, और machine learning तथा deep learning ने computer systems की दुनिया को समझने की क्षमता का विस्तार किया है
• reinforcement learning ने Go जैसे जटिल games और quadrupedal locomotion जैसी robotics tasks में उल्लेखनीय परिणाम दिए हैं
• intelligent systems के लिए केवल prediction ही नहीं, बल्कि prediction की uncertainty का inference करना और उसे action selection में शामिल करना भी आवश्यक है

प्रायिकतामूलक machine learning

• शुरुआती भाग probabilistic machine learning approaches के इर्द-गिर्द संगठित है
• uncertainty को दो प्रकारों में बाँटा जाता है
  • epistemic uncertainty: data की कमी से उत्पन्न होने वाली uncertainty, जिसे अधिक जानकारी से कम किया जा सकता है
  • aleatoric uncertainty: noisy observations और outcomes जैसी ऐसी uncertainty, जिसे मूलतः कम करना कठिन होता है
• प्रमुख probabilistic inference models इस प्रकार हैं
  • Bayesian linear regression
  • Gaussian process models
  • Bayesian neural networks
• इन मॉडलों में inference और prediction अक्सर computationally challenging हो जाते हैं, इसलिए आधुनिक approximate inference methods को भी साथ में शामिल किया गया है

sequential decision-making में uncertainty का उपयोग

• बाद का भाग उन sequential decision-making tasks पर केंद्रित है जिनमें समय के साथ data इकट्ठा करना और actions चुनना होता है
• Active learning और Bayesian optimization ऐसे approaches हैं जो epistemic uncertainty को कम करने में सहायक experiments सुझाकर data collect करते हैं
• reinforcement learning एक ऐसा framework है जो uncertain environments में actions सीखने वाले agents को model करता है
• यह Markov Decision Processes के बुनियादी रूप से शुरू होकर neural network function approximation का उपयोग करने वाले आधुनिक deep RL approaches तक पहुँचता है
• अंत में epistemic uncertainty और aleatoric uncertainty का उपयोग करके exploration को guide करने और safety को भी ध्यान में रखने वाले model-based RL approaches पर चर्चा की गई है

लक्षित पाठक और आवश्यक पूर्वज्ञान

• इसे probabilistic machine learning और sequential decision-making पर एक semester के graduate-level introductory course की सामग्री के रूप में इस्तेमाल किया जा सकता है
• यह विभिन्न पृष्ठभूमि वाले पाठकों के लिए है, लेकिन निम्नलिखित बुनियादी ज्ञान को पूर्वमान लिया गया है
  • probability की मूल अवधारणाएँ
  • calculus
  • linear algebra
  • neural networks सहित basic machine learning
• अध्याय 1 आगे की सामग्री के लिए probabilistic inference का सहज परिचय देता है और साथ ही probability theory की मुख्य अवधारणाओं की पुनरावृत्ति भी कराता है
• पांडुलिपि के अंतिम भाग में अतिरिक्त mathematical background की मुख्य अवधारणाओं की समीक्षा करने वाला एक अध्याय भी शामिल है

सीखने की संरचना

• ऐतिहासिक विकासक्रम की बजाय मुख्य concepts और ideas पर ध्यान दिया गया है
• अधिक गहरी पढ़ाई और historical context के लिए references के माध्यम से आगे बढ़ने की संरचना रखी गई है
• प्रत्येक अध्याय के अंत में अभ्यास प्रश्न शामिल हैं
• मुख्य पाठ में question mark के साथ उभारकर दिखाए गए items अभ्यास प्रश्नों की ओर संकेत करते हैं
• सभी अभ्यास प्रश्नों के उत्तर पांडुलिपि के अंतिम भाग में देखे जा सकते हैं

[GN⁺]

Hacker News की राय

• मुख्य लेख में व्याख्यात्मक diagrams बेहतरीन हैं, और यह probability perspective से machine learning का गणितीय रूप से अच्छा overview देने वाला high-quality परिचय लगता है
  हाल में Zhao की मुफ्त textbook और YouTube lectures Mathematical Foundation of Reinforcement Learning भी प्रभावशाली लगे: https://github.com/MathFoundationRL/Book-Mathematical-Founda...
  अगर समय कम हो, तो पूरे क्षेत्र के concept map के रूप में उपयोगी Zhao का contents overview diagram ही देख लेना अच्छा होगा: https://github.com/MathFoundationRL/Book-Mathematical-Founda...
  हो सके तो introductory video भी recommend करूंगा

  • पहला lecture वाकई अच्छा है। सिर्फ content ही नहीं, बल्कि Zhao जिस तरह छात्र के रूप में learning को कैसे देखना चाहिए समझाते हैं, वह भी शानदार है

• कुछ दिन पहले यह सामग्री देखी थी, और इसे गंभीरता से पढ़ने की वजह यह है कि Andreas Krause ने Gaussian processes और bandits के क्षेत्र में गहरी और रोचक research की है
  [1] https://scholar.google.com/scholar?start=10&q=andreas+krause...

  • Krause इस क्षेत्र के बड़े researchers में से एक हैं। उनके जो दूसरे काम मैंने पढ़े हैं, उनके आधार पर वे अच्छा लिखते भी हैं, इसलिए यह पढ़ने लायक लगता है

• शायद मूर्खतापूर्ण सवाल हो, लेकिन क्या LLM अपने अभी दिए गए जवाब की probability बता सकता है? यानी क्या यह fuzzy logic जैसा बदल सकता है, यह जानना चाहता हूं
  आगे बढ़कर, क्या यह यह भी बता सकता है कि उसे खुद पर कितना भरोसा है? ऊपर वाली probability सही होने की probability, यानी confidence या intuitionistic fuzzy logic जैसी चीज
  बहुत पहले university में मैंने यह थोड़ा पढ़ा था, और हर term के लिए F+IF, यानी probability और confidence coefficient रखने वाला Prolog interpreter भी बनाया था

  • default state में यह मुश्किल लगता है। ऐसी self-evaluation पर मुझे भरोसा नहीं होगा
    अगर compute resources पर्याप्त हों, तो beam search करके, निकले जवाबों में से वास्तव में समान जवाब कितने हैं यह LLM से evaluate करवाकर “confidence” का proxy metric बनाया जा सकता है
  • मेरी समझ में LLM response हर position पर सबसे ज्यादा probability वाले tokens की chain होता है। अधिक जटिल candidate generation/selection तरीके हो सकते हैं, लेकिन इसे सरलता से सबसे बड़ा value चुनने जैसा भी सोच सकते हैं
    सरलता के लिए token को word मानें, तो sentence sequence में हर word की probability देखी जा सकती है। हालांकि उसे पूरे sentence की probability या truth की probability के रूप में कैसे evaluate करें, यह मुझे ठीक से नहीं पता
  • अगर आप कहें “इस घटना की probability कितने % मानते हो और क्यों, बताओ”, तो यह काफी context और reasoning process देता है
    मैं math वाला व्यक्ति नहीं हूं और यह भी जानता हूं कि “probability” का अधिक जटिल mathematical meaning होता है, लेकिन “इतना मजबूत विश्वास क्यों है?” के नजरिए से यह सहमत या असहमत होने लायक explanations काफी अच्छी तरह देता है
    जब मैं अपने पास का अतिरिक्त context डालता हूं, तो estimate भी refine करता है। इसलिए आजकल मैं LLM को context-connection system की तरह treat करता हूं, और points को खुद जोड़ने से पहले यह देखने के लिए use करता हूं कि शुरुआत में connection possible भी है या नहीं
  • इसका ठीक-ठीक मतलब क्या है, इस पर 100% sure नहीं हूं, लेकिन कुछ providers token probabilities देते हैं: https://cookbook.openai.com/examples/using_logprobs
  • ठीक से modify किया जाए तो संभव है। Bayesian neural networks uncertainty quantification देते हैं
    कठिनाई prediction को calibrate करने में है, और यह तय करने में भी कि model capacity को uncertainty quantification में लगाना, एक और बड़े uncertain model बनाने से बेहतर है या नहीं
    https://en.wikipedia.org/wiki/Calibration_(statistics)
    उदाहरण: Efficient and Effective Uncertainty Quantification for LLMs (https://openreview.net/forum?id=QKRLH57ATT)

• interpretability को लोकप्रिय बनाकर gamers को भी model explore करने देने के लिए models के लिए GUI चाहिए लगता है। मूल रूप से किसी दूसरे model को train करके LLM को 3D रूप में बदलना और उसे इंसानों के समझने लायक 3D world में रखना
  एक सरल उदाहरण के तौर पर, LLM को हरे मैदान और objects के रूप में दिखाया जा सकता है, और ऐसे space की कल्पना करें जहां केवल इंसान ही actor हो
  आप एक बंदर के पास खड़े हैं, और पास में चबाते हुए मुंह को देखकर उस तरफ जाते हैं तो current prompt “monkey chews” हो जाता है। पास में केले की ओर इशारा करता एक arrow है, उससे दूर apple की ओर, और horizon पर बहुत दूर tire की ओर इशारा करता arrow है। क्योंकि बंदर का tire चबाना दुर्लभ है
  पास की चीजें अधिक likely tokens हैं और दूर की चीजें कम likely tokens, और आप इन्हें पहाड़ी पर खड़े होने जैसा एक साथ देख सकते हैं। मुझे लगता है इस तरह सिर्फ इंसान को actor रखने वाला static place-type AI बनाया जा सकता है

  • 18 साल की उम्र में मेरा Salvia hallucination experience लगभग ऐसा ही था
    मेरा मन एक अनंत बड़े department store में बदल गया था, हर aisle साथ-साथ चल रही सोच की branches था, और हर aisle के ऊपर common ingredients की list में उस branch से जुड़े words, emotions और concepts भरे हुए थे
    announcement system ने मेरे inner monologue की जगह ले ली थी, और अब inner monologue नहीं था, लेकिन मेरे thoughts किसी और की आवाज़ की तरह बाहर से सुनाई दे रहे थे
    उन aisles में चलते हुए मैं real time में brain द्वारा बनाए जा रहे विशाल, fractal जैसे interdependent simultaneous thought network को हैरत से देख पा रहा था
  • लगता है अभी तक किसी ने high-dimensional space को 4D visualization में अच्छी तरह map करने का तरीका नहीं खोजा है
    शायद इसी वजह से tokens और language इंसानों के लिए इतने उपयोगी हैं। वे हमारे पास मौजूद सबसे करीबी analogue हो सकते हैं

• मिलते-जुलते, या कम-से-कम कुछ हद तक overlap करने वाले material के तौर पर, इस topic की शायद सबसे अच्छी reference book Gareth James आदि की Introduction to Statistical Learning याद आती है
  यह material शायद थोड़ा ज़्यादा approachable हो सकता है, लेकिन बाद वाली किताब में R/Python examples मददगार हैं
  [1] https://www.statlearning.com/

  • बात उतनी नहीं है। ISLR काफ़ी basic किताब है, और यह material point estimates की बजाय probability estimation propagation जैसी ज़्यादा advanced techniques cover करता है
    सच कहूँ तो आजकल मैं ISLR recommend नहीं करता। मेरे हिसाब से यह बहुत पुरानी हो चुकी है

• Kevin Murphy शायद अपनी Probabilistic Machine Learning series का नाम बदलने के लिए दौड़े चले आएँगे

• noisy input, noisy processing, और noisy chain को अलग-अलग देखने का तरीका दिलचस्प है

• Ontological reality states की array नहीं, बल्कि potentialities का distribution है
  Potentialities मौजूद होती हैं, और probability उनके distribution का mathematical description है। हर property एक dimension, यानी vector है। State बस resolution की एक temporary measurement है
  Potentialities constructive interference और destructive interference के ज़रिए interact करती हैं, और constructive/destructive interference “now” नाम के क्षणिक measurement में state के रूप में resolve होती है। यह necessity के collapse होने वाला proposition है
  Ontological reality state array नहीं, बल्कि potentialities के distribute होने की process है

• Gemini 2.0 Experimental 02-05 इस material को “बस” 107K tokens के रूप में देखता है
  अगर आप content को टुकड़ों में बाँटकर समझने में मदद चाहते हैं, तो यह उपयोगी है
  https://aistudio.google.com
  “Laplace approximation” जटिल probability distribution को एक सरल Gaussian, यानी bell-shaped curve, में बदलने का तेज़ और rough तरीका है
  यह सबसे ऊँचे point, यानी mode, को ढूँढकर और उस point की curvature match करके काम करता है
  यह तेज़ और आसान है, लेकिन अगर actual distribution bell-shaped नहीं है, तो यह बहुत inaccurate और overconfident हो सकता है

  • इसे log domain में Taylor series approximation के सिर्फ़ पहले दो terms इस्तेमाल करके बाकी छोड़ देने के तरीके के रूप में भी देखा जा सकता है

• मैंने ETH Zurich में यह class ली थी, और यह मेरी सबसे पसंदीदा classes में से एक थी। खास तौर पर uncertainty को quantify करने के तरीके और reinforcement learning के starting blocks बनाने का तरीका मुझे पसंद आया
  मेरे हिसाब से data scientists और machine learning engineers के लिए यह बेहतरीन reading material है। यह document उसी lecture notes का रूप है