Python का उपयोग करके Statistical Learning का परिचय

• डेटा संग्रह का पैमाना बढ़ने की स्थिति में An Introduction to Statistical Learning statistical learning को डेटा को समझने के लिए एक व्यावहारिक शुरुआती टूल के रूप में प्रस्तुत करती है
• जटिल गणित की तुलना में व्यापक और कम तकनीकी व्याख्या पर ज़ोर देते हुए, यह आधुनिक डेटा analysis tools सीखने वाले पाठकों को लक्षित करती है
• R संस्करण 2013 के 1st edition और 2021 के 2nd edition तक पहुँचा, और Python edition(ISLP) 2023 में प्रकाशित हुआ
• प्रत्येक संस्करण अध्याय के अंत में दिए गए प्रैक्टिस लैब के माध्यम से उस अध्याय की अवधारणाओं को R या Python code से जोड़ता है
• PDF download और purchase links दिए गए हैं, इसलिए शुरुआती पाठक R 1st edition, R 2nd edition, या Python संस्करण में से अपनी ज़रूरत के अनुसार सामग्री चुन सकते हैं

---

Statistical Learning की शुरुआती किताब का फोकस

• An Introduction to Statistical Learning इस बात को आधार बनाती है कि लगभग हर क्षेत्र में डेटा संग्रह का पैमाना और दायरा लगातार बढ़ रहा है
• statistical learning को डेटा को समझना चाहने वाले लोगों के लिए आवश्यक tools के संग्रह के रूप में देखा गया है
• मुख्य विषयों को व्यापक रूप से कवर करते हुए भी तकनीकी कठिनाई को कम रखा गया है, जिससे आधुनिक डेटा analysis tools का उपयोग करना चाहने वाले पाठकों के लिए यह आसानी से सुलभ बनती है

संस्करण, प्रैक्टिस, सामग्री

• संस्करण मुख्य रूप से R और Python पर आधारित हैं
  • ISLR 1st edition R संस्करण है, जो 2013 में प्रकाशित हुआ
  • ISLR 2nd edition 2021 में प्रकाशित हुआ
  • ISLP Python संस्करण है, जो 2023 में प्रकाशित हुआ
• ISLR का चीनी, इतालवी, जापानी, हिंदी, मंगोलियाई, रूसी और वियतनामी में अनुवाद किया गया है
• प्रत्येक अध्याय के अंत में उस अध्याय की अवधारणाओं को R या Python में दिखाने वाले लैब शामिल हैं
• अध्यायों में शामिल विषय इस प्रकार हैं
  • statistical learning क्या है
  • regression
  • classification
  • resampling methods
  • linear model selection और regularization
  • linearity से आगे के methods
  • tree-based methods
  • support vector machine
  • deep learning
  • survival analysis
  • unsupervised learning
  • multiple testing
• PDF सामग्री निम्नलिखित लिंक पर उपलब्ध है
  • 1st Edition of ISL with R
  • 2nd Edition of ISL with R
  • ISL with Python

[GN⁺]

Hacker News की राय

• विषय से थोड़ा हटकर है, लेकिन upvotes और comments की ratio दिलचस्प है
  ChatGPT से जुड़ी पोस्टों पर आमतौर पर सैकड़ों comments आते हैं, लेकिन यहाँ अभी तक 100 upvotes पर सिर्फ 7 comments हैं
  किताब अच्छी लग रही है, और लेखकों को देखकर तो लगभग पक्का लगता है कि अच्छी ही होगी, इसलिए इसे खरीदने का सोच रहा हूँ। लेकिन यह ratio शायद ‘ML/AI/data science’ की मौजूदा स्थिति दिखाती है। AI लहर में दिलचस्पी रखने वाले बहुत से लोगों ने बुनियादी concepts पर ज़्यादा काम नहीं किया है और पीछे की math/statistics को गहराई से नहीं समझते—ऐसी एक निंदक-सी सोच आती है
  वैसे जोड़ दूँ कि मैंने भी इस लिंक वाले विषय पर कोई ख़ास अर्थपूर्ण comment नहीं किया है

  • यह एक काफ़ी प्रसिद्ध machine learning किताब है, और मैंने इसे R में पढ़ते हुए exercises भी किए थे
    https://github.com/melling/ISLR
    लेखकों का बनाया हुआ edX course भी है: https://www.edx.org/course/statistical-learning
  • बात सही है
    ऐसी किताबें machine learning/AI शुरू करने के लिए बुनियादी हैं, और यह किताब ख़ास तौर पर बहुत अच्छी है। मैंने भी machine learning की शुरुआत इसी किताब से की थी
    AI में बहुत ज़्यादा उन्माद है और यह dot-com bubble जैसा हो सकता है। Crypto से अलग, AI के पहले से वास्तविक उपयोग हैं, और यह बात LLM products को छोड़कर भी सही है। लेकिन इसमें बढ़ा-चढ़ाकर कही गई बातें और उम्मीदों का मिश्रण भी बहुत है, इसलिए जब bubble फूटेगा तो बहुत लोग चोट खाएँगे। फिर भी short term में सचमुच पैसा कमाने वाले लोग आते रहेंगे, और जिन hype फैलाने वालों को मैं जानता हूँ वे भी इसे अच्छी तरह समझते हैं
    फिर भी AI रहेगा, और bubble फूटने के बाद भी हमारे आसपास असली AI applications बने रहेंगे
  • यह किताब और Elements मेरे लिए machine learning की शुरुआती किताबें थीं
    मैं उस भावना को समझता हूँ, लेकिन बहुत-से machine learning use cases में खुद model बनाने से ChatGPT API call करना 100 गुना बेहतर तरीका होता है, और इसलिए हो सकता है कि math समझने की सच में ज़रूरत ही न पड़े
    उदाहरण के लिए, मैं एक AI nutrition calculation app बना रहा हूँ और ChatGPT function calling इस्तेमाल करता हूँ। अगर food emoji जैसे fields जोड़ दें, तो यह किसी भी खाने को अपने-आप सही emoji में classify कर देता है। ऐसा करने के लिए gradient descent या बुनियादी गुणों के बारे में कुछ भी जानना ज़रूरी नहीं है
  • एक meme है जो ऐसे लोगों को दिखाता है जो data के बारे में सोचना और उसका analysis करना—इन सारे चरणों को छोड़कर सीधे BERT पर पहुँच जाते हैं। अब तो BERT भी छोड़कर Stable Diffusion और ChatGPT पर जा रहे हैं
    कुछ सालों से ऐसा ही चल रहा है, और ज़्यादातर कामकाजी माहौल में इसका बुरा असर पड़ता है। जिन working data scientists को expectations manage करनी पड़ती हैं, उनसे मुझे ईर्ष्या नहीं होती
  • machine learning researcher के रूप में मुझे नहीं लगता कि यह बात बहुत ग़लत है
    HN पर लगभग पूरी तरह hype ही hype है, science बहुत कम है। भरोसा बहुत मज़बूत होता है, लेकिन आधार कमज़ोर। papers का हवाला देना लोगों को पसंद है, लेकिन वे अक्सर सिर्फ abstract पढ़ते हैं और मुख्य nuance खो देते हैं। ख़ासकर ऐसे fields में जहाँ limitations बताने पर reject होने का जोखिम ज़्यादा होता है, और reviewers कभी-कभी वही हिस्सा copy-paste करके औपचारिकता पूरी कर देते हैं
    academia थोड़ी बेहतर है, लेकिन कुल मिलाकर math की बुनियाद कमज़ोर रखने वाले researchers भी बहुत हैं। मैंने top universities या research labs में ऐसे लोगों को जाना या मिला है जो likelihood और probability का फ़र्क नहीं जानते। कुछ लोग probability density भी नहीं समझते, यहाँ तक कि diffusion models पर काम करने वालों में भी। हालाँकि सबसे उभरकर दिखने वाले researchers में आमतौर पर ये क्षमताएँ होती हैं। बदले में वे papers इतनी तेज़ी से publish नहीं करते, और उनका काम शायद कम popular भी हो
    अभी बहुत-सा research parameter tuning और compute resources झोंकने पर केंद्रित है। tuning की ज़रूरत है, यह मैं मानता हूँ, लेकिन यह बहुत बड़ी innovation नहीं है, और जब तक दूसरे models/architectures को भी उसी स्तर तक tune न किया गया हो, तब तक इसे बेहतर साबित करना मुश्किल है—इस बारे में ईमानदार होना चाहिए। इस रुझान ने दूसरे तरह के research के लिए रुकावटें भी खड़ी की हैं, इसलिए मैंने इस पर कुछ आवाज़ उठाई है
    सार यह है कि बात काफ़ी हद तक सही है। machine learning/AI में, ख़ासकर HN पर, शोर बहुत ज़्यादा है
    साथ में Richard McElreath की Statistical Rethinking(https://xcelab.net/rm/statistical-rethinking/) भी recommend करूँगा। यह ISLR से ज़्यादा मज़ेदार पढ़ाई लगती है और Bayesian statistics का भी परिचय देती है (lectures YouTube पर भी हैं)। Gelman की Regression and Other Stories(https://avehtari.github.io/ROS-Examples/) भी recommend करता हूँ

• यह किताब मूल रूप से R में आई एक बहुत लोकप्रिय textbook का updated edition है। Professor Hastie और Tibshirani statistical learning क्षेत्र के प्रतिनिधि शिक्षकों में गिने जाते हैं
  Stanford Online पर इस notes के साथ चलने वाले video lectures भी हैं। classical machine learning के theoretical पहलू सीखने के लिए ज़ोरदार सिफ़ारिश है

  • अगर आप videos ढूँढ़ रहे हैं, तो वे यहाँ हैं: https://www.youtube.com/playlist?list=PLoROMvodv4rOzrYsAxzQy...
  • क्या इसका Julia version भी plan में है?

• पूरी किताब कानूनी रूप से यहाँ से download की जा सकती है [pdf]: https://hastie.su.domains/ISLP/ISLP_website.pdf

  • वह पुराना version है। जो link ऊपर डाली गई है, वह मूल पोस्ट के link में वैसे ही मौजूद है, लेकिन वह 2nd edition है

• ISL classical machine learning methods पर सबसे बेहतरीन introductory textbooks में से एक है। यह theory-oriented है, लेकिन statistics, linear algebra और coding की बुनियादी जानकारी रखने वाले काफ़ी बड़े student group के लिए पर्याप्त रूप से सुलभ है
  examples का सिर्फ R में होना, Python में पढ़ाते समय असुविधाजनक था। अब अच्छा होगा अगर इसे Jupyter notebooks की series में बदलकर Colab जैसी जगहों के ज़रिए distribute किया जाए

  • यह यहाँ मिल सकता है: https://www.statlearning.com/resources-python

• कोई इसे “classical” machine learning कह सकता है, लेकिन मेरे लिए ऐसे कम-parameter वाले methods कई मामलों में बहुत उपयोगी हैं और RNN की तुलना में काफ़ी आसानी से interpret किए जा सकते हैं

• मैंने lab zero के दो versions की तुलना करने की कोशिश की थी
  Python exercises को बस कुछ मिनट ही देखा, लेकिन जो R exercises याद हैं उनकी तुलना में वे कहीं ज़्यादा complex और लंबे लगे
  मुझे पता है कि HN पर लोग अक्सर शिकायत करते हैं कि R कठिन और confusing है, लेकिन beginners या statistics-झुकाव वाले लोगों के लिए statistical work शुरू करने में R मुझे ज़्यादा आसान भाषा लगती है

  • जो लोग programming जानते हैं, उनके लिए statistics/machine learning सीखने में Python ज़्यादा natural है, और statisticians के लिए programming सीखने में R ज़्यादा natural है
    हर language किस audience के लिए बनाई गई है, यह देखें तो इसमें हैरानी की बात नहीं है। मेरी राय में दोनों को अपनाना चाहिए और जो दिए गए काम के लिए बेहतर fit हो, वही इस्तेमाल करना चाहिए

• व्यक्तिगत रूप से मैं Bishop की Pattern Recognition and Machine Learning या Murphy की Probabilistic Machine Learning: An Introduction को ज़्यादा पसंद करता हूँ

  • यह बताना ज़रूरी है कि उन दोनों किताबों में बिल्कुल code नहीं है
    इसलिए ISLA का अनुवाद होना काफ़ी अर्थपूर्ण लगता है। अगर किसी student ने machine learning/statistical modeling अच्छी तरह सीखी है, तो mathematical models को computational models में बदलना उसके लिए काफ़ी आसान होना चाहिए, इसलिए code अनिवार्य नहीं है। वास्तव में, इन models को समझने का मतलब ही यह है कि आप ऐसा कर सकें
  • वे किताबें पूरी तरह अलग स्तर की हैं
  • अगर आपको और गहराई चाहिए, तो सोच रहा हूँ कि क्या आपने उन्हीं लेखकों की Elements देखी है। यह किताब beginners के लिए है
  • ISL, Bishop या Murphy की तुलना में ज़्यादा introductory है। सभी बेहतरीन हैं और अलग-अलग विषय कवर करती हैं, इसलिए सभी को न पढ़ने का कोई कारण नहीं है
    मैं ISL(R/P) के authors की Elements of Statistical Learning भी जोड़ना चाहूँगा। मैंने ISL, ESL, और Bishop पढ़ी हैं, और Murphy शुरू की थी लेकिन पूरी नहीं कर पाया। कोई खास कारण नहीं, बस व्यस्त होने पर छूट गई। इन textbooks में से किसी की भी मैं ज़ोरदार सिफारिश करूँगा
  • Bishop के बारे में अच्छी बातें सुनी हैं। लेकिन मैं software engineer हूँ, और बस यह बेहतर समझना चाहता हूँ कि machine learning team क्या करती है, साथ ही कुछ simple machine learning side projects भी आज़माना चाहता हूँ
    ऐसे मामले में क्या Bishop recommend करने लायक है, या वह बहुत ज़्यादा theoretical है?

• Sidney Siegel, N. John Castellan, Jr. की Nonparametric Statistics for the Behavioral Sciences, Second Edition, ISBN 0-07-057357-3, McGraw-Hill, New York, 1988 पर भी विचार किया जा सकता है
  “nonparametric” का मतलब है parameter-based probability distribution assumptions न करना। यानी इसे distribution-free भी कहा जा सकता है
  उदाहरण के लिए, resampling schemes देखे जा सकते हैं। इनमें assumptions बहुत कम होती हैं, ये सचमुच simple, काफ़ी clever, और कुल मिलाकर useful हैं, और खासकर computation के लिए बहुत suited हैं। “A-B” test data से अधिक जानकारी निकालने के लिए resampling का इस्तेमाल भी किया जा सकता है

  • मेरे पास वह किताब है, लेकिन वह ISLR से बिल्कुल अलग है। अच्छी किताब है, लेकिन ISLR में gradient boosting trees, survival analysis, और generalized linear models जैसे topics हैं
    अगर ज़बरदस्ती distinction करें, तो कहा जा सकता है कि ISLR inference या hypothesis testing की तुलना में prediction पर ज़्यादा focus करती है

• मुझे इस किताब के पुराने version के साथ आई YouTube series बहुत पसंद आई थी: https://www.youtube.com/watch?v=5N9V07EIfIg&list=PLOg0ngHtcq...
  इसे किताब के बिना भी देखा जा सकता है, और coding वाले हिस्से छोड़े भी जा सकते हैं। इसमें ऐसी insights भी हैं जो किताब में नहीं हैं, और जबरदस्त technical ability तथा concepts को संक्षेप में समझाने की क्षमता का शानदार मेल है

  • यह सोचकर हैरानी होती है कि मैं इतनी बार यह जाँचने के बारे में नहीं सोचता कि किसी अच्छी किताब के साथ video lectures भी हैं या नहीं

• मेरे लिए यह थोड़ा verbose है। अगर Landau ज़िंदा होते और यह किताब फिर से लिखते, तो शायद यह काफ़ी छोटी होती। क्या LLM से ऐसा बनवाया जा सकता है?

  • संभव तो है, बशर्ते आपको यह मंज़ूर हो कि वह हर chapter में कुछ बार मनगढ़ंत बातें भी जोड़ दे : )