MIT 6.S184: फ्लो मैचिंग और डिफ्यूजन मॉडल्स का परिचय

 (diffusion.csail.mit.edu)
3 पॉइंट द्वारा GN⁺ 2025-03-04 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • MIT 6.S184 का 2026 संस्करण इमेज, वीडियो आदि कई तरह के डेटा प्रकारों में इस्तेमाल होने वाले डिफ्यूजन मॉडल्स और फ्लो मॉडल्स को theory और hands-on practice के साथ सीखने वाला introductory course है
  • lectures probability differential equations, Fokker-Planck equation, flow matching, score matching, classifier-free guidance, latent space, discrete diffusion models तक आगे बढ़ते हैं
  • हर lecture के साथ lab जुड़ा है, जिससे learners flow matching और diffusion models को step-by-step शुरू से implement कर सकते हैं
  • course के बाद के हिस्से में latent diffusion model खुद बनाया जाता है, और इसे इस तरह structured किया गया है कि probabilistic analysis tools को दूसरे क्षेत्रों में भी apply किया जा सके
  • probability theory और deep learning का अनुभव recommended है, और prerequisite knowledge के रूप में linear algebra, multivariable calculus, basic probability theory, Python, PyTorch experience की जरूरत है

Course structure और learning goals

  • Flow Matching and Diffusion Models — 2026 Version ऐसा course है जिसे students और researchers को diffusion/flow models को ज्यादा गहराई से समझाने के लिए design किया गया है
  • इसमें शामिल models इमेज, वीडियो और कई अन्य डेटा प्रकारों के लिए generative AI methods हैं
  • यह mathematical foundations से implementation तक जाने वाले flow में structured है
    • probability differential equations
    • Fokker-Planck equation
    • हर model component की step-by-step explanation
    • हर lecture के labs के जरिए guided implementation
  • अंत में latent diffusion model को शुरू से build किया जाता है
  • recommended background probability theory और deep learning experience है, और prerequisites linear algebra, multivariable calculus, basic probability theory, Python, PyTorch experience हैं

Lecture notes और course material

  • lecture notes course का central material हैं, और class की पूरी सामग्री को self-contained तरीके से explain करते हैं
  • lecture notes citation information
    • Introduction to Flow Matching and Diffusion Models
    • Peter Holderrieth, Ezra Erives
    • 2026
    • arXiv eprint: 2506.02070

  • Lecture list

    • Lecture 1: Flow and Diffusion Models
      • generative models introduction, ordinary/probability differential equations, flow/diffusion model sampling को cover करता है
      • slides 1, Video 13
    • Lecture 2: Flow Matching
      • conditional/marginal probability paths, conditional/marginal vector fields, flow matching training objective को cover करता है
      • slides 2, Video 14
    • Lecture 3-A: Score Functions and Score Matching
      • score function, denoising score matching, SDE sampling को cover करता है
      • slides 3, Video 15
    • Lecture 3-B: Classifier-free Guidance
      • guided generation, classifier guidance, classifier-free guidance को cover करता है
      • slides 3, Video 16
    • Lecture 4: Latent Spaces and Neural Network Architectures
      • VAE और latent spaces, Diffusion Transformer और U-Nets, large-scale model examples को cover करता है
      • slides 4, Video 17
    • Lecture 5: Discrete Diffusion Models
      • continuous-time Markov chains (CTMCs), CTMC model sampling, CTMC model training को cover करता है
      • slides 5, Video 18

Lab format

  • course में कुल 3 labs हैं, और classes के साथ दिए जाने वाले exercises के जरिए implementation experience मिलता है
  • labs flow matching और diffusion models को step-by-step शुरू से बनाने के format में हैं
  • process
    • lab link पर instructions देखें
    • GitHub से .ipynb notebook download करें
    • Jupyter notebook environment में run करें; Google Colab भी एक option के रूप में इस्तेमाल किया जा सकता है
    • सभी questions पूरा करने के बाद notebook को PDF में export करके Canvas के Gradescope पर submit करें
    • grading मुश्किल हो जाती है, इसलिए cell outputs delete नहीं करने चाहिए
  • अगर अटक जाएं तो solutions देख सकते हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-03-04
Hacker News की राय

  • MIT की क्लास “6.S184: Introduction to Flow Matching and Diffusion Models” अब YouTube पर उपलब्ध है
    यह इमेज, वीडियो, प्रोटीन आदि के लिए आधुनिक generative AI algorithms और उन्हें समझने के mathematical tools—दोनों को कवर करती है
    Flow matching और diffusion models गणितीय रूप से कठिन हैं, इसलिए कई lectures intuition के स्तर पर ही रह जाती हैं, लेकिन यह course AI beginners के लिए होते हुए भी mathematically rigorous और self-contained introduction देने का लक्ष्य रखता है
    स्रोत: https://x.com/peholderrieth

    • MIT Optics [1] lecture देखने की कोशिश की, लेकिन audio/video quality बहुत खराब है। काश कोई इसे ठीक कर सके; शायद diffusion models से संभव हो
      [1] https://ocw.mit.edu/courses/2-71-optics-spring-2009/resource...
    • YouTube playlist link: https://www.youtube.com/watch?v=GCoP2w-Cqtg&list=PL57nT7tSGA...
    • काश learning materials और lectures में यह स्पष्ट distinction रखने की परंपरा बने कि वे “high-level intuition” हैं या फिर गहरे, application-focused resources जो पूरी prerequisite knowledge से नहीं बचते
      दोनों की value है, लेकिन सिर्फ intuition देने वाली introductory सामग्री के समुद्र में बाद वाली चीज़ ढूंढना मुश्किल है

  • Conditional normalizing flows, अगर train करने के लिए data हो, तो inverse design problems के लिए देखे गए सबसे सुंदर समाधानों में से हैं
    base distribution की probability mass को bijective functions से धकेलते-खींचते desired location तक सावधानी से transform करने का idea सचमुच elegant है, और उस bijective function की construction भी बहुत clever है
    जब target values का कुछ हिस्सा continuous और कुछ हिस्सा categorical हो, तो इसे लागू करना tricky था, फिर भी यह बहुत शानदार तरीका है और इसका नाम भी वाकई अच्छा रखा गया है

  • शानदार lecture है, जल्दी सुनना चाहता/चाहती हूं। लगता है यह course continuous spaces पर सख्ती से focus करता है, लेकिन discrete diffusion में भी बहुत दिलचस्प काम हो रहा है
    जानना चाहूंगा/चाहूंगी कि कोई follow-up lecture की planning है या नहीं। ध्यान देने वाली बात है कि instructor Peter ने discrete diffusion पर भी अभी-अभी paper निकाला है
    https://x.com/peholderrieth/status/1891846309952282661
    https://github.com/kuleshov-group/awesome-discrete-diffusion...

  • सोच रहा/रही हूं कि latest AI techniques पर public lectures का कोई collection है क्या

  • MIT OCW जैसे public course materials के लिए सचमुच आभारी हूं। इन्हें अपने major subjects के supplementary material के तौर पर इस्तेमाल करता/करती आया/आई हूं, और एक ही topic को दो तरीकों से सीखना खासकर कठिन concepts में बहुत मददगार होता है

  • यहां इस lecture को देखकर अच्छा लगा। लगता है LLM ने इस बेहद उपयोगी technique से काफी attention खींच ली है

  • अगर इस topic से परिचित कोई व्यक्ति इसके main use cases और overall impression को कुछ शब्दों में समझा दे तो अच्छा होगा

    • Stable Diffusion, Dalle समेत आधुनिक image generation models, और video/audio generation models के पीछे की basic principle यही है। हाल में robot control के क्षेत्र में भी इसका use तेजी से शुरू हुआ है [1]
      ये models pure noise samples को training data distribution की ओर थोड़ा-थोड़ा धकेलना सीखते हैं। क्योंकि इन्हें training set में noise मिलाए गए versions पर train किया जाता है, denoising process के दौरान ये real data distribution के आसपास के regions को बेहतर explore और utilize कर पाते हैं
      GAN की बड़ी समस्याओं में से एक mode collapse नाम की phenomenon है [2]
      [1] https://www.physicalintelligence.company/blog/pi0
      [2] https://en.wikipedia.org/wiki/Mode_collapse

  • पिछले 10 साल deep learning education का golden age रहे हैं। यह देखना अच्छा है कि कौन ज्यादा high-quality learning content free में public करता है, इस पर competition जैसा माहौल है

  • MIT का इतने timely और highly relevant content को free में public करना बेहतरीन है

  • latest AI को cover करने वाले और कौन से OCW lectures हैं, यह जानने की उत्सुकता है