डीप लर्निंग सिस्टम

• CMU के अनुसार 8/26~12/8 तक फैला डीप लर्निंग सिस्टम लेक्चर शेड्यूल, जिसमें तारीख, विषय, प्रशिक्षक, स्लाइड्स और 2022 संस्करण के वीडियो लिंक एक ही जगह व्यवस्थित किए गए हैं
• कुछ लेक्चरों का समय बदल सकता है, और आने वाले लेक्चर की स्लाइड्स पुराने संस्करण की सामग्री हैं जिन्हें कक्षा से पहले अपडेट किया जाएगा
• शुरुआती हिस्से में परिचय और ML रिफ्रेशर से शुरुआत होती है, फिर automatic differentiation, optimization, neural network library abstraction और implementation, तथा convolutional network implementation तक प्रगति होती है
• मध्य और बाद के हिस्से में linear algebra hardware acceleration, GPU, RNN, Transformers, large model training, generative models, pretrained model customization, और model deployment शामिल हैं
• ऑनलाइन लेक्चर वीडियो उपलब्ध होने पर स्लाइड्स के साथ प्रकाशित किए जाते हैं, और शेड्यूल में Fall Break, Democracy Day, Thanksgiving की छुट्टियां तथा student project presentations भी शामिल हैं

---

सामग्री उपलब्ध कराने का तरीका और समय-सारणी की सीमा

• पूरा लेक्चर अस्थायी शेड्यूल के रूप में दिया गया है
  • कुछ लेक्चरों का सटीक समय बदल सकता है
  • आने वाले लेक्चरों की स्लाइड्स पुराने संस्करण के लेक्चर मैटेरियल हैं, और हर कक्षा से पहले अपडेट की गई स्लाइड्स पोस्ट की जाएंगी
  • सार्वजनिक ऑनलाइन लेक्चर वीडियो उपलब्ध होने पर स्लाइड्स के साथ पोस्ट किए जाते हैं
• तालिका में CMU के अनुसार तारीख, लेक्चर नंबर और विषय, प्रशिक्षक, स्लाइड्स, और 2022 संस्करण के वीडियो शामिल हैं
• प्रशिक्षकों को Dettmers, Chen, Both, Students के रूप में दर्शाया गया है

लेक्चर का प्रवाह

• अगस्त के अंत से सितंबर के मध्य तक डीप लर्निंग सिस्टम की बुनियाद को कवर किया जाता है
  • 8/26: Introduction / Logistics
  • 8/28: ML Refresher / Softmax Regression
  • 9/2: Manual Neural Networks / Backprop
  • 9/4: Automatic Differentiation
  • 9/9: Automatic Differentiation Implementation
• सितंबर के मध्य से अक्टूबर की शुरुआत तक मॉडल ट्रेनिंग और framework implementation की ओर विस्तार होता है
  • 9/11: Optimization
  • 9/16: Neural Network Library Abstractions
  • 9/18: Normalization, Dropout, + Implementation
  • 9/23: NN Library Implementation
  • 9/25: Convolutional Networks
• सितंबर के अंत से अक्टूबर के मध्य तक hardware acceleration और CNN implementation को कवर किया जाता है
  • 9/30: Hardware Acceleration for Linear Algebra
  • 10/2: Hardware Acceleration + GPUs
  • 10/7: Hardware Acceleration Implementation
  • 10/9: Convoluations Network Implementation
  • 10/14, 10/16 को Fall Break के कारण कक्षा नहीं होगी
• अक्टूबर के अंत में sequence modeling और Transformers को कवर किया जाता है
  • 10/21: Sequence Modeling + RNNs
  • 10/23: Sequence Modeling Implementation
  • 10/28: Transformers and Autoregressive Models
  • 10/30: Transformers Implementation
• नवंबर के बाद large models, generative models, deployment, और project presentations की ओर प्रगति होती है
  • 11/4 को Democracy Day के कारण कक्षा नहीं होगी
  • 11/6: Training Large Models
  • 11/11: Generative Models
  • 11/13: Generative Models Implementation
  • 11/18: Customize Pretrained Models
  • 11/20: Model Deployment
  • 11/25: Future Directions / Q&A
  • 11/27 को Thanksgiving के कारण कक्षा नहीं होगी
  • 12/2, 12/4, 12/8 को student project presentations निर्धारित हैं

[GN⁺]

Hacker News की राय

• self-attention operation स्लाइड में “keys”, “queries”, “values” जैसे deep learning में लगभग बेअर्थ नामों पर जो तंज है, वह मुझे सचमुच पसंद आया
  LSTM के संदर्भ में भी “forget gate”, “input gate”, “output gate” जैसे नाम ठूंसने पर तंज करता है, लेकिन उल्टा ऐसे explanation की वजह से भरोसा होता है कि विषय को सही तरह समझा गया है
  पहले अजीब terminology की वजह से लगता था कि बात पूरी तरह गलत दिशा में ले जाई जा रही है

  • machine learning community जब neuroscience terminology को मनमाने ढंग से उठा कर इस्तेमाल करती है, तो हालत और भी खराब दिखती है
    फिर भी concepts को शब्दों में समझाते समय इस्तेमाल करने लायक याद रहने वाले नाम होना अच्छा ही लगता है
  • “forget gate”, “input gate”, “output gate” सही नाम हैं
    cell_h = cell_(h-1) * forget_gate + tanh(linear(input_h)) * input_gate
out_h = cell_h * output_gate
    जैसा दिखता है, forget_gate [0, 1] की संख्या से गुणा करके input को mask करता है, input_gate बाहरी input को control करता है, और output_gate स्वाभाविक रूप से output को control करता है
  • जब समझ आ जाता है कि वे किस चीज़ को दर्शाते हैं, तो नाम समझ में आते हैं। सोचता हूं इन्हें और क्या कहा जा सकता था
  • machine learning का statistics terminology को चिढ़ाने वाली हद तक तोड़-मरोड़ कर इस्तेमाल करना भी मजेदार है

• open educational resources सचमुच दिल को अच्छा महसूस कराते हैं

• यह lecture machine learning compilation और deployment के introduction पर आधारित एक काफी अनोखा course है

  • instructor Kolter का style मुझे सचमुच अच्छा लगा, और हर lecture के बाद notebook file के साथ implementation video आता है, इसी वजह से यह course खास पसंद है
    ज्यादातर deep learning lectures में implementation TA पर छोड़ दिया जाता है और recording भी publicly release नहीं होती, लेकिन यह course अपवाद है
    एक और अच्छा अपवाद Yann LeCun और Alfredo Canziani का NYU Deep Learning lecture [0] है, जहां सभी practice sessions, यानी “Practica”, record करके public किए जाते हैं। Canziani शानदार teacher हैं
    [0]: https://atcold.github.io/pytorch-Deep-Learning

• अच्छा है। YouTube पर मौजूद VU Amsterdam deep learning lectures भी मुझे काफी पसंद हैं
  systems side पर focus थोड़ा कम है, लेकिन आधुनिक neural-network-based machine learning के introduction के लिए बहुत अच्छा है

  • लिंक: https://dlvu.github.io/

• सोच रहा हूं कि इस fall में भी यह course फिर से खुलेगा या नहीं। assignments submit करने के लिए शायद registration करनी पड़ती है, इसलिए उम्मीद है कि जल्द ही फिर खुले

• MLSys को बढ़ते देखना उत्साहजनक है
  deep learning methods में computation बहुत ज्यादा होता है, इसलिए बहुत सी progress नए algorithms और optimization methods के जरिए आई है

• जब मैं CMU में था, तब यह course पहली बार चला था और मैंने इसे लिया था; यह सचमुच शानदार और अच्छी तरह structured course था

• hardware acceleration को cover करना अच्छा लग रहा है। यह मेरे knowledge में एक gap है, और मैं इस area को समझना शुरू करना चाहता था