- आम उपयोगकर्ताओं के लिए ChatGPT और संबंधित प्रोडक्ट्स को चलाने वाली Large Language Model (LLM) AI तकनीक की गहराई से व्याख्या करने वाला वीडियो (3 घंटे 31 मिनट)
- इसमें इस बात पर चर्चा है कि मॉडल कैसे विकसित किए जाते हैं, पूरे training stack के साथ-साथ मॉडल की 'मनोविज्ञान' के बारे में कैसे सोचा जाए, और वास्तविक applications में मॉडल का अधिकतम उपयोग कैसे किया जाए, इसके लिए mental models क्या हों
- 1 साल पहले जारी किए गए "Intro to LLMs" वीडियो का अधिक व्यापक संस्करण
चैप्टर
00:00:00 introduction
00:01:00 pretraining data (internet)
00:07:47 tokenization
00:14:27 neural network I/O
00:20:11 neural network internals
00:26:01 inference
00:31:09 GPT-2: training and inference
00:42:52 Llama 3.1 base model inference
00:59:23 pretraining to post-training
01:01:06 post-training data (conversations)
01:20:32 hallucinations, tool use, knowledge/working memory
01:41:46 knowledge of self
01:46:56 models need tokens to think
02:01:11 tokenization revisited: models struggle with spelling
02:04:53 jagged intelligence
02:07:28 supervised finetuning to reinforcement learning
02:14:42 reinforcement learning
02:27:47 DeepSeek-R1
02:42:07 AlphaGo
02:48:26 reinforcement learning from human feedback (RLHF)
03:09:39 आने वाली चीज़ों की झलक
03:15:15 LLMs को track करना
03:18:34 LLMs कहाँ मिलेंगे
03:21:46 समग्र सारांश
2 टिप्पणियां
मुझे लगता है कि आंद्रेय करपाथी के वीडियो की कमी(?) यह है कि उसे 1.5x पर देखना बिल्कुल संभव नहीं है। वह सच में बहुत तेज़ बोलते हैं. :-)
Hacker News टिप्पणियाँ
इस व्यक्ति के लिए बहुत सम्मान है। यह इंसानों और मशीनों के बीच की खाई पाटने वाले Neo जैसा है। उसके repositories और videos से मैंने मुफ़्त में जो सीखा:
मैं दोस्तों से कहता हूँ कि Andrej वह सबसे अच्छा instructor था जिससे मैं graduate school में मिला। मैं Stanford नहीं गया, लेकिन उसके CS321n YouTube videos देखे। बहुत खुशी है कि वह अब भी videos बना रहा है
उसने transformer architecture और training पर मूलतः इसी विषय को कवर करने वाले 5 से ज़्यादा videos बनाए हैं। उत्सुक हूँ कि इस बार के video में क्या अलग है
उसकी "let's build" series मुझे सच में बहुत पसंद है। advanced content के अलावा, उसमें बढ़िया Python tricks भी सीखने को मिलती हैं
लंबे format के videos पर ध्यान केंद्रित न कर पाने से निराश हूँ। संभव है कि ये videos छोटे videos से कहीं बेहतर हों
CS231n project के हिस्से के रूप में Python lists का इस्तेमाल करके backpropagation कैसे करना है, यह मुझे अब भी याद है। हैरानी की बात यह है कि मैं Stanford गया ही नहीं था
Andrej का आभारी हूँ। मुझे इस बात की काफ़ी अच्छी समझ है कि LLM कैसे काम करते हैं और उन्हें train कैसे किया जाता है, लेकिन मेरे कई दोस्तों को नहीं है। यह video और talk उन्हें कम-से-कम कुछ तो idea देते हैं
काश videos को वितरित करने का कोई और तरीका होता। YouTube पर content आखिरकार गायब हो जाता है। मुझे लगता है यह content महत्वपूर्ण है। जितने अधिक लोग समझेंगे कि AI कैसे काम करता है, समाज उतना ही मज़बूत होगा
पूरा देखा... गाल सुन्न हो गए थे, लेकिन यह इसके लायक था। Andrej का धन्यवाद
मैं एक साधारण इंसान हूँ। Karpathy का video दिखे तो क्लिक करता हूँ, देखता हूँ और आनंद लेता हूँ