शुरुआत से LLMs बनाना: 3 घंटे की coding workshop

 (magazine.sebastianraschka.com)
1 पॉइंट द्वारा GN⁺ 2024-09-01 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • अगर आप वीकेंड में कुछ घंटे लगाकर बड़े language models (LLM) को समझना चाहते हैं, तो implementation, training और उपयोग पर 3 घंटे की coding workshop presentation तैयार की गई है
  • नीचे वह विषय-सूची है जो वीडियो में कवर की गई सामग्री दिखाती है (वीडियो में ही clickable chapter marks हैं, जिनसे आप सीधे अपनी रुचि के विषय पर जा सकते हैं)

विषय-सूची

  • 0:00 – workshop overview

  • 2:17 – Part 1: LLM परिचय

  • 9:14 – workshop सामग्री

  • 10:48 – Part 2: LLM input data को समझना

  • 23:25 – सरल tokenizer class

  • 41:03 – Part 3: LLM architecture को code करना

  • 45:01 – GPT-2 और Llama 2

  • 1:07:11 – Part 4: pre-training

  • 1:29:37 – Part 5.1: pre-trained weights लोड करना

  • 1:45:12 – Part 5.2: LitGPT के जरिए pre-trained weights

  • 1:53:09 – Part 6.1: instruction fine-tuning

  • 2:08:21 – Part 6.2: LitGPT के जरिए instruction fine-tuning

  • 2:26:45 – Part 6.3: benchmark evaluation

  • 2:36:55 – Part 6.4: संवाद प्रदर्शन मूल्यांकन

  • 2:42:40 – निष्कर्ष

  • यह सामान्य text-based content से थोड़ा अलग है, लेकिन कुछ महीने पहले ऐसा करने पर बहुत अच्छी प्रतिक्रिया मिली थी, इसलिए इसे फिर से करना अच्छा लगा

  • आशा है कि आपको इसे देखना पसंद आएगा!

संदर्भ सामग्री

  1. Build an LLM from Scratch पुस्तक
  2. Build an LLM from Scratch GitHub repository
  3. workshop code शामिल GitHub repository
  4. इस workshop के लिए Lightning Studio
  5. LitGPT GitHub repository

Ahead of AI सदस्यता

  • Sebastian Raschka द्वारा 2 साल पहले शुरू किया गया प्रोजेक्ट
  • Ahead AI machine learning और AI research पर केंद्रित है, और इसे ऐसे हज़ारों researcher और practitioner पढ़ते हैं जो लगातार बदलते क्षेत्र में आगे रहना चाहते हैं

GN⁺ की संक्षिप्त प्रस्तुति

  • यह workshop उन लोगों के लिए बहुत उपयोगी है जो LLM को शुरू से implement और train करना सीखना चाहते हैं
  • इसमें GPT-2 और Llama 2 जैसे models शामिल हैं, और यह बताता है कि pre-trained weights कैसे लोड करें और instruction fine-tuning कैसे करें
  • machine learning और AI research में रुचि रखने वालों के लिए यह बेहद दिलचस्प और उपयोगी हो सकता है
  • समान क्षमता वाले अन्य प्रोजेक्ट्स में Hugging Face की Transformers library और OpenAI के GPT models शामिल हैं

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-09-01
Hacker News राय

  • "बेसिक्स पर वापस जाना हमेशा अच्छा होता है" जैसी राय के साथ शेयर करने के लिए धन्यवाद

  • "अज्ञानता के लिए माफ़ी, लेकिन क्या यह Andrej Karpathy के https://www.youtube.com/watch?v=kCc8FmEb1nY से अलग है?" जैसा सवाल

    • "खैर, मैं इसे आज रात सोने से पहले देखने वाला हूँ" जैसी राय

  • "Sebastian की लिखी चीज़ें अच्छी हैं" जैसी राय के साथ किताब का इंतज़ार

    • LLM की संरचना के बारे में बहुत सारी बारीकियाँ हैं, और Llama व OpenAI training data को कैसे व्यवस्थित और संरचित करते हैं, इस पर और विस्तार की इच्छा
    • "लगता है कि लंबी अवधि में यही महत्वपूर्ण लड़ाई होगी" जैसी राय