ChatGPT जैसे LLM को शुरू से चरण-दर-चरण लागू करना

 (github.com/rasbt)
8 पॉइंट द्वारा GN⁺ 2024-01-28 | 1 टिप्पणियां | WhatsApp पर शेयर करें

बड़े भाषा मॉडल बनाना (शुरू से)

  • बड़े भाषा मॉडल (Large Language Models, LLMs) के आंतरिक काम करने के सिद्धांत को समझने में मदद करने वाली किताब
  • स्पष्ट टेक्स्ट, डायग्राम और उदाहरणों के साथ अपना खुद का LLM चरण-दर-चरण बनाने का तरीका समझाती है
  • शिक्षा के उद्देश्य से एक छोटा लेकिन कार्यात्मक मॉडल train और develop करने का तरीका, ChatGPT जैसे बड़े foundation models बनाने की पद्धति को दर्शाता है

विषय-सूची

  • Readme.md फ़ाइल एक Markdown फ़ाइल है, इसलिए इसे ठीक से देखने के लिए Markdown editor या preview का उपयोग करने की सिफारिश की जाती है
  • प्रत्येक अध्याय का शीर्षक, मुख्य कोड और सहायक कोड विषय-सूची में संक्षेप में दिए गए हैं
  • PyTorch परिचय पर एक appendix और Python तथा Python packages की installation के लिए अतिरिक्त निर्देश शामिल हैं

GN⁺ की राय:

  • यह किताब बड़े भाषा मॉडलों को शुरू से बनाने की प्रक्रिया को विस्तार से समझाती है और AI क्षेत्र में रुचि रखने वाले शुरुआती software engineers के लिए बहुत उपयोगी है.
  • यह उन पाठकों के लिए दिलचस्प सामग्री प्रदान करती है जो ChatGPT जैसी क्रांतिकारी तकनीक की बुनियाद को समझना चाहते हैं.
  • वास्तविक code examples के साथ दिया गया चरण-दर-चरण मार्गदर्शन, सीखने वालों को सिद्धांत को व्यवहार में लागू करने में मदद करेगा.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-01-28
Hacker News टिप्पणियाँ

  • अतिरिक्त सामग्री के रूप में एक guidebook लिखा जा रहा है, जो विभिन्न completion stages में है। अब तक fine-tuning guide सबसे बेहतरीन सामग्री है।

  • यह guidebook शानदार लग रही है। जिज्ञासा यह है कि इसका मुख्य लक्ष्य समझ को आसान बनाना और रहस्य दूर करना है, या लोगों को अपनी ज़रूरतों के मुताबिक छोटे models खुद बनाने के लिए प्रोत्साहित करना है।

  • सार्वजनिक रूप से technical book लिखना कल्पना से परे स्तर की anxiety के साथ आता है, इसलिए लेखक को नमन।

  • जिज्ञासा है कि क्या इस किताब की जानकारी का उपयोग करके reinforcement learning के बारे में सीखा जा सकता है। लक्ष्य lunar lander की तरह landing सीखना है। सरल रूप में 100 फीट से शुरू करना, एक दिशा में thrust देना, और crater न बनने तक कोशिश करना। फिर variables जोड़ना, जैसे horizontal movement के साथ horizontal thrusters जोड़ना, आदि। जिज्ञासा है कि क्या यह किताब ऐसे 'mainstream' ML में मददगार होगी।

  • जैसा कि पहले code sample में देखा जा सकता है, यह पूरी तरह scratch से शुरू करना नहीं है।

    import torch

  • मैंने सोचा था कि यह सामग्री मुफ्त होगी और Github पर चला गया। लेखक के काम के प्रति पूरा सम्मान रखते हुए, जिज्ञासा है कि 'scratch से' vein में कौन-सी मुफ्त सामग्री उपलब्ध है और कौन-सी recommended है।

  • model architecture खुद में, खासकर जब torch का उपयोग किया जाए, इतनी जटिल नहीं है। पूरी प्रक्रिया काफ़ी सीधी है और एक doable project है।

  • इसे शायद "Show HN" के रूप में वर्गीकृत किया जाएगा।

  • इस काम के लिए धन्यवाद। क्या किताब पूरी होने की कोई अनुमानित तारीख है?

  • मैंने एक प्रति खरीद ली! इसे पढ़ने का इंतज़ार है। :) क्या किताब लिखे जाने के दौरान readers के लिए feedback देने का कोई तरीका है?