Lit-LLaMA - nanoGPT आधारित ओपन सोर्स LLaMA इम्प्लीमेंटेशन

• GPL लाइसेंस वाले LLaMA कोड के बजाय, nanoGPT पर आधारित Apache 2.0 लाइसेंस के साथ पूरी तरह अलग से विकसित किया गया ओपन सोर्स प्रोजेक्ट
• बिना boilerplate के single file में इम्प्लीमेंट किया गया है, इसलिए सरल है, और मौजूदा मॉडल के साथ संख्यात्मक रूप से समान है
• FlashAttention, quantization, LoRA fine-tuning, pretraining आदि को सपोर्ट करता है
• consumer hardware पर चलने के लिए optimized

[xguru]

nanoGPT, Tesla के पूर्व AI हेड Andrej Karpathy द्वारा minGPT को फिर से लिखकर बनाया गया कोड है।
nanoGPT - मध्यम आकार के GPT को सबसे तेज़ी से train/fine-tune करने के लिए open source

FlashAttention