Alpaca: GPT-3.5 स्तर का शक्तिशाली ओपन सोर्स Instruction-Following मॉडल
(crfm.stanford.edu)- Stanford CRFM ने Meta के LLaMA 7B को 52K Instruction-Following डेटा के साथ fine-tune किया
- यह OpenAI के GPT-3.5(text-davinci-003) की तरह काम करता है, लेकिन बहुत छोटा और सस्ता है
- training recipe और डेटा सार्वजनिक किए गए हैं, और आगे चलकर मॉडल weights भी रिलीज़ किए जाएंगे
- इसे केवल research purpose के लिए सार्वजनिक किया गया है, commercial use प्रतिबंधित है
- fine-tuning में 8 80GB A100 पर 3 घंटे लगे, और cloud पर लगभग 100 डॉलर से कम में यह संभव है
1 टिप्पणियां
Repo : https://github.com/tatsu-lab/stanford_alpaca
वेब डेमो : https://crfm.stanford.edu/alpaca/
LLaMA का सार्वजनिक रिलीज़ सचमुच Stable Diffusion Moment बना रहा है। चीज़ें वाकई बहुत तेज़ी से बदल रही हैं।