- "SD Moment आ रहा है" लेख के बाद 3 दिनों में हुए बदलाव
- llama.cpp के साथ 4GB Raspberry Pi पर चलाया गया। प्रति token 10 सेकंड
- Dalai के साथ इसे आसानी से चलाना संभव हो गया
- llama.cpp के साथ Pixel 6 पर प्रति token 26 सेकंड हासिल करने के बाद Pixel 5 पर इसे सुधारकर प्रति token 1 सेकंड किया गया
- Stanford ने LLaMA 7B को fine-tune करके बना Alpaca रिलीज़ किया
Stanford's Alpaca
- LLaMA मॉडल की बड़ी कमजोरी यह है कि सवाल-जवाब के लिए इसमें "instruction-tuning" की कमी है
- OpenAI की बड़ी innovations में से एक GPT-3 में instruction tuning जोड़ना था
- Stanford ने इसके लिए 52,000 training examples दिए और इसे सिर्फ $100 में train करना संभव बनाया
- सबसे छोटा 7B मॉडल अब Raspberry Pi/मोबाइल फोन पर भी चल सकता है, और काफ़ी प्रभावशाली नतीजे देता है
- लेकिन यह अभी commercial use के लिए नहीं है (तीन वजहों से: LLaMA का license / instruction-set data को OpenAI मॉडल से बनाया गया / safety measures डिज़ाइन नहीं किए गए)
इसका मतलब क्या है?
- LLaMA का licensing model मेरे लिए ज़्यादा मायने नहीं रखता
- LLaMA ने दिखाया कि GPT-3 class language model को आम तौर पर उपलब्ध resources के साथ train किया जा सकता है
- llama.cpp ने दिखाया कि LLM को 4GB स्तर के consumer hardware पर चलाया जा सकता है
- Alpaca ने दिखाया कि 52K examples और $100 की लागत से भी 7B मॉडल (4bit quantization के साथ 4GB तक घटाया गया) को fine-tune किया जा सकता है, और यह नवीनतम text-davinci-003 जैसे मिलते-जुलते नतीजे दे सकता है
- हालांकि तुलना में इस्तेमाल किया गया मॉडल 7B full model (13.48GB, 16bit floating point) था, 4bit तक घटाया गया 4GB मॉडल नहीं; दोनों के बीच quality difference की स्पष्ट तुलना वाला डेटा मैंने अभी तक नहीं देखा है
अभी कोई टिप्पणी नहीं है.