• बड़े language models को finetune करने वाला टूल Unsloth अब Meta के नवीनतम Llama 3 मॉडल को सपोर्ट करता है, जिससे Flash Attention 2 (FA2) और Hugging Face (HF) की तुलना में 2x तेज़ finetuning और VRAM उपयोग में 63% कमी संभव होती है.
• Unsloth का उपयोग करने पर Llama 3 के 70B वर्ज़न को 1.8x तेज़ी से finetune किया जा सकता है और यह 68% कम VRAM उपयोग करता है, जिससे finetuning के दौरान कहीं लंबी context length की अनुमति मिलती है. यह खास तौर पर question answering या text generation जैसे उन कार्यों के लिए उपयोगी है, जिनमें व्यापक संदर्भ की आवश्यकता होती है.
• Unsloth, Llama 3 मॉडल के 4-bit quantization को भी सपोर्ट करता है, जिससे 4x तेज़ download और कम memory requirement मिलती है. Llama 3 के 70B instruct और base, दोनों वर्ज़नों के लिए pre-quantized 4-bit models Hugging Face पेज पर उपलब्ध हैं.
• इसके अलावा, Unsloth Llama 3 की कुछ खास quirks और "bugs" को भी संभालता है, जैसे tokenizer में BOS token का न होना और base model में untrained tokens का मौजूद होना. Unsloth finetuning के दौरान इन समस्याओं को अपने आप ठीक कर देता है, जिससे सटीक और कुशल training सुनिश्चित होती है.
अभी कोई टिप्पणी नहीं है.