LLaMA-Adapter V2: LLaMA को कुशलतापूर्वक फाइन-ट्यून करने का टूल

 (github.com/ZrrSkywalker)
7 पॉइंट द्वारा xguru 2023-05-03 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • केवल 1.2M trainable parameters के ज़रिए LLaMA को 1 घंटे में Instruction-Following और MultiModal मॉडल के रूप में ट्रेन किया जा सकता है
  • Alpaca के लिए 7B parameters, 13G storage space और 3 घंटे की आवश्यकता होती है,
    LLaMA-Adapter के लिए 1.2M parameters, 4.7M storage space और 1 घंटा पर्याप्त है

संबंधित पढ़ाई

1 टिप्पणियां

 
bytebrawlers 2023-05-03

क्या इसमें मुख्य बात यह नहीं है कि इसने LoRA जैसी PEFT पद्धति का उपयोग किया है और सबसे बढ़कर Visual Context को सपोर्ट करता है? LLaMA के PEFT अप्रोच में SFT (Instruction Fine Tune) तो पहले से ही बहुत ज़्यादा हैं, इसलिए...