Alpaca-LoRA : Low-Rank LLaMA Instruct-Tuning

• Low-Rank Adaptation का उपयोग करके, अपने हार्डवेयर पर LLaMA को instruction tuning करके देखना
• ऐसा मॉडल जो Raspberry Pi पर चल सकता है, और फिर भी text-davinci-003 जैसी गुणवत्ता देता है
• ट्रेनिंग कोड एक single RTX 4090 पर 5 घंटे के भीतर चलाया जा सकता है
• सस्ती/कुशल fine-tuning के लिए Hugging Face के PEFT(Parameter-Efficient Fine-Tuning) और Tim Dettmer के bitsandbytes का उपयोग