Mistral-finetune - Mistral मॉडल को फाइन-ट्यून करना

• Mistral के मॉडलों को memory/performance-efficient तरीके से फाइन-ट्यून करने के लिए एक lightweight codebase
• LoRA-आधारित, जिसमें अधिकांश weights फ्रीज़ रहते हैं और Low-Rank Matrix Perturbation के रूप में केवल 1~2% अतिरिक्त weights को train किया जाता है
• अधिकतम efficiency के लिए A100 या H100 GPU का उपयोग करना बेहतर है, और codebase multi-GPU single-node training setup के लिए optimized है, लेकिन 7B जैसे छोटे मॉडलों के लिए single GPU भी पर्याप्त है

नोट: इस repository का लक्ष्य Mistral मॉडलों को fine-tune करने के लिए एक सरल और guided entry point प्रदान करना है। इसलिए यह काफ़ी opinionated है (विशेष रूप से data formatting के संबंध में), और इसका उद्देश्य कई model architectures या hardware types में व्यापक होना नहीं है। अधिक सामान्य approach के लिए torchtune जैसे अन्य बेहतरीन projects को देखें