- nanoGPT-आधारित open source implementation Lit-Parrot के साथ LoRA और Adapter का उपयोग करके fine-tuning
- StableLM, Pythia, RedPajama जैसे LLM को support करता है
- PyTorch के FlashAttention का उपयोग
- उदाहरण में Databricks के Dolly 2.0 instruction dataset के साथ RedPajama-INCITE मॉडल को tune किया गया है
अभी कोई टिप्पणी नहीं है.