SlowLlama - M1/M2 पर बिना quantization के Llama2-70b और CodeLLama को fine-tune करना

 (github.com/okuvshynov)
9 पॉइंट द्वारा xguru 2023-10-09 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • Apple M1/M2 और consumer nVidia GPU पर LLama2-70B जैसे models को fine-tune करना
  • quantization का उपयोग करने के बजाय, forward/backward pass दोनों में model के कुछ हिस्सों को SSD या main memory में offload करने का तरीका
  • मौजूदा version updates को LoRA का उपयोग करके छोटे parameter set तक सीमित करता है
    • पहला version full fine-tuning भी कर सकता था, लेकिन अब हटा दिया गया है

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.