speculative_decoding.c: llama2.c पर आधारित speculative decoding C कोड
(github.com/mscheong01)यह C में लागू किया गया एक सरल speculative decoding inference कोड है.
इसे llama2.c की तरह शैक्षिक उद्देश्य के लिए सरल कोड के रूप में लिखा गया है.
अगले चरण में मैं कुछ और नवीन शोध-पत्रों के implementations करने की योजना बना रहा हूँ.
अभी कोई टिप्पणी नहीं है.