LLaMA-rs - Rust में इम्प्लीमेंट किया गया LLaMA
(github.com/setzer22)llama.cppको Rust में पोर्ट किया गया प्रोजेक्ट- f16 या 4-bit quantized वर्ज़न मॉडल का समर्थन
- मूल की तरह
ggmltensor लाइब्रेरी का ही उपयोग, जिससे ऑरिजिनल जैसा प्रदर्शन मिलता है
llama.cpp को Rust में पोर्ट किया गया प्रोजेक्टggml tensor लाइब्रेरी का ही उपयोग, जिससे ऑरिजिनल जैसा प्रदर्शन मिलता है
1 टिप्पणियां
LLaMA का Rust implementation RLLaMA - Rust+OpenCL+AVX2 भी है.
llama.cpp - Facebook के LLaMA मॉडल पर pure C/C++ में inference