• मूल रूप से Python में इम्प्लीमेंट किए गए मॉडल को GGML लाइब्रेरी का उपयोग करके C++ में पोर्ट किया गया
  • हल्के कोड के जरिए इसे कई तरह की जगहों पर इस्तेमाल किया जा सकता है
  • मूल लेखक Georgi Gerganov के नाम पर रखा गया GGML, quantization support देने वाली tensor लाइब्रेरी है जिसका उपयोग llama.cpp/whisper.cpp बनाने में किया गया
    • GPU की तुलना में CPU के लिए अधिक अनुकूलित, खासकर Apple Silicon M1/M2 पर

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.