Whisper.cpp 1.4.0 रिलीज़

 (github.com/ggerganov)
13 पॉइंट द्वारा xguru 2023-05-02 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • integer quantization का समर्थन: ggml Whisper मॉडल के डिफ़ॉल्ट 16bit floating-point weights को 4, 6, 8bit integer weights में बदला जा सकता है
    • डिस्क साइज़ और मेमोरी उपयोग कम होता है, जिससे कुछ architectures पर यह अधिक तेज़ चलता है
    • यह llama.cpp प्रोजेक्ट में योगदान किए गए कोड की बदौलत संभव हुआ है
  • cuBLAS का उपयोग करके NVIDIA GPU समर्थन

संबंधित पढ़ाई