मैं Android on-device LLM विकसित कर रहा हूँ.
पहले मैं whisper.cpp का उपयोग कर रहा था, लेकिन GPU acceleration न होने के कारण स्पीड को लेकर कमी महसूस हो रही थी.
LiteRT-LM जारी होने के बाद, और खासकर MTP लागू होने पर, मुझे लगा कि इसकी स्पीड काफ़ी तेज़ है, इसलिए मैंने porting का काम शुरू किया,
और संतोषजनक परिणाम प्राप्त किए.
LiteRT Community में सार्वजनिक किए गए विभिन्न मॉडलों के benchmark परिणाम भी चलाए गए.
सोचा कि शायद यह किसी के काम आए, इसलिए इसे सार्वजनिक कर रहा हूँ
1 टिप्पणियां
Parakeet ASR सपोर्ट इम्प्लीमेंट किया जा चुका है और whisper ASR सपोर्ट को इम्प्लीमेंट किया जा रहा है।