talk-llama - टर्मिनल में LLaMA से बातचीत करें

• M2 Ultra पर Whisper Medium(Whisper.cpp) + LLaMA v2 13B Q8_0 का डेमो
• Whisper से speech recognition करके उस सवाल को LLaMA को भेजा जाता है, फिर जवाब को MacOS के speech synthesis (say कमांड) का उपयोग करके आउटपुट किया जाता है
• session management को support करता है, इसलिए पहले की बातचीत के आधार पर लगातार बातचीत संभव है

[ragingwind]

लगता है 13B Ultra पर अच्छी तरह चल रहा है। M3 Max पर यह कैसा चलेगा, यह जानने की उत्सुकता है।