- 1 फ़ाइल के साथ अधिकांश कंप्यूटरों पर बिना इंस्टॉलेशन के LLM को आसानी से चलाने का समर्थन
llama.cpp और Cosmopolitan Libc को जोड़ने वाला framework
- 1 build के साथ कई OS और विभिन्न CPU architecture पर चल सकता है
- चैट और image recognition सक्षम LLaVA model को उदाहरण के रूप में प्रदान करता है
- 4GB फ़ाइल
llava-v1.5-7b-q4-server.llamafile डाउनलोड करके चलाएँ, बस काम हो जाएगा
- Mac/Linux/BSD के मामले में
chmod +x करके सीधे चलाएँ
- Windows में extension के बाद
.exe जोड़कर सीधे चलाएँ
- चलने पर browser अपने-आप खुलेगा और chat interface दिखाएगा
- इसके अलावा Mistral-7B-Instruct, WizardCoder-Python-13B आदि के llamafile भी उपलब्ध हैं
4 टिप्पणियां
curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafileसिर्फ एक बार
curlकमांड चलाने पर यह तुरंत रन हो जाता है, यह देखकर मैं सच में हैरान हूँ..वाह, कमाल है हाहा
वाकई इसे चलाना बहुत आसान है।
यह GN⁺ पर आया था, लेकिन शायद AI summary से इसका परिचय पर्याप्त नहीं हुआ, इसलिए यह लोकप्रिय नहीं हुआ और मैंने इसे एक बार फिर से संक्षेप में व्यवस्थित किया है। मुझे लगता है कि यह काफ़ी दिलचस्प कोशिश है।
"Llamafile" के ज़रिये एक single file में LLM deploy और run करना संभव
बेस मॉडल LLaVA: Visual Instruction Tuning
जब यह पहली बार सार्वजनिक हुआ था तब Cosmopolitan और RedBean कुछ शरारती से लगे थे, लेकिन इन्हें इस तरह भी इस्तेमाल किया जा सकता है। यह वास्तव में एक बेहतरीन use case लगता है।