लोकल में Llama 2 चलाने का तरीका

• आप इंटरनेट कनेक्शन के बिना अपने डिवाइस पर Llama 2 चला सकते हैं.
• Llama 2 को लोकल में चलाने के लिए तीन open source टूल हैं: Llama.cpp, Ollama और MLC LLM.
• Llama.cpp, C/C++ में बना Llama का एक port है, जो Mac, Windows और Linux को सपोर्ट करता है.
• Ollama एक macOS ऐप है, जिससे command line interface के जरिए Llama 2 चलाया जा सकता है.
• MLC LLM की मदद से iOS और Android सहित मोबाइल फ़ोन पर Llama 2 चलाया जा सकता है.
• Ollama, 3B मॉडल चलाने के लिए कम से कम 8GB RAM, 7B मॉडल के लिए 16GB, और 13B मॉडल के लिए 32GB RAM की सिफारिश करता है.
• MLC LLM, Llama 2 के 7B, 13B और 70B वर्ज़न को सपोर्ट करता है, लेकिन iPhone यूज़र्स के लिए यह अभी beta वर्ज़न में है.
• Discord कम्युनिटी में अपनी क्रिएशन्स शेयर की जा सकती हैं और सपोर्ट पाया जा सकता है.
• Replicate, क्लाउड में Llama 2 चलाने और उसे fine-tune करने का विकल्प देता है.

[haebom]

मैं इसे Mac Studio M2 पर चला रहा हूँ, और यह अच्छी तरह चल रहा है।

[GN⁺]

Hacker News राय

• एक उपयोगकर्ता Windows पर Llama 2 को build करने के लिए निर्देश देता है, जिसमें CUDA toolkit इंस्टॉल करना और model डाउनलोड करना शामिल है.
• Llama 2 को अधिक आसानी से चलाने के लिए एक PowerShell function साझा किया जाता है.
• PEFT/Lora का उपयोग करके Google Colab A100 GPU पर Llama 2 को fine-tune करने वाली एक live coding stream का उल्लेख किया गया है.
• एक टिप्पणीकार Linux मशीन पर GPU का उपयोग करने के लिए Hugging Face inference का सुझाव देता है.
• मूल Llama 2 code का एक fork साझा किया गया है, जो CPU या MPS(M1/M2 GPU) पर चल सकता है.
• MacOS या Windows पर Llama 2 को आसानी से उपयोग करने के लिए GPT4All की सिफारिश की जाती है.
• वेबसाइट से script को सीधे bash में pipe करने को लेकर सावधानी जताई गई है.
• एक टिप्पणीकार Llama 2 की images को interpret करने और उपयोग करने की क्षमता पर चर्चा करता है.
• research से आगे Llama 2 का उपयोग करने के उद्देश्य पर सवाल उठाया गया है.
• LLM models की सीमाओं का उल्लेख किया गया है, और यह फिल्म 'मैट्रिक्स' पर JSON object बनाने से इनकार करता है.