Llama.cpp गाइड – किसी भी हार्डवेयर पर शुरू से LLMs को लोकल में कैसे चलाएँ

[GN⁺]

Hacker News राय

• ब्लॉग लिखे जाने की संख्या बढ़ना सकारात्मक है, लेकिन llama.cpp को build करने का तरीका जटिल लगता है

  • ccmake . कमांड से hardware के अनुसार parameters सेट करके build किया जा सकता है

• पुराने Dell laptop पर Llama.cpp चलाने में सफलता का अनुभव साझा किया गया

  • यह न्यूनतम specs पर भी चला, और धीमा होने के बावजूद सटीक जवाब देता था
  • बेहतर hardware पर बड़े models चलाकर देखना चाहते हैं

• Llama.cpp install करना चाहते थे, लेकिन बेहतर UX वाले kobold.cpp को install कर लिया

• Windows और AMD पर build करने की कोशिश का अनुभव साझा किया गया

  • Vulkan और MSYS2 के साथ चलाना सबसे आसान था

• Llama.cpp द्वारा supported LLMs की सीमाओं पर सवाल

  • क्या यह केवल कुछ खास transformer models को support करता है, इसे लेकर जिज्ञासा

• Ollama पर switch करने का अनुभव साझा किया गया

  • Ollama का server और client setup सरलता से काम करता है

• इस बात पर ज़ोर कि Ollama सिर्फ llama.cpp wrapper नहीं है

  • Ollama model interface और packaging के लिए कई features देता है

• ChatGPT web interface की जगह Llama.cpp इस्तेमाल करने के कारण पर सवाल

  • क्या privacy इसका मुख्य कारण है, इसे लेकर जिज्ञासा

• ChatGPT और Claude का रोज़ इस्तेमाल करते हैं, लेकिन दूसरी services के अलावा LLM का उपयोग करने की कोई वजह नहीं मिलती

• Ollama और llama.cpp को सीधे चलाने पर चर्चा

  • CUDA setup हमेशा आसान नहीं होता, और local inference ज़्यादा तेज़ हो सकता है
  • PyTorch चलाना अधिक आसान है, और AWQ models को आसानी से install किया जा सकता है