Ollama, अब AMD ग्राफिक्स कार्ड सपोर्ट के साथ

• Ollama ने preview version में Windows और Linux पर AMD ग्राफिक्स कार्ड का समर्थन शुरू कर दिया है
• Ollama की सभी सुविधाएँ अब Linux और Windows में AMD ग्राफिक्स कार्ड के साथ accelerated हो सकती हैं

समर्थित ग्राफिक्स कार्ड

• AMD Radeon RX series: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
• AMD Radeon PRO series: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
• AMD Instinct series: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
• और अधिक AMD ग्राफिक्स कार्ड के लिए समर्थन जल्द उपलब्ध कराया जाएगा।

[GN⁺]

Hacker News की राय

• llama.cpp के योगदान की पहचान की कमी

  • यह बात ध्यान खींचती है कि llama.cpp द्वारा उपलब्ध कराई गई तकनीक पर आधारित टूल्स में llama.cpp को सीधे तौर पर पहचान या धन्यवाद नहीं मिलता।
  • दूसरे "local run" सॉफ़्टवेयर को उचित स्तर का credit मिलता है, और Ollama MIT license के लिहाज़ से समस्या-रहित लगता है, लेकिन repository, blog, या Ollama website कहीं भी आभार का उल्लेख नहीं है।

• Ollama के AMD support से जुड़ी blog post पर राय

  • blog post दिलचस्प लगी। मैं पहले से ही कई हफ्तों से AMD RX 6650 पर Ollama चला रहा था।
  • 21 दिन पहले से ROCm container उपलब्ध कराया गया था, और लगता है कि यह latest release 0.1.29 के साथ पोस्ट किया गया। AMD support के संदर्भ में इस release में वास्तव में क्या बदला, यह जानने की जिज्ञासा है।
  • एक issue है जिसमें आधिकारिक रूप से supported न होने वाले AMD card पर Ollama चलाने की प्रक्रिया बताई गई है। इसमें बस environment variable सेट करना होता है।
  • यह बदलाव भी दिखा कि starcoder2 model अब काम करता है। पहले यह crash हो जाता था।

• Ollama पर जरूरत से ज़्यादा ध्यान दिए जाने पर सवाल

  • यह साफ़ नहीं है कि Ollama को इतना ध्यान क्यों मिल रहा है। यह एक समय में सिर्फ एक model support करता है और इसकी उपयोगिता मुख्यतः experiment तक सीमित है।
  • यह experimentation को बहुत आसान बना देता है, लेकिन चूँकि यह पूरी तरह llama.cpp पर निर्भर है और इसका मुख्य value proposition आसान model management है, इसलिए लगता है कि इसे जितना ध्यान और प्रशंसा मिल रही है, उसके मुकाबले इसकी value बढ़ा-चढ़ाकर आंकी गई है।
  • शुरुआती experiment के बाद आखिरकार model को production environment में deploy करना पड़ता है। बात सिर्फ llama.cpp को credit देने की नहीं है, बल्कि यह कि यह product अपनी वास्तविक value की तुलना में कहीं अधिक ध्यान पा रहा है।

• RX 6800/6800 XT / 6900 XT support के लिए आभार

  • खुशी है कि अब उन cards को ML कामों में इस्तेमाल किया जा सकता है जिन्हें COVID के बाद की कमी के दौरान बहुत ज़्यादा कीमत देकर खरीदा गया था।
  • Ollama project और llama.cpp, दोनों का धन्यवाद।

• Ollama चलाते समय AMD से जुड़ा warning message

  • fooocus तो चल जाता है, लेकिन Ollama चलाने पर AMD Linux driver से जुड़ा warning message दिखाई देता है।
  • ROCm library न होने की वजह से CPU इस्तेमाल होता है।
  • Arch Linux पर ROCm दोबारा install करने का तरीका देखना होगा।

• CUDA की प्रतिस्पर्धात्मक बढ़त घटने पर सकारात्मक प्रतिक्रिया

  • ऐसे project जितने बढ़ेंगे, CUDA उतना कम महत्वपूर्ण होगा, और Nvidia की प्रतिस्पर्धात्मक बढ़त भी घटेगी।

• local LLM software नए hardware की खरीद को बढ़ावा देता है

  • RX 570/580 जैसे पुराने cards support नहीं पाते, और नया hardware ज़्यादा शक्तिशाली होने के बावजूद ऐसा लगता है कि latest card की ज़रूरत नहीं होनी चाहिए, क्योंकि CUDA 2007 में और ROCm 2016 में जारी हुए थे।

• Ollama का आसान उपयोग अनुभव

  • पहले local model चलाने का कोई अनुभव नहीं था, लेकिन Ubuntu 22 पर 7600 card के साथ यह तुरंत चल गया, जो बहुत शानदार है।

• OpenCL के उपयोग को लेकर जिज्ञासा

  • OpenCL का इस्तेमाल Cuda की तुलना में कम दिखता है, इसलिए यह जानने की जिज्ञासा है कि इसे सफलतापूर्वक कैसे लागू किया गया।
  • 4090 card पर काफ़ी पैसा खर्च किया, लेकिन अच्छा होता अगर कोई विकल्प भी होता।

• NVidia card की कीमतें और AMD support सुधारने की कोशिशें

  • यह संकेत मिलता है कि top-end NVidia cards की बहुत ऊँची कीमत और उनकी सीमित उपलब्धता के बीच AMD support बेहतर बनाने के लिए काफ़ी प्रयास किए जा रहे हैं।