Ollama विंडोज पर Preview में उपलब्ध

 (ollama.com)
2 पॉइंट द्वारा GN⁺ 2024-02-18 | 1 टिप्पणियां | WhatsApp पर शेयर करें

विंडोज पर Ollama का Preview उपलब्ध

  • Ollama अब Windows पर Preview संस्करण में उपलब्ध है।
  • Windows पर Ollama में GPU एक्सेलरेशन, पूर्ण मॉडल लाइब्रेरी एक्सेस और OpenAI-compatible Ollama API शामिल हैं।

हार्डवेयर एक्सेलरेशन

  • Ollama मॉडल रनिंग को तेज़ करने के लिए NVIDIA GPU तथा AVX, AVX2 जैसी नई CPU instruction सेट का उपयोग करता है।
  • इसे सेटअप या वर्चुअलाइज़ेशन की जरूरत के बिना चलाया जा सकता है।

पूर्ण मॉडल लाइब्रेरी एक्सेस

  • Windows पर रन होने वाले सभी Ollama मॉडलों की लाइबरेरी तक पहुंच संभव है।
  • LLaVA 1.6 जैसे vision मॉडल चलाते समय, इमेज को ड्रैग एंड ड्रॉप करके संदेश में जोड़ा जा सकता है।

हमेशा चालू रहने वाला Ollama API

  • Ollama का API बैकग्राउंड में ऑटोमैटिक चलती रहती है और बिना अतिरिक्त सेटअप के टूल तथा ऐप्स से एक्सेस की जा सकती है।
  • उदाहरण के लिए, PowerShell का उपयोग करके Ollama API को कॉल करने का तरीका दिखाया गया है।

शुरुआत करें

  • Windows Preview पर Ollama शुरू करने के लिए पहले Ollama डाउनलोड करके इंस्टॉल करें।
  • इंस्टॉलेशन के बाद टर्मिनल खोलें और मॉडल रन करने के लिए ollama run llama2 कमांड चलाएँ।
  • नए रिलीज़ के साथ-साथ Ollama अपडेट की सूचना देता रहता है।
  • फीडबैक देने के लिए प्रोत्साहित किया गया है; समस्या आने पर issue खोलें या Discord server पर जुड़कर बताएं।

GN⁺ की राय

  • Windows इंटीग्रेशन: Ollama का Windows इंटीग्रेशन डेवलपर्स को Windows वातावरण में भी LLM आसानी से उपयोग करने देता है, जिससे machine learning और AI development की accessibility बढ़ती है।
  • हार्डवेयर एक्सेलरेशन: GPU और आधुनिक CPU instruction सेट का इस्तेमाल करके हार्डवेयर एक्सेलरेशन मॉडल की रनिंग स्पीड को काफी बढ़ाता है और जटिल सेटअप के बिना भी बेहतर performance देता है।
  • API एक्सेसिबिलिटी: हमेशा चालू रहने वाला API और OpenAI compatibility मौजूदा टूल्स के साथ integration को आसान बनाते हैं, जिससे डेवलपर्स अधिक कुशलता से काम कर पाते हैं।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-18
Hacker News टिप्पणियाँ
  • उपयोगकर्ता अपने डेस्कटॉप पर Open-WebUI frontend का उपयोग करके Mistral और कुछ अन्य मॉडल्स का एक fine-tuned collection चला रहे हैं। ये चैट और information extraction कामों में पर्याप्त रूप से अच्छा प्रदर्शन करते हैं। Open-WebUI ऐप chatGPT जैसा है और चैट खोज भी कर सकता है।

    Open-WebUI GitHub पृष्ठ

  • AMD GPU support के उल्लेख न होने पर उन्होंने खेद व्यक्त किया और कहा कि इस बार AMD चुनकर शायद गलती कर दी।
  • Ollama पर आधारित ऐसा chat UI खोजने वालों के लिए, जो ऑनलाइन और लोकल दोनों मॉडल्स सपोर्ट करता हो, privacy-first offline app बनाया जा रहा है और उसी सुबह Windows support भी जोड़ दिया गया।

    msty.app

  • कई 'लोकल पर रन करने वाले' AI पोर्ट्स सर्वर की तरह क्यों चल रहे हैं, इस पर सवाल उठाया। शायद डेवलपर्स भूल जाते हैं कि UI process के अंदर भी code रन हो सकता है। यही चीज़ें Stable Diffusion runner और LLM host में भी दिखती हैं। अगर जरूरत न हो तो लोकल में background service रन नहीं करना चाहता।
  • गैर-ओपन-सोर्स LM Studio और Ollama पर लोगों की राय क्या है, यह जानना चाहते हैं।

    LM Studio

  • कुछ साल पहले शायद मैं सोचता कि Mac users का इंतज़ार होता, क्योंकि मुझे पता नहीं था कि Windows users Ollama access नहीं कर सकते।
  • Linux और Mac पर पहले से उपलब्ध था, और अब Windows support जोड़ने के बदलाव का उल्लेख किया।

    Ollama GitHub पृष्ठ

  • Windows मशीन पर पिछले कुछ दिनों तक Ollama का इस्तेमाल करके VS Code में local tab auto-completion ट्राई किया; Mac पर उपयोग करने जितना अच्छा प्रदर्शन मिला।
  • नई Mac Mini पर llama2 मॉडल इन्स्टॉल करने के बाद पूरा kernel panic हो गया। आखिर क्या हुआ?
  • पूछते हैं कि क्या लोगों के लिए लोकल मॉडल पर रन करके डेवलप करना ही preferred तरीका है, और क्या सीखने के लिए कोई अन्य अनिवार्य tools हैं।