ओपन सोर्स - Ollama-आधारित LLM मोबाइल क्लाइंट

 (github.com/bipark)
10 पॉइंट द्वारा rtlink 2024-11-23 | 2 टिप्पणियां | WhatsApp पर शेयर करें

इस साल मैंने वीडियो से जुड़े LLM-RAG काम पर काफी समय लगाया। ऐसा करते-करते कुछ उपज-स्वरूप चीज़ें भी निकल आईं, जिनमें से कुछ को व्यवस्थित करके एक ऐप बनाया और उसे ओपन सोर्स के रूप में अपलोड किया।

डेमो के लिए ऐसा चैट UI चाहिए था जिसे ऐप और वेब दोनों पर एक साथ इस्तेमाल किया जा सके, इसलिए मैंने Flutter के flutter_chat_ui के आधार पर काम किया। लेकिन इसे सिर्फ डेमो तक सीमित रखना ठीक नहीं लगा, इसलिए मैंने Ollama क्लाइंट के रूप में मोबाइल पर इस्तेमाल किया जा सकने वाला ऐप बना दिया।

ChatGPT और Claude की परफॉर्मेंस अच्छी है, लेकिन जिन लोगों को लागत या सुरक्षा की चिंता है, उनके लिए अपने कंप्यूटर पर Ollama इंस्टॉल करके ज़रूरत के मुताबिक उपयुक्त LLM इंस्टॉल कर उपयोग करना भी एक अच्छा तरीका है.
यह Flutter स्रोत है, इसलिए इसे iPhone और Android फोन पर बिल्ड करके इस्तेमाल किया जा सकता है।

परिचय

Ollama एक ओपन सोर्स सॉफ्टवेयर है जो बड़े भाषा मॉडल (Large Language Models, LLMs) को लोकल कंप्यूटर पर आसानी से चलाने में मदद करता है। MyOllama का उपयोग करके आप Ollama से कनेक्ट होकर विभिन्न LLM का उपयोग कर सकते हैं। MyOllama - Ollama प्रोग्राम के जरिए आपके अपने कंप्यूटर पर LLM चलाता है, इसलिए आप बिना किसी अलग उपयोग-शुल्क के AI मॉडल से बातचीत कर सकते हैं।

मुख्य फीचर

  • रिमोट LLM एक्सेस: IP address के जरिए Ollama host से कनेक्ट
  • कस्टम prompt: user-defined instruction सेटिंग का समर्थन
  • कई ओपन सोर्स LLM का समर्थन (Llama, Gemma, Qwen, Mistral आदि)
  • user-defined instruction सेटिंग संभव
  • image recognition फीचर का समर्थन (केवल उन मॉडलों में जो इस फीचर को सपोर्ट करते हैं)
  • सहज chat-format UI
  • conversation history: chat session को सहेजना और प्रबंधित करना
  • iOS और Android समर्थन
  • Korean, English, 日本語 का समर्थन

उपयोग का तरीका

  • अपने कंप्यूटर पर Ollama इंस्टॉल करें (macOS, Windows, Linux समर्थन). Ollama इंस्टॉल करने का तरीका Ollama GitHub पर देखा जा सकता है।
  • स्रोत डाउनलोड करके Flutter से बिल्ड करें, या App Store से MyOllama ऐप डाउनलोड करें।
  • Ollama में अपनी पसंद का मॉडल इंस्टॉल करें। मॉडल डाउनलोड
  • Ollama को रिमोट एक्सेस योग्य बनाने के लिए सेटिंग बदलें।
  • MyOllama ऐप चलाएँ और Ollama इंस्टॉल किए गए कंप्यूटर का IP address दर्ज करें।
  • अपनी पसंद का AI मॉडल चुनें और बातचीत शुरू करें।

फायदे

  • यह ऐप उन डेवलपर्स और शोधकर्ताओं के लिए डिज़ाइन किया गया है जो ओपन सोर्स LLM का कुशल उपयोग करना चाहते हैं। इसका उपयोग API calls, prompt engineering, model performance testing जैसे विभिन्न तकनीकी प्रयोगों में किया जा सकता है।
  • उन्नत AI फीचर मुफ्त में उपयोग किए जा सकते हैं
  • विभिन्न LLM मॉडलों का समर्थन
  • privacy सुरक्षा (लोकल कंप्यूटर पर रन होता है)
  • programming, creative work, और रोज़मर्रा के सवालों जैसे कई उपयोग
  • बातचीत का context बनाए रखने के लिए संरचित

ध्यान देने योग्य बातें

  • इस ऐप का उपयोग करने के लिए Ollama इंस्टॉल किया हुआ कंप्यूटर अनिवार्य है।
  • Ollama host की सेटिंग और प्रबंधन उपयोगकर्ता की जिम्मेदारी है। सुरक्षा सेटिंग पर ध्यान दें।

संबंधित पढ़ाई

2 टिप्पणियां

 
chungjungsoo 2024-11-23

मैंने भी अलग मकसद के लिए ऐसा ही एक ऐप बनाया है और फिलहाल उसे चला रहा हूँ। Ollama ने भी हाल ही में support जोड़ने वाला update जारी किया है.
विदेशों में खास तौर पर Ollama के लिए काफी requests आ रही थीं।

https://hi.news.hada.io/topic?id=15375
 
rtlink 2024-11-23

GitHub लिंक
https://github.com/bipark/my_ollama_app