LM Studio - LLM को लोकल में आसानी से चलाने वाला टूल

 (lmstudio.ai)
11 पॉइंट द्वारा GN⁺ 2023-11-23 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • लोकल में LLM खोजने, डाउनलोड करने और ऑफलाइन चलाने की सुविधा
    • LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X जैसे मॉडल
  • Mac/Windows/Linux (beta)
  • बिल्ट-इन chat UI या OpenAI-compatible लोकल सर्वर के जरिए मॉडल का उपयोग किया जा सकता है
  • HuggingFace के ggml-आधारित Llama, MPT, StarCoder जैसे मॉडल सपोर्ट करता है
    • (उदाहरण: Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT आदि).
  • न्यूनतम स्पेसिफिकेशन और आवश्यकताएँ
    • Apple Silicon Mac (M1/M2/M3) macOS 13.6 या उससे ऊपर
    • Windows / Linux PC (AVX2 सपोर्ट करने वाला प्रोसेसर)
    • 16GB+ RAM की सिफारिश. PC पर 6GB+ VRAM की सिफारिश
    • NVIDIA/AMD GPUs सपोर्ट

LM Studio गोपनीयता और उपयोग

  • LM Studio उपयोगकर्ता का डेटा एकत्र या मॉनिटर नहीं करता, और सारा डेटा उपयोगकर्ता के डिवाइस पर लोकल ही रहता है
  • व्यक्तिगत उपयोग के लिए यह मुफ्त है, और काम के लिए उपयोग करना हो तो टीम से संपर्क करना होगा

GN⁺ की राय

  • LM Studio गोपनीयता को महत्व देने वाले उपयोगकर्ताओं के लिए एक आकर्षक समाधान है, और LLM को ऑफलाइन चलाने की इसकी क्षमता सबसे अहम है.
  • उपयोगकर्ता का डेटा केवल लोकल में संग्रहीत रहना, कई तरह के मॉडल का समर्थन, और व्यक्तिगत उपयोगकर्ताओं के लिए मुफ्त उपलब्ध होना खास तौर पर उपयोगी है.
  • हार्डवेयर आवश्यकताएँ अपेक्षाकृत ऊँची हैं, इसलिए यह आधुनिक डिवाइस उपयोगकर्ताओं के लिए अधिक उपयुक्त है, और कामकाजी उपयोग की योजना होना एक सकारात्मक पहलू है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-11-23
Hacker News प्रतिक्रियाएँ
  • एक लिंक साझा किया गया है जो दिखाता है कि Ollama और UI का उपयोग करके open source code के साथ वही काम किया जा सकता है।
  • LM Studio के बारे में सकारात्मक राय और इसकी विशेषताएँ:
    • local model runtime
    • model catalog
    • models के साथ आसानी से बातचीत करने के लिए UI
    • OpenAI-compatible API
    • RAG (ChromaDB का उपयोग) जैसे plugins शामिल
    • OS ecosystem की नई सुविधाओं का लाभ उठाने के लिए अच्छी स्थिति में है
    • अफसोस कि LM Studio खुद open source नहीं है
  • unfiltered model आज़माने की इच्छा। "TheBloke/Luna-AI-Llama2-Uncensored-GGML" model मिला और सिर्फ पहली file डाउनलोड करके यह जाँचा कि क्या यह काम करता है। यह जानना चाहते हैं कि क्या बाकी files भी डाउनलोड करनी होंगी, और क्या कुछ संवेदनशील सवालों पर model वास्तव में unfiltered है।
  • LLM के बारे में एक शुरुआती सवाल: अगर "The Lord of the Rings" series को LLM में डाला जाए तो क्या होगा, क्या कोई बुनियादी "अनजान" LLM मौजूद है, और क्या उससे Middle-earth विशेषज्ञ बनाया जा सकता है।
  • advanced engineering role के लिए एक मज़ेदार qualification requirement: computer और software की गहरी समझ, algorithms और program लिखने की क्षमता वगैरह चाहिए, लेकिन इन requirements को गंभीरता से लेना मुश्किल है।
  • जटिल setup को सरल बनाने की कोशिश के रूप में व्यक्तिगत रूप से बनाया गया एक सरल UI दिखाने वाला लिंक साझा किया गया है।
  • LLM software के संभावित user base को लेकर जिज्ञासा, और market segmentation पर जानकारी या अनुमान देखना चाहते हैं। जटिल setup के बावजूद इस interface, बातचीत, और model management में मूल्य देखते हैं।
  • app के UI में सुधार के सुझाव:
    • chatbox field की default state बेहतर होनी चाहिए
    • model load होने से पहले CUDA acceleration कैसे सेट करें, यह स्पष्ट नहीं है
    • कुछ HuggingFace models सूचीबद्ध नहीं हैं और कारण नहीं बताया गया है
    • interface के accordion हिस्से की scrolling सिर्फ mouse wheel पर प्रतिक्रिया करती है
    • server tab शुरुआती debugging के लिए बहुत उपयोगी है
  • अलग-अलग LLM models (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna) का उपयोग करते समय हो सकने वाली समस्याओं (50% hallucination, मौजूद न होने वाले API code की सिफारिश, पुराने StackOverflow answers की पुनरावृत्ति आदि) पर सवाल, और इन models को वास्तव में कैसे इस्तेमाल किया जा रहा है, इसके उदाहरण साझा करने का अनुरोध।
  • LM Studio को install और run करने के बाद CPU usage 30% तक बढ़ गया और laptop fan का शोर बढ़ गया। LM Studio process को बंद करके फिर से खोलने पर background usage 5% तक घट गया।