Ollama v0.1.33 - Llama 3 + Phi 3 + Qwen 110B सपोर्ट

 (github.com/ollama)
8 पॉइंट द्वारा xguru 2024-04-30 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • नए मॉडल सपोर्ट
    • Llama 3: Meta का नया मॉडल और अब तक का सबसे बेहतर प्रदर्शन वाला open LLM
    • Phi 3 Mini: Microsoft का नया हल्का open model, जिसमें 3.8 billion parameters हैं
    • Moondream: edge devices पर कुशलतापूर्वक चलने के लिए डिज़ाइन किया गया छोटा vision-language model
    • Dolphin Llama 3: Llama 3 आधारित uncensored model, जिसे Eric Hartford ने train किया है. इसमें विविध instructional, conversational और coding skills शामिल हैं
    • Qwen 110B: benchmarks में शानदार प्रदर्शन दिखाने वाला 100B parameter आकार का मॉडल (Alibaba)
  • bug fixes
    • मॉडल बंद न होने की वजह से API रुक जाने वाली समस्या ठीक की गई
    • Apple Silicon Mac पर out-of-memory error ठीक किया गया
    • Mixtral architecture मॉडल चलाते समय out-of-memory error ठीक किया गया
  • experimental concurrency features
    • OLLAMA_NUM_PARALLEL: एक ही मॉडल के लिए कई requests को एक साथ process करना
    • OLLAMA_MAX_LOADED_MODELS: कई मॉडलों को एक साथ load करना
    • environment variables सेट करना ज़रूरी
      • OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=4 ollama serve

संबंधित पढ़ाई

1 टिप्पणियां

 
siabard 2024-04-30

मुझे कई models इस्तेमाल करने की ज़रूरत थी, अब यह संभव हो गया है। ^^=b