चार Raspberry Pi 5 पर Deepseek R1 Distill 8B Q40 चलाना

 (github.com/b4rtaz)
3 पॉइंट द्वारा GN⁺ 2025-02-17 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • यह प्रोजेक्ट Raspberry Pi 5 8GB डिवाइस पर Deepseek R1 Distill 8B Q40 मॉडल चलाने के तरीके के परिणाम साझा करता है.
  • कई Raspberry Pi का उपयोग करके मॉडल के प्रदर्शन का मूल्यांकन और inference किया गया.
  • मूल्यांकन और inference परिणाम
    • 2 x Raspberry Pi 5 8GB
      • मूल्यांकन: 7.70 टोकन प्रति सेकंड
      • inference: 3.54 टोकन प्रति सेकंड
    • 4 x Raspberry Pi 5 8GB
      • मूल्यांकन: 11.68 टोकन प्रति सेकंड
      • inference: 6.43 टोकन प्रति सेकंड
  • अन्य जानकारी
    • टेस्ट नेटवर्क बंद स्थिति में किया गया.
    • कई डिवाइस वाले क्लस्टर environment में प्रदर्शन की पुष्टि की गई.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-02-17
Hacker News राय
  • Raspberry Pi पर 'Deepseek R1' चलाने की घोषणाएँ अक्सर उसी पैटर्न का पालन करती हैं, यानी Deepseek की distillation तकनीक से संशोधित llama या qwen चलाना
    • डेमो यह दिखाता है कि 500 tokens से कम में सवाल "solve" हो जाता है
    • ध्यान देना चाहिए कि वास्तविक दुनिया की उपयोगी context length (8-16k tokens) पर "thinking" models के साथ काम करते समय इस तरह की speed हासिल नहीं की जा सकती
    • कई channels वाला epyc भी लगभग 4096 context length के बाद 2-4 t/s तक गिर जाता है
  • £320 में 4 Pi5 खरीदे जा सकते हैं, लेकिन अगर सेकंड-हैंड 12GB 3080 मिल जाए, तो शायद 10 गुना से अधिक token speed मिल सकती है
  • यहाँ दिलचस्प बात यह है कि कई कंप्यूटरों में बाँटकर llama inference को distributed तरीके से चलाया जा सकता है
    • यह आधुनिक Beowulf cluster है
  • मुझे समझ नहीं आया कि कई Raspberry Pi को parallel में कैसे इस्तेमाल किया जा रहा है। उम्मीद है कोई मुझे इस दिशा में मार्गदर्शन कर सकेगा
  • अगर आप Mac पर इस मॉडल को आज़माना चाहते हैं, तो नए llm-mlx plugin का इस्तेमाल करके इसे इस तरह चला सकते हैं
    • brew install llm या pipx install llm या uv tool install llm
    • llm install llm-mlx
    • llm mlx download-model mlx-community/DeepSeek-R1-Distill-Llama-8B
    • llm -m mlx-community/DeepSeek-R1-Distill-Llama-8B 'poem about an otter'
    • मैंने अभी इसे चलाया और 22 tokens/second का performance मिला
  • सोचता हूँ कि कब हम यह सारी नई AI तकनीक बस "apt-get install" से इंस्टॉल कर पाएँगे
  • सोच रहा हूँ कि memory बढ़ाने से मदद मिलेगी या नहीं। हाल ही में 16GB RAM वाला Rpi 5 लॉन्च हुआ है
  • LLM-आधारित प्रोडक्ट्स के लिए, Alexa या Google Home की तरह cloud से कनेक्ट होने के बजाय locally चलने वाला LLM चाहिए। समझ नहीं आता कि यह अभी तक मौजूद क्यों नहीं है, या कोई यह काम क्यों नहीं कर रहा