Web LLM - Llama2 7B/13B के लिए समर्थन शुरू

 (webllm.mlc.ai)
26 पॉइंट द्वारा xguru 2023-08-30 | 7 टिप्पणियां | WhatsApp पर शेयर करें
  • सर्वर के बिना ब्राउज़र में Llama, RedPajama, Vicuna जैसे LLM को WASM पर चलाने वाली सेवा
  • Llama 2 7B/13B के लिए समर्थन शुरू
  • Llama 2 70B का भी समर्थन, लेकिन यह केवल Apple Silicon Mac + 64GB RAM या उससे अधिक पर ही इस्तेमाल किया जा सकता है
  • WebGPU से acceleration

संबंधित पढ़ाई

7 टिप्पणियां

 
freejack 2023-08-31
  • मुझे AI के बारे में ज़्यादा जानकारी नहीं है, लेकिन जिज्ञासा में मैंने अपने लो-स्पेक PC पर इसे टेस्ट किया - Chat Demo का पहला मॉडल (PC स्पेक: AMD Ryzen5 3600, NVIDIA GeForce GTX 750 Ti)
  • पहले सवाल पर लगभग 4G डाउनलोड करके initialize होने में, मेरे PC environment के हिसाब से, करीब 11 मिनट लगे।
  • हर सवाल पर GPU का औसतन 60% से ज़्यादा इस्तेमाल हुआ, और जवाब ऐसे मिले जैसे धीरे-धीरे टाइप कर रहा हो। (बहुत झुंझलाहट हुई --)
  • टेस्ट के तौर पर मैंने show me the earth picture पूछा, तो इसने NASA URL तो दिया, लेकिन image नहीं दिखा सका। (Invalid URL)
  • इसने कोरियाई सवाल भी पहचान लिया, लेकिन जवाब सिर्फ़ अंग्रेज़ी में दिया।
 
cosine20 2023-09-06

क्योंकि यह 750Ti है....
 
laeyoung 2023-08-31

url output के रूप में निकलने वाली चीज़ें ChatGPT में भी अक्सर टूट जाती हैं। शायद ऐसा ही है।
 
kuroneko 2023-08-30

वेब पर Stable Diffiusion को चलते देखकर मुझे यह काफी हैरान करने वाला लगा था,
क्या सच में WebGPU GPU APIs का बड़ा एकीकरण कर पाएगा?
 
2023-08-30
[यह टिप्पणी छिपाई गई है.]
 
ragingwind 2023-08-30

वाकई कमाल है