- अब Meta का Llama 3.3 70B मॉडल, जो GPT-4-स्तर का प्रदर्शन देता है, सामान्य लैपटॉप (64GB MacBook Pro M2) पर चलाया जा सकता है
- मार्च 2023 में LLaMA के लॉन्च के बाद लगभग 20 महीनों में हासिल की गई यह एक बड़ी प्रगति है
- Ollama के जरिए 42GB मॉडल डेटा लोकल में डाउनलोड करके चलाया जाता है (Apple के MLX से भी चलाया जा सकता है)
- 64GB RAM की आवश्यकता होती है, और चलाते समय मेमोरी उपयोग अधिक होने के कारण अन्य resource-intensive apps बंद करने की सलाह दी जाती है
- प्रदर्शन और बेंचमार्क
- LiveBench बेंचमार्क में यह 19वें स्थान पर है, Claude 3 Opus से बेहतर प्रदर्शन दिखाता है और GPT-4 Turbo के समान स्तर पर है
- खासकर instruction following मूल्यांकन में इसने शीर्ष-स्तरीय प्रदर्शन दर्ज किया है
- टेक्स्ट जनरेशन, कोड लेखन, SVG इमेज जनरेशन जैसी विभिन्न तरह की tasks कर सकता है
- अब व्यक्तिगत डिवाइस पर भी लगातार अधिक शक्तिशाली मॉडल चलाना संभव हो रहा है
- ध्यान देने योग्य अन्य लोकल-रन LLM मॉडल
- Qwen2.5-Coder-32B
- Alibaba Qwen रिसर्च टीम द्वारा विकसित यह मॉडल Apache 2.0 लाइसेंस के तहत जारी किया गया है
- कोड जनरेशन tasks में उत्कृष्ट प्रदर्शन दिखाता है और इसे स्वतंत्र रूप से उपयोग किया जा सकता है
- open source लाइसेंस के कारण यह डेवलपर्स के लिए और भी अधिक महत्वपूर्ण टूल है
- QwQ
- OpenAI की o1 series के समान chain-of-thought पैटर्न को लागू करता है
- जटिल समस्याओं को चरणबद्ध तरीके से हल कर सकता है
- लोकल environment में भी इसका सहज रूप से चलना प्रभावशाली है
- Meta का Llama 3.2
- 1B और 3B आकार के मॉडल Raspberry Pi जैसे छोटे कंप्यूटरों पर भी चल सकते हैं
- आकार की तुलना में बेहतरीन प्रदर्शन देते हैं, और इनमें 11B व 90B आकार के multimodal vision मॉडल भी शामिल हैं जिनमें इमेज प्रोसेसिंग क्षमता है
- छोटे मॉडल से लेकर बड़े पैमाने के मॉडल तक कई विकल्प उपलब्ध हैं
- ये मॉडल दिखाते हैं कि LLM तकनीक अब server-grade hardware से आगे बढ़कर सामान्य personal computers पर भी चल सकती है
- खासकर open source मॉडलों की प्रगति के साथ डेवलपर्स के लिए स्वतंत्र रूप से प्रयोग और अनुप्रयोग करने का वातावरण बढ़ रहा है
- आगे की दिशा
- multimodality और model efficiency के संदर्भ में बड़े विकास की उम्मीद है
- AGI की बजाय व्यावहारिक और कुशल task execution पर केंद्रित प्रगति जारी रहने की संभावना है
- केवल मौजूदा मॉडलों के साथ भी आने वाले कुछ वर्षों तक उत्पादक कार्य संभव रहने की उम्मीद है
13 टिप्पणियां
M1 Max 64GB पर भी चल जाएगा, है न?
जो लोग कंप्यूटर में बिल्कुल रुचि नहीं रखते, उन्हें छोड़ दें तो मुझे लगा था कि इस क्षेत्र के लोगों के लिए लगभग 64GB तो बेसिक ही माना जाता है..
अगर बहुत ज़्यादा डेटा हैंडल करने का मामला न हो, तो 16 हो या 64, ऐसा क्षेत्र नहीं है जहाँ उसका फ़र्क बहुत ज़्यादा महसूस हो।
8GB RAM में भी development अच्छी तरह हो जाता है। हर काम में इतनी ज़्यादा memory की ज़रूरत नहीं होती।
64GB RAM हो तो यह काफ़ी सुलभ लगता है।
आजकल लैपटॉप के लिए DDR5 16GB सिर्फ़ 60,000 वॉन में मिल रही है।
8 लाख वॉन रेंज में 64GB वाले लैपटॉप भी काफ़ी हैं.
Mac 64GB RAM का मतलब VRAM 64 जितना ही है, इसलिए व्यवहारिक रूप से शुरुआत 300 से ही होती है।
M-series Mac में RAM को CPU और GPU साझा करते हैं, इसलिए GPU RAM बढ़ने जैसा प्रभाव मिलता है.
असली लेख देखकर आया तो शीर्षक का मतलब अब कुछ-कुछ समझ में आता है। क्योंकि यह तो ऐसा लेख है कि लेखक ने अपने पास मौजूद अपने ही laptop पर Llama model चलाया! ... हा हा हा
क्या यह 64GB इसलिए माना गया है कि दूसरे प्रोग्राम भी साथ में चलाने होंगे? मुझे लगता है कि इसे consumer-grade या personal PC कहना व्यावहारिक नहीं है, क्योंकि इसकी स्पेक्स यथार्थवादी नहीं लगतीं।
इस संदर्भ में, पर्सनल कंप्यूटर आम तौर पर बस इतना ही लगता है कि 'B2C बाज़ार में बिक रहा है और खरीदा जा सकता है (कीमत चाहे जो भी हो)'। यह 'हर कोई इस्तेमाल कर सकता है' से काफी दूर लगा।
स्थितियां अलग-अलग होती हैं। मैं भी निजी इस्तेमाल के लिए 96GB MacBook Pro इस्तेमाल करता हूँ, लेकिन LLM से जुड़े डेवलपमेंट के अलावा भी swap अक्सर भर जाता है।
64GB RAM वाला साधारण लैपटॉप...?? सिसकी
इसे consumer-grade hardware कहना शायद थोड़ा ज़्यादा सही होगा।