Meta AI ने Code Llama 70B मॉडल जारी किया

 (twitter.com/AIatMeta)
11 पॉइंट द्वारा GN⁺ 2024-01-30 | 4 टिप्पणियां | WhatsApp पर शेयर करें
  • Llama 2 को code-विशेष dataset के साथ अधिक data sampling और लंबे training के जरिए विकसित किया गया, जो code generation के लिए एक high-performance LLM है
  • HumanEval में 67.8 स्कोर के साथ यह open models में सबसे बेहतरीन performance दिखाता है
  • पिछले license की तरह, इसे research और commercial दोनों उद्देश्यों के लिए इस्तेमाल किया जा सकता है
  • 3 मॉडल
    • CodeLlama-70B
    • CodeLlama-70B-Python
    • CodeLlama-70B-Instruct
  • अब 4 sizes में उपलब्ध: 7B/13B/34B/70B

संबंधित पढ़ाई

4 टिप्पणियां

 
ragingwind 2024-01-30

अगर इसे M2 Max या उससे ऊपर पर लोकल तौर पर चलाया जा सके, तो यह सबसे बेहतरीन toy बन सकता है।
 
xguru 2024-01-30

क्वांटाइज़ होने पर शायद यह अच्छी तरह चलेगा। थोड़ा इंतज़ार करें तो शायद आ ही जाएगा।
 
xguru 2024-01-30

ऊपर दिया गया लिंक Meta से access request करने का लिंक है, लेकिन Hugging Face पर यह पहले से ही पूरी तरह सार्वजनिक है
https://huggingface.co/codellama
 
GN⁺ 2024-01-30
Hacker News की राय
  • Jetbrains plugin CodeGPT विकसित किया गया है और इसे local में चलाया जा सकता है। यह plugin यहाँ देखा जा सकता है.
  • मॉडल को Hugging Face पर देखा जा सकता है: CodeLlama-70b-hf.
  • ChatGPT और GitHub Copilot का उपयोग करने वाला एक उपयोगकर्ता जानना चाहता है कि VS Code में ऐसे मॉडलों का उपयोग कैसे किया जा सकता है। VS Code के लिए कई GPT extensions हैं, लेकिन ज़्यादातर या तो अपडेट नहीं होते या paid plan की ओर ले जाते हैं, इसलिए उसे लगता है कि GitHub Copilot का उपयोग जारी रखना बेहतर है.
  • Meta ने open source machine learning के प्रति शानदार प्रतिबद्धता दिखाई है, इसके लिए उसे श्रेय देना चाहिए.
  • छोटे code models कितने अच्छे हैं, यह देखते हुए जिज्ञासा है कि यह 70B मॉडल कैसी क्षमता दिखाएगा.
  • बहुत से लोग 4090 और छोटे models के उपयोग का ज़िक्र करते हैं, लेकिन energy consumption पर analysis कम ही दिखता है। लगता है Microsoft, Copilot को काफ़ी subsidize कर रहा है; अगर दिन के 30% समय Copilot का उपयोग किया जाए, तो उत्सुकता है कि एक महीने में 4090 पर 7B या 13B मॉडल चलाने पर कितने kWh खर्च होंगे और ऊर्जा लागत कितनी आएगी.
  • यह जानने की उत्सुकता है कि अभी सबसे अच्छा local Copilot मॉडल कौन-सा है, और क्या vscode में ऐसा कोई extension है जो इसी तरह का अनुभव देता हो। 4090 होने के कारण उम्मीद है कि काफ़ी संख्या में मॉडल चलाए जा सकते हैं.
  • Baptiste Roziere ने हाल ही में Code Llama पर एक शानदार talk दी थी, जिसे यहाँ देखा जा सकता है.
  • अगर इसे M2 Max जैसे डिवाइस पर local में चलाया जा सके और IDE plugin के ज़रिए Copilot जैसी सुविधाएँ मिल सकें, तो यह दिलचस्प होगा। इससे project में उबाऊ समस्याएँ हल करने या "boilerplate" code लिखने में समय बचेगा और अधिक कठिन software engineering कार्यों पर ध्यान दिया जा सकेगा.
  • संभव है कि औसत programmer के पास इसे आवश्यक गति से चलाने वाला hardware न हो, इसलिए यह स्पष्ट नहीं है कि यह plugin किसे लक्षित करता है। फिर भी, यह एक शानदार सुविधा है.