- Meta ने Llama 2 पर आधारित कोडिंग-विशेष मॉडल Code Llama पेश किया।
- यह कोड और प्राकृतिक भाषा प्रॉम्प्ट से कोड जनरेट कर सकता है, और इसके अपने बेंचमार्क परिणामों में इसका प्रदर्शन ChatGPT से बेहतर रहा।
- 500 अरब code tokens और संबंधित डेटा पर प्रशिक्षित 7B, 13B, 34B मॉडल क्रमशः जारी किए गए।
- यह अधिकतम 100,000 context tokens को सपोर्ट करता है, जिससे लंबे प्रोग्राम लिखना या विस्तृत शर्तें और वास्तविक कोड को प्रॉम्प्ट के रूप में देना आसान होता है।
- मूल मॉडल के अलावा Code Llama को 2 अतिरिक्त variants में भी जारी किया गया।
- Code Llama - Python: 100 अरब Python code tokens अतिरिक्त जोड़कर fine-tune किया गया मॉडल।
- Code Llama - Instruct: 5 अरब instruction tokens पर fine-tune किया गया, प्राकृतिक भाषा इनपुट और कोड आउटपुट के लिए optimized मॉडल।
- अन्य मॉडल प्राकृतिक भाषा के लिए optimized नहीं हैं, इसलिए प्राकृतिक भाषा के जरिए कोड जनरेट करते समय इसी मॉडल का उपयोग करना चाहिए।
- HumanEval और MBPP के जरिए मॉडल के प्रदर्शन को मापने पर यह ChatGPT (GPT 3.5) के बराबर या उससे बेहतर निकला।
- जहाँ GPT 3.5 ने HumanEval में 48.1% दर्ज किया, वहीं Code Llama - Python ने 53.7% दर्ज किया।
- GPT 4 अभी 67% पर है, इसलिए अभी काफी दूरी तय करनी बाकी है।
- Code Llama द्वारा malicious code जनरेट किए जाने के जोखिम को कम करने के लिए कई safety measures जोड़े गए।
- वास्तविक परीक्षण में यह ChatGPT की तुलना में कम malicious code जनरेट करता पाया गया।
2 टिप्पणियां
लाइसेंस Llama जैसा ही है। अगर MAU 70 करोड़ से ऊपर चला जाए, तो लाइसेंस का अनुरोध करना होगा.
खैर, कोरियाई कंपनियों के लिए शायद कोई बड़ी समस्या नहीं होगी, हाहा
इसे Llama 2 के समान लाइसेंस के साथ जारी किया गया है।
मुझे पता था कि StarCoder भी थोड़ा कमज़ोर लगता है, तो क्या अब सच में Copilot का एक विकल्प आ गया है?
खैर, ऐसी चीज़ों को देखकर लगता है कि GPT 4 की परफ़ॉर्मेंस वाकई कमाल की है।
यह कोरियाई भी अच्छी तरह संभालता है, और benchmarks में भी GPT 4 की परफ़ॉर्मेंस काफ़ी अधिक बताई जाती है...
GPT 3.5 भी कोरियाई में दूसरे open source मॉडलों की तुलना में कहीं बेहतर है।
उम्मीद है कि ऐसा open source code generation मॉडल आए जो कोरियाई में भी काम करे।