कोडिंग के लिए अत्याधुनिक बड़े भाषा मॉडल Code Llama

 (ai.meta.com)
1 पॉइंट द्वारा GN⁺ 2023-08-25 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Code Llama कोडिंग के लिए डिज़ाइन किया गया एक अत्याधुनिक बड़ा भाषा मॉडल (LLM) है, जो कोड और प्राकृतिक भाषा प्रॉम्प्ट, दोनों से कोड और कोड के बारे में प्राकृतिक भाषा उत्पन्न कर सकता है।
  • यह Llama 2 के ऊपर निर्मित है और तीन मॉडलों में उपलब्ध है: Code Llama (बेस कोड मॉडल), Code Llama - Python (Python विशेषज्ञ), Code Llama - Instruct (प्राकृतिक भाषा निर्देशों को समझने के लिए ट्यून किया गया)।
  • Code Llama शोध और व्यावसायिक उपयोग के लिए मुफ़्त है और इसे Llama 2 के समान कम्युनिटी लाइसेंस के तहत जारी किया गया है।
  • इस मॉडल का उपयोग कोड completion और debugging के लिए किया जा सकता है, और यह Python, C++, Java, PHP, Typescript (Javascript), C#, Bash जैसी कई लोकप्रिय भाषाओं का समर्थन करता है।
  • Code Llama तीन आकारों में उपलब्ध है, जिनमें क्रमशः 7B, 13B, 34B parameters हैं, और प्रत्येक को कोड तथा कोड-संबंधित डेटा के 500B tokens पर प्रशिक्षित किया गया है।
  • ये मॉडल विभिन्न सेवा और latency आवश्यकताओं के अनुरूप उपलब्ध कराए गए हैं; 34B मॉडल सर्वोत्तम परिणाम देता है, जबकि छोटे 7B और 13B मॉडल तेज़ और कम latency की ज़रूरत वाले कार्यों के लिए अधिक उपयुक्त हैं।
  • Code Llama मॉडल अधिकतम 100,000 tokens context संभाल सकते हैं, जिससे लंबे प्रोग्राम जनरेट करने और बड़े codebase को debug करने में मदद मिलती है।
  • दो अतिरिक्त variants भी ट्यून किए गए हैं: Code Llama - Python (Python कोड के 100B tokens पर विशेषीकृत) और Code Llama - Instruct (प्राकृतिक भाषा में उपयोगी और सुरक्षित उत्तर देने के लिए ट्यून किया गया)।
  • benchmark tests में Code Llama ने कोड कार्यों पर सार्वजनिक रूप से उपलब्ध अन्य LLMs से बेहतर प्रदर्शन किया, और HumanEval में 53.7% तथा Mostly Basic Python Programming (MBPP) में 56.2% स्कोर किया।
  • Code Llama से जुड़े जोखिमों को कम करने के लिए safety measures अपनाए गए हैं, जिनमें malicious code उत्पन्न करने के जोखिम का मात्रात्मक मूल्यांकन शामिल है।
  • Code Llama की training recipe और model weights Code Llama GitHub repository पर उपलब्ध हैं।
  • Code Llama research paper में मॉडल के विकास, सीमाओं और भविष्य की चुनौतियों के बारे में विस्तृत जानकारी दी गई है।
  • डेवलपर्स ने Responsible Use Guide को भी अपडेट किया है ताकि sub-models को ज़िम्मेदारी से विकसित करने के तरीके पर मार्गदर्शन शामिल किया जा सके।
  • Code Llama को सभी क्षेत्रों के software engineers का समर्थन करने और दूसरों को Llama 2 का उपयोग करके शोध व व्यावसायिक उत्पादों के लिए नए और नवोन्मेषी टूल बनाने के लिए प्रेरित करने हेतु डिज़ाइन किया गया है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-08-25
Hacker News राय
  • 'Code Llama, कोडिंग के लिए अत्याधुनिक बड़े भाषा मॉडल' पर टिप्पणी को किसी दूसरे URL पर स्थानांतरित कर दिया गया है.
  • टिप्पणी का नया स्थान https://news.ycombinator.com/item?id=37248494 पर देखा जा सकता है.
  • टिप्पणी अपेक्षा से पहले पोस्ट हो गई थी, इसलिए उसे स्थानांतरित करना पड़ा.
  • मूल टिप्पणी सेक्शन अब [dead] के रूप में चिह्नित है.