Codestral - Mistral का कोड जनरेशन AI मॉडल

 (mistral.ai)
13 पॉइंट द्वारा GN⁺ 2024-05-30 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 80 से अधिक प्रोग्रामिंग भाषाओं पर प्रशिक्षित AI मॉडल
  • Python, Java, C, C++, JavaScript, Bash जैसी लोकप्रिय भाषाओं के साथ-साथ Swift, Fortran जैसी विशिष्ट भाषाओं का भी समर्थन करता है, जिससे यह विभिन्न coding environments और projects में developers की मदद कर सकता है

कोड जनरेशन परफॉर्मेंस के लिए नया मानक स्थापित

  • पिछले मॉडलों की तुलना में बेहतर performance और कम latency हासिल की
  • Python
    • Codestral 22B 32k : HumanEval 81.1%, MBPP 78.2%, CruxEval-O 51.3%, RepoBench 34.0%
    • CodeLlama 70B 4k : HumanEval 67.1%, MBPP 70.8%, CruxEval-O 47.3%, RepoBench 11.4%
  • SQL (Spider)
    • Codestral 63.5%, CodeLlama 37%
  • कई भाषाओं का औसत
    • HumanEval औसत : Codestral 61.5%, CodeLlama 51.9%

Codestral के साथ शुरुआत

  • Codestral को Mistral AI Non-Production License के तहत research और testing उद्देश्यों के लिए इस्तेमाल किया जा सकता है, और इसे HuggingFace से डाउनलोड किया जा सकता है
  • नए endpoint codestral.mistral.ai के माध्यम से उपयोग किया जा सकता है। यह व्यक्तिगत API key से प्रबंधित होता है, और 8 हफ्तों की free beta अवधि के दौरान उपलब्ध है
  • api.mistral.ai endpoint के माध्यम से भी उपयोग किया जा सकता है, और token के हिसाब से शुल्क लिया जाता है
  • Le Chat के जरिए Codestral के साथ प्राकृतिक तरीके से इंटरैक्ट किया जा सकता है

अपने पसंदीदा coding environment में Codestral के उपयोग का समर्थन

  • Application framework: LlamaIndex और LangChain में integrated है
  • VSCode/JetBrains integration: Continue.dev और Tabnine के जरिए VSCode और JetBrains environment में Codestral का उपयोग किया जा सकता है

डेवलपर कम्युनिटी की प्रतिक्रिया

  • Nate Sesti (Continue.dev CTO): speed और quality दोनों के साथ आने वाला यह पहला open autocomplete model है, और यह developers के लिए बड़ा बदलाव ला सकता है
  • Vladislav Tankov (JetBrains AI प्रमुख): code और development support पर Mistral के मजबूत फोकस वाली क्षमताओं को लेकर बड़ी उम्मीदें हैं
  • Mikhail Evtikhiev (JetBrains researcher): Kotlin-HumanEval benchmark में इसने GPT-4-Turbo और GPT-3.5-Turbo से बेहतर प्रदर्शन दिखाया
  • Meital Zilberstein (Tabnine R&D lead): code generation, test generation, documentation आदि में उत्कृष्ट प्रदर्शन दिखाता है, और product efficiency को काफी बढ़ाता है
  • Quinn Slack (Sourcegraph CEO): code autocomplete में latency कम रखते हुए quality बनाए रखता है, जिससे developers को वास्तविक value मिलती है
  • Jerry Liu (LlamaIndex CEO): जटिल tasks में भी सटीक और functional code जनरेट करता है
  • Harrison Chase (LangChain CEO): तेज़ और लाभदायक context window प्रदान करता है, और tool use को support करता है

GN⁺ की राय

  • AI code generation की प्रगति: Codestral कई भाषाओं को support करता है और इसका performance मजबूत है, इसलिए यह developers के लिए बहुत उपयोगी हो सकता है
  • उपयोग में आसानी: कई integration options और dedicated endpoint उपलब्ध कराता है, जिससे इसका इस्तेमाल सुविधाजनक है
  • परफॉर्मेंस मूल्यांकन: कई benchmarks में उच्च प्रदर्शन दिखाता है, इसलिए इसे भरोसेमंद माना जा सकता है
  • प्रतिस्पर्धी मॉडल: GPT-4-Turbo, GPT-3.5-Turbo आदि की तुलना में भी उत्कृष्ट performance दिखाता है
  • अपनाने से पहले विचार: मॉडल के performance और usability को ध्यान में रखकर अपनाने का निर्णय लेना चाहिए

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-05-30
Hacker News राय

हैकर न्यूज़ टिप्पणियों का सारांश

  • लाइसेंस प्रतिबंध: मॉडल और उसके आउटपुट को व्यावसायिक गतिविधियों या "live" शर्तों में इस्तेमाल करने पर रोक है। डेवलपमेंट के हिस्से के रूप में code output का उपयोग करना इससे बाहर है, लेकिन कंपनी की व्यावसायिक गतिविधि के संदर्भ में internal use भी प्रतिबंधित है। इससे दूसरे open weight models के साथ तुलना अनुचित हो जाती है.

  • प्रोग्रामिंग मॉडल टेस्ट: प्रोग्रामिंग मॉडल से एक खास Python ASGI middleware लिखने को कहा गया, लेकिन कोई भी मॉडल उसे सही तरह से नहीं कर पाया.

  • LLM दर्शन में अंतर: Llama शैली के LLM और OpenAI/GPT शैली के LLM के बीच दार्शनिक अंतर है। GPT code-केंद्रित रूप से विकसित हुआ है, जबकि Llama/Mistral models पहले सामान्य language models के रूप में जारी हुए और बाद में अतिरिक्त code training के जरिए CodeLlama/Codestral दिए गए.

  • VSCode इंटीग्रेशन: यह जानने की जिज्ञासा है कि क्या VSCode में Copilot की तरह "shadow code" दिखने वाले तरीके से इसे इस्तेमाल किया जा सकता है। ऐसे tools की गुणवत्ता client side पर सही prompt design करने की क्षमता पर निर्भर करती है.

  • उपयोग प्रतिबंध: Mistral models और उनके derivatives का उपयोग सिर्फ testing, research, personal या evaluation उद्देश्यों के लिए किया जा सकता है, व्यावसायिक गतिविधियों में नहीं.

  • व्यावहारिकता की समस्या: अगर इसे व्यावहारिक code completion मामलों में इस्तेमाल नहीं किया जा सकता, तो इसका कोई मतलब नहीं है। GH Copilot पहले से ही सबसे अच्छा मॉडल है.

  • Huggingface लिंक: Huggingface पेज लिंक

  • code का लोकतंत्रीकरण: कला के लोकतंत्रीकरण के समय पैदा हुई समस्याओं का ज़िक्र करते हुए, AI से बने अविश्वसनीय libraries की संख्या बढ़ने को लेकर चिंता जताई गई है.

  • RAM आवश्यकताएँ: Huggingface से डाउनलोड किए जा सकने वाले 44GB मॉडल को local में चलाने के लिए RAM requirements के बारे में पूछा गया। यह भी पूछा गया कि GPU और Apple Silicon की "unified" RAM requirements क्या एक जैसी हैं.

  • VSCode extension: यह जानने की जिज्ञासा है कि क्या ऐसा VSCode extension है जिसमें अलग-अलग models को plugin के रूप में इस्तेमाल किया जा सके। हर बार configuration करना झंझट भरा है.