Yi-Coder - कोड के लिए छोटा लेकिन शक्तिशाली LLM

 (01-ai.github.io)
6 पॉइंट द्वारा GN⁺ 2024-09-06 | 2 टिप्पणियां | WhatsApp पर शेयर करें
  • Yi-Coder एक open source code large language model (LLM) है, जो 10 अरब से कम parameters के साथ अत्याधुनिक coding performance देता है
  • यह 1.5B और 9B parameters के दो आकारों में उपलब्ध है, और efficient inference तथा flexible training के लिए base version और chat version दोनों डिज़ाइन किए गए हैं
  • Yi-Coder-9B, Yi-9B पर आधारित है, जिसमें GitHub के repository-level code corpus और CommonCrawl से फ़िल्टर किए गए code-संबंधित data से 2.4T उच्च-गुणवत्ता tokens अतिरिक्त रूप से जोड़े गए हैं

Yi-Coder की प्रमुख विशेषताएँ

  • 2.4 ट्रिलियन (Trillion) उच्च-गुणवत्ता tokens पर 52 प्रमुख programming languages में pre-training किया गया है
  • लंबा context modeling: अधिकतम 128K token context window के साथ project-level code understanding और generation संभव है
  • छोटा लेकिन शक्तिशाली: Yi-Coder-9B, 10B से कम parameters वाले अन्य models जैसे CodeQwen1.5 7B और CodeGeex4 9B से बेहतर प्रदर्शन करता है, और यहाँ तक कि DeepSeek-Coder 33B के बराबर performance हासिल करता है

Yi-Coder प्रभावशाली coding performance प्रदान करता है

LiveCodeBench

  • LiveCodeBench एक publicly available platform है, जिसे LLMs के लिए व्यापक और निष्पक्ष competitive programming evaluation देने के लिए डिज़ाइन किया गया है
  • Yi-Coder-9B-Chat ने 23.4% का प्रभावशाली pass rate हासिल किया, और 10B से कम parameters वाले models में यह 20% से ऊपर जाने वाला एकमात्र model है
  • यह performance DeepSeek-Coder-33B-Instruct(22.3%), CodeGeex4-All-9B(17.8%), CodeLlama-34B-Instruct(13.3%), और CodeQwen1.5-7B-Chat(12%) से बेहतर है

HumanEval, MBPP तथा CRUXEval-O

  • Yi-Coder-9B-Chat ने HumanEval में 85.4% और MBPP में 73.8% pass rate हासिल किया, जिससे यह अन्य code LLMs से आगे निकलता है
  • साथ ही, Yi-Coder 9B, CRUXEval-O में 50% से अधिक accuracy हासिल करने वाला पहला open source code LLM बन गया

Yi-Coder code editing और completion में उत्कृष्ट है

CodeEditorBench

  • Yi-Coder-9B ने open source code LLMs में प्रभावशाली average win rate हासिल की, और primary तथा plus subsets दोनों में DeepSeek-Coder-33B-Instruct और CodeQwen1.5-7B-Chat से लगातार बेहतर प्रदर्शन किया

CrossCodeEval

  • Yi-Coder, retrieval और non-retrieval दोनों scenarios में Python और Java datasets पर समान आकार के अन्य models से बेहतर प्रदर्शन करता है
  • यह पुष्टि करता है कि software repository-level code corpus पर अधिक लंबी context length के साथ training, Yi-Coder को long-term dependencies प्रभावी रूप से पकड़ने में सक्षम बनाती है, जो उसके उत्कृष्ट performance में योगदान देती है

Yi-Coder 128K लंबे context को model कर सकता है

Code में Needle

  • Yi-Coder की long-context modeling क्षमता को परखने के लिए 128K लंबाई की sequences का उपयोग करने वाला एक synthetic task बनाया गया, जिसका नाम "Needle in Code" है
  • इस task में एक साधारण custom function को लंबे codebase में random तरीके से insert किया जाता है, और model को यह जाँचा जाता है कि क्या वह codebase के अंत में उस function को पुन: उत्पन्न कर सकता है
  • यह आकलन करता है कि क्या LLM लंबी context से महत्वपूर्ण जानकारी निकाल सकता है, और लंबी sequences को समझने की उसकी मूल क्षमता को दर्शाता है
  • Yi-Coder-9B ने 128K लंबाई की सीमा के भीतर इस task को पूरी तरह पूरा किया

Yi-Coder गणितीय reasoning में भी चमकता है

Program-aided mathematical reasoning

  • Yi-Coder का मूल्यांकन program-aided setting (PAL: Program-aided Language Models) में 7 mathematical reasoning benchmarks पर किया गया
  • Yi-Coder-9B ने 70.3% की उल्लेखनीय accuracy हासिल की, जो DeepSeek-Coder-33B के 65.8% से अधिक है

निष्कर्ष

  • हम Yi-Coder 1.5B/9B को community के लिए base version और chat version दोनों रूपों में open source के रूप में उपलब्ध करा रहे हैं
  • Yi-Coder, basic और competitive programming, code editing और repository-level completion, long-context understanding, तथा mathematical reasoning सहित विभिन्न tasks में उल्लेखनीय performance दिखाता है
  • हमारा मानना है कि Yi-Coder छोटे code LLMs की सीमाओं को आगे बढ़ाकर ऐसे use cases खोलेगा जो software development को तेज़ और रूपांतरित कर सकते हैं

GN⁺ का सार

  • Yi-Coder की सबसे बड़ी ताकत यह है कि यह कम parameters के साथ भी आधुनिक coding performance देता है। इससे ChatGPT जैसे बड़े LLMs के लिए आवश्यक भारी computing resources के बिना भी उत्कृष्ट coding support संभव हो सकता है
  • Yi-Coder की long-context modeling क्षमता बड़े projects में फैले code को समझने में सक्षम बनाती है, जो जटिल coding tasks में विशेष रूप से उपयोगी प्रतीत होती है
  • यह competitive programming, code editing, repository-level completion, long-context understanding, और mathematical reasoning में उत्कृष्ट performance देता है
  • LLM-आधारित coding support tools के प्रमुख उदाहरणों में GitHub Copilot और Amazon CodeWhisperer शामिल हैं। Yi-Coder की तुलना में इसका लाभ इसका lightweight model होना है, लेकिन plugin जैसी अतिरिक्त सुविधाओं के मामले में यह अभी अपेक्षाकृत कमज़ोर है
  • समान क्षमताओं वाले अन्य projects में DeepSeek-Coder, CodeGeex4, और CodeLLama शामिल हैं
  • Yi-Coder की mathematical reasoning क्षमता विशेष रूप से दिलचस्प है। programming के माध्यम से problem solving का यह तरीका pure language models से अलग दृष्टिकोण प्रस्तुत करता है, और गणित के साथ-साथ अन्य क्षेत्रों में भी LLM के उपयोग की संभावनाएँ दिखाता है

संबंधित पढ़ाई

2 टिप्पणियां

 
GN⁺ 2024-09-06
Hacker News टिप्पणियाँ

  • Claude 3.5 Sonnet अभी भी code-संबंधित LLMs में सबसे अच्छा प्रदर्शन दिखाता है

    • लेकिन DeepSeek Coder V2 236B अधिक सस्ता और efficient है
    • Aider और Claude Dev plugin में DeepSeek Coder V2 इस्तेमाल किया जा रहा है

  • Yi-Coder को Aider के code editing benchmark में GPT-3.5 से कम स्कोर मिला

    • Sonnet: 77%
    • GPT-3.5: 58%
    • Yi-Coder-9b-Chat: 54%
    • Yi-Coder-9b-Chat-q4_0: 45%

  • SRE/DevOps/C#/Golang/C++ कामों में LLM को test करने पर अतार्किक जवाब मिले

    • साधारण Python script लिखने के अनुरोध पर भी बेढंगा जवाब दिया
    • कई programming languages में असंबंधित जवाब दिए गए

  • software engineers और artists AI models पर जिस तरह अलग-अलग प्रतिक्रिया देते हैं, वह दिलचस्प है

  • किसी खास language में specialized models का इंतज़ार है

    • मौजूदा models कई languages संभालते हैं, लेकिन किसी एक language में बहुत निपुण model की ज़रूरत है

  • local पर छोटे LLM सेटअप करने के तरीके को लेकर जिज्ञासा है

    • पूछा गया कि क्या VSCode में tab completion काम करता है
    • GitHub Copilot के अलावा cloud models सेट करने के tips मांगे गए

  • local desktop PC पर model चलाने के लिए recommended hardware के बारे में पूछा गया

  • SWE-agent और Yi-Coder-9B-Chat का performance देखना चाहते हैं

  • Aider benchmark के बारे में स्पष्टीकरण मांगा गया

    • यह जानना चाहते हैं कि हर बार वही 113 tests क्यों चलाए जाते हैं
    • models की सामान्य code generation और editing capability को आकलित करने के तरीके पर सवाल उठाया गया

  • model size को weights की संख्या से व्यक्त करने की वजह पूछी गई

    • GPU RAM requirement जानना चाहते हैं
    • weights की संख्या वास्तविक users के लिए कितनी महत्वपूर्ण है, इस पर सवाल है