Phind-70B जारी — GPT-4 Turbo के साथ code quality का अंतर घटाते हुए 4 गुना तेज़ executable model

 (phind.com)
6 पॉइंट द्वारा GN⁺ 2024-02-23 | 3 टिप्पणियां | WhatsApp पर शेयर करें
  • प्रति सेकंड अधिकतम 80 tokens प्रोसेस करता है (GPT-4 Turbo लगभग 20 tokens प्रति सेकंड)
  • 32K token window को support करता है
  • CodeLlama-70B मॉडल पर आधारित, और अतिरिक्त 50B tokens के साथ fine-tune किया गया
  • HumanEval में 82.3% स्कोर किया, जिससे 81% वाले GPT-4 Turbo (gpt-3-0125-preview) से आगे रहा
  • Meta के CRUXEval में 59% हासिल किया, जो GPT-4 के 62% से थोड़ा कम है
  • code generation के मामले में लगभग GPT-4 Turbo के बराबर है, और कुछ tasks में इसे पार भी करता है
  • GPT-4 Turbo की तुलना में कम "Lazy" है, इसलिए विस्तृत code examples जनरेट करने में हिचकिचाता नहीं है

संबंधित पढ़ाई

3 टिप्पणियां

 
cosine20 2024-02-27

करीब 1 साल पहले GeekNews के ज़रिए Phind के बारे में पता चलने के बाद से, कोड से जुड़े लगभग सभी सवाल मैं Phind से ही पूछता आया हूं। कभी-कभी इसे भटकते हुए देखा है, लेकिन अब मुझे भी कुछ अनुभव हो गया है, इसलिए मैं सवाल इस तरह पूछता हूं कि यह कम भटके।
 
GN⁺ 2024-02-23
Hacker News राय

  • Phind इस्तेमाल का अनुभव साझा

    • पिछले 3-4 हफ्तों से लगभग हर दिन Phind का इस्तेमाल किया है, और जनरेट किया गया कोड अच्छी quality का है और ठीक से चलता भी है.
    • ChatGPT की तुलना में इसकी accuracy ज़्यादा है और यह सही दिशा दिखाता है.
    • ChatGPT पिछले 2 महीनों से ज़्यादा समय से धीमा हो गया है, लेकिन किसी विषय को पढ़ने-समझने के लिए ChatGPT ज़्यादा विस्तार से और समझाकर बताता है.

  • कोड quality के आकलन पर संदेह

    • GPT-4 द्वारा दिए गए regex की मदद से string split करने की समस्या हल की, ज़रूरी unit tests जोड़े, और commit सफलतापूर्वक किया.
    • 70B मॉडल कई बार कोशिश करने के बावजूद इस समस्या का जवाब नहीं दे सका.
    • GPT-4 के अलावा कोई और मॉडल आज़माते ही अक्सर समय की बर्बादी जैसा लगता है.

  • Phind संस्थापक की जानकारी

    • Phind-70B मॉडल को बिना login के मुफ़्त में आज़माया जा सकता है.

  • Phind की response speed और quality पर प्रभाव

    • response speed प्रभावशाली है, लेकिन quality से बहुत संतुष्टि नहीं है.
    • GPT-4 कुछ कोशिशों के बाद POST request को ध्यान में रखकर संभाल लेता है, जबकि Phind ज़्यादातर सिर्फ GET request पर ही ध्यान देता है.

  • LLM के लिए एक मज़ेदार चुनौती

    • LLM को बुनियादी logic puzzle देकर उसकी समस्या-समाधान क्षमता को टेस्ट किया गया.
    • Phind-34B खास तौर पर मज़ेदार प्रतिक्रिया देता है और कभी-कभी loop में फँस जाता है.

  • Wireshark plugin लिखने के अनुभव की तुलना

    • Phind और ChatGPT की तुलना करते हुए Wireshark plugin लिखने का अनुभव साझा किया गया.

  • API integration की संभावना पर सवाल

    • पूछा गया कि क्या Phind का API, GPT-4 को coding के लिए इस्तेमाल करने वाले aider.chat के साथ integrate किया जा सकता है.

  • Phind इस्तेमाल का अनुभव साझा

    • 1 साल से ज़्यादा समय से Phind इस्तेमाल कर रहे एक user ने कहा कि वह इसे GPT से ज़्यादा पसंद करता है.
    • लंबे question thread के बाद इसके दोहराव या loop में फँसने की समस्या देखी गई.

  • कोड translation पर Phind की प्रतिक्रिया

    • ChatGPT 3.5/4 कभी-कभी पूरी Go file को C# में translate कर देता है, जबकि Phind पूरे code translation से इनकार करता है.

  • Phind-70B की speed और performance

    • Phind-70B, GPT-4 Turbo की तुलना में काफ़ी तेज़ है, और यह NVIDIA की TensorRT-LLM library और H100 GPU के इस्तेमाल से संभव हुआ है.