- मौजूदा Llama2 7B की क्षमता को अधिकतम करने के लिए Depth Up-Scaling तकनीक विकसित कर लागू की गई
- बेंचमार्क में 3 अरब से कम पैरामीटर वाले मॉडलों के बीच बेहतरीन प्रदर्शन दिखाता है, और अपने से 6 गुना बड़े QWEN तथा हाल ही में जारी Mixtral 8x7B मॉडल से भी बेहतर है
- OpenLLM लीडरबोर्ड में 74.2 अंकों के साथ प्रथम स्थान। Alibaba का QWEN-72B 73.6, Mixtral-8x7B 72.6
- Instruction fine-tuning अच्छी तरह लागू की गई है
- यह जारी किया गया मॉडल अंग्रेज़ी-आधारित है, इसलिए कोरियाई प्रदर्शन कम हो सकता है
1 टिप्पणियां
Upstage KakaoTalk पर इस्तेमाल किए जा सकने वाले AI AskUp का निर्माता है.
Alibaba, ओपन सोर्स AI मॉडल QWEN जारी
Mistral AI, Llama 2 70B मॉडल से बेहतर Mixtral 8x7B मॉडल जारी