Meta ने अगली पीढ़ी का भाषा मॉडल Llama 2 पेश किया

• research और commercial use, दोनों के लिए उपलब्ध open source large language model
• Llama 1 की तुलना में 40% अधिक, 2 ट्रिलियन token data पर train किया गया
• 2 गुना context length: 4096
• तीन model sizes: 7B, 13B, 70B
• inference, coding, proficiency और knowledge test सहित कई benchmarks में अन्य open source language models (MPT, Falcon, Llama-1) से बेहतर performance
• public data sources पर train किया गया, और fine-tuned Llama-2-chat भी public instruction sets और 10 लाख से अधिक human annotations का उपयोग करता है
  • Reinforcement Learning from Human Feedback (RLHF) का उपयोग। इसमें Rejection Sampling और Proximal Policy Optimization (PPO) शामिल हैं
• download में शामिल चीजें
  • Model code
  • Model Weights
  • README (User Guide)
  • Responsible Use Guide
  • License
  • Acceptable Use Policy
  • Model Card

[GN⁺]

Hacker News राय

• Llama 2, कुछ खास benchmarks में GPT-3.5 को पीछे छोड़ रहा है और उसकी बराबरी कर रहा है
• Llama 2 ने AI2 Reasoning Challenge, HellaSwag, और MMLU tests में बेहतरीन प्रदर्शन दिखाया है
• Llama 2 का प्रदर्शन GPT-3.5 जैसा है, जबकि इसके parameters कम हैं
• Llama 2 को आसानी से test किया जा सकता है और apps में जोड़ा जा सकता है
• Llama 2 के पास एक non-open license है, जिसकी कुछ users आलोचना करते हैं
• Llama 2 तक अलग-अलग tools और platforms के जरिए पहुंचा जा सकता है
• Llama 2 में guardrails हैं, जिन्हें कुछ मामलों में bypass किया जा सकता है
• Llama 2 की release को industry के लिए फायदेमंद एक सकारात्मक कदम माना जा रहा है
• 2T tokens पर Llama 2 की training ने Llama 1 की तुलना में performance बेहतर की है
• Llama model का scaling consumer GPUs पर भी ताकतवर models ला सकता है