Meta ने Llama 3.1 जारी किया

• 128K context length, 8 भाषाओं का समर्थन, और 405B मॉडल जोड़ा गया (8B, 70B, 405B)
  • open source instruction-tuned AI मॉडल, जिन्हें कोई भी fine-tune, refine कर सकता है और कहीं भी deploy कर सकता है
• नया जारी किया गया 405B मॉडल MMLU (general), Human Eval (coding), GSM8K (math) benchmarks में GPT-4o के लगभग बराबर या उससे बेहतर स्तर तक पहुँचा
  • flexibility और control के मामले में शीर्ष स्तर का AI मॉडल
  • community को synthetic data generation और model distillation जैसे नए workflows का उपयोग करने में सक्षम बनाता है
  • 15 ट्रिलियन से अधिक tokens का उपयोग करके train किया गया, और 16,000 से अधिक H100 GPU का इस्तेमाल किया गया
• upgraded 70B मॉडल अधिकांश benchmarks में GPT-3.5 Turbo से काफी आगे निकलता है

[wedding]

वाह, 405B को चलाने के लिए GPU को कैसे configure करना होगा, यही सोच रहा हूँ।

[gcback]

405B शायद सीधे fine-tuning या serving के लिए नहीं लगता। CEO ने distillation का कई बार ज़िक्र किया है, इसलिए लगता है कि यह teacher मॉडल के रूप में हल्के मॉडलों की गुणवत्ता बढ़ाने वाली fine-tuning के काम के लिए हो सकता है.

[xguru]

Hacker News की राय

• Llama 3.1 मॉडल्स के प्रदर्शन में सुधार हुआ है

  • 8B और 70B मॉडल्स, Llama 3 की तुलना में बेहतर प्रदर्शन करते हैं
  • 405B मॉडल, GPT-4o, GPT-4 turbo, Claude 3.5 Sonnet, Claude 3 Opus के साथ प्रतिस्पर्धा कर सकता है

• GPT-4o और Llama 3.1 405B मॉडल की तुलना

  • MMLU: GPT-4o 88.7, Llama 3.1 405B 88.6
  • GPQA: GPT-4o 53.6, Llama 3.1 405B 51.1
  • MATH: GPT-4o 76.6, Llama 3.1 405B 73.8
  • HumanEval: GPT-4o 90.2, Llama 3.1 405B 89.0
  • MGSM: GPT-4o 90.5, Llama 3.1 405B 91.6

• Groq.com पर बेहद कम latency के साथ नए मॉडल्स से बात की जा सकती है

  • 8B और 70B API access उपलब्ध है
  • 405B API केवल चुने हुए ग्राहकों के लिए उपलब्ध है

• सही hardware का उपयोग किया जाए तो घर पर भी GPT-4o से टक्कर लेने वाला LLM चलाया जा सकता है

• Ollama, Huggingface, Groq आदि पर मॉडल्स को लोकल में चलाया जा सकता है

  • LLMStack का उपयोग करके लोकल में मॉडल test किए जा सकते हैं या applications जल्दी बनाई जा सकती हैं

• Ollama पर 70B वर्ज़न चलाकर देखा गया और नतीजा बहुत अच्छा था

  • guidelines और disclaimers को बंद करने वाला command चलाया जा सका
  • engineer के संभावित bias को कम करने वाले commands की सूची मिली

• Claude 3.5 Sonnet coding tasks के लिए बहुत अच्छा है

  • artifact feature के साथ coding benchmarks में यह अब भी सबसे आगे है

• open source मॉडल्स की pricing को लेकर सवाल

  • self-hosting में बहुत दिलचस्पी है, लेकिन token के हिसाब से hosting inference price, OpenAI और Anthropic की तुलना में कम प्रतिस्पर्धी है
  • उदाहरण: Llama 3 70B की कीमत विभिन्न platforms पर प्रति दस लाख token $1 से $10 के बीच है, जबकि Claude Sonnet 3.5 की कीमत प्रति दस लाख token $3 है