ओपन सोर्स भाषा मॉडलों की वर्तमान स्थिति

• LLaMA 2 के रिलीज़ के बाद और ज़्यादा गरमाहट आई
  • लगभग सभी ओपन सोर्स मॉडल समूह अपने मॉडलों को नए बेस मॉडल पर अपडेट कर रहे हैं
    • WizardLM, Airoboros, Hermes आदि
  • इस समय सबसे शक्तिशाली मॉडल StabilityAI का Stable Beluga 2 है
    • Llama2 70B मॉडल को Orca-शैली के dataset पर fine-tune किया गया
    • ChatGPT से तुलना की जा सकती है
• Long मॉडल
  • LLaMA 7B 16K, LLaMA 13B 16K, LLaMA 7B 32K
• छोटे लेकिन शक्तिशाली मॉडल
  • 7B जितने शक्तिशाली 3B parameter मॉडल
  • अभी सीमा तक नहीं पहुँचे हैं, और आगे जाने के लिए बहुत कुछ बाकी है
  • SlimPajama, SwiGLU, ALiBI, Variable Sequence Length, Maximal update parameterization (muP)
• ओपन मॉडल ने MMLU में ChatGPT को हराया: llama-2-70b-guanaco-qlora
• Multi-Turn चैटिंग: llama2-13b-orca-8k-3319
• चीनी मॉडल आपस में प्रतिस्पर्धा कर रहे हैं: CodeGeex2
• क्या ओपन मॉडल ChatGPT के स्तर तक पहुँच गए हैं?
  • अभी नहीं, लेकिन जल्द पहुँच सकते हैं

[botplaysdice]

लगता है हर किसी को अपनी-अपनी भूमिका में यह सोचने की चिंता बढ़ेगी कि monetization से पैसा कैसे कमाया जाए।

[geekbini]

इतनी तरह-तरह की AI services बढ़ गई हैं कि क्या चुनें, यही समझ नहीं आता—एक तरफ सामान्य-purpose AI services हैं, तो दूसरी तरफ developers के लिए खास तौर पर बनी AI services भी हैं~

[kuroneko]

उम्मीद है कि Korean मॉडल भी और बेहतर हों।