LIMA - 65B LLaMA मॉडल और सिर्फ 1000 prompts के साथ GPT-4 के करीब पहुँचने वाला प्रदर्शन

• "Less Is More for Alignment"
• reinforcement learning या preference modeling के बिना, अच्छी तरह curated 1000 prompts से fine-tune किया गया LLaMA मॉडल
• 43% मामलों में GPT-4 के बराबर या उससे अधिक पसंद किया गया, Bard की तुलना में 58%, और human feedback से प्रशिक्षित DaVinci003 की तुलना में 65% अधिक
• पेपर की परिकल्पना यह है कि LLM का लगभग सारा ज्ञान pretraining के दौरान सीखा जाता है, और alignment एक सरल प्रक्रिया है जिसमें user के साथ interaction का format/style सीखा जाता है
• Meta AI का नया पेपर

[merong]

Sejong project को लगातार आगे बढ़ाकर कोरियाई language model data को open source के रूप में जमा करना चाहिए था। वाकई अफसोसजनक project...

[kuroneko]

अंग्रेज़ी की परफ़ॉर्मेंस इतनी तेज़ी से बेहतर हो रही है, लेकिन GPT को छोड़कर ज़्यादातर मॉडल Korean को अच्छी तरह नहीं समझते, यह अफ़सोस की बात है...

[dulco]

Anthropic Claude की कोरियाई भाषा की ट्रेनिंग काफ़ी अच्छे स्तर की है, लेकिन अभी भी कुछ मामलों में उसकी अभिव्यक्ति क्षमता ChatGPT से अलग लगती है।

[test4458]

T_T सही कहा, Korean में GPT API के अलावा बाकी सबका स्तर लगभग कचरे जैसा है...