llama2 को fine-tune कर रहे लोग

यह Hacker News पर llama2 को fine-tune करने के एक मामले के बारे में है.

Fine-tuning का मतलब है अपने सवाल + जवाब सेट के साथ AI मॉडल को अतिरिक्त रूप से समायोजित करना.

कहा जाता है कि fine-tuning के लिए कम से कम 50 उदाहरणों से शुरुआत संभव है, लेकिन अगर संभव हो तो 1000 से अधिक उदाहरण होना बेहतर है.

लेखक का कहना है कि fine-tune किया हुआ Llama 7B मॉडल GPT-3.5 की तुलना में 50 गुना से भी अधिक सस्ता है.

बेशक, Llama 7B और GPT-3.5(165B) की तुलना करना पूरी तरह उचित नहीं है, लेकिन fine-tuned GPT मॉडल सस्ते नहीं होते, इसलिए ऐसा लगता है कि Llama को fine-tune करके इस्तेमाल करने के मामले बढ़ सकते हैं.

[laeyoung]

"आप quantization के साथ dual 4090s/3090s पर 70B LLAMA चला सकते हैं। dual 3090s के साथ आप < $2K में ऐसा system बना सकते हैं जो 12K context के साथ LLAMA 2 70B चला सके।

मैंने ChatGPT पर एक हफ्ते में उतना खर्च करने के बाद ऐसे दो system बनाए।"

https://news.ycombinator.com/item?id=37489601

कमेंट काफ़ी प्रभावशाली है। बाद में छोड़े गए कमेंट्स देखें तो, अलग-अलग टीमों में डेटा अलग फ़ॉर्मैट में मैनेज किया जा रहा था, लेकिन ChatGPT से normalize करके सिर्फ़ एक हफ्ते में डेटा फ़ॉर्मैट एक जैसा कर दिया गया। अगर इस तरह अच्छी तरह जोड़कर इस्तेमाल किया जाए तो?!

[wislan]

ओह, यह वाकई अच्छा आइडिया है। Replicate के CEO तक आकर कमेंट कर रहे थे, यह काफ़ी प्रभावशाली लगा.
मुझे यह राय याद रह गई कि GPT-3.5 (शायद turbo) की लागत और llama 70b की लागत लगभग समान हो सकती है।
मैं तो अपने काम में GPT इस्तेमाल करने का सोच रहा हूँ, लेकिन llama + फाइन-ट्यूनिंग से बढ़त लेने वाले startup सामने आते दिख रहे हैं, इसलिए इसे लेकर आया हूँ।