अपनी खुद की Llama 2 को fine-tune करके GPT-3.5/4 का विकल्प बनाना

• HN पर open source LLM के fine-tuning में रुचि काफी बढ़ रही है (उदाहरण: Anyscale की पोस्ट)
• मॉडल fine-tuning पर कई वर्षों का अनुभव, insights, और practical code साझा किया गया
• data labeling, fine-tuning, efficient inference चलाने, और cost/performance evaluation को कवर करने वाले notebooks का set उपलब्ध
• test set पर GPT-4 के labels से 95% मेल खाने वाला 7B मॉडल train किया गया
• fine-tuning क्या है? यह टेक्स्ट में instructions लिखने की तुलना में prompting का अधिक शक्तिशाली रूप है
• fine-tuned मॉडल की training के लिए existing मॉडल को example input/output pairs पर train किया जाता है
• prompting और fine-tuning के फायदे और नुकसान
• fine-tuning का बड़ा फायदा: यह मॉडल के behavior को निर्देशित करने में कहीं अधिक प्रभावी है, इसलिए बहुत छोटे मॉडल से भी काम चल सकता है
• fine-tuned Llama 7B मॉडल, GPT-3.5 की तुलना में प्रति token 50 गुना सस्ता है, और कई use cases में समान या बेहतर परिणाम देता है
• उदाहरण: GPT-4 के साथ 2M recipes का classification करने में $23k खर्च होता है, लेकिन हमारे fine-tuned मॉडल ने GPT-4 जैसी performance दिखाते हुए पूरे dataset को चलाने में सिर्फ $19 खर्च किए
• OpenPipe नाम का एक open source product विकसित किया जा रहा है
• OpenPipe product का उद्देश्य engineers को fine-tuning अपनाने में यथासंभव सरलता से मदद करना है
• यह पोस्ट fine-tuning के बारे में सीखी गई बातों को साझा करने के लिए है

[GN⁺]

Hacker News राय

• GPT-3.5/4 के विकल्प के रूप में Llama 2 मॉडल को fine-tune करने के उपयोग पर लेख
• कुछ उपयोगकर्ताओं ने पाया कि translation काम में GPT-3.5, Llama 2 की तुलना में 100 गुना सस्ता है, और Llama 7B ने खराब translation दिया
• OpenAI की GPT-3.5 के लिए आक्रामक pricing strategy पर चर्चा, जिसे अन्य vendors की तुलना में लोगों को उनके मॉडल पर निर्भर बनाने की चाल के रूप में देखा गया
• GPT और अन्य LLM के output का उपयोग करके internal replacement models को train करने की संभावना पर चर्चा, जो production scale पर regular API इस्तेमाल करने वालों के लिए cost-effective समाधान हो सकता है
• fine-tuned Llama 7B मॉडल के GPT-3.5 से 50 गुना सस्ता होने के दावे पर सवाल, कुछ उपयोगकर्ताओं का सुझाव है कि यह केवल self-hosting के ज़रिए ही संभव हो सकता है
• fine-tuning की प्रभावशीलता बनाम LoRA के बारे में सवाल उठाए गए
• कुछ उपयोगकर्ताओं का दावा है कि fine-tuned Llama models और GPT-3.5 के बीच तुलना भ्रामक है, और उन्होंने उचित inference latency तथा scalability समस्याओं का हवाला दिया
• fine-tuned Llama 2 मॉडल की गुणवत्ता ज़रूरी नहीं कि ChatGPT से बेहतर हो; fine-tuning के लिए high-quality dataset चाहिए, जिसे बनाना आसान नहीं है
• GPT function calling की consistency और error rate पर सवाल उठाए गए
• उपयोगकर्ता अपने मॉडल को fine-tune करने के लिए सबसे अच्छे open source LLM के बारे में जानना चाहते हैं
• इस पर स्पष्टता मांगी गई कि fine-tuning dataset input/output pairs होना चाहिए या auto-regressive भी हो सकता है
• उपयोगकर्ता ऐसे models को fine-tune करना सीखने के लिए resources में रुचि रखते हैं, खासकर beginners के लिए
• इस लेख को ML/LLM क्षेत्र में शुरुआत करने वालों के लिए उपयोगी resource माना गया है.