खुद fine-tune किए गए Llama 2 से GPT-3.5/4 को बदलना

 (news.ycombinator.com)
3 पॉइंट द्वारा GN⁺ 2023-09-13 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • रेसिपी वर्गीकरण उदाहरण में Llama 2 7B को fine-tune करने पर टेस्ट सेट के आधार पर GPT-4 labels से 95% मेल खाने वाला परिणाम मिला
  • fine-tuning वह तरीका है जिसमें input/output उदाहरणों के जरिए इच्छित काम करने का तरीका model weights में सिखाया जाता है; यह 50 उदाहरणों से भी संभव है, लेकिन आमतौर पर 1,000 या उससे अधिक का लक्ष्य रखा जाता है
  • prompts तेज़ iteration और एक ही बड़े मॉडल के संचालन के लिए फायदेमंद हैं, लेकिन fine-tuning से छोटे मॉडल भी किसी खास काम के लिए मज़बूती से ढाले जा सकते हैं
  • fine-tune किया गया Llama 7B प्रति token लागत के हिसाब से GPT-3.5 से 50 गुना सस्ता है, इसलिए पर्याप्त रूप से सीमित कामों में लागत के मुकाबले प्रदर्शन काफ़ी बेहतर हो सकता है
  • 20 लाख रेसिपी वर्गीकरण की लागत में GPT-4 पर 23,000 डॉलर और GPT-3.5 पर 1,000 डॉलर से अधिक खर्च आता है, जबकि यह fine-tuned मॉडल पूरे dataset को 19 डॉलर में प्रोसेस करता है

fine-tuning और prompts में फर्क

  • सार्वजनिक LLM fine-tuning में Hacker News पर बढ़ती दिलचस्पी के बीच, रेसिपी वर्गीकरण उदाहरण के लिए notebooks का एक सेट जारी किया गया है
    • notebooks OpenPipe example में हैं, और इनमें data labeling, fine-tuning, efficient inference execution, और cost/performance evaluation शामिल हैं
  • fine-tuning को prompts की तुलना में निर्देश देने का अधिक शक्तिशाली रूप माना जा सकता है
    • हर बार prompt में टेक्स्ट निर्देश डालने के बजाय, उदाहरण input/output pairs के जरिए काम करने का तरीका सीधे मॉडल में सिखाया जाता है
    • यह केवल 50 उदाहरणों से भी काम कर सकता है, लेकिन जहाँ संभव हो 1,000 या उससे अधिक उदाहरण रखना बेहतर माना जाता है
  • prompts के फायदे अब भी संचालन और प्रयोग में बड़े हैं
    • labeling और दोबारा training के बिना निर्देशों को अधिक आसानी और तेज़ी से iterate करके सुधारा जा सकता है
    • कई छोटे fine-tuned models deploy करने की तुलना में, एक बड़े model को deploy करके सिर्फ उसका behavior समायोजित करना संचालन के लिहाज़ से अधिक सरल है
    • छोटे fine-tuned models में से हर एक की utilization कम रहने की संभावना हो सकती है

लागत-प्रदर्शन उदाहरण और OpenPipe

  • fine-tuning का सबसे बड़ा फायदा यह है कि model behavior को अधिक प्रभावी ढंग से दिशा देकर छोटे models का उपयोग किया जा सकता है
    • छोटे models response speed बढ़ा सकते हैं और inference cost घटा सकते हैं
    • fine-tune किया गया Llama 7B model प्रति token लागत के आधार पर GPT-3.5 से 50 गुना सस्ता है
  • रेसिपी वर्गीकरण उदाहरण all-recipes dataset की 20 लाख रेसिपियों पर लागत की तुलना करता है
    • GPT-4 से वर्गीकरण करने पर 23,000 डॉलर खर्च होते हैं
    • GPT-3.5 पर भी 1,000 डॉलर से अधिक लागत आती है
    • fine-tuned model, GPT-4 जैसी performance देता है और पूरे dataset को चलाने की लागत 19 डॉलर है
  • टेस्ट सेट पर train किए गए 7B model का GPT-4 labels से 95% मेल है
    • जो 5% मामले नहीं मिले, उनमें अक्सर सही उत्तर वास्तव में अस्पष्ट था
  • OpenPipe एक open source product है जो engineers को fine-tuning अपनाने में आसानी देता है
    • प्रोजेक्ट OpenPipe GitHub repository पर सार्वजनिक है
    • दी गई fine-tuning जानकारी स्वयं OpenPipe product पर निर्भर नहीं है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-09-13
Hacker News राय
  • GPT-3.5/4 के विकल्प के रूप में Llama 2 मॉडल को fine-tune करने के उपयोग पर लेख
  • कुछ उपयोगकर्ताओं ने पाया कि translation काम में GPT-3.5, Llama 2 की तुलना में 100 गुना सस्ता है, और Llama 7B ने खराब translation दिया
  • OpenAI की GPT-3.5 के लिए आक्रामक pricing strategy पर चर्चा, जिसे अन्य vendors की तुलना में लोगों को उनके मॉडल पर निर्भर बनाने की चाल के रूप में देखा गया
  • GPT और अन्य LLM के output का उपयोग करके internal replacement models को train करने की संभावना पर चर्चा, जो production scale पर regular API इस्तेमाल करने वालों के लिए cost-effective समाधान हो सकता है
  • fine-tuned Llama 7B मॉडल के GPT-3.5 से 50 गुना सस्ता होने के दावे पर सवाल, कुछ उपयोगकर्ताओं का सुझाव है कि यह केवल self-hosting के ज़रिए ही संभव हो सकता है
  • fine-tuning की प्रभावशीलता बनाम LoRA के बारे में सवाल उठाए गए
  • कुछ उपयोगकर्ताओं का दावा है कि fine-tuned Llama models और GPT-3.5 के बीच तुलना भ्रामक है, और उन्होंने उचित inference latency तथा scalability समस्याओं का हवाला दिया
  • fine-tuned Llama 2 मॉडल की गुणवत्ता ज़रूरी नहीं कि ChatGPT से बेहतर हो; fine-tuning के लिए high-quality dataset चाहिए, जिसे बनाना आसान नहीं है
  • GPT function calling की consistency और error rate पर सवाल उठाए गए
  • उपयोगकर्ता अपने मॉडल को fine-tune करने के लिए सबसे अच्छे open source LLM के बारे में जानना चाहते हैं
  • इस पर स्पष्टता मांगी गई कि fine-tuning dataset input/output pairs होना चाहिए या auto-regressive भी हो सकता है
  • उपयोगकर्ता ऐसे models को fine-tune करना सीखने के लिए resources में रुचि रखते हैं, खासकर beginners के लिए
  • इस लेख को ML/LLM क्षेत्र में शुरुआत करने वालों के लिए उपयोगी resource माना गया है.