Magic: The Gathering ड्राफ्ट में Mistral 7B का फाइन-ट्यूनिंग

 (generallyintelligent.substack.com)
1 पॉइंट द्वारा GN⁺ 2023-12-08 | 1 टिप्पणियां | WhatsApp पर शेयर करें

सारांश: AI की फाइन-ट्यूनिंग तकनीक की पड़ताल

  • फाइन-ट्यूनिंग तकनीक की प्रभावशीलता और कठिनाई
    • फाइन-ट्यूनिंग GPT-4 की क्षमताओं को पूरक बनाती है और गति व लागत दक्षता का वादा करती है।
    • फाइन-ट्यूनिंग वास्तव में कितनी प्रभावी और कठिन है, इस पर जानकारी की कमी को दूर करने के लिए सीधे प्रयोग किया गया।

समस्या का चयन

  • Magic: The Gathering (MTG) ड्राफ्ट के ज़रिए मॉडल की reasoning क्षमता का परीक्षण
    • MTG एक रणनीतिक कार्ड गेम है, और ड्राफ्ट वह तरीका है जिसमें यादृच्छिक कार्ड पूल से कार्ड चुनकर डेक बनाया जाता है।
    • ड्राफ्ट reasoning और नए डेटा की समझ की मांग करने वाला जटिल कार्य है, इसलिए यह उपयुक्त है।
    • 17lands नामक सेवा द्वारा दिए गए बड़े ऐतिहासिक डेटा का उपयोग कर शीर्ष खिलाड़ियों के ड्राफ्ट चयन को "ground truth" के रूप में इस्तेमाल किया गया।

परिणाम और सार

  • फाइन-ट्यून किए गए 7B मॉडल का प्रदर्शन
    • फाइन-ट्यून किया गया 7B मॉडल GPT-4 से आगे निकल गया और मानव-स्तर के करीब प्रदर्शन दिखाया।
    • GPT-3.5 को फाइन-ट्यून करने पर संभव है कि बेहतर परिणाम मिलें, लेकिन इसकी लागत बहुत अधिक है।
    • फाइन-ट्यूनिंग अभी भी एक प्रयोगधर्मी प्रक्रिया है, खासकर prompt engineering में बहुत समय लगता है।
    • नए कार्ड सेट पर फाइन-ट्यूनिंग के बाद, इसने अनदेखे कार्ड सेटों पर भी generalization क्षमता दिखाई।

फील्ड रिपोर्ट: विधि और सीखने की प्रक्रिया

  • डेटा निर्माण
    • 17lands के CSV फ़ाइल फ़ॉर्मेट वाले डेटा को टेक्स्ट फ़ॉर्मेट में बदला गया ताकि वह फाइन-ट्यूनिंग के लिए उपयुक्त हो सके।
    • डेटा formatting एक चुनौतीपूर्ण और प्रयोगधर्मी प्रक्रिया थी।
  • फाइन-ट्यूनिंग चलाना
    • GPU उपलब्धता की समस्या के कारण Runpod से प्रति घंटे के हिसाब से GPU किराए पर लिया गया।
    • axolotl का उपयोग करके फाइन-ट्यूनिंग optimization को आसानी से लागू किया गया।
  • मूल्यांकन
    • प्रयोग शुरू करने से पहले मूल्यांकन मानदंड तय करना महत्वपूर्ण है।
    • language model के लिए मूल्यांकन मानदंड तय करना कठिन हो सकता है।

मुख्य सीख

  • फाइन-ट्यूनिंग की प्रभावशीलता
    • नए डेटा पर फाइन-ट्यूनिंग सटीकता और लागत, दोनों में GPT-4 से बेहतर है।
    • फाइन-ट्यूनिंग को सही तरीके से करने के लिए प्रयोगधर्मी प्रक्रिया की आवश्यकता होती है, और यह prompt engineering की तुलना में सीखने में अधिक कठिन विशेष कौशल है।

Magic से जुड़ी अतिरिक्त जानकारी

  • फाइन-ट्यून किए गए AI ड्राफ्ट बॉट का प्रदर्शन
    • Magic Arena logs से जुड़े ड्राफ्ट मॉडल का उपयोग कर एक ड्राफ्ट सहायक ऐप विकसित किया गया।
    • फाइन-ट्यून किया गया मॉडल चयन उत्पन्न करता है, जबकि GPT-4 व्याख्या प्रदान करता है।
    • कई AI ड्राफ्ट बॉट का simulation करके मानव ड्राफ्टर जैसे प्रदर्शन का प्रदर्शन किया गया।

GN⁺ की राय

इस लेख का सबसे महत्वपूर्ण बिंदु यह है कि फाइन-ट्यूनिंग तकनीक में मौजूदा बड़े language models (जैसे GPT-4) के प्रदर्शन से आगे निकलने की क्षमता है, और इसके ज़रिए विशिष्ट कार्यों के लिए AI की समझ और दक्षता को काफी बढ़ाया जा सकता है। यह लेख इसलिए रोचक है क्योंकि यह वास्तविक अनुप्रयोग के ज़रिए फाइन-ट्यूनिंग की ठोस प्रक्रिया और उसके प्रभाव को दिखाता है, जिससे शुरुआती software engineers को भी AI तकनीक की प्रगति की संभावनाओं और उसके उपयोग के तरीकों को समझने में मदद मिल सकती है।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-08
Hacker News राय
  • यह दिखाना प्रभावशाली है कि LLM की fine-tuning में साधारण अवधारणाएँ भी लागू करना कठिन हो सकता है। अच्छी शुरुआती dataset और model होने के बावजूद यह एक चुनौतीपूर्ण काम था।
  • ऐसा लगता है कि LLM उन समस्याओं के लिए उपयुक्त हैं जिनका कोई स्वाभाविक सही उत्तर नहीं होता। परफेक्ट कार्ड चुनना गणनात्मक रूप से असंभव हो सकता है, लेकिन अच्छा कार्ड चुनना संभव है, और LLM मानव-स्तर के प्रदर्शन के करीब पहुँच सकते हैं।
  • संभवतः ऐसी समस्याओं का एक समूह है जिन्हें LLM को fine-tune करके हल किया जा सकता है। यह रोजमर्रा की ज़िंदगी में क्रांतिकारी बदलाव नहीं है, लेकिन Magic: the Gathering जैसे गेम में दिलचस्प play style वाले bot के खिलाफ खेलना रोमांचक होगा।
  • शीर्ष खिलाड़ियों की draft picks का विश्लेषण करके "सच्चा डेटा" निकालने के तरीके पर सवाल। win rate के आधार पर क्रमबद्ध data सबसे अच्छे खिलाड़ियों के बजाय सबसे भाग्यशाली खिलाड़ियों को दर्शा सकता है।
  • LLM के पास कुछ हद तक rules knowledge हो सकती है, लेकिन संभव है कि वह मुख्य रूप से card rarity, cost आदि पर ध्यान दे। draft की "accuracy" पर सवाल उठता है।
  • LLM के loss को 0 करने की कोशिश करने के बजाय, Axolotl का उपयोग करके weighted loss आज़माना मददगार हो सकता है। domain adaptation fine-tuning में सहायक हो सकती है।
  • लगता है कि agent को दिए गए prompt में केवल कार्ड के नाम शामिल हैं और पिछली picks का context बरकरार नहीं रखा गया है। इससे संकेत मिलता है कि bot का अच्छा draft करना पूरी तरह संयोग हो सकता है।
  • Magic the Gathering: Arena को hack करके 100% win rate हासिल करने के एक उदाहरण का लिंक साझा किया गया। इससे संकेत मिलता है कि MTGA का virtual AI, Sparky, शायद बहुत जटिल नहीं है।
  • Magic: The Gathering के लिए LLM fine-tuning में रुचि व्यक्त की गई। एक card similarity browser बनाया जा रहा है, और InstructorXL के साथ कई prompts आज़माए गए, लेकिन अभी तक संतोषजनक परिणाम नहीं मिले। इस पोस्ट से प्रेरणा मिली।
  • इस बात को लेकर जिज्ञासा कि क्या हर कार्ड को token मानकर और draft state को input के रूप में इस्तेमाल करके चुने जाने वाले कार्ड का अनुमान लगाने के लिए कोई छोटा model इस्तेमाल किया जा सकता है।
  • Mistral को शुरुआती बिंदु के रूप में इस्तेमाल किए बिना, draft करने के लिए neural network को train करने की तुलना करना दिलचस्प होगा। यह स्पष्ट नहीं है कि LLM component क्यों महत्वपूर्ण है।
  • यह बहुत दिलचस्प है कि draft को LLM के रूप में अभिव्यक्त किया जा सकता है। सर्वश्रेष्ठ draft AI किसी न किसी रूप में representation learning का उपयोग करते हैं।