AI लागत को रोज़ $100 से घटाकर $1 करने का तरीका: GPT-4 का उपयोग करके Mixtral फाइन-ट्यूनिंग

• AI-आधारित करियर एक्सप्लोरेशन ऐप बनाया, लेकिन तेज़ी से बढ़त के साथ GPT-4 की लागत $100 प्रति दिन से ऊपर जाने लगी
• लेटेंसी कम रखते हुए और क्वालिटी बनाए रखते हुए AI लागत को 99% तक घटाने के लिए अपनाया गया तरीका
  • सबसे शक्तिशाली मॉडल (GPT-4) से पहले परिणाम निकलवाना, फिर उन्हीं परिणामों का उपयोग करके छोटे मॉडल को फाइन-ट्यून करना
  • AI request/response को आसानी से Export किया जा सके, इसके लिए उन्हें स्टोर करना. Helicone AI का उपयोग. सिर्फ OpenAI API को वैसे ही बदलने पर टेबल में AI requests स्टोर हो जाती हैं
  • लगभग 100~500 request/response जोड़े जमा हो जाने पर, उन्हें Export करके अच्छी क्वालिटी में डेटा को परिष्कृत करना
  • इस dataset का उपयोग करके Together/Anyscale जैसी hosting services पर Mixtral 8x7B को फाइन-ट्यून करना
  • GPT-4 को नए फाइन-ट्यून किए गए मॉडल से बदल देना

[kuroneko]

तो क्या इसका मतलब है कि GPT-4 की शर्तों और Mixtral के लाइसेंस—दोनों का उल्लंघन हुआ है...? @_@

[xguru]

ऐसा ही लगता है। शायद क्योंकि यह खुलकर नज़र नहीं आता, इसलिए बहुत से लोग ऐसा सोचते हैं।

[kuroneko]

कहीं-कहीं लोग इसे अनौपचारिक रूप से इस्तेमाल करते रहे हैं, या फिर रिसर्च के लिए सार्वजनिक भी किया है,
लेकिन इस तरह खुलेआम "हमने इसे इस्तेमाल किया!" कहकर प्रचार करना थोड़ा... अजीब तो लगता है।

कोई इस पर कुछ कहेगा नहीं क्या...?

[xguru]

Hacker News राय

• ज़्यादातर tech कंपनियां, core research को छोड़कर, कम से कम पिछले आधे साल से GPT-4 या 3.5 का इस्तेमाल करके training data बना रही हैं, और उसके आधार पर QLoRA fine-tune करके उसे "अपना" AI model बताकर जारी कर रही हैं। management बड़े नतीजों का दावा करता है और कहता है कि उनकी कंपनी "specific industry" AI क्षेत्र की leader है। इस प्रक्रिया में machine learning की लगभग कोई गहरी जानकारी नहीं चाहिए, और cloud computing cost $1,000 से कम में हो सकती है। लेकिन असली काम में नतीजा लगभग GPT-3.5 स्तर का ही मिलता है, और खासकर cloud GPU इस्तेमाल करने पर cost के मामले में GPT-3.5 से मुकाबला करना मुश्किल होता है।
• मैंने इस व्यक्ति का app Wanderer देखा, लेकिन उसमें Terms of Service, Privacy Policy, साफ pricing, या AI का कोई उल्लेख ही नहीं है, इसलिए यह काफी संदिग्ध लगता है। GPT-4 का इस्तेमाल करने वाला यह approach मॉडल को GPT-4 जितना स्मार्ट दिखाने के लिए तो ठीक है, लेकिन जब सच में ज़रूरी पल आता है तब यह साफ हो जाता है कि मॉडल inferior है।
• Together.ai के documentation के मुताबिक Mixtral को fine-tuning के लिए इस्तेमाल नहीं किया जा सकता, और ऐसा भी लगता है कि वे fine-tuned model को serverless पर run नहीं करते। इससे संकेत मिलता है कि कहानी में consistency नहीं है।
• नैतिक मुद्दों और सीमित शर्तों को अलग भी रख दें, तब भी हो सकता है कि पोस्ट करने वाले को जो काम किया गया उसके लिए GPT-4 की ज़रूरत ही न रही हो। Mixtral या 3.5 का इस्तेमाल करके शुरुआती 100 अच्छे prompt-response pairs बना लेना, और फिर पोस्ट करने वाले का उन्हें manually adjust करना, कितना ज़्यादा खराब या मुश्किल होता?
• मैं AI का इस्तेमाल करके बड़े पैमाने पर content summarize करने वाला एक side-project app बना रहा हूँ, और उम्मीद है कि यह revenue-generating SaaS बन जाएगा। जल्दी launch करने के लिए फिलहाल OpenAI इस्तेमाल करने की योजना है, लेकिन बाद में अपने self-hosted LLM option पर migrate करना आर्थिक और तकनीकी रूप से संभव होगा, ऐसा लगता है। अगर किसी के पास इससे जुड़ा अनुभव हो तो वह tips या tricks साझा कर सकता है।
• यह OpenAI के Terms of Service का उल्लंघन तो नहीं है, इस पर सवाल है।
• यह समझाने का अनुरोध कि cost $1 तक कैसे घटी। GPT-4 को Mixtral 8x7b के tuned version से replace किया गया, लेकिन इसके लिए कई GPU चाहिए होंगे। अगर मॉडल को खुद quantize भी किया गया हो, तब भी hardware और infrastructure cost लगेगी, और वह $1 से ज़्यादा ही होगी। क्या यह self-hosting है?
• क्लासिक knowledge distillation methodology का उल्लेख। यहां यह कहा गया है कि fine-tuning के लिए 8x7b की ज़रूरत नहीं पड़ेगी, और जल्द ही phi-2 या phixtral model ऐसे domain के लिए काफ़ी powerful हो जाएंगे।
• बिना किसी बदलाव के भी openhermes 7b chat से शानदार नतीजे मिले, और यह GPT-4 के 90% use cases को cover करता है तथा तेज़ चलता है। सिफारिश करता हूँ।