Mistral CEO ने स्वीकार किया कि GPT-4 के प्रदर्शन के करीब पहुंचने वाला नया open source AI मॉडल लीक हो गया

 (venturebeat.com)
10 पॉइंट द्वारा GN⁺ 2024-02-01 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • 28 जनवरी के आसपास, उपयोगकर्ता "Miqu Dev" ने open source AI मॉडल और कोड शेयरिंग प्लेटफ़ॉर्म HuggingFace पर "miqu-1-70b" नाम के एक नए open source large language model (LLM) फ़ाइल सेट को पोस्ट किया
  • यह मॉडल फिलहाल सबसे बेहतर प्रदर्शन करने वाली open source AI कंपनी मानी जाने वाली Mistral के Mixtral 8x7b के समान "Prompt format" का उपयोग करता है
  • उसी दिन, एक anonymous उपयोगकर्ता ने 4chan पर miqu-1-70b फ़ाइल के लिए लिंक पोस्ट किया
  • कुछ उपयोगकर्ताओं ने पाया कि यह मॉडल सामान्य LLM कार्यों में शानदार प्रदर्शन दिखाता है और OpenAI के GPT-4 के करीब पहुंचता है

Mistral quantized?

  • machine learning (ML) शोधकर्ताओं ने LinkedIn पर इस बात में रुचि दिखाई कि क्या "miqu" का अर्थ "MIstral QUantized" है
  • quantization वह तकनीक है जिसमें AI मॉडल आर्किटेक्चर की लंबी संख्या श्रृंखलाओं को छोटे रूप से बदला जाता है ताकि मॉडल कम शक्तिशाली कंप्यूटरों और चिप्स पर चल सके
  • Mistral के सह-संस्थापक और CEO Arthur Mensch ने बताया कि "Miqu" मॉडल Mistral के एक early access ग्राहक के एक अत्यधिक उत्साही कर्मचारी द्वारा लीक किया गया था
    • Mistral ने इस मॉडल को Llama 2 पर फिर से प्रशिक्षित किया, Mistral 7B के लॉन्च वाले दिन इसका pretraining पूरा किया, और तब से इसमें अच्छी प्रगति हो रही है
  • दिलचस्प बात यह है कि Mensch ने HuggingFace पर इस अनधिकृत पोस्ट को हटाने की मांग करने के बजाय यह टिप्पणी छोड़ी कि वे "attribution पर विचार कर सकते हैं"

open source AI और उससे आगे का एक महत्वपूर्ण क्षण?

  • GPT-4 स्तर के प्रदर्शन वाले open source मॉडल का रिलीज़ न केवल open source generative AI बल्कि पूरे AI और computer science क्षेत्र के लिए एक महत्वपूर्ण क्षण हो सकता है
  • OpenAI GPT-4 Turbo और GPT-4V (vision) के साथ अपनी प्रतिस्पर्धात्मक बढ़त बनाए रख सकता है, लेकिन open source AI समुदाय तेज़ी से बराबरी पर पहुंच रहा है

GN⁺ की राय

  • "Miqu" मॉडल का आगमन open source AI क्षेत्र में commercial AI उत्पादों से प्रतिस्पर्धा कर सकने वाली नई संभावनाएं दिखाता है
  • यह घटना open source समुदाय की नवोन्मेषी क्षमता और तकनीक की तेज़ प्रगति को रेखांकित करती है
  • open source मॉडलों की प्रगति कंपनियों के AI उपयोग के तरीकों में बदलाव ला सकती है, और इसका पूरे टेक उद्योग पर महत्वपूर्ण प्रभाव पड़ सकता है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-01
Hacker News राय

  • एक उपयोगकर्ता TheBloke के पेज पर नज़र रखे हुए है और इंतज़ार कर रहा है कि वह अपने MacBook पर Miqu Q5 quantized model चला सके। वह Mixtral का रोज़ इस्तेमाल कर रहा है, और अगर यह मॉडल (या नया आधिकारिक वर्ज़न) GPT-4 के करीब पहुंचता है, तो वह OpenAI की सदस्यता बंद कर देगा। उसका मानना है कि Mistral की छोटी टीम प्रतिस्पर्धियों को पीछे छोड़ रही है, और वही वैसा है जैसा "Open"AI को होना चाहिए था।

    Mistral CEO का ट्वीट: शुरुआती access ग्राहकों में से एक के एक जरूरत से ज़्यादा उत्साही कर्मचारी ने पुराने मॉडल का quantized (और watermark लगा हुआ) वर्ज़न लीक कर दिया। Mistral 7B रिलीज़ के दिन Llama 2 से इस मॉडल को फिर से train किया गया था, जैसे ही पूरे cluster तक पहुंच मिली, और तब से इसमें अच्छी प्रगति हुई है।

  • एक उपयोगकर्ता ने कहा कि GPT-4 को आए 1 साल से ज़्यादा हो चुका है, लेकिन फिर भी GPT-4 तक पहुंचने की यह सामूहिक कोशिश, बिना किसी खास गुप्त फ़ॉर्मूले के, काफी थका देने वाली लगती है। खासकर यह जानते हुए कि OpenAI कभी भी इससे कहीं बेहतर कुछ जारी कर सकता है।

  • एक अन्य उपयोगकर्ता ने GPT-4 के करीब होने के दावे पर सवाल उठाते हुए कहा कि leaderboard GPT4-0314 और GPT4-Turbo के बीच बड़ा अंतर दिखाता है, और अगर यह मुश्किल से GPT4-0314 के करीब है, तो भी यह अभी की latest technology से लगभग 1 साल पीछे है।

  • एक और उपयोगकर्ता ने कहा कि लीक हुआ मॉडल कुछ महीनों में महत्वहीन हो जाएगा। आधिकारिक मॉडल आने के बाद उससे बेहतर मॉडल जारी होंगे, और वह खुद मॉडल से ज़्यादा तेज़ प्रगति की रफ्तार को लेकर उत्साहित है।

  • एक उपयोगकर्ता ने सवाल उठाया कि इस मॉडल को open source model क्यों कहा जा रहा है। उसके मुताबिक यह इंटरनेट पर लीक हुआ एक proprietary model है, और Mistral के आधिकारिक रिलीज़ तक यही स्थिति रहेगी। व्यक्तिगत उपयोग के लिए उसे Llama 1 की तरह इससे खास फर्क नहीं पड़ता, लेकिन किसी भी कंपनी के इस मॉडल का उपयोग करने की संभावना नहीं है।

  • एक अन्य उपयोगकर्ता ने कहा कि Mistral उसे 2015 से पहले की अच्छी पुरानी tech कंपनियों की याद दिलाता है।

  • एक उपयोगकर्ता ने सोचा कि अगर GPT कभी Apache या MySQL के latest version जितना सामान्य हो जाए, तो हम लाखों web host — माफ़ कीजिए, AI host — वाली दुनिया में वापसी की कल्पना कैसे कर सकते हैं।

  • अंत में, एक उपयोगकर्ता ने कहा कि GPT-4 को आए लगभग 1 साल हो गया है, और ऐसा लगता है कि OpenAI की हर महीने नई groundbreaking technology जारी करने वाली तेज़ रफ्तार रुक गई है। वह सोच रहा है कि OpenAI में क्या चल रहा है, क्या हाल की उथल-पुथल ने कंपनी में देरी पैदा की है, या फिर वह कोई 'superweapon' बना रही है।