Mistral AI ने अपने पहले AI endpoints के लिए early access जारी किया

 (mistral.ai)
2 पॉइंट द्वारा GN⁺ 2023-12-12 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Mistral AI ने la plateforme beta खोला है, जिससे डेवलपर्स open generative models को production में deploy और customize कर सकें
  • शुरुआती सेटअप में टेक्स्ट निर्देश संभालने वाले 3 chat endpoints और 1 embedding endpoint शामिल हैं, जिनमें performance और price के अलग-अलग trade-offs हैं
  • mistral-tiny और mistral-small public open models पर आधारित हैं, जबकि mistral-medium prototype model देता है जिसे deployment environment में टेस्ट किया जा रहा है
  • API व्यापक रूप से इस्तेमाल होने वाली chat interface specification का पालन करता है, और Python·JavaScript clients तथा system prompt के ज़रिए output control को सपोर्ट करता है
  • कोई भी रजिस्टर करके API इस्तेमाल कर सकता है, लेकिन capacity धीरे-धीरे बढ़ाई जाएगी और पूरी self-service उपलब्ध होने तक कुछ खुरदरे हिस्से बाकी रह सकते हैं

la plateforme beta और endpoint configuration

  • Mistral AI डेवलपर्स को open generative models उपलब्ध कराता है, साथ ही production deployment और customization के तरीके भी देता है
  • पहली platform service beta के रूप में जारी की गई है, और शुरुआती configuration सरल है
    • टेक्स्ट निर्देश-आधारित generation के लिए 3 chat endpoints
    • search use cases को ध्यान में रखकर 1 embedding endpoint
    • हर endpoint का performance/price trade-off अलग है

  • generation endpoints

    • mistral-tiny
      • यह सबसे cost-efficient endpoint है, जो फिलहाल Mistral 7B Instruct v0.2 उपलब्ध कराता है
      • यह केवल English को सपोर्ट करता है और इसका MT-Bench score 7.6 है
      • instruction-tuned model को Hugging Face से डाउनलोड किया जा सकता है
    • mistral-small
      • यह नवीनतम model Mixtral 8x7B उपलब्ध कराता है
      • यह English, French, Italian, German, Spanish और code को संभालता है
      • इसका MT-Bench score 8.3 है
      • model की details Mixtral पर ब्लॉग पोस्ट में देखी जा सकती हैं
    • mistral-medium
      • यह सबसे उच्च-गुणवत्ता वाला endpoint है, जो फिलहाल deployment environment में टेस्ट हो रहे prototype model को उपलब्ध कराता है
      • standard benchmarks के आधार पर यह अभी उपलब्ध शीर्ष मॉडलों में से एक है
      • यह English, French, Italian, German, Spanish और code को संभालता है
      • इसका MT-Bench score 8.6 है

  • model alignment और embeddings

    • निर्देशों का पालन करने वाले models को अधिक controllable और उपयोग में आसान बनाने के लिए efficient fine-tuning और direct preference optimization को जोड़ा गया है
    • models को open web से निकाले गए data पर pretrain करने के बाद annotation-based instruction fine-tuning किया गया है
    • mistral-embed एक embedding endpoint है, जो 1024-dimensional embeddings model उपलब्ध कराता है
    • embedding model को search functionality को ध्यान में रखकर डिज़ाइन किया गया है, और इसने MTEB retrieval score 55.26 दर्ज किया है

API access और beta operations

  • API व्यापक रूप से इस्तेमाल होने वाली chat interface specification का पालन करता है
  • endpoints को Python और JavaScript client libraries के ज़रिए कॉल किया जा सकता है
  • अगर application में output control महत्वपूर्ण है, तो system prompt के माध्यम से model responses को और मज़बूती से नियंत्रित किया जा सकता है
  • कोई भी रजिस्टर करके API का उपयोग कर सकता है, और Mistral AI capacity को धीरे-धीरे बढ़ा रहा है
  • business team उपयोगकर्ताओं की ज़रूरतें समझकर access जल्दी दिलाने में मदद कर सकती है
  • platform पूरी तरह self-service और स्थिर होने से पहले कुछ खुरदरे हिस्से बाकी रह सकते हैं
  • NVIDIA, TensorRT-LLM और Triton integration के साथ-साथ sparse mixture of experts के लिए TRT-LLM compatibility पर काम को सपोर्ट कर रहा है

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-12-12
Hacker News की राय

  • हैरानी है कि यह खबर अभी पूरे दिन HN के शीर्ष पर पिन नहीं है
    करीब 30 लोगों की दिखने वाली एक छोटी कंपनी को 2 बिलियन डॉलर valuation मिला है, और उसने सबसे अच्छा प्रदर्शन करने वाला 7B मॉडल तथा 70B-स्तर की performance देने वाला 7B×8 MoE मॉडल जारी किया है, जिसकी inference cost 14B स्तर की है
    यह Google या Anthropic की तुलना में OpenAI के लिए बड़ा संभावित खतरा बन सकता है। हाल की बड़ी funding की वजह से निकट भविष्य में यह उचित traffic scale तक बढ़ सकता है, और industry में सामने आई दिखावेबाज़ी और drama से तंग आ चुके शीर्ष researchers को आकर्षित कर सकता है

    • क्योंकि पहले से ही कई बड़े threads आ चुके थे
      Mixtral of experts - https://news.ycombinator.com/item?id=38598559 - दिसंबर 2023, 272 comments
      Mistral-8x7B-Chat - https://news.ycombinator.com/item?id=38594578 - दिसंबर 2023, 69 comments
      Mistral AI Valued at $2B - https://news.ycombinator.com/item?id=38593616 - दिसंबर 2023, 221 comments
      Mistral's mixtral-8x7B-32kseqlen on Vercel - https://news.ycombinator.com/item?id=38584179 - दिसंबर 2023, 30 comments
      French AI startup Mistral secures €2B valuation - https://news.ycombinator.com/item?id=38580758 - दिसंबर 2023, 76 comments
      Mistral "Mixtral" 8x7B 32k model [magnet] - https://news.ycombinator.com/item?id=38570537 - दिसंबर 2023, 236 comments
      ये बिल्कुल वही खबरें नहीं हैं, लेकिन चर्चा आम तौर पर काफी समान दिशा में जाती है, इसलिए इन्हें सभी या अधिकतर लगभग-duplicate posts माना जा सकता है
    • मौजूदा AI wave से निकली कंपनियों में यह निस्संदेह सबसे प्रभावशाली है
      करीब 6 महीनों में इसने 7B models का benchmark पेश कर दिया, और तेजी से बड़े scale की ओर बढ़ रहा है
      मार्च की funding round को, जिसमें 3 लोगों की टीम और सिर्फ idea के दम पर 300 मिलियन डॉलर मिलने की बात थी, मैंने hype का संकेत मानकर हंसी में उड़ा दिया था, लेकिन साफ है कि मुझे details पता नहीं थीं। execution वाकई शानदार है
      यह उन सभी use cases को अपने कब्जे में ले सकता है जिन्हें GPT-4 performance की जरूरत नहीं है, और जल्द ही बड़े models के क्षेत्र को भी target कर सकता है
    • blog post और homepage देखने पर भी यह ठीक-ठीक क्या है, समझना थोड़ा मुश्किल है
      इसलिए शायद AI से काफी परिचित लोग ही इसकी relevance समझ पाएंगे। फिर भी ऊपर की explanation निश्चित रूप से मददगार है
    • Mistral फ्रांस में है, और EU अभी AI regulation की दिशा में माहौल ठंडा कर रहा है। लंबे समय में यह नकारात्मक बात लगती है
    • फ्रांस की engineering और computer science education सचमुच mathematics और theory पर जोर देती है। यह AI में एक फायदा बनता है

  • अगर benchmarks वास्तविक performance में बदलते हैं, तो यह बेहद प्रभावशाली है [1]
    mistral-medium उपलब्ध comparison benchmarks में GPT-3.5 और Google के मौजूदा public top model Gemini Pro से बड़े अंतर से आगे है: https://screenbud.com/shot/c0d904e3-24a3-4c23-a1e4-2f18bc021...
    [1] अगर Mistral 7B को आधार माना जाए, तो वास्तविक performance gap और बड़ा होने की उम्मीद है। safety filters का optional होना सुरक्षित applications में भी बड़ा advantage है

    • अगर Google का अगला बड़ा AI पहले ही बहुत कम resources वाली छोटी कंपनी से पीछे रह गया है, तो Google के लिए यह काफी कड़वी बात होगी
    • Winogrande score GPT-4 से ज्यादा है। बाकी metrics GPT-3 के करीब दिखते हैं, इसलिए यह आश्चर्यजनक है
    • मुझे नहीं लगता कि Gemini Pro सच में “usable” है
      जब तक model publicly released नहीं होता, मैं promotional benchmarks पर भरोसा नहीं करता। release से पहले safety issues की वजह से performance कितनी घटानी पड़ेगी, इस पर बहुत ज्यादा variability है
    • अगर नया model open source के रूप में release किया गया, तो यह वाकई दिलचस्प होगा
    • मैंने एक video देखा, और Mixtral खुद अलग-अलग tasks में हैरान कर देने वाला अच्छा था। कुछ क्षेत्रों में GPT-4 हमेशा उतना अच्छा नहीं कर पाता था

  • https://docs.mistral.ai/platform/pricing
    कीमतें भी सार्वजनिक कर दी गई हैं
    प्रति 10 लाख output tokens पर Mistral-medium $8, Mistral-small $1.94, gpt-3.5-turbo-1106 $2, gpt-4-1106-preview $30, gpt-4 $60, और gpt-4-32k $120 है
    यह कीमत इस बात का संकेत लगती है कि Mistral को काफ़ी भरोसा है कि mistral-medium gpt-3.5 से काफी बेहतर है

    • मुझे हैरानी है कि इन models की energy requirements के कोई अनुमान उपलब्ध हैं या नहीं
      मोटे तौर पर हिसाब लगाया तो GTX 4090 पर 30B model inference करीब 30 tokens per second दे सकता है [1], यानी प्रति घंटे लगभग 1 लाख tokens
      अगर मानें कि ऐसा सिस्टम करीब 1kW इस्तेमाल करता है, तो प्रति 10 लाख tokens लगभग 10kWh होगा
      मौजूदा बिजली दरों के आधार पर, 30B model में प्रति 10 लाख tokens लागत को $2–4 से नीचे लाना शायद मुश्किल होगा
      [1] https://old.reddit.com/r/LocalLLaMA/comments/13j5cxf/how_man...
    • input tokens को भी ध्यान में रखें तो कुल आधार पर यह मोटे तौर पर प्रति 10 लाख tokens 5.25 यूरो बनाम 1.5 यूरो के करीब है
      Mistral-small gpt-3.5 से सबसे सीधे तौर पर मुकाबला करने वाला model लगता है, और सस्ता है। यह प्रति 10 लाख tokens करीब 1.2 यूरो है
      संदर्भ के लिए, मैंने मान लिया कि input और output tokens का weight समान है, और dollar pricing नहीं देख पाया
    • अभी ऐसा मान लेना सुरक्षित नहीं है। यह अब भी limited release है, जो व्यवहार में invite-only जैसा पढ़ता है। कुछ हद तक general availability होने के बाद ही इसे test और verify किया जा सकता है
    • मुझे जानना है कि Mistral और GPT एक ही tokenizer इस्तेमाल करते हैं या नहीं
    • medium शायद OpenAI products के बजाय Anthropic के Claude से मुकाबला करना चाहता है
      https://www-files.anthropic.com/production/images/model_pric...

  • “endpoint early access में उपलब्ध है” का असल मतलब है “endpoint early access के लिए अनिश्चित लंबाई की waitlist है”
    access करने की कोशिश करने पर यह दिखता है: “Access to our API is currently invitation-only, but we'll let you know when you can subscribe to get access to our best models.”

    • पिछले एक घंटे में email verification कई तरीकों से टूटा हुआ दिखा, जिससे लगता है कि वे प्रचार के लिए उतने तैयार नहीं थे जितना सोचा था

  • “Mistral-embed, our embedding endpoint, serves an embedding model with a 1024 embedding dimension. Our embedding model has been designed with retrieval capabilities in mind. It achieves a retrieval score of 55.26 on MTEB.”
    मुझे जानना है कि इस embedding model के open source होने, या आगे open source किए जाने की कोई जानकारी है या नहीं

  • “Mistral-Medium outperforms GPT-4 in Winogrande benchmark 88% vs 87.5%”
    स्रोत: https://twitter.com/yupiop12/status/1734137238177698106

  • यह दिलचस्प है कि Lemonfox.ai जैसे कई platforms Mistral fine-tuned models कम कीमत पर दे रहे हैं
    उन्होंने पहले ही Mistral 8x7B API भी announce कर दी है। अगर वे monetization चाहते हैं, तो सवाल उठता है कि क्या वे आगे भी medium version जैसे models को open source के रूप में जारी करते रहेंगे

    • अगर weights release नहीं हैं, तो लोग क्यों दिलचस्पी लें—ऐसा लगता है। जब तक यह GPT-4 से मुकाबला कर पाएगा, संभव है GPT-5 पहले ही आ चुका हो

  • संयोग से देखा कि Fabrice Bellard का TextSynth server अब नए Mistral 7B model को support करता है
    “2023-10-21: CUDA support in the Windows version, mistral model support. Speculative sampling is supported. BNF grammar and JSON schema sampling.”
    “mistral_7B_instruct_q4 - 3.9GB - Mistral 7B chat model”
    https://bellard.org/ts_server/

  • “Mistral-medium. Our highest-quality endpoint currently serves a prototype model, that is currently among the top serviced models available based on standard benchmarks.”
    दिलचस्प है। यह model ChatGPT 3.5 से आगे है। यह किस प्रकार का model है, पता नहीं, और open source नहीं है

    • आह, तो शायद ollama में जो इस्तेमाल होता है वह tiny version कहलाता है
      “Mistral-tiny. Our most cost-effective endpoint currently serves Mistral 7B Instruct v0.2, a new minor release of Mistral 7B Instruct. Mistral-tiny only works in English. It obtains 7.6 on MT-Bench. The instructed model can be downloaded here.”