Mistral: पहला AI endpoint, early access उपलब्ध

Mistral AI की नई platform service beta लॉन्च

• Mistral AI डेवलपर्स के लिए शक्तिशाली open generative models और उन्हें कुशलतापूर्वक deploy तथा customize करने के तरीके उपलब्ध करा रहा है.
• आज इसकी पहली platform service के beta access की शुरुआत हुई, जो text निर्देशों के आधार पर text generate करने वाले तीन chatbot endpoints और एक embedding endpoint प्रदान करती है.
• हर endpoint का performance/price trade-off अलग है.

Generative endpoints

• 'mistral-tiny' और 'mistral-small' अभी उपलब्ध दो public models का उपयोग करते हैं, जबकि 'mistral-medium' deployment environment में test किए जा रहे prototype model का उपयोग करता है.
• इन models में efficient fine-tuning और direct preference optimization जैसी सबसे प्रभावी alignment techniques शामिल हैं, ताकि ऐसे models बनाए जा सकें जिन्हें users आसानी से control कर सकें और उपयोग में आनंददायक पाएं.
• 'Mistral-tiny' केवल English को support करता है, 'Mistral-small' कई भाषाओं और code को support करता है, और 'Mistral-medium' को शीर्ष service models में से एक माना जाता है.

Embedding endpoint

• 'Mistral-embed' retrieval उपयोगों को ध्यान में रखकर एक embedding model प्रदान करता है, जिसकी embedding dimension 1024 है.
• इस embedding model ने MTEB में 55.26 का retrieval score हासिल किया है.

API specification

• API उस लोकप्रिय chatbot interface specification का पालन करता है जिसे एक competitor ने सबसे पहले प्रस्तावित किया था.
• endpoints को query करने के लिए Python और Javascript client libraries उपलब्ध हैं.
• endpoints में system prompts दिए जा सकते हैं, ताकि users model output के लिए उच्च स्तर की moderation सेट कर सकें.

Beta access से general availability तक विस्तार

• आज से कोई भी API के लिए register करके इसका उपयोग कर सकता है, और capacity को धीरे-धीरे बढ़ाया जाएगा.
• business team आवश्यकताओं को समझने और access को तेज़ करने में मदद कर सकती है.
• platform को पूरी तरह self-service स्थिति में स्थिर करने की प्रक्रिया के दौरान कुछ हिस्सों में अस्थिरता हो सकती है.

आभार

• NVIDIA का धन्यवाद, जिसने TensorRT-LLM और Triton integration को support किया और TRT-LLM के साथ compatible sparse mixture of experts बनाने में साथ काम किया.

GN⁺ की राय

• इस लेख की सबसे महत्वपूर्ण बात यह है कि Mistral AI डेवलपर्स को नए generative models और embedding model उपलब्ध करा रहा है, जिससे वे बेहतर text generation और embedding capabilities का उपयोग कर सकेंगे.
• ऐसी तकनीकें AI के विकास को तेज़ करेंगी, और कई भाषाओं व code को support करने की क्षमता global market में इनके application की संभावनाओं को काफी बढ़ाएगी.
• डेवलपर्स के लिए नए tools और APIs के माध्यम से रचनात्मक projects और solutions विकसित करने का यह एक रोमांचक अवसर है, और यह तकनीक के भविष्य को लेकर उम्मीद बढ़ाने वाली खबर है.

[GN⁺]

Hacker News राय

• एक छोटी कंपनी (लगभग 30 लोगों की टीम) को 2 अरब डॉलर का वैल्यूएशन मिला है, और उसने सबसे अच्छा प्रदर्शन करने वाला 7B मॉडल और 7B*8 MOE मॉडल बनाया है। ये मॉडल 70B मॉडल जैसा प्रदर्शन देते हैं, जबकि इन्हें सिर्फ 14B मॉडल जितनी inference power चाहिए। यह OpenAI के लिए उससे भी बड़ा खतरा बन सकता है, और हाल की फंडिंग की वजह से यह जल्द ही ट्रैफिक लोड संभालने लायक scale कर सकेगी और इंडस्ट्री की विभिन्न समस्याओं से निराश शीर्ष शोधकर्ताओं को आकर्षित कर सकेगी।
• Mistral-medium मॉडल ने benchmark में GPT-3.5 और Google के Gemini Pro मॉडल को बड़े अंतर से हराया। उम्मीद है कि इसका वास्तविक प्रदर्शन भी benchmark जितना प्रभावशाली होगा, और safety filter का वैकल्पिक रूप से उपलब्ध होना सुरक्षित applications के लिए भी बड़ा लाभ है।
• Mistral की pricing सामने आ गई है। Mistral-medium की कीमत 1 million output tokens पर $8 है, और Mistral-small की $1.94, जो GPT-3.5 और GPT-4 की कीमतों की तुलना में इसके प्रतिस्पर्धी होने का संकेत देती है।
• Fabrice Bellard के TextSynth server ने Mistral 7B मॉडल का समर्थन शुरू कर दिया है। इसमें CUDA support, BNF grammar और JSON schema sampling जैसी सुविधाएँ जोड़ी गई हैं।
• प्रतिस्पर्धा ही दुनिया को आगे बढ़ाने का तरीका है। यह देखकर खुशी होती है कि छोटे और बड़े players, दोनों के पास competitive models हैं। benchmark प्रकाशित करते समय अपने पक्ष में ढाले गए testing तरीकों पर अफसोस है। open benchmark के जरिए प्रमुख मॉडलों की निष्पक्ष तुलना करने का काम ज़रूरी है।
• इन मॉडलों की context size limit पर पर्याप्त चर्चा नहीं हो रही है। sliding window तकनीक वास्तव में memory को लगभग 8k tokens तक सीमित कर देती है, जो कई कामों के लिए पर्याप्त नहीं है। Llama2 derived models को सिर्फ parameter count की वजह से नहीं, बल्कि दिए गए छोटे context की वजह से भी fine-tuning की ज़रूरत होती है।
• "early access endpoint" का वास्तविक मतलब है "endpoint के लिए early access की waiting list"। API access फिलहाल केवल invitation के जरिए है, और जब सर्वोत्तम मॉडल तक पहुँच के लिए subscription लिया जा सकेगा, तब इसकी सूचना दी जाएगी।
• ChatGPT-3.5 को हराना सचमुच एक बड़ी उपलब्धि है। GPT-3.5 रोज़मर्रा की चीज़ों के लिए पर्याप्त नहीं है, इसलिए GPT-4 को लेकर अपेक्षाएँ बहुत अधिक हैं।
• Mistral API उस लोकप्रिय chat interface specification का पालन करता है जिसे एक प्रतिस्पर्धी ने प्रस्तावित किया था। यह दिलचस्प है और पसंद आता है।
• Mistral-embed 1024-dimensional embedding model प्रदान करता है, जिसे retrieval capability को ध्यान में रखकर डिज़ाइन किया गया है। इसने MTEB में 55.26 का retrieval score हासिल किया है। यह embedding model open source के रूप में उपलब्ध कराया जाएगा या नहीं, इस बारे में अभी कोई जानकारी नहीं है।