MK-1

 (mkone.ai)
1 पॉइंट द्वारा GN⁺ 2023-08-07 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • MK-1 एक नई कंपनी है, जिसका लक्ष्य OpenAI, Anthropic और Google जैसी शीर्ष AI कंपनियों के बराबर या उनसे बेहतर क्षमता वाले AI मॉडल प्रदान करना है.
  • कंपनी का पहला प्रोडक्ट MKML एक inference runtime है, जो सिर्फ कुछ पंक्तियों के Python कोड से GPU पर बड़े language model (LLM) inference की लागत को 2 गुना तक कम कर सकता है.
  • MKML, Hugging Face और PyTorch जैसे लोकप्रिय ecosystem के साथ compatible है.
  • MKML फिलहाल closed beta release चरण में है और शुरुआती partners की तलाश कर रहा है.
  • MKML, AI मॉडलों की memory usage कम करने और speed बढ़ाने के लिए optimization में मदद कर सकता है. उदाहरण के लिए, यह Llama-2 13B मॉडल को 26GB से 10.5GB तक घटा सकता है और forward pass की inference time को अधिकतम 2.3 गुना तक कम कर सकता है.
  • MKML का उपयोग AI मॉडलों को cost या speed के आधार पर optimize करने के लिए किया जा सकता है. cost optimization scenario में, यह मॉडल को कम महंगे GPU instances पर फिट होने लायक बना सकता है, और अधिक महंगे instances पर base model से तेज चला सकता है. speed optimization scenario में, MKML मॉडल को अधिकतम 2.0 गुना तेज बना सकता है, जिससे अधिक users को service दी जा सकती है.
  • MKML को मौजूदा workflow में आसानी से integrate किया जा सकता है. इसमें MKML के model codecs में से किसी एक का उपयोग करके मॉडल को एक बार compress करना, compressed model को disk पर save करना, और फिर inference के लिए उसे load करना शामिल है.
  • MKML विभिन्न model sizes और system configurations को support करता है, और speed tests में लगातार baseline से तेज प्रदर्शन करता है.
  • MKML, मूल मॉडल के प्रति उच्च fidelity भी बनाए रखता है, और standard perplexity measurements में अंतर नगण्य दिखाता है.
  • MK-1 का दीर्घकालिक vision पूरे inference stack में AI performance को उसकी सीमा तक पहुँचाना है. उनके पास future development के लिए एक महत्वाकांक्षी roadmap है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-08-07
Hacker News राय
  • लेख में नई तकनीक MK-1 पर चर्चा की गई है, लेकिन मौजूदा quantization methods के साथ परिणामों की तुलना नहीं की गई, जिसे कुछ पाठक एक महत्वपूर्ण कमी मानते हैं।
  • एक पाठक Llama 1 के लिए उपलब्ध अन्य quantization के comparison chart साझा करता है और सुझाव देता है कि MK-1 का प्रदर्शन Q5_1 के समान है, साथ ही complexity में थोड़ी कमी और 2x से अधिक speedup मिलता है।
  • कुछ पाठक MK-1 को लेकर संदेह जताते हैं और सुझाव देते हैं कि यह bitsandbytes या ggml जैसी मौजूदा तकनीकों के आसपास बना एक wrapper हो सकता है।
  • MK-1 के open source न होने को लेकर चिंता जताई गई है, और कुछ पाठकों का कहना है कि इस क्षेत्र की तेज़ गति और इसकी कम सुविधा के कारण वे इसका उपयोग नहीं करेंगे।
  • एक पाठक, जिसने ML model quantization पर काम किया था, दावा करता है कि open source 4-bit या 8-bit quantization सबसे अच्छा विकल्प नहीं है, और अधिक उन्नत तकनीकों की ओर इशारा करता है।
  • MK-1 और 4-bit quantization वाले mlc-llm के बीच तुलना की मांग की गई है, और बताया गया है कि बाद वाला Llama2 13B को हैरान करने वाली गति से चलाता है।
  • कुछ पाठक tech stack में proprietary dependency को लेकर असंतोष जताते हैं, और OpenAI तथा Anthropic जैसे top-tier options को पसंद करते हैं या अपना समाधान बनाना पसंद करते हैं।
  • कंपनी का लोकप्रिय models को optimize करना और उन्हें वास्तविक OSS license के साथ बेचना, साथ ही weights पर license restrictions की चिंता न करना, एक रणनीतिक कदम लगता है।
  • कुछ पाठक MK-1 को एक और AI startup scam करार देते हैं, और आरोप लगाते हैं कि यह GGML का उपयोग करता है, बंद है, और VC cash की तलाश में है।
  • MK-1 में open source की अनुपस्थिति और इसका बंद स्वभाव बड़े नुकसान के रूप में देखे जाते हैं, और कुछ पाठक इसे "डूबता हुआ आदमी" घोषित करते हैं।