vLLM के निर्माताओं द्वारा स्थापित 'Inferact' ने ओपन सोर्स inference engine के व्यावसायीकरण के लिए $150 million की seed funding जुटाई

 (techcrunch.com)
5 पॉइंट द्वारा darjeeling 2026-01-23 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें

सारांश:

  • ओपन सोर्स LLM inference engine vLLM के निर्माताओं द्वारा स्थापित startup 'Inferact' ने $150 million (लगभग ₩210 billion) की seed funding जुटाई है और इसे $800 million का valuation मिला है।
  • इस निवेश का नेतृत्व a16z और Lightspeed ने किया, और जुटाई गई पूंजी का उपयोग vLLM-आधारित enterprise-grade AI inference platform के निर्माण और उसके commercial विस्तार के लिए किया जाएगा।
  • Inferact का लक्ष्य high-performance, low-cost inference infrastructure प्रदान करना है, ताकि कंपनियां large language models (LLM) को विभिन्न hardware environments में कुशलता से deploy और operate कर सकें.

विस्तृत सारांश:
Inferact की यह बड़ी seed funding दिखाती है कि AI infrastructure, खासकर 'inference' चरण की efficiency, इस समय AI बाज़ार की एक प्रमुख चुनौती है।

  1. Inferact और vLLM का संबंध

    • Inferact एक ऐसी कंपनी है जिसे वर्तमान में सबसे व्यापक रूप से उपयोग किए जाने वाले ओपन सोर्स LLM serving engines में से एक vLLM प्रोजेक्ट के मुख्य निर्माताओं ने स्थापित किया है। इसका नेतृत्व CEO Simon Mo कर रहे हैं।
    • vLLM, 'PagedAttention' algorithm के ज़रिए memory bottleneck समस्या को हल करता है और मौजूदा solutions की तुलना में उच्च throughput प्रदान करता है, जिससे यह developers के बीच de facto standard के रूप में स्थापित हो गया है।

  2. निवेश का आकार और पृष्ठभूमि

    • $150 million (Seed Round): यह सामान्य seed stage से कहीं बड़ा और असाधारण स्तर का निवेश है, जो AI inference cost reduction और performance optimization के लिए बाज़ार की विस्फोटक मांग को दर्शाता है।
    • $800 million valuation: उत्पाद के पूरी तरह commercial होने से पहले ही vLLM के मौजूदा प्रभाव और उसके तकनीकी moat को बहुत ऊंचा आंका गया है।
    • मुख्य निवेशक: Silicon Valley की प्रमुख venture capital firms Andreessen Horowitz (a16z) और Lightspeed Venture Partners ने निवेश का नेतृत्व किया।

  3. तकनीकी लक्ष्य और roadmap

    • Enterprise commercialisation: ओपन सोर्स vLLM के आधार पर enterprise environments के लिए managed services, security और technical support सहित एक commercial platform बनाया जाएगा।
    • Hardware compatibility विस्तार: NVIDIA GPU के अलावा AMD, AWS Inferentia जैसे विभिन्न hardware accelerators पर भी optimal performance देने के लिए support का दायरा बढ़ाने की योजना है।
    • Inference cost optimisation: जैसे Stripe जैसी कंपनियों ने पहले ही vLLM जैसे frameworks के माध्यम से inference cost को 70% से अधिक घटाया है, वैसे ही Inferact कंपनियों को LLM को अधिक सस्ते और तेज़ तरीके से service करने में मदद करेगा।

  4. Developer ecosystem पर प्रभाव

    • vLLM ओपन सोर्स प्रोजेक्ट की sustainability सुनिश्चित होने के साथ-साथ enterprise features चाहने वाले संगठनों के लिए एक स्पष्ट paid option भी उपलब्ध होगा।
    • जटिल model optimisation प्रक्रियाओं को abstract करके ऐसा वातावरण बनने की उम्मीद है, जिसमें ML engineers infrastructure management की बजाय model application development पर अधिक ध्यान दे सकें।

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.