1 पॉइंट द्वारा GN⁺ 4 시간 전 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • जैसे-जैसे कंपनियां single-model pilot से multi-model production systems की ओर बढ़ रही हैं, routing और gateway layer की आवश्यकता बढ़ रही है
  • OpenRouter agent और model provider के बीच routing, reliability, cost optimization, compliance संभालने वाली layer है
  • पिछले 6 महीनों में साप्ताहिक throughput 5 ट्रिलियन tokens से 25 ट्रिलियन tokens तक बढ़ा है, और वृद्धि की रफ्तार को देखते हुए इस साल throughput 1 क्वाड्रिलियन tokens से अधिक होने की उम्मीद है
  • यह फिलहाल 400 से अधिक models पर development करने वाले 80 लाख से अधिक developers को support करता है और AI के production apps व agents की ओर बदलाव को सहारा देता है
  • फंडिंग का उपयोग infrastructure expansion, enterprise features को मजबूत करने और intelligent routing में निवेश के लिए किया जाएगा, और यह multi-model AI युग की foundational layer बना रहा है

113 मिलियन डॉलर Series B

ग्रोथ मेट्रिक्स और उपयोग का पैमाना

  • OpenRouter का साप्ताहिक throughput पिछले 6 महीनों में 5 ट्रिलियन tokens से 25 ट्रिलियन tokens तक बढ़ा
  • वृद्धि की गति को देखते हुए इस साल throughput 1 क्वाड्रिलियन tokens से अधिक पहुंचने की उम्मीद है
  • OpenRouter 400 से अधिक models पर development करने वाले 80 लाख से अधिक developers को support करता है
  • जैसे-जैसे AI experiment चरण से production apps और agents की ओर बढ़ रहा है, provider, modality और use case के पार भरोसेमंद तरीके से काम करने वाले infrastructure की मांग बढ़ रही है

multi-model production की ओर बदलाव

  • जब संगठन single-model pilot से multi-model production systems की ओर बढ़ते हैं, तो complexity संभालने के लिए routing और gateway layer की जरूरत पड़ती है
  • OpenRouter agent और model provider के बीच routing, reliability, cost optimization, compliance संभालने वाली layer है
  • इस बार के investors का समूह infrastructure और platform कंपनियों पर केंद्रित है, जो दिखाता है कि यह layer AI stack का एक महत्वपूर्ण हिस्सा बन रही है

प्रमुख फीचर्स

  • multimodal inference

  • enterprise controls

    • बड़े पैमाने पर AI deployment करने वाले संगठनों के लिए Workspaces, spend management, guardrails, zero-data-retention policies प्रदान करता है
  • intelligent routing

    • provider-level failover, cost और latency optimization, और simple load balancing से आगे बढ़कर quality-aware routing प्रदान करता है

आगे की योजना

  • इस फंडिंग का उपयोग infrastructure expansion, enterprise features को मजबूत करने और intelligent routing में लगातार निवेश के लिए किया जाएगा
  • OpenRouter की योजना multi-model AI युग की infrastructure layer को और विस्तार देने की है, ताकि हर request के लिए सही model और provider खोजने में मदद मिल सके

1 टिप्पणियां

 
GN⁺ 4 시간 전
Hacker News की राय
  • OpenRouter को अपनाने में मुझे काफ़ी समय लगा। शुरुआत में समझ नहीं आया कि LLM के आगे एक और proxy क्यों रखा जाए, लेकिन असल में यह काफ़ी बड़ा value add करता है

    1. सभी models को support और test करने में सबसे कम friction होता है
    2. यह payment cap देता है। अगर इसे किसी public service से जोड़ना हो, तो कोई दुरुपयोग करके एक रात में 10 लाख डॉलर उड़ा दे, इसे रोकने के लिए hard limit बहुत उपयोगी है
    3. leaderboard में खामियाँ हैं, लेकिन कौन-सा model लोकप्रिय है यह देखने के लिए यह दिलचस्प signal है। OpenAI/Anthropic users का बड़ा हिस्सा OpenRouter से होकर नहीं जाता, और यह अलग करना मुश्किल है कि बहुत सारे users ने switch किया या किसी एक बड़े customer ने switch किया
      जब कई कंपनियों में API cost मायने रखने लायक स्तर तक बढ़ रही है, तब OpenRouter जैसी service, जो spend को measure करने और providers को आसानी से experiment/switch करने देती है, क़ीमती लगती है
    • एक और अच्छी बात यह है कि यह सभी model/provider combinations के लिए प्रति-घंटा cache status सार्वजनिक करता है। इसके आधार पर मैंने provider tier list देखी, और पाया कि open source आधारित third-party hosting का बड़ा हिस्सा बस सबसे निचले स्तर का है https://dirac.run/posts/cache-hit-rates-agents
    • कम-से-कम मेरे लिए friction में सबसे बड़ी कमी unified billing है, जो enterprise environment में अतिरिक्त bureaucracy से बचा लेती है। API conversion/abstraction आम तौर पर जितनी समस्याएँ हल करती है उससे ज़्यादा पैदा कर देती है
      मैं यह पसंद करूँगा कि billing तो unified रहे, लेकिन provider API सीधे इस्तेमाल करने दे, या किसी तरह के “raw HTTP” proxy के ज़रिए इस्तेमाल करने दे। unified API gateways बहुत हैं, लेकिन native provider API के आगे सिर्फ billing/auth लगाने वाला product अभी तक नहीं देखा
    • क्या तुम्हें पता था कि OpenAI account में डाला गया पैसा 1 साल बाद expire हो जाता है? जब मेरे साथ यह हुआ, तो वह बिना refund और बिना warning के promo credit की तरह ग़ायब हो गया, और यह बहुत खीझ दिलाने वाला था
      OpenRouter इस मायने में अच्छा है कि यह उन providers और users के बीच barrier रखता है जिन्हें मूल रूप से utility की तरह व्यवहार करना चाहिए था। OpenAI को ऐसे ही छोड़ दिया जाए तो लगता है जैसे वह telecom company की तरह बर्ताव करेगा
    • अच्छे points हैं। आसान experimentation development में मदद करता है, लेकिन scale बढ़ने पर pricing के लिहाज़ से first-party API पर जाने की मैं सावधानी से सलाह दूँगा
      OpenRouter free LLM access ढूँढ़ने के लिए भी अच्छी जगह है, लेकिन शर्तें हैं। मानकर चलना चाहिए कि input और output किसी की training database में चले जाते हैं। अगर भुगतान करने की क्षमता है, तो privacy वाले paid models इस्तेमाल करने चाहिए, लेकिन free models learning और experimentation के लिए शानदार रहे हैं। खासकर उन युवा learners के लिए, जिनके पास credit card या funds नहीं हैं, API programming और LLM सीखने का यह अच्छा तरीका है
    • अभी DeepSeek V4 पर यह caching को बिगाड़ देता है, जबकि V4 में caching core pricing feature है
      https://news.ycombinator.com/item?id=48319827
  • मैं OpenRouter का co-founder और COO हूँ। हमने funding क्यों उठाई, इस बारे में बहुत सवाल हैं
    सबसे पहले, OpenRouter अब भी founder-led और founder-controlled company है, और हमारा इरादा दुनिया भर के builders के लिए अच्छा product बनाते हुए लंबे समय तक बने रहने का है। हम मूल रूप से चीज़ें बनाने वाले tinkerers हैं, और AI के साथ कुछ बनाते समय वही बनाना चाहते हैं जिसे हम ख़ुद इस्तेमाल करना चाहें
    funding के बारे में, हमारा मानना है कि मज़बूत कंपनी के पास मज़बूत balance sheet होनी चाहिए। हम बड़े पैमाने के खर्च संभालते हैं और पूरे ecosystem में बड़े spending commitments रखते हैं। आगे कुछ भी हो, उससे निपटने लायक cash सुरक्षित रखना ज़िम्मेदाराना risk reduction है, और इससे company बहुत durable बनती है
    यह बड़े customers और provider partners को यह signal भी देता है कि हम लंबे समय तक service देते रह सकते हैं और bills चुका सकते हैं। scale जारी रखने के लिए हमें venture funding की ज़रूरत नहीं है, और business वास्तव में healthy है, लेकिन जब सचमुच 10 करोड़ डॉलर की ज़रूरत पड़े, तब funding उठानी पड़े, ऐसा कोई नहीं चाहता
    यह मौजूदा और future employees के लिए भी अच्छा validation है कि जो value हम साथ मिलकर बना रहे हैं वह वास्तविक है। investors को return देने की ज़िम्मेदारी को भी हम गंभीरता से लेते हैं, और हमारा फ़ोकस सिर्फ valuation maximize करना नहीं है; हमारे पास यह विशेषाधिकार है कि हम चुन सकें कि किसके साथ काम करना है। startup industry में कुल मिलाकर इस हिस्से पर कम बात होती है, लेकिन मुझे लगता है यह महत्वपूर्ण है

    • OpenRouter 10 करोड़ डॉलर कहाँ खर्च करने वाला है? आपने कहा “company को बहुत durable बनाता है”, “employees के लिए अच्छा validation है”, लेकिन लगता है 10 करोड़ डॉलर से इससे भी ज़्यादा दिलचस्प चीज़ें की जा सकती हैं
    • product पसंद है। unified billing/auth एक बड़ा दर्द हल करता है, इसके लिए धन्यवाद
      funding से ज़्यादा मुझे long-term strategy में दिलचस्पी है। 3~5 साल बाद आप OpenRouter को कहाँ देखते हैं, और अभी कौन-सी product bet को लेकर सबसे ज़्यादा उत्साहित हैं? यह भी जानना चाहूँगा कि क्या इस funding के साथ आप adjacent areas में भी विस्तार करना चाहते हैं
    • क्या raw access provider API तक बनाए रखते हुए unified billing रखी जा सकती है? unified API अच्छी तरह काम करे तो शानदार है, लेकिन अनोखे use cases या नए API features में यह अक्सर झंझट पैदा करती है
    • मेरे लिए सबसे बड़ी missing feature है no-data-retention providers को अलग से चिह्नित करना, और यह तय करने की सुविधा कि कोई model मेरे तय नियमों पर खरा उतरता है या नहीं। अभी ZDR नियमों से मेल न खाने वाले providers को छिपाने का कोई तरीका नहीं है
    • मैंने OpenRouter थोड़ी देर इस्तेमाल किया था। करीब एक साल पहले product test किया था, लेकिन OpenRouter के ज़रिए Google के Gemini models में structured output नहीं मिल पाया था
  • OpenRouter का काफ़ी इस्तेमाल करने वाले नज़रिए से कहूँ तो, कुछ दिन पहले मैंने अनजाने में इसका एक पास-पड़ोस का प्रचार वाला पोस्ट भी लिख दिया था https://news.ycombinator.com/item?id=48317294, लेकिन आजकल बार-बार आने वाली समस्या—हर provider की अलग-अलग API से छेड़छाड़ किए बिना नए models को आज़माने—के लिए यह निश्चित रूप से सबसे अच्छा तरीका है
    हालाँकि Claude Opus जैसे महंगे model पर पूरा agent backbone OpenRouter के ऊपर चलाने वाले लोग मुझे समझ नहीं आते। उस cost level पर 5% fee काफ़ी मायने रखती है, इसलिए सीधे मूल API provider का इस्तेमाल करना बेहतर है। फिर भी लोग साफ़ तौर पर इसका उपयोग कर रहे हैं, और वह शुद्ध revenue है

    • ऐसी चीज़ें providers द्वारा support patch दिए जाने वाले open source library से implement करना बेहतर लगता है। कंपनी को proxy की भूमिका क्यों निभानी चाहिए, और मैं अपनी मशीन पर एक अपेक्षाकृत simple thin layer क्यों न चलाऊँ, यह समझ नहीं आता
      AI के अंदर काम करने वाले एक बेवकूफ़ systems programmer के नज़रिए से भी मैं समझता हूँ कि थोड़ी-सी सुविधा के बदले पैसे लेने वाला, ऊपर से अनावश्यक दिखने वाला software बहुत होता है। क्या OpenRouter भी बस वैसा ही है? यह models को सीधे host करता है, या सिर्फ़ कई providers की billing को centralize करता है, यह जानने की जिज्ञासा है
    • अभी बेवकूफ़ी भरा token खर्च बहुत हो रहा है। token को जितना हो सके उतना इस्तेमाल करने वाला एक flow भी चल रहा है। पीछे छूट जाने के डर की वजह से token की आर्थिक cost का सावधानी से मूल्यांकन नहीं हो रहा। लेकिन लोग समझना शुरू कर चुके हैं, और यह खर्च टिकाऊ नहीं है, इसलिए वापस लौटेगा
    • uptime बेहतर हो सकता है। क्योंकि इसे Anthropic, Amazon Bedrock, AWS के Claude Platform, Google Vertex Europe या Google Vertex में से किसी एक पर route किया जाएगा
    • unified billing और usage limits के लिए 5% extra देना ठीक है। बस चीज़ें आसान हो जाती हैं
    • सुविधा की एक premium price होती है
  • OpenRouter में “Open” का मतलब क्या OpenAI के “Open” जैसा है? मुझे इसका repository या hosted code नहीं मिला। मैंने सोचा था कि यह open source और self-hostable tool पर चढ़ा हुआ cloud product होगा, लेकिन लगता है कि सिर्फ़ दूसरा वाला हिस्सा ही है

    • मुझे भी लगा था कि यह open source है, लेकिन जाँचने पर पता चला कि ऐसा नहीं है। कहते हैं “Open” इसलिए है क्योंकि यह third party के open models तक route करता है। क्या यह VC-स्टाइल की एक और घटिया layer है
    • OpenRouter का Open, OpenSea के Open जैसा है। क्योंकि founder वही है। इसे कैसे लेना है, यह हर किसी पर निर्भर है
    • ईमानदारी से कहें तो कोई भी Claude Code के साथ कुछ रातें लगाकर OpenRouter जैसा कुछ बना सकता है
      यह बस एक proxy है
    • Open का मतलब यहाँ single API layer है, जो नीचे के models को बदल-बदल कर लगाने देती है
  • जब तक LLM क्षेत्र में बहुत experimentation चल रहा है, और “इस समय का लोकप्रिय model” कई frontier labs के बीच लगातार बदलता रहेगा, तब तक OpenRouter बहुत लोकप्रिय बना रहेगा
    जब स्थिति स्थिर होने लगेगी, तो frontier models और open source models—दोनों में integration आने की संभावना है। तब OpenRouter की उपयोगिता कम हो जाएगी। जब आप 10 labs के 20 models आज़माना चाहते हैं, तब 5% overhead पूरी तरह क़ीमती है; लेकिन अगर आपको सिर्फ़ 2 providers के 5 models चाहिएँ, और हर provider के API options tweak करके उसे और सस्ता बना सकते हों, तो यह overhead सहना मुश्किल हो जाता है

  • OpenRouter जिन चीज़ों को आसान बनाता है, उनमें से एक API key management है। काश दूसरे providers भी नई key जारी करना, key-वार expiry/limits जैसी सुविधाएँ दें या उन्हें और आसान बनाएँ
    इसका उपयोग बहुत जगह है, जैसे AI/assistant features को बाहरी लोगों के साथ share करना। उस feature का उपयोग करने देना, लेकिन अगर key share हो जाए या किसी और मकसद से इस्तेमाल हो तो नुकसान सीमित रखना, और safeguard जैसी ज़्यादा नाज़ुक bypass प्रक्रियाओं से कम गुज़रना संभव होता है

  • किसी और API के आगे एक proxy खड़ी करने के लिए क्या सच में VC money चाहिए? यह ठीक-ठीक कहाँ खर्च होगा? marketing पर? यह तो पहले से ही जाना-पहचाना है, फिर और क्या market करना है
    infrastructure पर? क्या request proxy करने के लिए ज़्यादा infrastructure चाहिए? बस Cloudflare को पैसे दे दो
    और engineers ज़्यादा hire करने के लिए? लेकिन आप लोग तो वही हैं जो सबसे बढ़-चढ़कर यह snake oil बेचते हैं कि अब engineers की ज़रूरत नहीं रहेगी
    तो वह 100 million dollars आख़िर किस पर खर्च होगा

    • पैसे मिल सकते हैं, इसलिए लेते हैं। वह social proof की तरह काम करता है, ताकि customers को यक़ीन दिलाया जा सके कि आप कुछ गहरी value बना रहे हैं। हक़ीक़त में इसका उपयोग channels develop करने और भविष्य में customers व उनके सौंपे गए data को product की तरह इस्तेमाल करने की तैयारी में होगा
    • OpenRouter के co-founder का यह जवाब प्रासंगिक लगता है: https://news.ycombinator.com/item?id=48340940
  • यहाँ OpenRouter की एक अच्छी feature है जो मैंने अभी तक नहीं देखी थी: OpenRouter का meta model। यह prompt को अपने-आप सही performance वाले model तक route कर देता है
    इससे सब कुछ Opus को भेजने की ज़रूरत नहीं पड़ती, तो काफ़ी पैसे बचते हैं, और जब आप कुछ ज़्यादा complex पूछते हैं तो वह अपने-आप Opus को भेज दिया जाता है, जिससे ख़राब नतीजों से भी बचा जा सकता है

  • “पिछले 6 महीनों में OpenRouter का साप्ताहिक throughput 5 trillion tokens से बढ़कर 25 trillion tokens हो गया”
    वाह, यह प्रति सेकंड 4.1 करोड़ से ज़्यादा tokens है। कुल 48~50 लोगों की छोटी team के हिसाब से यह scale बहुत बड़ा है

    • अगर मान लें कि यह upstream token cost है, और प्रति query processed tokens के multiplier को भी जोड़ें, तो यह ज़्यादा से ज़्यादा कुछ हज़ार requests per second ही हो सकता है। प्रभावशाली तो है, लेकिन हर महीने कई million dollars खर्च करने वाली 50-लोगों की startup team के लिए मोटे तौर पर इतना बनता है
      अगर कोई email provider प्रति सेकंड हज़ारों messages ले रहा हो, और यहाँ तक कि उन्हें spam detection के लिए upstream भी भेज रहा हो, तो क्या वह भी उतना ही प्रभावशाली लगेगा? उस मामले में token count शायद और ज़्यादा हो, लेकिन सही हो या ग़लत, HN पर लोग शायद उतने प्रभावित न होते
      एक तरफ़ यह दिखाता है कि आजकल industry scale के मामले में कितनी दूर आ चुकी है, और दूसरी तरफ़ यह कि नाममात्र simple requests में भी data और processing कितना विस्फोटक रूप से बढ़ गया है। फिर भी team साफ़ तौर पर बहुत सक्षम है, और यह तारीफ़ के लायक उपलब्धि है
    • अंदाज़ा लगाने के लिए, अगर एक token को 4 bytes मानें, तो यह लगभग 164 MB/s traffic है। इस तरह देखें तो यह थोड़ा कम चौंकाने वाला लगता है
  • इस deal की financial spreadsheet देखना दिलचस्प होगा। आम तौर पर Series B investors लगभग 10x return की उम्मीद करते हैं। क्या OpenRouter वाकई 1.1 billion dollars की valuation को justify कर सकता है? “management”/middleman की भूमिका के लिए यह काफ़ी ऊँचा लगता है। हाँ, AI है, इसलिए ऐसा है, लेकिन मैं इतना बूढ़ा हूँ कि वह दौर याद है जब हर dotcom कंपनी 1 billion dollar valuation पा रही थी

    • अगर यह दुनिया के ज़्यादातर tokens को आसानी से route करने लगे, तो संभव है। अगर कभी ऐसा point आ जाए जहाँ 5% providers दें, और OpenRouter infrastructure/routing वाले हिस्से में ज़्यादा ले जाए, तो क्या होगा। 10 billion dollar company बनने के कई रास्ते हैं
    • हमेशा की तरह, लंबे समय में user data ही product होगा