oh-my-free-models - मुफ़्त LLM में इस समय सबसे तेज़ मॉडल पर coding agent को route करने वाला local proxy

oh-my-free-models (omfm) एक local proxy है जो coding agent को कई मुफ़्त provider में से इस समय सबसे तेज़ मॉडल पर route करता है। अगर आप OpenAI या Anthropic-compatible agent का baseURL localhost कर दें और कुछ free models चुन लें, तो latency·rate-limit·quota में उतार-चढ़ाव के दौरान भी omfm requests को लगातार आगे भेजता रहता है.

इसकी ज़रूरत क्यों है

Free tier coding agents स्पेक शीट में ठीक-ठाक दिखते हैं, लेकिन वास्तव में चलाने पर चार जगहों पर अटकते हैं।

• Rate limit काम के बीच में रुकावट डाल देता है। OpenRouter या NVIDIA के free models बिना किसी चेतावनी के 429 दे देते हैं। अच्छी तरह चल रहा execution एक tool call पर रुक जाता है, और किसी इंसान को manually फिर से try करना पड़ता है।

• Latency दिन के समय के हिसाब से बहुत बदलती है। वही free model सुबह तेज़ होता है और दोपहर में इतना धीमा हो जाता है कि इस्तेमाल करना मुश्किल हो जाता है। यह समय और region के हिसाब से बदलता है, इसलिए "तेज़ मॉडल" को पहले से तय नहीं किया जा सकता। सिर्फ़ "इस समय का तेज़ मॉडल" ही होता है।

• Quota खत्म होने पर provider को हाथ से बदलना पड़ता है। किसी एक provider का free quota खत्म हो जाए, तो key और baseURL आपको खुद बदलने पड़ते हैं। Agent settings अपने-आप इस बदलाव के साथ नहीं चलतीं।

• Free catalog अक्सर बदलता रहता है। नए models आते हैं, पुराने हट जाते हैं, deprecated का निशान लग जाता है, और कुछ चुपचाप errors देना शुरू कर देते हैं। Dashboard आपको पहले से नहीं बताता; टकराने पर ही पता चलता है।

मुख्य फीचर्स

• चुने गए free model pool में से वर्तमान में सबसे कम latency वाले live model पर request routing
• 429/402 जैसे rate limit·quota errors देने वाले models को लगभग 10 मिनट के लिए cooldown में डालना
• OpenAI-compatible /v1, Anthropic-compatible /anthropic endpoints उपलब्ध
• OpenClaw, Hermes Agent, OpenCode जैसे OpenAI-compatible clients में url=http://localhost:4567/v1, model=omfm के रूप में उपयोग संभव
• Claude Code में Anthropic base URL को http://localhost:4567/anthropic में बदलकर उपयोग संभव
• omfm/fast, omfm/balanced, omfm/capable groups के ज़रिए उपयोग के हिसाब से model pools अलग करना संभव
• omfm model, omfm start, omfm status, omfm doctor, omfm usage जैसी CLI उपलब्ध

यह खास तौर पर OpenClaw या Hermes Agent जैसे OpenAI-compatible endpoint स्वीकार करने वाले local/CLI coding agents में उपयोगी है। Agent settings को वैसे ही रखते हुए सिर्फ़ base URL और model को omfm में बदल दें, तो पीछे मुफ़्त models की latency measurement, failed model exclusion, और provider switching अपने-आप हो जाती है.

[channprj]

दिलचस्प प्रोजेक्ट है। 9router थोड़ी देर के लिए याद आया, लेकिन यह free models पर थोड़ा ज़्यादा specialized लगता है, इसलिए दिलचस्प है। अच्छा product देने के लिए धन्यवाद।

https://9router.com

[happyhaki]

ओह, ऐसा कुछ है यह तो। शेयर करने के लिए धन्यवाद। मैंने LiteLLM के बारे में सोचा था, लेकिन omfm में जैसे ही paid provider जोड़ते हैं, मुझे लगता है कि फिर उसमें कोई खास फर्क नहीं रह जाता, इसलिए मैं सिर्फ free model ही रखना चाहता हूँ।