Ollama Turbo

 (ollama.com)
5 पॉइंट द्वारा GN⁺ 2025-08-07 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • Ollama Turbo हाई‑परफॉर्मेंस डेटा सेंटर हार्डवेयर पर बड़े ओपन मॉडल को तेज़ी से चलाने के लिए नया सॉल्यूशन है (महीने का शुल्क: $20)
  • Ollama के ऐप, CLI, API और JavaScript/Python लाइब्रेरी को उसी तरह इस्तेमाल करते हुए बड़े मॉडल को तेज़ और कुशलता से चलाने का तरीका देता है
  • अभी यह प्रीव्यू में है और OpenAI के ओपन मॉडल gpt-oss-20b तथा gpt-oss-120b का समर्थन करता है
  • Turbo मोड में क्वेरी इतिहास सर्वर पर सेव नहीं होता और लॉग के रूप में स्टोर नहीं होता
  • सिर्फ़ यू.एस. के डेटा सेंटर में हार्डवेयर रन होता है, साथ ही ऑवरली और डेली USAGE लिमिट लागू हैं, और आगे चलकर यूज़-आधारित बिलिंग सिस्टम भी लाया जाएगा

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2025-08-07
Hacker News टिप्पणियाँ

  • मुझे यह शानदार लॉन्च लगा। अभी OSS मॉडल को कंपनी/एंटरप्राइज़ में इस्तेमाल करने का सबसे मुश्किल हिस्सा कई कारणों से आता है: speed, cost, reliability, feature parity (जैसे context caching), performance (सही quant स्तर क्या है आदि), host locality/डेटा privacy guarantee, LTS आदि। सच में अगर OSS मॉडल को सिर्फ तीन बड़े नामों के अलावा कहीं और लगाना हो, तो इन सभी axes पर provider को खुद evaluate करना पड़ता है और इसमें काफी expertise लगती है। कभी-कभी custom evaluation tools भी बनानी पड़ती हैं। जबकि Anthropic, OpenAI और Google बस सीधे ready-to-use अनुभव देते हैं, और उसका भुगतान भी करना पड़ता है। कीमत शायद थोड़ी ज़्यादा हो, लेकिन मैं इसे उनके 'सब कुछ संभालने' के बदले में दिया जाने वाला value मानता हूँ। जब तक OSS providers standardization नहीं करते, ओपन सोर्स मॉडल थ्योरी में चाहे closed मॉडलों जितना अच्छा हो, वास्तविक large-scale deployment में यह बीच में ही अटकने वाला लगता है।

    • सही कहा। लेकिन शीर्ष बड़े providers पर निर्भर रहना का मतलब ये भी है कि पूरा prompt traffic बिना किसी ठोस legal protection के सौंप दिया जाता है। इस पर विस्तृत चर्चा के लिए संबंधित लेख देखें।
    • Gpt-oss मॉडल सिर्फ 4.5-bit quant format में उपलब्ध है। यही pure original मॉडल है, इसमें fp16 मॉडल नहीं है।

  • Ollama ऐसा काम कर रहा है इसलिए कुछ लोगों की प्रतिक्रिया खराब हो सकती है, लेकिन मैं इसे local में मॉडल develop/test करने का शायद सबसे आसान तरीका मानता हूँ। सही है, llama.cpp असली engine है और Ollama सिर्फ wrapper जैसा है। वास्तविक production में मैं Ollama चलाना नहीं चाहूँगा। लेकिन अगर तकनीकी समझ कम वाले लोग LLM-capable सिस्टम को जल्दी खुद बनाकर run करना चाहें, तो GUI और .dmg से सीधे install हो जाना एक बड़ा फायदा है।

    • अच्छे feedback के लिए धन्यवाद। मल्टी-मोडल इंजन अपडेट के बाद Ollama अब सिर्फ सरल llama.cpp wrapper नहीं रह गया है। यह अब भी GGML library use करता है और hardware partners के साथ performance optimization पर काम कर रहा है। Ollama बाहर से toy जैसा लगे, लेकिन इसे simple रखने के लिए काफी मेहनत लगती है। अक्सर सरलता को नज़रअंदाज़ कर दिया जाता है, और हम वही दुनिया बनाना चाहते हैं।

    • किसी ने कहा कि मैं Ollama को commercial environment में नहीं use करना चाहता। हमने वास्तव में vLLM और Ollama की startup speed तथा प्रति सेकंड token throughput को benchmark किया था और Ollama ने सबसे बेहतर परिणाम दिखाया। उम्मीद है कि हम जल्दी ही ये results publish कर पाएँगे।

    • अगर ठीक-ठाक data center GPU उपलब्ध न हो और सिर्फ desktop या client-side deployment ही possible हो, तो Ollama best विकल्प है। यह स्थिति आम नहीं है, लेकिन कई orgs में वास्तविकता यही है कि उनके पास सिर्फ 4090 वाला desktop ही है।

  • मुझे लगता है कि Ollama आगे जाकर 'local' का synonym बनेगा, इसलिए देखना दिलचस्प होगा।

    • बड़े enterprises पर भरोसा न करने वाली minority loud users हैं, लेकिन वे छोटे कंपनियों की similar service खर्च करके चलाना ठीक मान लेते हैं। देखना होगा कि क्या ऐसे users सच में Ollama जैसी सेवा के लिए pay करेंगे।
    • यह क्लाउड गेमिंग service जैसा लगता है। कुल मिलाकर लोग local उपयोग से खुश होते हैं, पर कभी-कभी hardware खर्च किसी और पर shift करना अधिक efficient हो जाता है। अंततः यह choice का सवाल है, या तो सब या कुछ नहीं वाला मुद्दा नहीं।

  • 'Privacy first' के बारे में ज़्यादा concrete details चाहिए। अगर बस इतना ही कहा जाए कि 'हम data नहीं store करते', तो अधूरा लगता है। उदाहरण के लिए Draw Things जब 'Cloud Compute' देता है, तब भी सभी processing केवल request-bound RAM में होती है और कोई data store नहीं होता। लेकिन personally मुझे भी यह पर्याप्त नहीं लगता। जल्द ही 'privacy pass' add करने की योजना है, लेकिन उसकी भी सीमाएँ हैं। अगर hardware-level verifiable transparency logs होते तो अच्छा होता, लेकिन शुरुआत कहाँ से करूँ समझ नहीं आता।

    • सिर्फ इस कारण से कि कोई Ollama के साथ काम कर रहा है, उसे privacy में advantage नहीं मिलता। Ollama भी data बेच सकता है, या जरूरत पड़ने पर legal compulsion में data submit करना पड़ सकता है।
    • privacy policy दिखाई नहीं दे रही और desktop app open source नहीं है, इसलिए trust नहीं बनता। [वैसे, हम सच में transparency log जैसा एक वास्तविक privacy-protecting LLM call solution बना रहे हैं]
    • अगर मॉडल को Switzerland या GDPR-compliant देश में run करने का विकल्प मिले, तो थोड़ा ज्यादा latency हो तो भी अतिरिक्त खर्च करने को तैयार हूँ। डेटा ट्रांसफर निश्चित रूप से SSL जैसी security protocols से होना चाहिए।

  • समान 20 डॉलर देकर Ollama में 'worse' मॉडल चलाने की जगह OpenAI का SOTA मॉडल लेना बेहतर नहीं होगा क्या, यही सवाल है।

    • Ollama Turbo का मुख्य फायदा ये है कि अगर proper hardware है, तो cloud से सीधे कई मॉडल local में चलाकर test किए जा सकते हैं। भारी खर्च करके high-end hardware (Mac Studio, DGX आदि) खरीदकर पहले से build करने से पहले open models को जल्दी test करके feasibility देखी जा सकती है। finance, healthcare और legal जैसे privacy-sensitive industries के expert developers अक्सर on-premise और local environment चाहते हैं। इस सेवा से non-sensitive data पर experimentation/development हो सकता है, और real operations में transition के समय अपने hardware पर move किया जा सकता है।
    • मॉडल को बिना किसी filter के freely run कर पाने की सुविधा एक advantage है। OpenAI बहुत over-filtering लगा देता है और नहीं बताता कि कौन सा नियम तोड़ा गया। prompt बदल-बदलकर copyright, trademark आदि violations खुद verify करने पड़ते हैं, और recently सिर्फ question पूछने पर भी सही जवाब नहीं देता। लोग LLM का ऐसा संस्करण चाहते हैं जिसमें कोई protective layer न हो।
    • यह निश्चित नहीं कि बड़े मॉडल की कीमत आगे भी 20 डॉलर के आसपास रहेगी। वैसे भी हमेशा चाहूँगा कि market competitive बना रहे।
    • लगता है data privacy ही मुख्य कारण है, और शायद प्लान में बेहतर usage allowance भी मिल सकता है। मेरे लिए data privacy सबसे महत्वपूर्ण है।

  • यह पहले से अनुमानित था। local inference community तो Ollama के आसपास इकट्ठा हो रही है, लेकिन Ollama की long-term strategy या priority शायद उसमें नहीं है। मुझे लगता है कि जल्दी ही alternative की तरफ move करना होगा।

    • Ollama की base library llama.cpp खुद server capability रखती है और open-webui के साथ पूर्णतः compatible है। सच में, कुछ महीने पहले मैं Ollama के बजाय llama-server पर गया था और वही UI use करके बिना किसी समस्या के चलाता हूँ।
    • Ollama open है और अतिरिक्त GPU चाहने वालों से ही शुल्क लेता है। वास्तविक GPU खर्च होने पर सही charging लगता है, और उसी revenue से open source project की core growth के लिए इसे support करना भी ज़रूरी है। किसी सीमा तक यह logical है; अगर morally सही तरीके से करें तो अच्छे परिणाम आ सकते हैं।
    • इसी लक्ष्य के लिए github.com/containers/ramalama project भी मौजूद है।
    • Hugging Face cloud products भी देता है, लेकिन इसका मतलब यह नहीं कि मॉडल weights डाउनलोड करके local में run नहीं किए जा सकते।
    • आखिरकार मुफ्त सेवा को ऐसे असंभव तरीके से sustainable बनाना चाहना सीमित है। जो चाहें, कोई व्यक्ति खुद समय देकर open source alternative बना सकता है। वरना इस वास्तविकता को स्वीकारना पड़ेगा।

  • समझ नहीं आता कि Ollama ने यह निर्णय क्यों लिया। अगर revenue को नीचे लाने का इरादा नहीं है, तो लगता है किसी बाहरी दबाव में है। local के लिए जो solution सच में बहुत अच्छा काम करता था और ज्यादा ideas बढ़ाने की संभावनाएँ थीं, उसके साथ एक और cloud service लाना disappointing लगता है। मैं अभी भी Ollama को पसंद करता हूँ और चाहूँगा कि वो वैसे ही शानदार बना रहे।

    • ओपन सोर्स सॉफ़्टवेयर इस्तेमाल करना free हो सकता है, लेकिन बनाना कभी free नहीं होता। इसे free और latest स्थिति में रखने के लिए किसी को GitHub issues handle करने होते हैं, और शायद उस काम के लिए compensation की भी जरूरत पड़ती है।

  • इस खबर में कई चीजें interesting हैं। एक प्रमुख local OSS model engine के रूप में शुरुआत से केवल OSS देने का निर्णय आज की announcement timing के साथ और OSS boom पर सवार होने वाली strategy जैसा लगता है। subscription billing भी interesting है; अन्य players भी इसे अपनाने लगे हैं, लेकिन API-based services में ये uncommon तरीका है। लंबी अवधि में LLM pricing war निश्चित है, तो API सेवाओं में monthly subscription आना शायद उसी संकेत का संकेत हो सकता है। क्या Ollama के पास पर्याप्त resources हैं कि वो local engine और यह नया cloud service दोनों चला सके?

  • बोला गया है कि usage-based pricing जल्द आने वाली है, जो इस तरह की सेवा के लिए ठीक लगता है। मैं भी Anthropic पर 20 डॉलर खर्च करता हूँ, लेकिन personal use में शायद इसी amount का usage मैं शायद ही कर पाऊँ। फिर भी कई models तुरंत pull करके compare कर पाना वाकई useful है। Team के लिए अच्छे परिणाम की कामना है।

    • ओपन सोर्स LLM पर flat-fee सेवा काफी unique है। मैं शायद खुद use नहीं करूँ, लेकिन अगर usage-based pricing लागू की गई तो सीधे deepinfra.com, novita.ai, openrouter.ai जैसी existing giants से compete करना पड़ेगा। Ollama का awareness शायद ज्यादा है, लेकिन मौजूद सेवाएँ पहले से ही very aggressive pricing रखती हैं।
    • usage-based pricing के जल्दी launch होने पर सहमत हूँ। लेकिन पहले से ही कई OpenAI-based मॉडलों के providers मौजूद हैं, इसलिए Ollama का वास्तविक differentiation क्या होगा, यह पूछना चाहूँगा। अपना API key use करने के लिए अच्छे interfaces पहले से उपलब्ध हैं।
    • API access के लिए 20 डॉलर monthly subscription सच में ताज़ा लगता है।

  • API usage के लिए subscription fee वाकई दिलचस्प प्रयास है। वास्तविक value शायद इस पर depend करेगी कि usage cap सार्वजनिक नहीं बताया गया है।

    • वास्तविक usage patterns को लगातार monitor कर बेहतर fee structure बनाने की कोशिश की जा रही है।