OpenAI संगतता

 (ollama.ai)
1 पॉइंट द्वारा GN⁺ 2024-02-09 | 1 टिप्पणियां | WhatsApp पर शेयर करें

OpenAI संगतता

  • Ollama अब OpenAI chat completions API के साथ संगत है, जिससे Ollama को लोकल पर अधिक टूल्स और एप्लिकेशनों के साथ इस्तेमाल किया जा सकता है।
  • सेटअप शुरू करने के लिए Ollama डाउनलोड करें और Llama 2 या Mistral जैसे मॉडल इम्पोर्ट करें।

उपयोग

cURL

  • Ollama के OpenAI-संगत API endpoint को कॉल करने के लिए OpenAI फ़ॉर्मैट का उपयोग करें और host name को http://localhost:11434 में बदलें।

OpenAI Python लाइब्रेरी

  • OpenAI Python लाइब्रेरी का उपयोग करके Ollama के API endpoint तक पहुँचा जा सकता है, और इसमें एक API key शामिल होती है जो आवश्यक तो है लेकिन उपयोग नहीं होती।

OpenAI JavaScript लाइब्रेरी

  • OpenAI JavaScript लाइब्रेरी का उपयोग करके Ollama के API endpoint तक पहुँचा जा सकता है, और इसमें एक API key शामिल होती है जो आवश्यक तो है लेकिन उपयोग नहीं होती।

उदाहरण

Vercel AI SDK

  • Vercel AI SDK एक open source लाइब्रेरी है, जो conversational streaming एप्लिकेशन बनाने में मदद करती है।
  • उदाहरण repository को clone करने के लिए create-next-app का उपयोग किया जाता है।

Autogen

  • Autogen, Microsoft द्वारा बनाया गया, multi-agent एप्लिकेशन बनाने के लिए एक लोकप्रिय open source framework है।
  • इस उदाहरण में Code Llama मॉडल का उपयोग किया गया है, और Ollama इस्तेमाल करने के लिए Autogen इंस्टॉल करके एक Python script बनाई जाती है।

आगे और भी आने वाला है

  • यह OpenAI API के लिए शुरुआती experimental support है।
  • जिन संभावित भविष्य सुधारों पर विचार किया जा रहा है, उनमें embeddings API, function calling, vision support और Logprobs शामिल हैं।
  • अधिक जानकारी के लिए OpenAI संगतता दस्तावेज़ देखें।

GN⁺ की राय

  • OpenAI API संगतता: Ollama के OpenAI API के साथ संगत होने से डेवलपर्स अब लोकल environment में AI मॉडल्स को और आसानी से integrate और उपयोग कर सकते हैं। यह AI-आधारित एप्लिकेशन डेवलपमेंट की accessibility बढ़ाने वाला एक महत्वपूर्ण बदलाव है।
  • विभिन्न प्रोग्रामिंग भाषाओं का समर्थन: Python और JavaScript लाइब्रेरियों के माध्यम से समर्थन, अलग-अलग डेवलपमेंट environment में इसकी उपयोगिता दिखाता है। इसका मतलब है कि डेवलपर्स अपनी पसंदीदा भाषा में AI फीचर्स को आसानी से integrate कर सकते हैं।
  • open source framework के साथ इंटीग्रेशन: Vercel AI SDK और Autogen जैसे open source framework के साथ इंटीग्रेशन के उदाहरण, Ollama की उपयोग-क्षमता का दायरा बढ़ाते हैं और community-आधारित innovation को बढ़ावा देने की इसकी क्षमता दिखाते हैं।

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2024-02-09
Hacker News राय

  • पिछले कुछ महीनों में लोकल-होस्टेड LLMs की उपयोग-सरलता हैरान करने वाले स्तर तक बेहतर हुई है.

    • कुछ घंटे पहले ही Mozilla-Ocho के llamafile को इस्तेमाल करना कितना आसान है, इस बारे में बात कर रहा था.
    • कौन-सा LLM इस्तेमाल किया जाए, यह तय करना मुश्किल लग रहा है.

  • OpenAI API compatibility के community standard बन जाने पर कुछ लोगों को व्यक्तिगत रूप से असहजता है.

    • data structure की अनावश्यक nesting जैसी कुछ अटपटी बातें हैं, लेकिन कोई बड़ी शिकायत नहीं है.
    • यह जानना चाहते हैं कि API के standard बन जाने में क्या समस्याएँ हैं और क्या किसी वैकल्पिक standard की कोशिश हो रही है.

  • Copilot का एक बेहतर version विकसित कर रहे हैं, और users को अपना खुद का LLM लाने की सुविधा दे रहे हैं.

    • OpenAI-compatible backend जोड़कर, अगर कोई OpenAI-compatible API endpoint देता है, तो उस model की semantics के अनुसार prompt format, stop sequence, max tokens आदि संभाले जाते हैं.
    • लोकल development environment में test की जा सकने वाली ऐसी functionality की ज़रूरत थी, और Ollama के यह देने से अलग-अलग LLMs को support करने वाली testing बहुत आसान हो गई.

  • Ollama दूसरे tools की तुलना में बेहतर काम करता है, और बस सीधे काम कर जाता है.

    • Raspberry pi 4 पर Dolphin Mixtral 7b चलाकर cornbread recipe माँगी थी, और कुछ घंटों बाद देखा कि दो characters generate हुए थे.

  • Ollama का Linux install script मौजूदा standard style में काम करता है.

    • लेकिन आख़िरी बार देखने पर script ने sudo के ज़रिए root privileges माँगे थे.
    • अगर tool चाहिए, तो script को download करके जाँचने या ज़रूरत के हिसाब से बदलने की सलाह दी जाती है.

  • OpenAI के साथ compatibility थोड़ी भ्रामक है.

    • roles और content implementation हमेशा से काफ़ी सरल रहे हैं.
    • agents को host करते समय वास्तव में काम करना पड़ता है.
    • agent system में scripting engine शामिल किया गया, और security व permissions settings पर विचार करने की ज़रूरत महसूस हुई.

  • compatibility layer library में भी बनाई जा सकती है.

    • उदाहरण के लिए, Langchain में ऐसा llm() है जो कई LLM backends के साथ काम करता है.

  • एक ऐसे project पर काम चल रहा है जिसमें open source (जैसे HF, VLLM) और commercial models (OpenAI, Google, Anthropic, Together) के बीच आसानी से switch किया जा सकता है.

    • अगर HTTP API के बिना Python में सीधे इस्तेमाल करना हो, तो यह ज़्यादा आसान है.

  • सवाल उठाया गया कि Ollama का use case क्या है, और सीधे llama.cpp क्यों नहीं इस्तेमाल करना चाहिए.

  • यह भी पूछा गया कि क्या Ollama, Dockerized HTTP server के रूप में llama.cpp को सीधे call करता है, और नए जोड़े गए OpenAI API को छोड़कर इसमें और क्या फ़र्क है.