- Ollama अब Llama 3.1 जैसे मॉडलों में tool calling को सपोर्ट करता है
- इससे मॉडल अपने ज्ञात tools का उपयोग करके दिए गए prompt का जवाब दे सकते हैं, जिससे वे अधिक जटिल कार्य कर सकते हैं या बाहरी दुनिया के साथ इंटरैक्ट कर सकते हैं
- Tools: functions और APIs, web browsing, code interpreter
- Tool calling को सक्रिय करने के लिए Ollama API के
tools फ़ील्ड के माध्यम से उपलब्ध tools की सूची देनी होगी,
और सपोर्टेड मॉडल अब tool_calls response के साथ जवाब देते हैं। Tool responses को tool role वाले message के जरिए दिया जा सकता है
- सपोर्टेड मॉडल: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
- Ollama का OpenAI-compatible endpoint भी अब tools को सपोर्ट करता है, और इसे Llama 3.1 तथा अन्य मॉडलों पर स्विच करके इस्तेमाल किया जा सकता है
- भविष्य के सुधार
- Streaming tool calls: कई tools लौटने पर काम को और तेज़ी से शुरू करने के लिए tool call streaming सपोर्ट
- Tool selection: मॉडल को किसी विशेष tool का उपयोग करने के लिए मजबूर किया जा सकेगा
1 टिप्पणियां
https://hi.news.hada.io/topic?id=13436
यह phidata जैसी सुविधा लगती है, है न? इसमें तो docstring को अच्छी तरह define कर दें तो काम हो जाता था, लेकिन GPT न हो तो tool का इस्तेमाल नहीं हो पाता था।