Ollama, structured output के लिए support

• Ollama अब JSON schema का उपयोग करके model output को एक निश्चित format तक सीमित करने वाले structured output फीचर को support करता है
• Python और JavaScript libraries को update किया गया है ताकि इस फीचर का उपयोग किया जा सके
• structured output के मुख्य उपयोग के मामले
  • document से data parsing
  • image से data extraction
  • सभी language model responses का structuring
  • JSON mode की तुलना में अधिक reliability और consistency प्रदान करना
• उपयोग के लिए सुझाव
  • Pydantic (Python) या Zod (JavaScript) से JSON schema define करें
  • prompt में "JSON में return करें" जोड़ें
  • deterministic output सुनिश्चित करने के लिए Temperature setting को 0 पर कम करें
• आगे की योजना
  • logit exposure के जरिए generation control support
  • performance और accuracy में सुधार
  • JSON schema के अलावा अतिरिक्त formats का support
  • GPU-accelerated sampling support

[curiousotter]

पहले json schema को prompt के हिस्से के रूप में शामिल करना पड़ता था और API parameter में सिर्फ format: json जैसा ही इस्तेमाल किया जाता था, लेकिन अब tokens भी बचेंगे और सेट करना भी ज़्यादा आसान हो गया है!