Show HN: LLMs 100% मामलों में वैध JSON जनरेट कर सकते हैं

• Outlines न्यूरल नेटवर्क टेक्स्ट जनरेशन के लिए एक लाइब्रेरी है, जिसे transformers लाइब्रेरी के generate मेथड का अधिक लचीला विकल्प बनने के लिए डिज़ाइन किया गया है.
• यह डेवलपर्स को ऐसे मज़बूत इंटरफेस बनाने में मदद करती है जो regular expression का पालन करने वाला या JSON schema के अनुरूप आउटपुट सुनिश्चित कर सकें.
• यह लाइब्रेरी मज़बूत prompting primitives प्रदान करती है, जो prompting और execution logic को अलग करती हैं ताकि few-shot generation, ReAct, meta-prompting, agents आदि को सरलता से लागू किया जा सके.
• Outlines को व्यापक ecosystem के साथ compatible रहने के लिए डिज़ाइन किया गया है, यह यथासंभव कम abstraction का उपयोग करती है, और generation को control flow, conditionals, custom Python functions, तथा अन्य लाइब्रेरियों के calls के साथ interleave किया जा सकता है.
• यह सभी मॉडलों के साथ compatible है और next-token logits के माध्यम से मॉडल के साथ interface प्रदान करती है. इसे API-आधारित मॉडलों के साथ भी उपयोग किया जा सकता है.
• इस लाइब्रेरी की विशेषताओं में Jinja template engine पर आधारित सरल और शक्तिशाली prompting primitives, guided generation, तेज regular expression-guided generation, JSON schema या Pydantic model का पालन करने वाला तेज JSON generation, और HuggingFace के transformers मॉडलों के साथ integration शामिल हैं.
• Outlines PyPi पर उपलब्ध है और इसे pip install outlines कमांड से इंस्टॉल किया जा सकता है.
• यह लाइब्रेरी दिए गए sequence के मिल जाने के बाद generation को जल्दी रोकने, कई संभावनाओं में से चयन के आधार पर completion को सीमित करने, या मॉडल को केवल integer या floating-point number लौटाने का निर्देश देने जैसी क्षमताएँ देती है.
• इसमें तेज regular expression-guided generation और Pydantic model का पालन करने वाला efficient JSON generation भी शामिल है.
• Outlines, templates को "template functions" के भीतर encapsulate करके prompt logic और सामान्य program logic को अलग करता है, जिससे prompt लिखना और उनका प्रबंधन करना आसान हो जाता है.
• यह लाइब्रेरी language model को अतिरिक्त जानकारी प्राप्त करने या कार्य करने के लिए external functions कॉल करने की अनुमति देती है, और function descriptions को prompt में encode करती है.
• Outlines open source है और Apache License 2.0 के अंतर्गत licensed है.

[GN⁺]

Hacker News राय

• Language Model Libraries (LLMs) 100% वैध JSON कैसे जनरेट कर सकती हैं, इस पर लेख
• LLMs सभी tokens के लिए probability distribution बनाते हैं, और JSON parser अगले वैध token की सूची देता है
• vocabulary space के एक हिस्से को mask करने के विचार और efficient time steps लेने वाली लाइब्रेरी पर चर्चा
• Llama2 जैसे base models की प्रभावशीलता पर सवाल और क्या खास use cases के लिए instruction tuning की ज़रूरत है
• generate.regex के लिए temperature या sampling parameters मौजूद हैं या नहीं, इस पर सवाल
• लेख में उल्लेख है कि GPT4 system message में examples देकर ज़्यादातर मामलों में वैध JSON वापस कर सकता है
• लाइब्रेरी के mechanism को सराहा गया, और JSON के अलावा structured input की ज़रूरत वाले कामों में इसके संभावित उपयोग को लेकर जिज्ञासा
• formal path planning में ऐसी लाइब्रेरी की संभावनाओं को लेकर रुचि
• लेख में कहा गया है कि complex output formats माँगने से base task की performance खराब हो सकती है, और यह GPT-3.5 तथा GPT-4 के code editing benchmarks में देखा गया
• लेख में उल्लेख है कि LLama.cpp ने पिछले महीने grammar-based sampling implement किया था
• LLM द्वारा हर token जनरेट होने के बाद logits bias "mask" को update करने की प्रक्रिया, ताकि अगला token वैध JSON token हो सके