LLM संरचित आउटपुट हैंडबुक

• बड़े भाषा मॉडल (LLM) जब JSON, XML, कोड जैसी संरचित फ़ॉर्मैट्स बनाते हैं, तब उत्पन्न होने वाली अस्थिरता को हल करने के लिए डेवलपर्स के लिए व्यावहारिक गाइड
• प्रायिकता-आधारित प्रकृति के कारण आउटपुट गैर-निर्धारित तरीके से टूट सकता है, और इसे पूरक करने के लिए निर्धारित संरचित तकनीकों पर चर्चा की गई है
• आंतरिक कार्यप्रणाली, टूल और तकनीक का चयन, डिप्लॉयमेंट·स्केलिंग·लागत अनुकूलन, आउटपुट गुणवत्ता सुधार आदि पूरी प्रक्रिया को समाहित करता है
• तेज़ी से बदलते structured generation क्षेत्र की नवीनतम जानकारी को लगातार अपडेट होने वाले दस्तावेज़ के रूप में एकीकृत रूप से प्रदान करता है
• डेटा extraction, कोड generation, टूल calling आदि में LLM का प्रोग्रामेटिक उपयोग करने वाले डेवलपर्स के लिए अनिवार्य संदर्भ सामग्री

---

संरचित LLM आउटपुट की आवश्यकता

• LLM आमतौर पर JSON, XML, कोड आदि जैसे वाक्य-विन्यास की दृष्टि से वैध आउटपुट बनाते हैं, लेकिन उनकी प्रायिकता-आधारित प्रकृति के कारण फ़ॉर्मैट त्रुटियाँ या अपूर्ण परिणाम आ सकते हैं
  • इससे डेटा extraction, कोड generation, टूल calling जैसी स्वचालित प्रक्रियाओं में समस्या पैदा होती है
• इन समस्याओं को हल करने के लिए निर्धारित (Deterministic) structured output approach की आवश्यकता होती है
• यह हैंडबुक डेवलपर्स को structured output को स्थिर रूप से लागू करने में मदद देने के लिए टूल्स और तकनीकों के पूरे दायरे को कवर करती है

हैंडबुक की मुख्य सामग्री

• आंतरिक कार्यप्रणाली, सर्वोत्तम टूल और तकनीकें, टूल चयन के मानदंड, सिस्टम निर्माण·डिप्लॉयमेंट·स्केलिंग के तरीके, latency·लागत अनुकूलन, आउटपुट गुणवत्ता में सुधार जैसे व्यावहारिक विषय शामिल हैं
• प्रत्येक अनुभाग डेवलपर्स द्वारा सीधे लागू किए जा सकने वाले चरण-दर-चरण दृष्टिकोण में व्यवस्थित है
• structured output से जुड़ी नवीनतम research और open source tools को एक दस्तावेज़ में एकीकृत रूप से व्यवस्थित किया गया है

नवीनता और अपडेट

• structured generation तकनीक बहुत तेज़ी से विकसित हो रही है, इसलिए मौजूदा सामग्री जल्दी ही पुरानी पड़ जाती है
• यह हैंडबुक नियमित रूप से अपडेट होने वाले living document के रूप में बनाए रखी जाती है
• डेवलपर्स को अलग-अलग papers, blogs, GitHub repositories खंगालने की ज़रूरत नहीं, बल्कि एक ही जगह नवीनतम जानकारी मिल सकती है

उपयोग का तरीका

• इसे शुरू से अंत तक क्रमवार पढ़ा जा सकता है, या ज़रूरत के अनुसार तुरंत विषय खोजकर देखने वाली संदर्भ-पुस्तक की तरह इस्तेमाल किया जा सकता है
• व्यावहारिक डेवलपर्स-केंद्रित संरचना होने के कारण, किसी विशेष समस्या के समाधान के समय इसे तेज़ संदर्भ के रूप में उपयोग किया जा सकता है

निर्माता और समुदाय

• यह हैंडबुक Nanonets टीम ने बनाई है
  • वे Nanonets-OCR मॉडल और docstrange open source document processing library का रखरखाव करते हैं
• LLM डेवलपर कम्युनिटी न्यूज़लेटर के माध्यम से हर दो सप्ताह में नवीनतम insights, breakthroughs, उपयोगी tools और techniques प्रदान किए जाते हैं

[GN⁺]

Hacker News प्रतिक्रियाएँ

• यह सच में एक बहुत सुंदर गाइड है। कई पन्नों पर tab switching animation मुझे खास तौर पर पसंद आई।
  मुझे लगा था कि मैं grammar-constrained generation को काफ़ी अच्छी तरह समझता हूँ (मैंने llama.cpp grammar implementation में कुछ योगदान भी किए हैं), फिर भी इस गाइड से मुझे नई समझ मिली।
  मुझे लगता है कि structured output, LLM engine की सबसे कम आंकी गई क्षमताओं में से एक है। grammar constraints की वजह से LLM को बड़े pipeline, जैसे tool-calling agent, के हिस्से के रूप में भरोसेमंद तरीके से इस्तेमाल किया जा सकता है।
  output अर्थ के स्तर पर गलत हो सकता है, लेकिन grammar के स्तर पर हमेशा सही रहेगा। खासकर local model इस्तेमाल करते समय यह बहुत महत्वपूर्ण है।
  उदाहरण के लिए, Jart का Raspberry Pi आधारित spam filter उदाहरण लें: अगर TinyLlama मॉडल पर grammar लगाकर उसे सिर्फ "yes" या "no" आउटपुट करने दिया जाए, तो वह छोटे hardware पर भी स्थिर रूप से काम करता है

  • जिज्ञासा है कि जब मॉडल कोई दूसरा output देना चाहे तो क्या होता है, और इसे llamafile के अंदर संभालना बेहतर है या किसी external wrapper में। यह भी जानना चाहता हूँ कि retry settings या JSON range specification कैसे की जाती है

• यह वाकई शानदार गाइड है। मैंने अपने PhD में structured generation पर शोध किया था, इसलिए रुचि रखने वालों के लिए कुछ resources साझा कर रहा हूँ।
  libraries में Outlines, Guidance, XGrammar हैं।
  papers में Efficient Guided Generation for Large Language Models, Automata-based constraints for language model decoding, Pitfalls, Subtleties, and Techniques in Automata-Based Subword-Level Constrained Generation की सिफारिश करूँगा।
  blog posts में LLM Decoding with Regex Constraints और Coalescence: making LLM inference 5x faster हैं

  • मुझे ठीक से समझ नहीं है कि Outlines stack में कौन-सी भूमिका निभाता है। क्या यह बड़े model providers के structured output API जैसा है, या इसे BAML जैसे project से तुलना की जा सकती है?
  • DFybOGeGDS paper का canonical filtering हिस्सा शायद pretokenization को ध्यान में नहीं रखता। क्या pretokenization regex को वास्तव में शामिल करने वाली canonical generation पर कोई research है?
  • आपने “दूसरे references” कहा, लेकिन लगता है कि आपने वही libraries फिर से गिना दीं जो पहले से गाइड में हैं
  • यह तो सचमुच ख़ज़ाना है। Automata-आधारित constraints एक दिलचस्प विषय हैं

• बहुत अच्छे से व्यवस्थित गाइड है। अगर आप Guidance & llguidance optimization के बारे में और जानना चाहते हैं, तो हमारे लिखे संक्षिप्त paper को देख सकते हैं

  • मैं उन लेखकों में से एक हूँ जिन्होंने यह paper पढ़ा है। खासकर dense token mask के लिए slicing implementation काफ़ी प्रभावशाली लगी

• यह गाइड उन दो तरीकों को अच्छी तरह कवर करती है जिन्हें लोग ज़्यादातर इस्तेमाल करते हैं। लेकिन constrained generation कभी-कभी LLM के मूल distribution से अलग हो सकता है।
  उदाहरण के लिए, जब LLM कोई लंबा structured object बनाता है, तो वह अक्सर ‘…’ जैसे पैटर्न को प्राथमिकता देता है, लेकिन constrained generation उसे जबरन closing quote जैसी चीज़ों से पूरा करवा सकता है, जिससे उल्टा गलत नतीजा आ सकता है।
  दूसरी ओर, resampling मान्य परिणाम मिलने तक दोहराता है, इसलिए अधिक स्थिर हो सकता है।
  और schema errors को context में जोड़कर लंबाई बढ़ाने के बजाय, मुझे लगता है कि सीधा retry करना quality और cost दोनों के लिहाज़ से बेहतर है

  • एक hybrid approach भी संभव है। पहले unconstrained generation आज़माएँ, और सिर्फ असफल होने पर constrained generation लागू करें

• जिज्ञासा है कि क्या SoTA models (Opus, Gemini आदि) को अभी भी output schema enforcement की ज़रूरत पड़ती है।
  आजकल models JSON या code generation में लगभग grammar errors नहीं करते, तो क्या वे अंदर ही अंदर schema validation अब भी करते हैं?
  छोटे models के लिए structured generation की ज़रूरत समझ में आती है

  • schema जितना जटिल होगा, LLM की counting में कमजोरी के कारण यह उतना ही उपयोगी रहेगा। model बेहतर हो गए हैं, लेकिन उनकी probabilistic nature की वजह से वे परफेक्ट नहीं हैं
  • नए models भी कभी-कभी json\n जैसे अनावश्यक tokens जोड़ देते हैं, इसलिए JSON response schema बताना अभी भी सुरक्षित है

• structured output को force करने पर performance hit आता है। कुछ मामलों में यह 2–3 गुना तक धीमा हो सकता है। अपने use case के हिसाब से तय करना होगा कि यह लागत स्वीकार्य है या नहीं

• सच में कमाल की गाइड है। काश 1 साल पहले ऐसा resource मिला होता। मैं इसे अपने आसपास के लोगों के साथ ज़रूर साझा करूँगा

• अच्छी गाइड है। खासकर masked decoding diagram मुझे पसंद आया।

  • मैं लेखकों में से एक हूँ। लिंक की समस्या देखूँगा। commercial model providers सभी structured output feature जोड़ रहे हैं, इसलिए हम गाइड को लगातार अपडेट करते रहेंगे

• जिज्ञासा है कि क्या JSON से भी अधिक भरोसेमंद और आसान-से-parse होने वाला output format मौजूद है। YAML या TOML की अपनी कमियाँ हैं, लेकिन token count या cost के लिहाज़ से वे बेहतर हो सकते हैं।

  • उस उद्देश्य के लिए मैं TOON format इस्तेमाल करता हूँ
  • जैसे इंसानों को भी JSON लिखना झंझट लगता है, वैसे ही LLM के लिए भी TypeScript जैसी code form में नतीजे जनरेट करना बेहतर हो सकता है। हालाँकि security के लिए sandboxing और resource limits ज़रूरी होंगे
  • हम Markdown + YAML front matter आधारित content transformation pipeline विकसित कर रहे हैं। JSON tooling कमज़ोर है, लेकिन validation कठिन नहीं है
  • मैं regex से XML schema enforce करता हूँ, और XML parser से decode करता हूँ। खासकर code blocks को CDATA में लपेटने से ज़्यादा स्वतंत्रता मिलती है। OpenAI API का regex structured output code के लिए JSON से अधिक उपयुक्त है
  • खुद evaluation करके देखना अच्छा रहेगा। मेरे experiments में XML ने out-of-distribution tasks पर लगातार JSON से बेहतर नतीजे दिए हैं

• document/cookbook page का tech stack जानने की जिज्ञासा है। यह MkDocs या GitBook जैसा नहीं लगता, तो आपने क्या इस्तेमाल किया?

  • Docusaurus इस्तेमाल किया गया था