- मौजूदा prompts की तुलना में language model को अधिक प्रभावी ढंग से नियंत्रित करने वाली भाषा।
- Handlebars template के आधार पर output structure और method निर्दिष्ट किए जा सकते हैं, और logical flow को नियंत्रित किया जा सकता है।
- prompt के भीतर key/value cache का उपयोग करके, और केवल इच्छित हिस्सों पर inference कराकर, inference performance में सुधार किया जा सकता है।
- केवल साधारण output structure control से आगे बढ़कर JSON आदि जैसे valid syntax की गारंटी भी दी जा सकती है।
- HuggingFace models के साथ आसान integration को support करता है.
3 टिप्पणियां
ऊपरी तौर पर देखें तो यह LMQL से ज़्यादा flexible और इस्तेमाल में आसान लगता है, लेकिन इसे सच में इस्तेमाल करने वालों का अनुभव जानने की उत्सुकता है।
यह बहुत उपयोगी है। अगर इसका nodejs पोर्टेड वर्ज़न हो तो बहुत अच्छा रहेगा।
रिपॉज़िटरी में जाएँ तो कई उदाहरण हैं, और सिर्फ उदाहरण देखकर भी यह काफ़ी दिलचस्प लगता है।
खासकर जहाँ structured output की ज़रूरत होती है, वहाँ LLM से पूरा नहीं बल्कि सिर्फ़ content वाला हिस्सा ही जनरेट करवाकर
inference time को आधा कर दिया गया—यह बात काफ़ी अच्छी लगी।