Llama: व्याकरण-आधारित सैंपलिंग जोड़ा गया

 (github.com/ggerganov)
1 पॉइंट द्वारा GN⁺ 2023-07-23 | 1 टिप्पणियां | WhatsApp पर शेयर करें
  • नए API llama.cpp में व्याकरण-आधारित सैंपलिंग जोड़कर generation को guide और restrict करने वाले लेख पर चर्चा की गई है.
  • llama API एक data structure प्राप्त करता है जो context-free grammar को दर्शाता है, जिससे grammar rules के आधार पर sampling संभव होती है.
  • grammar sampling code nondeterministic pushdown automata को model करता है और parsing state के लिए कई stacks बनाए रखता है.
  • लेख में chess, arithmetic, JSON और Japanese जैसी विभिन्न परिस्थितियों के लिए grammar API के उपयोग के उदाहरण दिए गए हैं.
  • grammar को state transition tensor में compile करके GPU पर चलाने जैसी संभावित optimizations का उल्लेख किया गया है.
  • contributors grammar file support जोड़ने, grammar parser सुधारने और token evaluation optimization पर चर्चा कर रहे हैं.
  • contribution की उपयोगिता पर जोर दिया गया है, और sampling API को अलग module में विभाजित करने का प्रस्ताव है.
  • lmql.ai और jsonformer जैसे अन्य projects का उल्लेख है, जो grammar-based generation के लिए समान approaches का उपयोग करते हैं.
  • usability बेहतर करने के लिए grammar में full tokens को refer करने और llama.cpp API में parser शामिल करने का प्रस्ताव है.
  • contributors code review कर रहे हैं, feedback दे रहे हैं, संभावित improvements पर चर्चा कर रहे हैं और feature के साथ अपने अनुभव साझा कर रहे हैं.
  • एक software engineer grammar sampling से जुड़े project में भाग ले रहा है और ARM64+CUDA पर समस्याओं का सामना कर रहा है.
  • editor का सुझाव है कि समस्या toolchain package combination से जुड़ी हो सकती है, और वे मदद की पेशकश करते हैं.
  • LocalAI function जोड़ने के लिए एक pull request है, और project में अधिक standard BNF syntax इस्तेमाल करने का प्रस्ताव है.
  • grammar का उल्लंघन करना सबसे खराब परिणाम माना गया है, और future consideration के लिए backtracking का प्रस्ताव रखा गया है.
  • EBNF के implementation और अपनाए जाने वाले format पर चर्चा जारी है.
  • नवीनतम update में sampling को complete token matching तक सीमित किया गया है, और token के गलत तरीके से split होने की स्थिति संभालने के लिए अतिरिक्त सुधार सुझाए गए हैं.
  • project में बदलाव approve हो चुके हैं और merge के लिए तैयार हैं, और editor updated project के साथ प्रयोग करने को लेकर उत्साहित हैं.
  • अन्य projects में काम के दौरान सामने आए समान issue का उल्लेख है, और vocabulary token distribution की precomputation का प्रस्ताव दिया गया है.
  • software engineer ने इस approach में रुचि दिखाई है और अपने विचार साझा करने की इच्छा जताई है.
  • GitHub पर बातचीत कई प्रतिभागियों के साथ जारी है.

संबंधित पढ़ाई

1 टिप्पणियां

 
GN⁺ 2023-07-23
Hacker News की राय
  • भाषा मॉडल एक समय में एक token जनरेट करते हैं, जिससे सूक्ष्म नियंत्रण संभव होता है.
  • grammar-based sampling का उपयोग जनरेट किए गए टेक्स्ट पर व्याकरणिक constraints लगाने के लिए किया जा सकता है.
  • grammar-based sampling शायद alignment समस्याओं को हल न करे या सही labeling की गारंटी न दे.
  • PyTorch में grammar-based sampling लागू करने के लिए एक GitHub repository मौजूद है.
  • संयुक्त probability को ध्यान में रखने पर multi-choice string enum में विकल्पों का बेहतर चयन किया जा सकता है.
  • grammar library को इस बात के उदाहरण के रूप में उद्धृत किया गया कि format कैसा हो सकता है.
  • कुछ उपयोगकर्ता इस अवधारणा में रुचि रखते हैं, लेकिन दीर्घकालिक प्रभाव को लेकर सवाल उठाते हैं.
  • grammar-based sampling खास domains और internal DSL के लिए उपयोगी हो सकता है.
  • वांछित output के लिए अभी भी prompt engineering की आवश्यकता होती है.
  • इसी तरह के अन्य तरीके और tools भी मौजूद हैं.
  • neural network युग में decoding methods पर सिफारिशों का अनुरोध.