llama-tokenizer-js - ब्राउज़र में चलने वाला LLaMA tokenizer
(github.com/belladoreai)- क्लाइंट-साइड पर tokens की सटीक गणना करने के लिए उपयोग किया जा सकता है
- बिना किसी dependency के, एक ही फ़ाइल के रूप में आसानी से उपयोग किया जा सकता है
- अधिकांश LLaMA-आधारित models के साथ compatible
- लगभग 2,000 tokens को 20ms के भीतर tokenize कर सकता है
अभी कोई टिप्पणी नहीं है.