tiktoken - OpenAI का Tokenizer

 (github.com/openai)
4 पॉइंट द्वारा xguru 2022-12-23 | अभी कोई टिप्पणी नहीं है. | WhatsApp पर शेयर करें
  • OpenAI के मॉडलों के साथ इस्तेमाल के लिए तेज़ BPE (Byte pair encoding) Tokenizer
  • मौजूदा Tokenizer (Huggingface) की तुलना में 3~6 गुना तेज़
  • PyPI से इंस्टॉल किया जा सकता है
  • Python + Rust open source

संबंधित पढ़ाई

अभी कोई टिप्पणी नहीं है.

अभी कोई टिप्पणी नहीं है.