Quicktok

Quicktok 是精确 BPE tokenizer，项目描述称比 tiktoken 更快。它瞄准的是 token 计数、截断、批量预处理和上下文预算估算这类底层路径，而这些路径在高吞吐 RAG 或日志处理系统里会被频繁调用。值得注意的是 tokenizer 性能经常被忽略，但它会直接影响服务端延迟和离线数据处理成本。