GigaToken

GigaToken 是为 LLM 数据管线设计的高吞吐 tokenizer，使用 Rust、SIMD 与批处理减少逐字符串开销，并提供 Python 接口。README 的基准在特定硬件和语料上报告相对常见 tokenizer 达到数量级加速；它最适合离线预处理和大批量计数，实际收益仍取决于词表、输入长度与跨语言数据分布。