huggingface/tokenizers

tokenizers 1.0.0.rc.0 以 Rust 核心、Python/Node 绑定和 325KB 压缩体积为卖点，并把训练、序列化和推理拆成独立 crate。bitcannon 将 Unicode 分类编译成 bitstream 标签，所有向量 kernel 都有标量 oracle，因而硬件差异影响速度而不改变 token 结果。