Finding Optimal Tokenizers

这篇博文讨论寻找更优 tokenizer 的问题，关注的是 tokenization 对上下文长度、训练/推理成本和跨域文本压缩的基础影响。它提醒模型工程里 tokenizer 不是已经解决的预处理细节：不同语料、语言和目标函数会让“最优切分”发生变化，进而影响模型看到的信息密度。