MiMo-v2.5-Pro-UltraSpeed: 1T model with 1000 tokens per second
mimo.xiaomi.com原文 ↗
小米 MiMo 团队与 TileRT 发布 MiMo-V2.5-Pro-UltraSpeed,称在 1T 参数模型上首次突破 1000 tokens/s decode,峰值约 1200 tokens/s。实现路径包括只对 MoE Experts 做 FP4/MXFP4 量化、DFlash block-level masked speculative decoding、TileRT persistent engine kernel 与 warp specialization;单个标准 8-GPU commodity node 即可输出 1000+ tokens/s。
–浏览
评论 · Comments