Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU
neomindlabs.com原文 ↗
这篇文章记录在没有 GPU 的 13 年旧 Xeon 机器上运行 Gemma 4 26B,并达到约 5 tokens/sec。关键条件是 26B 模型、CPU-only 和旧服务器硬件,性能结论明显依赖量化与运行时配置。它的意义不是宣称 CPU 推理普遍够用,而是展示本地低成本实验的实际下界。
–浏览
评论 · Comments