每日 Harness 开源 · Source
返回本期 · Back to 2026-09-09

博客文章 · Blog Posts2026-09-09 · Wednesday, September 9, 2026

Benchmarking Qwen3.8 27B quantizations

quesma.com原文 ↗

Benchmarking Qwen3.8 27B quantizations
Quesma 用 GPQA Diamond、IFBench 和 89 任务 Terminal-Bench 2.1 对比 Qwen3.8 27B 的多种量化。55GB BF16 压到 17GB 的 Q4_K_M,在这些测试上几乎不掉分,可在 24GB RTX 4090 留出约 64k 上下文;2-bit 开始退化,6.2GB 的 1-bit 接近随机且长思考更差。作者在 Modal 花约 3,000 美元,并提醒量化文件被替换会影响复现,这让“4-bit 足够好”必须绑定版本和任务条件。
–浏览

评论 · Comments