每日 Harness 开源 · Source
返回本期 · Back to 2026-08-15

开源 / 项目 · Projects2026-08-15 · Saturday, August 15, 2026

Shoehorn

github.com原文 ↗

蒸馏与压缩系统·基础设施
Shoehorn
Shoehorn 读取 BF16 GGUF 与 importance matrix,先从显存预算扣除 KV cache、计算区和预留,再用加权误差为每个 tensor 选择量化档位,以拉格朗日加贪心求多选背包。示例在 519.2MiB 预算内使用 99.981%,只剩 103,424 字节,平均 7.306 bpw;Qwen3-0.6B 方案求解约 0.7 秒。精确预算和逐 tensor 误差权衡比“整模选 Q4/Q5”更贴近统一内存设备的硬上限,输出仍保持 GGUFv3 可用性。
浏览

评论 · Comments