Shoehorn 读取 BF16 GGUF 与 importance matrix,先从显存预算扣除 KV cache、计算区和预留,再用加权误差为每个 tensor 选择量化档位,以拉格朗日加贪心求多选背包。示例在 519.2MiB 预算内使用 99.981%,只剩 103,424 字节,平均 7.306 bpw;Qwen3-0.6B 方案求解约 0.7 秒。精确预算和逐 tensor 误差权衡比“整模选 Q4/Q5”更贴近统一内存设备的硬上限,输出仍保持 GGUFv3 可用性。
–浏览
评论 · Comments