Breaking the 1.58-bit Barrier for Ternary LLMs

论文系统比较三值 LLM 的编码、稀疏化与内核实现：BITCOS 用 dense bitmap 加 sign vector 表示非零权重，每权重成本为 2-z bit。29 个模型中有 26 个优于传统 1.585 bpw 基线，最稀疏模型达到 1.485 bpw；配套内核在 GPU 上最高 1.27 倍、CPU 解码最高 1.18 倍。它的价值在于把“低比特理论下界”连接到真实推理路径，但收益依赖零密度和硬件内核是否匹配。