返回本期 · Back to 2026-10-03 开源 / 项目 · Projects2026-10-03 · Saturday, October 3, 2026 DynamicTune github.com原文 ↗ 蒸馏与压缩研究·科学 DynamicTune 把教师隐藏轨迹视为表示空间中的信息速度场,以局部正交 Procrustes 对齐并直接闭式修改学生 MLP 权重,省掉反向传播和训练数据管线。跨 Qwen3.5 4B→0.8B、GPT-2 XL→small 的测试显示,只改 0、7、15、23 层可使多域 held-out NLL 降 10.8%;全 24 层修改会让 NLL 增 64.78%,说明选择编辑位置本身是主要算法问题。 –浏览 –点赞 复制链接 评论 · Comments
评论 · Comments