每日 Harness 开源 · Source
返回本期 · Back to 2026-10-03

开源 / 项目 · Projects2026-10-03 · Saturday, October 3, 2026

DynamicTune

github.com原文 ↗

蒸馏与压缩研究·科学
DynamicTune
DynamicTune 把教师隐藏轨迹视为表示空间中的信息速度场,以局部正交 Procrustes 对齐并直接闭式修改学生 MLP 权重,省掉反向传播和训练数据管线。跨 Qwen3.5 4B→0.8B、GPT-2 XL→small 的测试显示,只改 0、7、15、23 层可使多域 held-out NLL 降 10.8%;全 24 层修改会让 NLL 增 64.78%,说明选择编辑位置本身是主要算法问题。
–浏览

评论 · Comments