Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning

PLD 把 teacher 的推理模式抽取成结构化 system prompt 指令，让小模型不经参数更新就获得更强决策逻辑。作者用 Gemma-3 4B 在 StereoSet 和 Contract-NLI 上测试，Macro F1 分别从 57% 到 90.0%、从 67% 到 83%。这不是“让 prompt 更长”的简单技巧，而是把 fine-tuning 的一部分功能移到可审阅、可修改的显式规则层。