LayerRoute: Input-Conditioned Adaptive Layer Skipping via LoRA Fine-Tuning for Agentic Language Models

LayerRoute 针对 agent 工作流中工具调用和开放推理两类步骤的计算需求差异，给 Qwen2.5-0.5B-Instruct 的 24 个 Transformer block 加二值 router，并用 LoRA 微调保持主干冻结。训练 3000 步、约 6.4 分钟 A100 后，只用 1.10M 可训练参数实现 12.91% skip differential：工具调用跳过 15.25% FLOPs，规划步骤只跳过 2.34%。