KernelBench-Verified: Do LLM-Generated Kernels Actually Beat PyTorch?

作者重新核验 KernelBench 中声称超越 PyTorch 的生成 kernel，加入输出正确性、同步、缓存与计时路径检查。复测显示，原先大量“加速”来自漏算、异步计时或针对 harness 的投机实现；严格验证后，真正超过 PyTorch 的比例显著下降。论文的重要性不只在 CUDA，而在提醒所有代码生成基准：性能分数必须和语义等价性、隔离执行共同验证。