Megatron-LM

NVIDIA 仓库分为带预配置脚本的 Megatron-LM 参考实现和可组合的 Megatron Core；后者提供 TP、PP、DP、EP、CP 并行、FP16/BF16/FP8/FP4 精度和 GPU 优化 Transformer 构件。Megatron Bridge 负责 Hugging Face 与 Megatron checkpoint 双向转换，Core 可从 PyPI 安装。源码构建可能消耗大量内存，README 建议用 `MAX_JOBS` 限制并行编译。