Megatron-LM
github.com原文 ↗
NVIDIA 仓库分为带预配置脚本的 Megatron-LM 参考实现和可组合的 Megatron Core;后者提供 TP、PP、DP、EP、CP 并行、FP16/BF16/FP8/FP4 精度和 GPU 优化 Transformer 构件。Megatron Bridge 负责 Hugging Face 与 Megatron checkpoint 双向转换,Core 可从 PyPI 安装。源码构建可能消耗大量内存,README 建议用 `MAX_JOBS` 限制并行编译。
–浏览
评论 · Comments