Megatron-LM

Megatron-LM是一个由NVIDIA开发的, 用于训练大规模Transformer模型的GPU优化库. 这个框架的核心在于它实现的分布式训练策略, 旨在解决巨大模型适应到有限GPU内存中的挑战.