想效仿英伟达50分钟训练 BERT？只有GPU还不够……_选自arXiv作者：MohammadShoeybi等机器

选自arXiv

作者：Mohammad Shoeybi 等

机器之心编译

参与：魔王

此前，机器之心曾经介绍过英伟达的一项研究，打破了 NLP 领域的三项记录：将 BERT 的训练时间缩短到了 53 分钟；将 BERT 的推理时间缩短到了 2.2 毫秒；将 GPT-2 的参数量推向 80 亿（之前 GPT-2 最大为 15 亿参数量）。很多人将此成绩归结为英伟达的优越硬件条件，反正 GPU 有的是。其实不然，英伟达近期的一篇论文公布了该研究中采用的模型并行化方法：层内模型并行化。该方法无需新的编译器或库更改，只需在 PyTorch 中嵌入几个通信操作即可完整实现。

近期关于无监督语言建模的研究证明，训练大型神经语言模型推动了自然语言处理应用中的 SOTA 结果。但是，对于非常大的模型而言，内存限制了实际训练的模型大小。模型并行化使得我们能够训练更大的模型，因为模型并行化可以将参数分割并分配至多个处理器。

英伟达在近期的一项研究中实现了一种简单高效的层内模型并行化方法，可以训练具备数十亿参数的当前最优 transformer 语言模型。该方法无需新的编译器或库更改，它与 pipeline 模型并行正交且互补，只需在 PyTorch 中嵌入几个通信操作即可完整实现。利用该方法，研究者使用 512 个 GPU 收敛了一个具备 83 亿参数的 transformer 语言模型，该模型是目前最大的 transformer 模型，其规模是 BERT 的 24 倍，GPT-2 的 5.6 倍。