原创<br> 8种优秀预训练模型大盘点，NLP应用so easy！( 六 )_：8种优秀预训练模型大盘点

下面的动画很好地说明了Transformer如何处理机器翻译任务：

谷歌去年发布了一款名为Universal Transformer的改进版Transformer模型。它还有一个更新，更直观的名字，叫Transformer-XL，我们将在后面介绍。

想学习和阅读更多有关Transformer的信息，请访问：

谷歌官方博文

https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

Transformer预训练模型论文《Attention Is All You Need》

https://www.paperswithcode.com/paper/attention-is-all-you-need

其他研究论文

https://arxiv.org/abs/1706.03762

BERT模型（谷歌）

谷歌发布BERT框架并开放其源代码在业界掀起波澜，甚至有人认为这是否标志着“ NLP新时代”的到来。但至少有一点可以肯定，BERT是一个非常有用的框架，可以很好地推广到各种NLP任务中。

原创<br> 8种优秀预训练模型大盘点，NLP应用so easy！( 六 )