原创<br> 8种优秀预训练模型大盘点,NLP应用so easy!( 九 )

通过浏览下面谷歌发布的两个gif文件,你就会明白这其中的区别:

原创<br> 8种优秀预训练模型大盘点,NLP应用so easy!

正如你现在可能已经预测到的,Transformer-XL在各种语言建模基准/数据集上取得了最新的技术成果。以下是他们页面上的一个小表格,说明了这一点:

原创<br> 8种优秀预训练模型大盘点,NLP应用so easy!

之前给过链接并将在下面提到的Transformer-XL GitHub存储库包含了PyTorch和TensorFlow中的代码。

学习和阅读更多Transformer-XL有关信息的资源:

谷歌的官方博客文章

https://ai.googleblog.com/2019/01/transformer-xl-unleashing-potential-of.html

Transformer-XL的预训练模型

https://www.paperswithcode.com/paper/transformer-xl-attentive-language-models

推荐阅读