原创<br> 8种优秀预训练模型大盘点，NLP应用so easy！( 七 )_：8种优秀预训练模型大盘点

BERT是Bidirectional Encoder Representations（双向编码器表征）的简称。这个模型可以同时考虑一个词的两侧（左侧和右侧）上下文，而以前的所有模型每次都是只考虑词的单侧（左侧或右侧）上下文。这种双向考虑有助于模型更好地理解单词的上下文。此外，BERT可以进行多任务学习，也就是说，它可以同时执行不同的NLP任务。

BERT是首个无监督的、深度双向预训练NLP模型，仅使用纯文本语料库进行训练。

在发布时，谷歌称BERT进行了11个自然语言处理（NLP）任务，并产生高水平的结果，这一壮举意义深远！你可以在短短几个小时内（在单个GPU上）使用BERT训练好自己的NLP模型（例如问答系统）。

想获得更多有关BERT的资源，请参阅：

谷歌官方博文

https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html