原创<br> 8种优秀预训练模型大盘点,NLP应用so easy!(13)

原创<br> 8种优秀预训练模型大盘点,NLP应用so easy!

让我们花点时间来了解一下ELMo是如何工作的。回想一下我们之前讨论过的双向语言模型。从这篇文章中我们能够得到提示,“ELMo单词向量是在双层双向语言模型(biLM)的基础上进行计算的。这个biLM模型有两层叠加在一起,每一层都有2个通道——前向通道和后向通道:

原创<br> 8种优秀预训练模型大盘点,NLP应用so easy!

ELMo单词表示考虑计算词嵌入(word embedding)的完整输入语句。因此,“read”这单词在不同的上下文中具有不同的ELMo向量。这与旧版的词嵌入(word embedding)大不相同,旧版中无论在什么样的上下文中使用单词“read”,分配给该单词的向量是相同的。

学习和阅读更多ELMo有关信息的资源:

循序渐进的NLP指南,了解ELMo从文本中提取特征

https://www.analyticsvidhya.com/blog/2019/03/learn-to-use-elmo-to-extract-features-from-text/?utm_source=blog&utm_medium=top-pretrained-models-nlp-article

推荐阅读