AI会话能力超越人类 CoQA挑战赛微软创新纪录( 五 )

2019-05-05

细数半个世纪以来，人类在NLP领域有着十大里程碑，分别是：

1、1985复杂特征集

2、1966词汇主义

3、1976统计语言模型

4、2001神经语言模型(Neural language models)

5、2008多任务学习(Multi-task learning)

6、2013词嵌入

7、2013RNN/CNN用于NLP的神经网络

8、2014序列到序列模型(Sequence-to-sequencemodels)

9、2015注意力机制和基于记忆的神经网络

10、2018预训练语言模型

从2018年至今，人类在NLP领域不断有好消息传来。

去年10月谷歌推出BERT语言模型，通过在33亿文本的语料上训练语言模型，最终BERT在11项NLP任务中夺得STOA结果，在自然语言处理学界以及工业界都引起了不小的热议。

推荐阅读

上一篇：TapTap 9.7分，天美的这款新作太“黑”了

下一篇：湖南九尔房产老总被指派出所纠凶打人警方：刑拘3人