2018 年 Top 10 影响力 AI 研究论文( 五 )_：2018年Top10影响力AI研究论文AI科技

我们需要考虑在细致、全面的评价方式下构建新的防御技术，目标是不仅能够防御现有的攻击方式，还要能够防御以后有可能开发出的新的防御方式。

3. Deep Contextualized Word Representations

「深度上下文依赖的单词表征」

论文地址

https://arxiv.org/abs/1802.05365

内容概要

来自艾伦人工智能研究院（Allen Institute for Artificial Intelligence）的作者们介绍了一种新型的深度上下文依赖单词表征： Embeddings from Language Models (ELMo)。在使用了 ELMo 强化的模型中，每个单词的向量化都是基于它所在的整篇文本而进行的。把 ELMo 添加到现有的 NLP 系统中可以带来的效果有：1，错误率相对下降 6% 到 20%；2，训练模型所需的 epoch 数目显著降低；3，训练模型达到基准模型表现时所需的训练数据量显著减小

论文思想要点

在很大的文本语料库上预训练一个深度双向语言模型（biLM），用它生成单词嵌入，这些嵌入来自这个模型的内部状态的加权和；嵌入中包括了 biLM 的所有层的表征，因为网络中不同的层表征了不同类型的信息；ELMo 的表征被设计为基于字符的，这样网络还可以利用单词拼写的信息，更好地理解训练中未曾见过的超出词汇表的单词的意思。领域内学者评价