不用看数学公式！图解谷歌神经机器翻译核心部分：注意力机制( 五 )

2019-02-10

使用“seq2seq”方法的话，他会从头开始逐字逐句阅读德语文本，然后逐字逐句将文本翻译成英语。如果句子特别长的话，他在翻译的时候，可能就已经忘了之前文本上的内容了。

如果使用seq2seq+注意力的方法，他在逐字逐句阅读德语文本的时候，会写下关键词。然后，利用这些关键词，将文本翻译成英语。

在模型中，注意力会为每个单词打一个分，将焦点放在不同的单词上。然后，基于softmax得分，使用编码器隐藏状态的加权和，来聚合编码器隐藏状态，以获得语境向量。

注意力层的实现可以分为6个步骤。

第一步：准备隐藏状态

首先，准备第一个解码器的隐藏状态（红色）和所有可用的编码器的隐藏状态（绿色）。在我们的例子中，有4个编码器的隐藏状态和当前解码器的隐藏状态。

第二步：获取每个编码器隐藏状态的分数

推荐阅读

上一篇：小米华为OV不再模仿苹果的齐刘海屏，网友：库克很开心

下一篇：交易又救活一个！20+6+5，他可差点就被废了