不用看数学公式！图解谷歌神经机器翻译核心部分：注意力机制( 四 )

2019-02-10

通过注意力机制，模型就能够有选择地关注输入序列中有用的部分，从而在解码器和编码器之间对齐。

之后，神经机器翻译所面临的问题，基本上也都有了解决方案。

2016年，谷歌推出了首个基于神经机器翻译的翻译系统。

现在，神经机器翻译已经成为了主流翻译工具的核心方法。

在这段发展历程中，RNN和LSTM，已经有了大量的介绍。注意力机制到底是怎么运作的呢？它到底有何魔力？

接下来请你收看——

图解注意力运作机制

注意力一共分类两种。一种是全局注意力，使用所有编码器隐藏状态。另一种是局部注意力，使用的是编码器隐藏状态的子集。在这篇文章中，提到的注意力，都是全局注意力。

在开始之前，需要看换一下仅基于seq2seq方法的模型是如何翻译的。

以一个将文本从德语翻译成英语的翻译员为例。

推荐阅读

上一篇：小米华为OV不再模仿苹果的齐刘海屏，网友：库克很开心

下一篇：交易又救活一个！20+6+5，他可差点就被废了