清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络( 五 )

2019-08-26

图4/18

图 2：标准 LSTM 单元结构

首先简要介绍一下标准 LSTM 结构，和 RNN 相比 LSTM 增加了更复杂的门结构（图中黄色模块），主要解决 RNN 中存在的梯度消失问题，从而提高网络对长时依赖（long-term dependency）的记忆感知能力。LSTM 有两个输入门，一个输出门和遗忘门

。

图5/18

图 2：ST-LSTM 网络结构和单元结构

和标准 LSTM 相比，ST-LSTM 还增加了不同层间对应位置的 cell 连接，如图 2 左侧，水平灰色连接线表示标准 LSTM 的单元连接，竖直黄色连接线表示层间同一时刻的单元连接，通过张量 M 传播，注意当 l=1 时，

（作者认为 t 时刻的顶层信息对 t+1 时刻的底层信息影响很大），这样记忆信息就能同时在层内和层间传播。

推荐阅读

上一篇：义乌市人民政府授权卓雅国际创建俄罗斯采购商服务中心

下一篇：华米科技晒Amazfit方屏智能手表演示图，表盘升级显著