清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络( 七 )

的连续帧序列,因此现在每个单元时间步都对应一段视频,而不是单帧视频。

2、针对帧序列数据额外添加了一个召回门(recall gate)以及相关结构,用于实现长时依赖学习,也就是自注意力机制。这部分对应网络名称中的 Eidetic。

3、由于输入数据变成了四维张量,因此在更新公式中采用 3D 卷积操作而不是 2D 卷积。

大部分门结构的更新公式和 ST-LSTM 相同,额外添加了召回门更新公式:

清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络

图10/18

清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络

图11/18

上面介绍的机制用于同一层不同时间步连接,作者将这种机制也用在了不同层同一时间步的连接,但效果并不好,这是因为不同层在同一时刻学习到的信息并没有太好的依赖性。

推荐阅读