清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络( 十 )

图15/18

动作识别任务,在 Something-Something 数据集上进行了测试:

清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络

图16/18

同样在该数据集上进行了烧蚀研究:

清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络

图17/18

以及不同的半监督辅助学习策略带来的性能提升:

清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络

图18/18

总结

本文对 ST-LSTM 进行了改进,将流行的 3D 卷积操作作为其基本张量操作,同时添加了自注意力模块,进一步强化了网络对长距离依赖信息的刻画能力,不仅能用于预测任务,还能通过辅助学习的方法拓展到其他任务上,是非常具有启发性的工作。

推荐阅读