清华、李飞飞团队等提出强记忆力 E3D-LSTM 网络( 二 )_图1

图2/18

作者 | Yunbo Wang,、Lu Jiang、 Ming-Hsuan Yang、Li-Jia Li、Mingsheng Long、Li Fei-Fei

论文地址：

https://openreview.net/pdf?id=B1lKS2AqtX

时间序列的时空建模问题

现实生活中许多数据都同时具有时间特征和空间特征，例如人体的运动轨迹，连续帧的视频等，每个时间点都对应一组数据，而数据往往又具有一定的空间特征。因此要在这样的时间序列数据上开展分类，预测等工作，就必须在时间（temporal）和空间 (spatial) 上对其进行建模和特征抽取。

常用的时间建模工具是循环神经网络（RNN）相关模型（LSTM 等），由于其特有的门结构设计，对时间序列特征具有强大的抽取能力，因此被广泛应用于预测问题并取得了良好的成果，但是 RNN 并不能很好的学习到原始特征的高阶表示，这不利于对空间信息的提取。空间建模则当属卷积神经网络（CNN），其具有强大的空间特征抽取能力，其中3D-CNN又能将卷积核可控范围扩大到时域上，相对于 2D 卷积灵活性更高，能学习到更多的运动信息（motion 信息），相对于 RNN 则更有利于学习到信息的高级表示（层数越深，信息越高级），是目前动作识别领域的流行方法。当然 3D 卷积的时间特征抽取能力并不能和 RNN 媲美。