AI写论文更近一步？联邦学习怎样与通信领域结合( 七 )_

图4/5

VideoBERT 的模型架构。

图5/5

使用模型预测烹饪过程中的下一步操作。

推荐：本文是谷歌的一篇论文，介绍了谷歌在视频预测方面的进一步进展，以及使用 Transformer 架构在非文本数据以外的领域的应用。

论文 7：Towards Understanding the Importance of Shortcut Connections in Residual Networks

作者：Tianyi Liu、Minshuo Chen、Mo Zhou、Simon S. Du、Enlu Zhou、Tuo Zhao

论文地址：https://arxiv.org/pdf/1909.04653v2.pdf

摘要：残差神经网络在深度学习中是一个里程碑的成就。它使用了层之间的短连接，在训练中仅使用一阶算法就可以非常高效地训练。但是，能够取得这样好的效果的机制并不为人们所知。本文研究了一种双层非重叠的卷积残差神经网路。训练这种网络需要解决在局部优化中的非凸优化问题。然而，研究人员发现，与恰当归一化结合的梯度下降方法就可以避免模型陷入局部最优，并可以在多项式时间内收敛。在这种情况下，第一层的权重从 0 开始初始化，而第二层的权重则是随机初始化的。相关实验结果支持了作者的理论。