AI写论文更近一步？联邦学习怎样与通信领域结合( 六 )_

摘要：批归一化是一种常用的方法，用于稳定和加速深度神经网络的训练。在许多案例中，批归一化的确降低了所需的参数量。然而，这同样也会降低神经网络对微小扰动的鲁棒性，有时候降低幅度可能高达两位数。进一步来说，使用权重降低来代替批归一化可以抵消神经网络对对抗样本的脆弱性和输入维度之间的关系。研究人员表示，这项工作和批归一化导致梯度爆炸的研究得出的结论是一致的。

推荐：本文是一篇有争议的观点性文章，认为批归一化是导致模型对对抗样本脆弱的罪魁祸首。至于观点是否正确，感兴趣的读者可以阅读论文并参与讨论。

论文 6：VideoBERT: A Joint Model for Video and Language Representation Learning

作者：Chen Sun、Austin Myers、Carl Vondrick、Kevin Murphy、Cordelia Schmid

论文地址：https://arxiv.org/pdf/1904.01766

摘要：谷歌的研究者提出了使用无标注视频学习时间表征的方法。据介绍，他们的目标是发现对应于更长时间尺度上的动作和事件的高层面语义特征。为了实现这一目标，他们借用了人类语言使用高级词汇来描述高层面的事物和事件的思路。在视频中，语音往往与视觉信号存在时间上的对应，而且可以通过现成的自动语音识别（ASR）系统提取出来，由此可作为自监督的一个自然来源。所以，谷歌这些研究者设计的模型的学习是跨模态的，因为其在训练过程中会联合使用视觉和音频（语音）模态的信号。