低分辨率|参数量仅为原来1%，北邮等利用超分算法提出高性能视频传输方法( 二 )_训练|传输|视频|研究|高性能

该研究的主要贡献包括：

提出了一种新颖的内容感知特征调制（CaFM）模块的联合训练框架，用于网络间的视频传输；
对各种超分辨率 backbone、视频时间长度和缩放因子进行了广泛的实验，证明了该方法的优势和通用性；
在相同的带宽压缩下，与商业 H.264 和 H.265 标准进行比较，由于过度拟合的特性，该方法展示了更有潜力的结果。

图 1

文章图片

方法
神经网络视频传输是在传输互联网视频时利用 DNN 来节省带宽。与传统的视频传输系统不同，它们用低分辩率视频和内容感知模型取代了高分辨率视频。如上图所示，整个过程包括三个阶段：（i）在服务器上对每个视频段的模型进行训练；(ii) 将低分辨率视频段与内容感知模型一起从服务器传送到客户端；(iii) 客户端上对低分辨率视频进行超分工作。但是，该过程需要为每个视频段传输一个模型，从而导致额外的带宽成本。所以该研究提出了一种压缩方法，利用 CaFM 模块结合联合训练的方式，将模型参数压缩为原本的 1% 。
动机和发现
图 2

文章图片

该研究将视频分成 n 段，并相应地为这些视频段训练 n 个 SR 模型 S1、S2 ...Sn 。然后通过一张随机选择的输入图片(DIV2K) 来分析 S1、S2...Sn 模型间的关系。该研究在图 2 中可视化了 3 个 SR 模型的特征图。每张图像代表某个通道（ channel）的特征图，为了简单起见，该研究只可视化了一层 SR 模型。具体来说，该研究将特征图表示为