低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法( 二 )


该研究的主要贡献包括:

  • 提出了一种新颖的内容感知特征调制(CaFM)模块的联合训练框架 , 用于网络间的视频传输;
  • 对各种超分辨率 backbone、视频时间长度和缩放因子进行了广泛的实验 , 证明了该方法的优势和通用性;
  • 在相同的带宽压缩下 , 与商业 H.264 和 H.265 标准进行比较 , 由于过度拟合的特性 , 该方法展示了更有潜力的结果 。
图 1

低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法
文章图片

方法
神经网络视频传输是在传输互联网视频时利用 DNN 来节省带宽 。 与传统的视频传输系统不同 , 它们用低分辩率视频和内容感知模型取代了高分辨率视频 。 如上图所示 , 整个过程包括三个阶段:(i)在服务器上对每个视频段的模型进行训练;(ii) 将低分辨率视频段与内容感知模型一起从服务器传送到客户端;(iii) 客户端上对低分辨率视频进行超分工作 。 但是 , 该过程需要为每个视频段传输一个模型 , 从而导致额外的带宽成本 。 所以该研究提出了一种压缩方法 , 利用 CaFM 模块结合联合训练的方式 , 将模型参数压缩为原本的 1% 。
动机和发现
图 2

低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法
文章图片

该研究将视频分成 n 段 , 并相应地为这些视频段训练 n 个 SR 模型 S1、S2 ...Sn 。 然后通过一张随机选择的输入图片(DIV2K) 来分析 S1、S2...Sn 模型间的关系 。 该研究在图 2 中可视化了 3 个 SR 模型的特征图 。 每张图像代表某个通道( channel)的特征图 , 为了简单起见 , 该研究只可视化了一层 SR 模型 。 具体来说 , 该研究将特征图表示为

低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法
文章图片

, 其中 i 表示第 i 个模型 , j 表示第 j 个 通道 , k 表示 SR 模型 的第 k 层卷积 。 对于随机选择的图像 , 可以计算

低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法
文章图片



低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法
文章图片

之间的余弦距离 , 来衡量这两组特征图之间的相似度 。 对于图 2 中的特征图 , 该研究计算了

低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法
文章图片



低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法
文章图片



低分辨率|参数量仅为原来1%,北邮等利用超分算法提出高性能视频传输方法

推荐阅读