该研究的主要贡献包括:
- 提出了一种新颖的内容感知特征调制(CaFM)模块的联合训练框架 , 用于网络间的视频传输;
- 对各种超分辨率 backbone、视频时间长度和缩放因子进行了广泛的实验 , 证明了该方法的优势和通用性;
- 在相同的带宽压缩下 , 与商业 H.264 和 H.265 标准进行比较 , 由于过度拟合的特性 , 该方法展示了更有潜力的结果 。

文章图片
方法
神经网络视频传输是在传输互联网视频时利用 DNN 来节省带宽 。 与传统的视频传输系统不同 , 它们用低分辩率视频和内容感知模型取代了高分辨率视频 。 如上图所示 , 整个过程包括三个阶段:(i)在服务器上对每个视频段的模型进行训练;(ii) 将低分辨率视频段与内容感知模型一起从服务器传送到客户端;(iii) 客户端上对低分辨率视频进行超分工作 。 但是 , 该过程需要为每个视频段传输一个模型 , 从而导致额外的带宽成本 。 所以该研究提出了一种压缩方法 , 利用 CaFM 模块结合联合训练的方式 , 将模型参数压缩为原本的 1% 。
动机和发现
图 2

文章图片
该研究将视频分成 n 段 , 并相应地为这些视频段训练 n 个 SR 模型 S1、S2 ...Sn 。 然后通过一张随机选择的输入图片(DIV2K) 来分析 S1、S2...Sn 模型间的关系 。 该研究在图 2 中可视化了 3 个 SR 模型的特征图 。 每张图像代表某个通道( channel)的特征图 , 为了简单起见 , 该研究只可视化了一层 SR 模型 。 具体来说 , 该研究将特征图表示为

文章图片
, 其中 i 表示第 i 个模型 , j 表示第 j 个 通道 , k 表示 SR 模型 的第 k 层卷积 。 对于随机选择的图像 , 可以计算

文章图片
和

文章图片
之间的余弦距离 , 来衡量这两组特征图之间的相似度 。 对于图 2 中的特征图 , 该研究计算了

文章图片
,

文章图片
和

推荐阅读
- IT|新航空图像拍摄系统Microballoon:可重复使用且成本更低
- 低碳发展|四川做强清洁能源产业
- IT|以色列正式批准开放第四剂新冠疫苗接种 限免疫力低下人群
- 技术|脉冲+推揉 全能按摩手 SKG G7 Pro颈椎按摩器参加科创奖评选
- 水管|柔性泄水管概述、性能参数
- IT|南非研究显示两剂强生新冠疫苗可大幅降低Omicron导致的住院
- 汽车|现代汽车公布CES 2022参展主题:打造机器人和元宇宙全新移动出行体验
- 索尼|索尼推出两款无线低音炮、环绕音箱,适配家庭影院
- 词条|百度百科上线2500万词条,超750万用户参与共创科普知识内容
- 移动|全国首台低温高效提取移动智能工厂落户江西