文章图片
之间的余弦距离矩阵 。 如图 3 所示 ， 研究者观察到虽然 S1 , S2 ...Sn 是在不同的视频段上训练的 ， 但根据图 3 中矩阵的对角线值可以看出“对应通道之间的余弦距离非常小” 。 该研究计算了 S1、S2 和 S3 之间所有层的余弦距离的平均值 ， 结果分别约为 0.16 和 0.04 。 这表明虽然在不同视频段上训练得到了不同的 SR 模型 ， 但是
文章图片
和
文章图片
之间的关系可以通过线性函数近似建模 。 这也是该研究提出 CaFM 模块的动机 。
图 3
文章图片
内容感知特征调制模块(CaFM)
该研究将内容感知特征调制 (CaFM) 模块引入基线模型(EDSR) ， 以私有化每个视频段的 SR 模型 。 整体框架如图 4 所示 。 正如上文动机中提到的 ， CaFM 的目的是操纵特征图并使模型去拟合不同的视频段 。 因此 ， 不同段的模型可以共享大部分参数 。 该研究将 CaFM 表示为 channel-wise 线性函数：
文章图片
其中 x_j 是第 j 个输入特征图 ， C 是特征通道的数量 ， a_j 和 b_j 分别是 channel-wise 的缩放和偏置参数 。 该研究添加 CaFM 来调制基线模型的每个卷积层的输出特征 。 以 EDSR 为例 ， CaFM 的参数约占 EDSR 的 0.6% 。 因此 ， 对于具有 n 个段的视频 ， 可以将模型的大小从 n 个 EDSR 减少到 1 个共享 EDSR 和 n 个私有 CaFM 模块 。 因此 ， 与基线方法相比 ， 该方法可以显著降低带宽和存储成本 。
图 4
文章图片
联合训练
正如上文中所介绍的 ， 该研究可以利用 CaFM 去替换每个视频段的 SR 模型 。 但是通过在一个 SR 模型上微调n 个 CaFM 模块的方式很难将精度提升到直接训练 n 个 SR 模型的 PSNR 。 因此该研究提出了一种联合训练的框架 ， 该框架可以同时训练 n 个视频段 。 公式可以表示为：
文章图片
对于 SR 图片
文章图片
， i 表示第 i 个视频段 ， s 表示该视频段中的第 s 个 sample 。 公式中 W_s 表示共享的参数 ， W_i 表示每个视频段私有的参数 。 对于每个视频段 ， 可以这样计算损失函数:
推荐阅读
- IT|新航空图像拍摄系统Microballoon：可重复使用且成本更低
- 低碳发展|四川做强清洁能源产业
- IT|以色列正式批准开放第四剂新冠疫苗接种 限免疫力低下人群
- 技术|脉冲+推揉 全能按摩手 SKG G7 Pro颈椎按摩器参加科创奖评选
- 水管|柔性泄水管概述、性能参数
- IT|南非研究显示两剂强生新冠疫苗可大幅降低Omicron导致的住院
- 汽车|现代汽车公布CES 2022参展主题：打造机器人和元宇宙全新移动出行体验
- 索尼|索尼推出两款无线低音炮、环绕音箱，适配家庭影院
- 词条|百度百科上线2500万词条，超750万用户参与共创科普知识内容
- 移动|全国首台低温高效提取移动智能工厂落户江西