模型|一举打败16个同类模型,视频超分比赛冠军算法入选CVPR 2022,来自商汤&南洋理工大学
文章图片
加强版BasicVSR
BasicVSR采用双向传播(propagation)+特征对齐方式 , 能够提取整个输入视频中的有效信息进行超分 。
但是 , 它这一基本设计也限制了信息聚合的功效 , 比如难以恢复精细的细节 , 尤其是在处理复杂的遮挡区域时 。
因此 , 加强版的BasicVSR++在传播和对齐方面进行了重新改造 , 采用了二阶网格传播(second-order grid propagation) 和光流引导可变形对齐(flow-guided deformable alignment)的设计来改善网络中的信息聚合能力 , 提升遮挡区域的鲁棒性和有效性 。
文章图片
其中 , 二阶网格可以让信息从不同的时空位置进行前向后后向传播 , 让特征的传播更有效 。
光流引导可变形对齐则可以让帧进行更具鲁棒性的特征对齐 。
采用这一对齐方式主要是单纯的形变对齐训练效果不稳定 , 尽管可变形卷积(DCN) 网络中具备多样性的偏移量(offset)使形变对齐的性能优于光流对齐 。
BasicVSR+++具体架构如下:
文章图片
给定输入视频 , 首先采用残差模块对每一帧提取特征;然后这些特征在二阶网络传播中进行信息传播 , 其中对齐部分采用光流引导形变对齐;完成信息传播后 , 汇聚特征生成输出图像 。
在16个同类算法中性能全部最佳
作者对比了16种不同视频超分算法的性能、参数量以及耗时 , 结果是BasicVSR++在所有数据集下的两种退化方式中均取得最佳性能(红色代表最佳分数 , 蓝色代表次佳分数) 。
文章图片
特别地 , 相比大容量滑动窗口算法EDSR , BasicVSR++获得了1.3dB的性能提升 , 同时参数量少65%;
相比之前的最新技术IconVSR , BasicVSR++在参数量更少的同时也带来了1dB的性能提升 。
更轻量版的BasicVSR++ (S) , 相比前辈BasicVSR , 也有0.82dB的提升 , 收益显著 。
而在具体效果中 , 不管是在REDS4、Vimeo-90K-T还是Vid4数据集上 , BasicVSR++都能对极细节的图像进行复原 , 且效果最好 。
文章图片
文章图片
【模型|一举打败16个同类模型,视频超分比赛冠军算法入选CVPR 2022,来自商汤&南洋理工大学】
文章图片
目前 , BasicVSR++的代码已经开源 , 感兴趣的同学可以去试试 。
作者介绍
文章图片
一作陈焯杰(Kelvin C.K. Chan) 来自南洋理工大学计算机科学与工程学院 , 博士三年级在读 , 本硕毕业于香港中文大学 。
目前的研究方向为图像/视频恢复 , 一共发表过5篇顶会论文 。
通讯作者为他的导师吕健勤(Chen Change Loy) , 南洋理工大学计算机学院副教授 , 商汤-南洋理工大学联合实验室S-Lab副主任 。
他俩也是BasicVSR的原班作者 。
BasicVSR++的剩余两位作者分别为:该校二年级博士生周尚辰和该校研究员Xu Xiangyu 。
论文地址:
https://arxiv.org/abs/2104.13371
代码:
https://github.com/ckkelvinchan/RealBasicVSR
— 完—
本文系网易新闻?网易号特色内容激励计划签约账号【量子位】原创内容 , 未经账号授权 , 禁止随意转载 。
直播报名 | AI+边缘计算赋能传统企业
在信息化浪潮下 , 传统企业如何综合利用人工智能、边缘计算等技术勇立潮头 , 智慧发展?
3月8日19:30 , 「量子位·视点」CEO/CTO系列分享活动邀请了江行智能CTO樊小毅博士 , 将围绕AI+边缘计算如何助力碳中和目标、典型应用和未来展望等内容 , 直播分享个人见解 。 扫码可报名:
文章图片
量子位 QbitAI · 头条号签约作者
?'?' ? 追踪AI技术和产品新动态
一键三连「分享」「点赞」和「在看」
科技前沿进展日日相见 ~
推荐阅读
- 模型|机器学习理论基础到底有多可靠?
- 图片|Fudan DISC推出跨视觉语言模态预训练模型MVPTR(已开源)
- 编码器|单个Transformer信息检索,谷歌用可微搜索索引打败双编码器模型
- 编码器|微软亚洲研究院多模态模型NüWA:以自然语言创造视觉内容
- 模型|解决Transformer训练难题,微软研究院把Transformer干到了1000层
- 模型|强化学习教父新论文探索决策智能体的通用模型:寻找跨学科共性
- 智能化|大模型“画龙”,小数据“点睛” 企业加快智能化转型
- 模型|WAIC 开发者生态荣誉贡献奖!Pop SOTA!List 获奖代表团队现场领奖
- 煤电产业链|多流多节点模型 准确识别碳足迹空间转移
- 模型|LoveLive!出了一篇AI论文:生成模型自动写曲谱
