oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密( 四 )



oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密
文章图片

传统来讲,HDR是在YUV里合成的,经过RGB和YUV的转换,会损失大量的图像信息 。
马里亚纳 MariSilicon X帮助OPPO首次完成影像链路的垂直整合,就可以重塑转换链路,将处理节点前置在信息量100%的RAW域直接做实时计算,20bit RAW实时计算,能够带来画质的显著提升 。

oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密
文章图片

马里亚纳 MariSilicon X支持20bit HDR,高于最新旗舰SoC的18bit 。通用SoC落后于马里亚纳 MariSilicon X的规格,是否会成为限制这款OPPO首个自研芯片发挥性能的瓶颈?姜波对雷峰网(公众号:雷峰网)解释,“由于马里亚纳 MariSilicon X是在手机SoC之前处理,我们的NPU处理完HDR、AI降噪等之后就不需要再进行相应处理,不会限制MariSiliconX性能的发挥 。”

oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密
文章图片

有了自研芯片,也能让OPPO充分发挥定制传感器的性能 。马里亚纳 MariSilicon X充分发挥了RGBW的更强能力,通过双链路的设计和2x RAW计算,实现8.6 dB信噪比和1.7倍解析力提升 。
“通过自研芯片和定制化传感器相互的化学反应和相互耦合,我们可以做到最大化发挥定制传感器的能力 。”姜波指出 。
对于计算摄影这个涵盖计算机图形学、计算机视觉和应用光学等多个学科领域的技术,OPPO的首款自研芯片能够基于算力,借助垂直整合,用计算摄影突破手机影像的极限 。
自研芯片给OPPO手机带来的可能性
马里亚纳 MariSilicon X能够突破的极限,是让手机能够在弱光环境,用计算摄影实现4K+20bit RAW+AI+Ultra HDR夜景视频的新极限 。

oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密
文章图片


oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密
文章图片

姜波解释,“之所以把视频拍摄限在4K30帧,也是出于功耗的考量 。视频的实时处理特性,难度远大于照片的先拍后算 。视频基础的要求是30帧/秒,意味着每一帧的处理要有大概33毫秒,要实现视频AI功能,必须在33毫秒内处理完成,性能和功耗的约束是关键 。”
同时,手机系统层级,功耗的控制也非常重要 。
“我们现在把整个影像链路中,最耗功耗的HDR、AI降噪等算法都在马里亚纳MariSilicon X上处理,SoC不需要再进行处理,所以是节省功耗的 。”姜波解释,“OPPO有一个功耗及格线,不能增加整体功耗,这是基本原则思路 。”

推荐阅读