oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密( 四 )_OPPO首个自研芯片NPU|藏着的计算

文章图片

传统来讲，HDR是在YUV里合成的，经过RGB和YUV的转换，会损失大量的图像信息。
马里亚纳 MariSilicon X帮助OPPO首次完成影像链路的垂直整合，就可以重塑转换链路，将处理节点前置在信息量100%的RAW域直接做实时计算，20bit RAW实时计算，能够带来画质的显著提升。

文章图片

马里亚纳 MariSilicon X支持20bit HDR，高于最新旗舰SoC的18bit 。通用SoC落后于马里亚纳 MariSilicon X的规格，是否会成为限制这款OPPO首个自研芯片发挥性能的瓶颈？姜波对雷峰网(公众号：雷峰网)解释，“由于马里亚纳 MariSilicon X是在手机SoC之前处理，我们的NPU处理完HDR、AI降噪等之后就不需要再进行相应处理，不会限制MariSiliconX性能的发挥。”

文章图片

有了自研芯片，也能让OPPO充分发挥定制传感器的性能。马里亚纳 MariSilicon X充分发挥了RGBW的更强能力，通过双链路的设计和2x RAW计算，实现8.6 dB信噪比和1.7倍解析力提升。
“通过自研芯片和定制化传感器相互的化学反应和相互耦合，我们可以做到最大化发挥定制传感器的能力。”姜波指出。
对于计算摄影这个涵盖计算机图形学、计算机视觉和应用光学等多个学科领域的技术，OPPO的首款自研芯片能够基于算力，借助垂直整合，用计算摄影突破手机影像的极限。
自研芯片给OPPO手机带来的可能性
马里亚纳 MariSilicon X能够突破的极限，是让手机能够在弱光环境，用计算摄影实现4K+20bit RAW+AI+Ultra HDR夜景视频的新极限。

文章图片

文章图片

姜波解释，“之所以把视频拍摄限在4K30帧，也是出于功耗的考量。视频的实时处理特性，难度远大于照片的先拍后算。视频基础的要求是30帧/秒，意味着每一帧的处理要有大概33毫秒，要实现视频AI功能，必须在33毫秒内处理完成，性能和功耗的约束是关键。”
同时，手机系统层级，功耗的控制也非常重要。
“我们现在把整个影像链路中，最耗功耗的HDR、AI降噪等算法都在马里亚纳MariSilicon X上处理，SoC不需要再进行处理，所以是节省功耗的。”姜波解释，“OPPO有一个功耗及格线，不能增加整体功耗，这是基本原则思路。”