处理速度|OPPO为何要自研影像NPU芯片?采访OPPO芯片产品高级总监姜波先生

2021年12月14日 , OPPO正式发布首款自研NPU芯片——马里亚纳MariSilicon X 。 这款芯片被称作“OPPO未来十年影像的开篇之作” , 其问世“标志着OPPO在计算影像领域首次实现了全链路垂直整合……未来 , 马里亚纳MariSilicon X将和通用平台一起构成了手机核心运算的左右大脑 , 正式开启‘一机双芯’时代 。 ”
处理速度|OPPO为何要自研影像NPU芯片?采访OPPO芯片产品高级总监姜波先生
文章图片

马里亚纳MariSilicon X芯片将专门应用于影像计算 , 并具备四大前沿技术 。
1.马里亚纳MariSilicon X集成了自研的MariNeuro AI计算单元 , 提供高达18TOPS的最大有效算力 , 以及业界领先的11.6TOPS/W的能效表现 , 面向OPPO自研AI算法 , 实现最高效的计算加速和功耗优化 。 例如在运行OPPO自研的AI降噪算法时 , 马里亚纳MariSilicon X能够以4K的规格 , 实现40fps的处理速度 , 相比于此前Find X3 Pro通用NPU支持的2fps速度 , 实现了20倍的性能跃升 , 同时功耗降低超过50% , 体现了越专用越高效的显著优势 。
处理速度|OPPO为何要自研影像NPU芯片?采访OPPO芯片产品高级总监姜波先生
文章图片

2.该芯片的MariLumi影像处理单元支持最高20bit的处理位宽 , 并支持惊人的20bit Ultra HDR , 是目前旗舰平台HDR能力的4倍 。 在即时呈现出的画面中 , 最亮与最暗之处的亮度对比极值达到100万比1 , 几乎与人眼真实的感受无异 。
3.它将复杂的AI算法以及20bit HDR融合全部前置到RAW域进行 , 让AI计算不再受限于信息量的损耗 , 为整个影像链路输出高质量的图像数据 。 与传统后端计算相比 , 它的实时RAW计算能够带来8dB的图像信噪比提升 。
4.通过双通路设计 , 马里亚纳MariSilicon X首次实现了对RGB和W像素的分隔处理 , 最大化利用每一种像素特性 , 释放出RGBW阵列的全部潜力 。 马里亚纳MariSilicon X的RGBW Pro模式带来了8.6dB的信噪比提升 , 以及1.7倍的解析力提升 , 在传感器尺寸规格都没有变化的前提下实现大幅的影像效果增强 。
总结来说就是 , 在四项前沿技术突破的加持下 , 马里亚纳MariSilicon X以同时支持4K+20bit RAW计算+AI+Ultra HDR的全新规格 , OPPO官方宣称它将“为计算影像树立了全新标准 , 让安卓AI视频首次拥有4K表现 , 也让4K视频 , 第一次拥有AI能力” 。
处理速度|OPPO为何要自研影像NPU芯片?采访OPPO芯片产品高级总监姜波先生
文章图片

那么OPPO为何要自研影像NPU芯片?马里亚纳MariSilicon X研发背后又有哪些故事?带着这些疑问 , 我们特地采访了OPPO芯片产品高级总监姜波先生 。
问:能否介绍一下立项之前 , OPPO对于NPU芯片有着怎样的思考与规划?
姜波:NPU不像CPU和GPU , CPU可能大家都是在用ARM架构 , 但是NPU每家都不太一样 。 我从事半导体行业很多年了 , (我认为)NPU在整个行业里面临两个问题:一是NPU应该用来做什么 , 第二个问题是NPU应该怎么做?我们的马里亚纳MariSilicon X给出了答案 。

推荐阅读