易坊好文馆

  1. 首页 > 玩科技 >

影像|官宣NPU芯片：OPPO马里亚纳首秀 | 赛道Hyper( 四 )

台积电 芯片 处理器 算法 影像 算力 官宣 Sensor 通用 马里亚纳 Hyper 姜波


MariSilicon X带有HDR AI降噪能力令人惊讶 ， 但更重要的是 ， 其所有复杂算法和运算都放在RAW域上 ， 做的是实时RAW域（real time RAW processing）降噪处理 。 一般公共NPU做不到这一点 ， 因为这样做需要极高的算力 。
所谓图像降噪（Image Denoising） ， 是指减少数字图像中噪声的过程 ， 有时又称为图像去噪 ， 目的是提高输出图像的成像质量 。
图像从Sensor输出一个RAW信息 ， 经过图像处理器转换成RGB ， 再转成YUV ， 每一步转换都有信息损耗 ， 图像噪声更复杂 ， 更难以处理 ， 所以在图像处理器前端做去噪处理更合适 。
比如OPPO Find X3 Pro的AI降噪算法放在了YUV上（大部分华为产品也是如此） ， 但算力不够 ， 因此只能做到18bit的HDR ， 同时AI成像有明显时延 。
由于RAW的线性度和色彩更好 ， 保留了更原始的丰富无损耗信息 ， 因此MariSilicon X将AI算法前置到RAW域 。 但在RAW域做实时降噪处理 ， 算法复杂度更高 ， 硬件投入也相应更大 。
这样的投入是否值得？姜波说 ， “OPPO在做投入时 ， 唯一的考量是评估对消费者是否有价值 。 若有 ， 则值得 。 ”
这么做 ， 对于消费者而言 ， 有何体验上的提升？也就是用户价值是什么？
姜波说 ， “配备MariSilicon X方案 ， 至少有8dB信噪比的增强 ， 相当于有2.6倍的提升 。 同时 ， 在4k场景下 ， 图像亮部和暗部的增益不一样：亮部是8dB ， 暗部达到12dB ， 也就是说图像暗部的信噪比可以达到4倍的有效提升 。 ”
有必要做个小结 ， RAW域处理是面向传感器输出最原始的数据 ， 针对其加大算力 。 “通过对最原始数据做处理 ， 才能达到最好的成像效果 。 ”
因此 ， 成像信号的传输路径 ， 先是摄像头传感器（Sensor） ， 再是MariSilicon X ， 最后是Soc环节 。
这里涉及到MariSilicon X和SoC芯片的关系 。
MariSilicon X是一颗独立芯片 ， 解决了一些用SoC芯片解决不了的问题 。 通过跟SoC主芯片相互配合及对SoC成像能力的补充 ， 最终达到了1+1>2的体验效果 。
之所以能成为SoC芯片图形性能的增益独立单元 ， MariSilicon X的工艺制程才需要用台积电的EUV 6nm制程 。
姜波说 ， “如果做完后发现还不如5nm SoC成像的整体效果 ， 那加一颗芯片没有意义 。 同时 ， iPhone本身也是一个标杆 ， 做出来远远不如他们 ， 那也没有意义 ， 这就丧失了我们做一颗芯片的初心和原点了 。 ”
应当说 ， OPPO在提升成像质量道路上 ， 不遗余力 。 那么OPPO追求的智能手机成像效果的标杆是什么？
通过自研独立计算影像NPU ， OPPO希望最终能无限接近单反相机的成像质量 。
实际上 ， 目前绝大多数智能手机终端 ， 在光线充足环境下的成像质量都比较高 ， 但在暗光、夜晚强光源或光线受干扰度较大的场景下 ， 成像质量做不到“所见即所得” 。

推荐阅读


上一篇：设计|消息称闻泰科技拿下三星 2022 年 4000 万台手机 ODM 订单

下一篇：家长|小马AI智能钢琴陪练app，孩子练琴的好帮手