oppo|OPPO首个自研芯片NPU 藏着的计算摄影秘密( 三 )_OPPO首个自研芯片NPU|藏着的计算

张兴也持同样的观点，“要充分发挥NPU算力与ISP结合的价值，需要在设计的最初就将两个IP结合起来设计。如果是买来的IP，两者结合实现好的功能难度很大，即便实现，也会有大量的功耗和芯片面积的浪费。”
因此，马里亚纳 MariSilicon X中的两大关键IP，MariNeuro AI计算单元和MariLumi影像处理单元均是OPPO自研，分别负责提供高AI算力和更好的影像处理性能，也是计算摄影的关键。
AI算力部分，马里亚纳 MariSilicon X的int8性能高达18 TOPS 。之所以要定义一款在终端如此高性能的NPU，原因就是前面提到的马里亚纳 MariSilicon X要有足够的性能带来比通用SoC更好的性能和体验，特别是将AI融入视频拍摄中。
“在视频应用领域，效果稍微好的AI降噪算法，实时处理1080p@30fps视频就需要10TOPS以上的算力，目前这种应用方案还比较少。”亿智电子创始人兼CEO陈峰指出。
如果没有能耗约束，实现高AI性能并不难，但手机处理器的设计，难点在于能耗比。

文章图片

文章图片

要实现高能耗比，芯片制程的选择、架构的设计、性能与功耗的取舍等都非常重要。这也是马里亚纳 MariSilicon X虽然是OPPO的首个自研芯片，但是选择了台积电先进的6nm工艺的关键原因。要知道，设计的芯片工艺越先进，对设计团队的要求越高。如果第一次就想成功，也需要一些运气，而OPPO的马里亚纳 MariSilicon X首次流片就成功。
另外，NPU提升能效比还有一个瓶颈——内存墙。在AI芯片发展几年之后，业界都意识到，NPU数据搬运消耗的能耗远高于数据处理。为此，马里亚纳 MariSilicon X集成奢侈的双层存储，包括万亿比特/秒（Tb/s）级读写速度的内存子系统，以及8.5GB/s的独立DDR带宽的方式，为AI的高效运算提供充分的内存读写支持，在有效减少数据搬运的同时提升能效比。

文章图片

最终，马里亚纳 MariSilicon X在实现18TOPS高算力的同时，拥有11.6TOPS/W的极致能效比表现，运行OPPO AI降噪模型的速度是达到Find X3 Pro（骁龙888）的20倍，能效达到40倍，在业界属于领先水平。

文章图片

芯片行业有这样一句话，“算力代表一切。”
实现了高算力和极致能效比的兼顾，马里亚纳 X发挥自研MariNeuro和MariLumi联合设计的独特优势，最高支持人眼级别的20bit Ultra HDR，能覆盖100万：1的最大亮度范围，是目前行业主流HDR能力的4倍，比最新发布的旗舰通用SoC支持的18bit HDR更加极致。