从高像素到认知影像,你不知道的那些手机影像发展史( 二 )





首先 , 骁龙805的ISP不再是骁龙800那样的“主副核”设计 , 而是对称的双核心架构 。 这使得它成为了业界第一款真正支持同时驱动两枚主摄 , 实现“对称双摄”成像的旗舰移动平台 。 其次 , 骁龙805的ISP具备前所未有的14bit色彩深度 , 这大幅提升了ISP在处理图像时的信息量 , 特别是大幅增强了大光比场景时的拍照动态范围 。 最后 , 骁龙805的这两颗ISP核心还可以同时运作、使得算力叠加为两倍 , 此时它便具备了惊人的、对5500万像素的处理能力 。
或许当时的消费者对此并没有感觉到有什么特别 , 但站在如今来看 , 骁龙805这样的ISP设计却相当于为后来的“双摄旗舰”、“HDR拍照” , 乃至基于多帧合成的降噪算法铺平了道路 。



在这之后 , 随着智能手机的逐年换代 , 以高通骁龙8系为代表的顶级SoC平台在ISP算力、吞吐量继续稳步提升 。 在它们的驱动下 , 旗舰机型也“理所当然”地跨越了1亿像素大关、实现了8K摄像功能 , 甚至于出现了同时使用两颗大底CMOS的“双主摄”设计 。
2020年12月1日 , 高通方面正式发布骁龙888移动平台 。 而这款SoC的诞生 , 在某种程度上也宣告着旗舰机型在“像素规模”与“主摄数量”上的又一次跨越 。



原因很简单 , 因为骁龙888首次在行业中实现了三ISP的并行处理架构 。 它的每一个ISP核心都拥有27亿像素/秒的处理能力 , 可以独立驱动一颗顶级的主摄CMOS 。 而落实到产品上 , 也就意味着基于骁龙888的旗舰机型可以在相机启动的一瞬间 , 同时让“超广角、广角、长焦”三枚摄像头进入拍摄状态 。



简单来说 , 这就意味着首先无论消费者如何进行“变焦”操作 , 基于骁龙888的旗舰机型都能提供极为流畅、完全没有黑屏、中断的摄像头切换体验 。 其次由于三颗摄像头可以同时工作 , 因此它们可以在各焦段实现影像的融合计算 , 进一步提高变焦过程中的清晰度 。 最后 , 也正是因为这样的ISP设计 , 使得部分手机厂商开始使用多达三枚大底CMOS的“三主摄”设计 , 将顶级影像机型的硬件配置推向了一个更高的高度 。
AI、计算、认知 , 智能手机的影像创新仍未停歇
有了大底、超高像素的CMOS , 有了“双主摄”乃至“三主摄”的堆料变焦、融合变焦设计 , 对于智能手机的影像技术来说 , 就算到头了吗?当然没有 , 因为高通再一次站出来 , 成为了推动手机影像革命的重要动力 。



2021年年底 , 第一代骁龙8移动平台正式发布 。 除了采用了全新的命名、新的处理器架构外 , 它的ISP设计同样也变化颇大 , 甚至可以说是在“基础设计思路”上都发生了巨大的转变 。



首先与上代产品相比 , 第一代骁龙8的ISP基础图像处理规格得到了进一步的增长 。 它所能捕捉的色彩深度从14bit增加到18bit、暴涨了4096倍 , 它的单个ISP核心像素吞吐量从27亿像素每秒增加到32亿像素每秒、从而支持1.08亿像素的30FPS无延迟连拍 , 并且视频捕捉能力也进一步上升、达到了8K HDR级别 。
但这些 , 都还不是重点 。 在第一代骁龙8的ISP里 , 首次迎来了官方“成套的”、深度优化过的 , 丰富的计算摄影功能 。 它们包括但不限于优化超广角成像效果的“超广角引擎” , 优化夜拍效果的“超多帧引擎” , 基于神经网络的AI对焦、AI白平衡、AI面部侦测算法 , 还有专用于视频拍摄的超级变焦算法、视频人像虚化引擎 , 以及针对手机光学镜头缺陷进行补偿 , 可显著优化边缘成像质量的算法引擎等等 。



可能很多朋友都知道 , 早在骁龙820时代 , 高通就已率先在SoC中引入了神经网络处理器、实现了AI加速计算能力 。 但可能不少朋友直到现在才意识到 , 原来整个2022年 , 各手机厂商着重强调“计算摄影”的背后 , 是因为有着第一代骁龙8所具备的大量现成“引擎”方案作为支撑 。



大家以为这就结束吗?当然没有 。 因为就在不久前 , 我们又迎来了全新的、可能是近年来变化最大的旗舰移动平台第二代骁龙8 。 它不只是在CPU架构、GPU硬件光追能力、内存与存储子系统上进行了全方位的升级 , 更是再一次重新定义了顶级智能手机的影像技术方向 , 带来了全新的“认知ISP(Cognitive-ISP)”设计理念 。



何谓“认知ISP”?简单来说 , 以往AI拍照、计算摄影技术的最大缺憾 , 在于它们每一次在处理、认知画面的时候 , 只能辨识出其中的单一对象或场景 。 比如说当你拍摄人像照片时 , 相机会自动切换到“人像模式” , 会自动启动人像虚化算法 。 虽然这看起来似乎很好 , 但实际上在绝大多数的拍摄场景中 , 画面的元素和对象都不可能是单一的 。 比如在拍摄人像时 , 背景里会有蓝天、会有绿草;比如在拍建筑物时房子当然是主体 , 但画面的细节处也可能会有人物、宠物、道路;又比如说在常见的“城市夜景”中 , 黑暗的天空、闪亮的霓虹灯 , 以及街面上高速移动的车水马龙 , 这一切是理所当然会同时出现的 。

推荐阅读