芯片|如何突破画质天花板:AI“一年迭代可媲美传统方式十几年”

当我们拿起手机拍照时 , 手机里的“美颜师”ISP(图像信号处理器)进行着庞大的计算 , 以让图像呈现效果接近于人眼实际看到的景象 。 ISP经过十多年迭代 , 人类对图像质量的追求却不会停止 , 画质“天花板”再进一步突破还有没有新方法?
在近期获得A+轮数亿元融资后 , AI视觉芯片初创企业爱芯元智(原“爱芯科技”)创始人兼CEO仇肖莘日前对包括澎湃新闻(www.thepaper.cn)在内的媒体表示 , ISP已发展了近20年 , 经过十几年迭代达到了现在的图片处理水平 , 但传统降噪方式已到了相对极限的地步 。 而以AI模型替代ISP中的降噪等关键模块 , 可以通过不断训练AI模型提升ISP性能 , 增强画质 , 让图像更清晰 。 仇肖莘表示 , 这突破了图片质量提升的“天花板” , “一年迭代的程度可媲美传统方式十几年的迭代效果 。 ”

芯片|如何突破画质天花板:AI“一年迭代可媲美传统方式十几年”
文章图片

爱芯元智成立于2019年5月 , 两年完成三轮融资 , 总融资金额超10亿元人民币 , 并在近期宣布完成品牌升级 。 与目前业内着眼于云端AI训练和推理的火热的GPGPU赛道不同 , 爱芯元智面向边缘侧和端侧研发AI视觉推理芯片 , 并自主研发面向推理加速的神经网络处理器 。
【芯片|如何突破画质天花板:AI“一年迭代可媲美传统方式十几年”】ISP主要是用来对前端图像传感器输出信号处理的单元 。 爱芯元智将AI技术引入ISP , 其第一颗AI ISP芯片AX630A去年5月流片 , 去年12月正式量产 。 第二颗AI ISP芯片AX620A今年5月流片 , 7月下旬回片并顺利点亮 。 这两颗SoC(系统级芯片)均采用12nm制程 , 其中AX630A在INT4情况下等效算力28.8T , 功耗约3瓦 。
仇肖莘对澎湃新闻表示 , 与手机成像后再用抠图、美颜、虚化不同 , 将AI技术引入ISP是从前端处理图片 , 这种方式过去研发较少 , 原因在于其所需要的算力更大 。 NPU(嵌入式神经网络处理器)擅长处理视频、图像类的海量多媒体数据 , 爱芯元智使用特殊的NPU设计 , 利用混合精度 , 能在单位面积内提供数倍于传统NPU的等效算力 , 同时保持低功耗 。
仇肖莘表示 , AI视觉芯片应用场景非常广泛 , 包括智能穿戴、智能家居、智慧城市、自动驾驶等都 。 “比如翻译笔上的摄像头一扫就能连续拍摄多张图片 , 把这些图片拼成一行 , 再用AI处理 。 ”
她举例说 , 手机短视频放在4K电视上播放就会显得画质差 , 但如果用AI技术将1080P或720P的视频源超分成4K或8K , 就可以展现出较完美的效果 。 她说 , 目前爱芯元智正在研发下一代AI技术 , “让芯片达到更高算力 , 支持比如8K30帧的图像处理 。 ”
“视频一秒钟30帧 , 每一帧图像的处理时间只有33毫秒 。 怎么在33毫秒内把降噪、高动态的处理都做完 , 其实这是最有挑战性的工作 。 ”

推荐阅读