文章图片
高通公司多媒体研发高级工程总监Ananth Kandhadai
沉浸式体验的新时代已经来临 ， 这在很大程度上得益于计算机视觉技术的引领 。 无论是模糊用户背景的虚拟呼叫 ， 还是在公路上成功实现自动驾驶的汽车 ， 计算机视觉技术的进步正在变革人们的生活方式 。
二十多年来 ， 高通公司多媒体研发高级工程总监Ananth Kandhadai一直是发明各类计算机视觉和人工智能技术的领军人物 。 自1996年加入公司以来 ， Ananth的研究领域包括语音编码、图像处理、深度学习、视觉硬件加速、功率约束的系统设计 ， 以及增强现实/虚拟现实(AR/VR)系统解决方案 。 目前 ， 他领导着一个工程师团队 ， 专注于研发面向扩展现实（XR）应用的计算机视觉和摄像系统 。
Ananth来自印度 ， 在卡利卡特国立技术学院获得电子工程学士学位后 ， 他前往美国 ， 并在弗吉尼亚理工大学获得了电子工程硕士学位 。 在那之后 ， 他面临着一个选择：继续深造并攻读博士学位 ， 或者在高通开始他的工程师生涯 。 他选择了高通 ， 并开始了对移动语音编码和标准化的研究 。 Ananth认为他做出了正确的决定 ， 并表示与选择学术界相比 ， 他在高通学到更多 ， 成长得更快 。
多年来 ， 由Ananth引领的一些创新性发明包括：使智能手机摄像头能够基于用户的环境变化来启动应用程序 ， 以及在语音编码和图像与信号处理领域的大量工作 。 如果没有Ananth的技术突破 ， 我们可能无法享有目前的一些智能终端和丰富的多媒体体验 。
近期我们与Ananth进行了深入交流 ， 谈到了他在加入高通技术公司后 ， 在信号处理和计算机视觉交叉领域的杰出职业生涯 。
在加入高通的25年里 ， 您主要研究哪些技术？
我在高通的一半以上的时间都在从事语音编码和标准化领域的工作——总体来说 ， 就是面向手机的语音压缩技术 。 蜂窝和卫星通信是我从1996年起就开始从事的工作 ， 后来我转向了研究图像处理和计算机视觉 。
长期以来我一直将信号处理作为核心研究领域 ， 将其应用于语音编码、语音压缩和语音处理 。 之后 ， 我转向了影像处理和计算机视觉领域 。 目前 ， 我正在研究面向XR和一些其他显示和渲染方面的特定计算机视觉应用 。
我的工作变动也反映了高通公司的发展历程 。 在我刚加入工作时 ， 无线手机用户数量要少很多 ， 所以那段时间我长期参与系统扩容 。 当用户数量提升之后 ， 我们逐渐开始新的布局 ， 于是我们说：“好吧 ， 让我们来增加一些拍照手机 。 ”如果你还记得早期那些翻盖手机 ， 应该有印象 ， 它们的摄像头很小 。 大家最初看到拍照手机爆发式增长的时候 ， 我正在从事相关工作 ， 遇到过许多不同的技术挑战 。
几年后 ， 当那些摄像头需要变得更智能时 ， 我就专注于运用计算机视觉——一种使计算机能够检测现实世界中的物体 ， 并对其做出反应的功能 。 随着我们迈入应用计算机视觉的新世界 ， 我就转而研究未来可用于XR（扩展现实）应用的技术 。 我专注研究的技术领域与高通的技术重点同步转换 ， 这并非巧合 。
对于那些可能不太了解计算机视觉的人 ， 您能通俗地解释一下它是什么以及为何重要吗？
试想一下人们佩戴眼镜——比如矫正镜片 ， 每个人都了解矫正镜片 。 人们佩戴它 ， 是为了更清晰地观察世界 ， 对吧？简单来说 ， 人们在头上佩戴某些东西是为了更好地观察和感知世界——在某种程度上 ， 这增强或扩展了现实世界 。
计算机视觉是一种数字化方式 ， 用于感知、记录和理解单个摄像头或一系列摄像头所生成的可视数据 。 比如 ， 找到人眼自然识别的模式 ， 或是太微妙、甚至人眼无法察觉的数据模式 。 无论是自动驾驶汽车的障碍识别功能 ， 还是在虚拟通话中区分前景背景的功能 ， 从根本上来说 ， 它都是通过创建用计算机解释可视数据的方法来实现的 。
随着终端变得更加智能 ， 它需要自动分析出这些模式 。 终端需要像一个数字化的助理一样 ， 感知用户及其周围环境 。 此类自动感知技术要求终端具备智能计算机视觉功能——几乎像第三只眼睛一样 ， 来提供无缝用户体验 。 这就是计算机视觉对所有不同的应用都至关重要的原因 。
文章图片
在研究应用计算机视觉的过程中 ， 您遇到过哪些技术挑战？您是如何努力应对挑战的？
人们可能会说：“哦 ， 这就好像多了一双眼睛” 。 但是眼睛本身很容易复制——它只是光的接收装置 。 难点在于复制眼睛后面处理信息的大脑 。 大脑是神经科学和意识的经典研究领域 ， 人们如何感知现实这个问题甚至尚未被完全了解 。 但这正是我们试图在机器上复制的东西 。 在不经历数百万年进化的情况下 ， 研究与人类头脑具有相同可靠性水平的终端 ， 这是第一个挑战 。
高通正在解决的最重要的问题是 ， 当在用户在头上佩戴XR终端这样的设备时 ， 需要保证设备是轻便的 ， 不能过热 ， 它的功耗也必须非常低 。 这意味着不能只用大量算力和内存来解决计算机视觉和感知等方面的难题 。 终端必须足够轻便和凉爽 ， 才能使用户舒适地将其佩戴于头部 ， 这归根结底涉及到功耗效率的创新 。
【语音|对话高通发明家Ananth Kandhadai：以技术助力开拓智能终端新时代】功耗和计算复杂性总是彼此冲突 ， 但可用性要求二者针对不同的消费终端外形进行同步优化 。
计算机视觉在不同应用中有何不同 ， 比如汽车驾驶辅助、无人机、机器人和XR？
本质上讲 ， 这些不同的应用在所处理的基本任务上是相似的 。 例如 ， 了解XR终端用户的头部位置或摄像头的位置 ， 与汽车在自动驾驶时需要了解周围环境 ， 或无人机在自动驾驶模式下跟踪物体都非常相似 。 以上所有产品的摄像头和视觉系统都需要明确终端周围的实际情况 。 因此 ， 将人工智能（AI）技术用于物体检测、3D重建、地图构建、物体识别、头部追踪和眼动跟踪等不同用例 ， 从概念上看都非常相似 。 无人机用例略有不同 ， 因为在物理上操控者已经脱离机器本身 ， 机器中没有人 。
然而 ， 这里还存在着其他方面的因素 ， 导致计算机视觉对各个用例来说都有本质的不同 。 这就是为什么很难拿出一个万能的解决方案 。 可以打个比方 ， 你可以说人类、猎豹和花豹都有四肢和嘴 ， 都是肉食性动物 。 它们是有相似性的 ， 但又有着需要针对各自不同的环境和情况进行的不同优化 。
汽车上有牢固安装的摄像头 ， 其技术重点是影像的稳定性 。 汽车通常只在路面上行驶 ， 但它们行驶的速度很快 。 最重要的是 ， 汽车计算机视觉中 ， 错误的代价在车上更具灾难性 。 这让该项技术变得很难 ， 但也更具可预测性 。
相比之下 ， 把一组类似的摄像头放在用户头上就不一样了：用户可能身处任何地方 ， 不断地以不可预测的模式移动头部 ， 这让头部摄像头看到的场景比车载摄像头看到的更加难以预测 。 在这个意义上 ， XR头显和汽车计算机视觉系统提出的假设有些许不同 。 基本技术保持不变 ， 但它们的工程设计方式使其成为完全不同的问题 。
而最终 ， 尽管我们解决问题的方法可能截然不同 ， 但当涉及到我们芯片组的实际架构变化时 ， 这些不同领域之间其实存在着许多协同效应 。 我们常常发现 ， 在架构层面针对一个用例所做的决定 ， 最终会有助于实现另一个用例 。
高通如何支持您的工作 ， 公司通过什么方式帮助您创造这些计算机视觉技术？
我很幸运能在高通工作 ， 因为我们在连接、应用处理器和智能手机平台方面有成熟的业务 。 这使我们处于一个有利位置 ， 让我的团队能够专注于计算机视觉的技术层面 ， 比如感知和渲染 ， 从而建立有效方式 ， 让客户和最终用户获得这些技术功能 。
高通还与计算机视觉相关领域的主要行业领导者保持着良好的关系 ， 这有助于我们在努力解决的根本性问题上保持一致 。 我能够解决很多问题 ， 但其中的大量问题可能不是实际问题 。 围绕实际问题进行协作、制定规范是很重要的 ， 而与其他公司保持良好关系有助于我们做到这些 。
总体而言 ， 高通积极地推动我们团队提出的解决方案 。 公司会采用相关解决方案 ， 寻找方法将其转化为商机 ， 这需要解决方案的路线图 ， 并且有助于使我们的产品与其他公司形成差异化 。 同样地 ， 业务团队会给我们带来一些挑战 。 他们与客户交流获取市场需求 ， 然后给我们时间去思考和实现这些需求 。 尤其对于XR这样的应用 ， 它的业务规模还无法与智能手机相比 。 但高通有着长期愿景 ， 并且鼓励我们去实现 。 这使我们能够专注于技术 ， 而不是仅仅试图弄清这些技术如何实现商业化 。
最后 ， 高通有许多团队致力于从各个方面研究和设计行业领先的系统级芯片（SoC） ， 这让我们能够与公司其他部门的不同团队合作 ， 来分享和利用在其他情况下很难获取的知识 。 公司的流程允许我们向其他团队提供建议 ， 并在不同应用中根据不同目的使用他们的工作成果 ， 而协作是这个流程中必须的 。 结果证明 ， 这样的协作大有裨益 。
对于希望在语音识别或计算机视觉技术领域开展职业生涯的年轻发明家（他们或许还在上学） ， 您会给他们什么建议？
根据我自己的经验 ， 我建议将发明看作是解决现实问题的附带结果 。 专注于解决难题 ， 并且相信那些难题将把你引向创新性的解决方案 。 如果你发现了其他人尚未解决的问题 ， 我认为这就值得你花时间去解决 。 虽然会有风险 ， 人们没能解决它可能是有原因的 ， 但这些问题通常是值得去研究的 。 很可能会有贪多嚼不烂的问题 ， 但我认为这不值得担忧 。 持续不断地去调整和改进就好了 ， 永远不要低估自己的想象力和创造力 。 某个问题没有被解决并不能说明什么——或许它恰好就在等待你去研究 。 研究任何事物都需要新视角 ， 尤其是那些“尚未解决”的问题 。
归根结底 ， 重要的是去正确地解决问题——不必专注于寻找华而不实或另辟蹊径的解决方案 。 根据我的经验 ， 创新很有可能来自于解决那些难题 。 在我们申请专利时 ， 这个原则也很有用 。 专利部门会评估一项技术的创新性和影响力 ， 也会参考其新颖性和实用性 。 所有这些评估专利是否有用的指标 ， 都以你要解决的问题为基础 。
推荐阅读
- 翻译器|Meta宣布将建立一个AI驱动的“通用语音翻译器”
- 社交|扎克伯格：Meta正在为元宇宙研发AI语音助手
- 软件|HomePod 15.4 Beta软件更新支持荷兰语Siri语音识别
- 证监会|高通将三星部分4纳米骁龙8 Gen1代工订单转交台积电；证监会同意中复神鹰IPO注册 | 思维独角兽
- Qualcomm|新一轮泄露介绍了高通Snapdragon Wear 5100平台细节
- 语音|蓝色光标子公司上线数字人驱动平台“分身有术”
- Qualcomm|报道称采用三星4nm工艺的高通骁龙8 Gen 1芯片良率低至35%
- 代工厂|消息称台积电获得大量 7nm 以下芯片订单，包括高通所有 3nm AP
- 意思|【SoC】天玑8000/8100新机下月发 对标骁龙888 高通中端摆烂？
- 视点·观察|对话外卖平台商家：对抽佣规则早有怨言 看似降低实际更贵