BEVDet|自动驾驶权威评测世界第一,鉴智机器人推出纯视觉3D感知新范式( 二 )


针对该问题 , 鉴智机器人提出了下一代纯视觉自动驾驶 3D 目标检测框架 BEVDet 。 BEVDet 遵循模块化设计的理念 , 包含以下四个分工明确的模块:图像编码模块用于在二维图像空间提取高纬度的特征;视角变换模块用于把图像空间的特征转换到鸟瞰视角空间(Bird-Eye-View, BEV)的特征;鸟瞰视角的编码模块用于在鸟瞰视角下进一步提取特征;以及一个三维目标预测模块(Head)用于在鸟瞰视角空间对三维目标的定位、尺度、朝向、速度和类别的预测 。 BEVDet 通过上述的四个模块简洁的解决纯视觉自动驾驶 3D 目标检测的问题 。
BEVDet|自动驾驶权威评测世界第一,鉴智机器人推出纯视觉3D感知新范式
文章图片

图 2:BEVDet 整体框架
最后的性能也充分证明了该算法的有效性 , 在自动驾驶权威数据集 nuScenes 上 , BEVDet 在计算量和精度等指标上都具有绝对的优势 。 相比于之前的算法 , BEVDet 通过更小的 1/8 输入分辨率 , 更低的 1/4 的计算量 , 可以达到相近的精度指标 。 在使用相似分辨率输入的情况下 , BEVDet 拥有明显的精度优势 。 此外 , BEVDet 在预测目标的定位、尺度、方向等方面皆表现出超越已有范式的性能 。
BEVDet|自动驾驶权威评测世界第一,鉴智机器人推出纯视觉3D感知新范式
文章图片

图 3:鉴智机器人提出的 BEVDet 在纯视觉 3D 目标检测公开测试集上同时具备高性能和低算力要求的特点
从自动驾驶技术发展角度看 , BEVDet 具有以下的优势:

  1. BEVDet 框架具有较强的扩展性 , 鉴智机器人正基于 BEVDet 进行扩展 , 实现视觉雷达、4D 感知、实时局部地图等自动驾驶关键模块;
  2. BEVDet 基于相机模型构建 view-transformer, 可有效降低视觉变换模块的学习难度 , 相比特斯拉所使用的不带先验的 attention-based-view-transformer , 此方案可大幅度减少模型对数据量需求 , 使模型在数据量有限情况下的具备更强的泛化性能;
  3. BEVDet 利用更低的算力达到同样或者更好的算法效果 , 将有助于自动驾驶系统的算力利用效率的提升 。
BEVDet|自动驾驶权威评测世界第一,鉴智机器人推出纯视觉3D感知新范式
文章图片

图 4:鉴智机器人基于 BEVDet 实车视觉 3D 感知效果
当前自动驾驶技术的发展已经进入下半场 , 一方面需要解决关键性问题(成像问题、3D 问题)推动自动驾驶等级的提升 , 另一方面需要构建更优的范式充分利用规模化的数据并进行持续升级迭代 。
【BEVDet|自动驾驶权威评测世界第一,鉴智机器人推出纯视觉3D感知新范式】鉴智机器人以 “基于软硬协同优化 , 构建机器人传感器计算与智能大脑” 为目标 , 专注自动驾驶传感器计算与下一代自动驾驶方案的研发 。 目前已建立起覆盖算法、算力、软件、硬件的 100 余人的全栈自动驾驶研发团队 , 核心成员均来自国内一流 AI 算法、算力设计和自动驾驶公司 。 将基于视觉为主的传感器输入 , 通过摄像头 + 算法 + 算力的传感器计算模式 , 打造视觉雷达标准产品 , 并构建以视觉雷达为核心的高级别自动驾驶解决方案 。

推荐阅读