易坊好文馆

  1. 首页 > 玩科技 >

检测|基于双目视觉的目标检测与追踪方案详解( 三 )


这里需要说明一下 ， 对于多目摄像头对环境信息的探测来说 ， 一般需要考虑两个摄像头必须保持一致的内参信息 。 其中包括焦距、主点、畸变量等 。 自动驾驶系统感知过程中 ， 经常会遇到一个比较经典的问题 ， 那就是如果采用两颗单目摄像头 ， 且该两颗摄像头并不是完全相同的 ， 甚至该两颗摄像头一个近焦广角 ， 一个远郊窄角 ， 是否可能在保证单目探测性能的同时实现更多的双目深度探测功能？
这里我们需要注意如果依赖对极约束 ， 实际上是将两个相机的投影矩阵相对于图像点进行了相应的位置约束 ， 而投影矩阵是内参与外参的乘积归一化 ， 所以从理论上讲 ， 无论两个相机内参和外参如何变化都应该满足对极约束 。 也就是说在其中一个相机中投影点一定能够在另一个相机中找到相应的投影位置 ， 这就使得两个点加上环境点所确定的三角形可以约束整个相机平面点的搜索范围 ， 从而通过三维重建可以完全确定环境点坐标位置 。
然而 ， 事实是在自动驾驶动态场景和高精度场景下 ， 该方案无法实现很好的探测能力 ， 因为同步性和一致性不太好 。 比如曝光起止时间无法做到很好的同步 ， 同时曝光区域也无法做到很好的同步 ， 这就会造成成像尺寸、清晰度、时间不一致 。 在后期 ， 可以通过微调来大致同步起始曝光时间 ， 但针对多种场景无法保证都可用 。 比如在通过对极约束解方程时 ， 对大目标（如大货车、大巴车、大卡车等）可以有一定量的深度测量 ， 而对小目标的精细测量却是不可行的 。
传感器外参标定
传感器融合的第一步是将来自各个子系统的测量值注册到一个共同的参考框架 ， 传感器之间几何偏移的不准确估计将导致错误配准 ， 从而影响感知性能 。 一般的 ， 描述传感器之间的对齐参数称为外部参数 。 本节将描述用于确定传感器外部参数的标定方法 。
理想的几何形状意味着独特的对极线对是平行的 ， 并且共轭对不会做垂直偏移 ， 这使得能够在立体图像对的适用行上简单地执行对应搜索 。 具有这些理想特性的立体图像称为校正 。 立体校正的过程涉及通过图像处理程序对两个图像进行变换 ， 校正还需要了解两个相机之间的物理排列 ， 即外在参数 。 与内在相机校准一样 ， 用于计算立体视觉设置的外在参数的标准方法可以参照当前一些文献获得 。
首先关键的问题是估计两个摄像头传感器参考系之间的刚体变换 ， 获取描述这种变换的外在参数的最简单方法是通过物理测量几何排列 。 然而 ， 由于难以准确地确定各个传感器的实际起源 ， 这样的过程可能会导致较差的估计 。 改进的估计应该来自自动校准方法 ， 其中传感器需要测量相同的目标 。 然后可以将校准转化为参数优化问题 ， 以求解外部参数 。 优化过程可通过将摄像头结合雷达探测目标的参数融合校准过程进行 。

推荐阅读


上一篇：纵向|华为京东超级品牌日开启，时尚达人不要错过华为P50宝盒！

下一篇：都蛮|宝盒 P50 Pocket正式发布了，这上手效果可以吧？