系统|ICRA 2020 | 基于无重叠视域车载多相机系统的相对位姿估计方法_视域|算法|单目|车辆|特征|算法

Jiangmen
作者：澳大利亚国立大学在读博士生王一夫
本文为ICRA系列文章专题第·7·期，欢迎广大群友来投稿！戳这里获取投稿方式。
作者是澳大利亚国立大学在读博士王一夫。本文将分享作者及其团队在ICRA 2020上的最新工作：一种基于车载无重叠视域多相机系统的位姿估计方法，该方法在真实数据和仿真数据上的表现都优于以往的算法。
文末有国庆互动中奖名单，快看看你是不是那个抱走大礼包的幸运儿！

文章图片

视频地址：
https://youtu.be/mtqFAzmh9E4
一、引言
在无人驾驶系统中，对车辆运行环境的实时感知与定位是实施决策和控制的基础，相关的感知技术和车辆位姿估计方法也是学术界和工业界的关注重点。为满足实时性、准确性、鲁棒性、可靠性等要求，无人驾驶车辆通常配备有视觉相机、惯性测量单元（IMU）、激光雷达和全球定位系统（GPS）等多种传感器。其中，视觉相机能够感知的外界信息最为丰富，如车辆周边景物的色彩、结构、纹理以及一些语义信息（如：道路、行人、交通标识等），因此视觉相机是无人驾驶车辆的基本配置。
相比于人类驾驶员在同一时刻只能观测某一方向的交通状况，无人驾驶技术更期望实现对车辆周边环境的360度全方位无死角实时感知。由于单个相机的视场角有限，因此无人驾驶系统越来越多的采用由多个视觉相机组成全景成像系统。为便于对多相机成像系统采集的图像信息进行分析与运算，需要将多个相机的图像信息转换到同一个坐标系下进行描述。在保证相机环视无死角的前提下，为降低系统成本，通常会将有限数量的相机以环绕的方式安装在车身上，在此配置下各相机之间一般没有（或只有很小的）视野重叠区域。
这些实际情况使得无重叠视域相机系统的位姿估计区别于传统单目和双目相机运动估计算法。若简单的照搬现有算法，在实际应用中会产生诸多问题。例如运算效率低、算法鲁棒性差、计算结果准确度差等缺陷。具体表现为：
（1）传统6点法[1]会获得64组解且没有利用车辆运动模型约束，计算复杂度较高，不适用于实时处理。
（2）传统17点法[2]使用过多特征点，对噪声及外点容忍度较差，算法鲁棒性不足。
（3）一些算法[3]甚至会在基于平面的非完整运动(non-holonomic motion)出现退化(degenerate)
（4）基于车辆运动模型的1点算法[4]和其延伸的2点算法[5] ，利用的运动模型过于理想，在实际应用中准确度较差。
针对上述技术问题，我们提出一种基于车载无重叠视域多相机系统的位姿估计方法，其为单纯frame-to-frame的relative pose估计，在真实数据和仿真数据上的表现优于上述算法，可以进一步嵌入完整的SLAM框架来提升系统的表现。
二、提出的方法
我们提出的方法包括以下步骤：
1. 通过随车辆移动且标定好内外参数的多个车载单目相机同步采集环境图片。
2. 检测每一个车载单目相机所采集图片中的特征点并进行追踪，对相邻帧的特征点进行匹配，获得特征点对。

文章图片

图1 相邻帧之间几何关系示意图
3. 通过车载单目相机的内参数，计算出与特征点对对应的三维特征点在同一车载单目相机j坐标系下相邻两帧时刻的方向向量对, ，相邻两帧之间单个相机的相对旋转量、相对平移量与相应的方向向量对,满足对极几何约束通过相邻两帧之间单个车载单目相机的相对平移量与所有方向向量对,构成的对极平面法向量的正交关系，获得对于单个相机位姿的第一优化目标函数：

文章图片

为第i个方向向量对,构成的对极平面的法向量。
4. 将上述第一优化目标函数中的变量通过如下第二优化目标函数转换到多相机系统中心坐标系下进行表达：

文章图片

其中，

文章图片

,

文章图片

为车载单目相机j到多相机系统中心的相对旋转量，由外参数计算获得，为在相邻两帧时刻之间多相机系统中心的相对旋转量， λ为矩阵的特征值，为权重，初始为1 。
5. 通过迭代估计算法(Levenberg-Marquard)对第二优化目标函数进行迭代优化，获得最小特征值对应的，此时车载单目相机j的矩阵的最小特征值即为该相机在相邻两帧时刻之间的相对平移量，进而通过该相机的外参数解得在相邻两帧时刻之间多相机系统中心的相对平移量，即获得车辆位姿和。
6. 通过RANSAC算法筛选原图像中匹配良好的特征点对，以匹配良好的特征点对对应的方向向量对,之间的异面直线距离作为几何误差，以上一步获得的车辆位姿作为初值，建立第三优化目标函数：

文章图片

并以几何误差为loss function ，通过迭代估计算法(Levenberg-Marquard)对车辆位姿做进一步优化。
三、实验表现
我们在模拟数据和真实数据（室内数据由地面机器人获得，室外数据由装备了无重叠视域的环视多相机系统的车辆获得）上对算法进行了验证，表现结果如下：
利用模拟数据，我们算法与先前提到的文献[1]-[5]中的方法进行比较，测试了在不同运动的情况下（直线/匀速转弯/变角速度曲线运动等）的表现，结果表明我们的算法在准确度上优于上述提到的方法，见下图。

文章图片

图2 模拟数据计算结果对比准确度
同时我们还将提出的基于object-spacedistance的frame-to-frame的优化方法和传统的2-view bundle adjustment方法进行比较，结果证明我们的方法在保持近乎一致准确度的同时，所需计算时间仅后者的十分之一。

文章图片

图3 模拟数据计算结果对比计算效率
关于算法的鲁棒性，该算法相比于其他方法可以最大程度保留正确匹配的特征点对，同时还能保持很好的运算效率。

文章图片

图4 模拟数据计算结果对比鲁棒性
我们也用真实数据对算法进行了测试，实际测试的解算位姿与相机真实旋转量的结果对比示意图如下图所示，其中， x轴代表时间（秒）， y轴代表位姿中的旋转量， ME为我们方法的计算结果， ground truth为外部测量系统测得的相机系统真实旋转值，所有方法均为relative pose连续估计的结果，没有引入任何利用多帧信息进行的后端优化（例如sliding-windowBA）。从图中可以看到，在存在误差积累的情况下，该算法的计算结果依旧与真实值非常接近，而现有其他方法的计算结果则与真实值有较大的偏差。

文章图片

图5 真实数据计算结果对比
四、视频Demo
希望进一步了解该工作的朋友请点击下方视频。也欢迎大家关注上海科技大学MPL实验室的其他相关研究工作。
参考资料
[1] H.Stewe ?nius and D.Niste?r. Solutions to Minimal Generalized Relative Pose Problems. In Workshop on Omnidirectional Vision (ICCV), Beijing, China, 2005.
[2] H. Li, R. Hartley, and J.-H. Kim. ALinear Approach to Motion Estimation using Generalized Camera Models. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),pages 1–8, Anchorage, Alaska, USA, 2008.
[3] L. Kneip and H. Li. Efficient Computation of Relative Pose for Multi-Camera Systems. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Columbus, USA, 2014.
[4] D. Scaramuzza, F. Fraundorfer, and R. Siegwart. Real-time monocular visual odometry for on-road vehicles with1-point RANSAC. In Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2009.
[5] G. H. Lee, F. Faundorfer, and M.Pollefeys. Motion Estimation for Self-Driving Cars With a Generalized Camera.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pages 2746–2753, 2013.
//
作者介绍：
王一夫，澳大利亚国立大学(Australian National University)在读博士，指导老师Laurent Kneip教授和李宏东教授，本科毕业于北京理工大学，目前是上海科技大学（ShanghaiTech）MPL实验室访问博士生。研究方向为visual-SLAM及event-based camera的视觉算法。
个人邮箱：usasuper@126.com
课题组网页：
【系统|ICRA 2020 | 基于无重叠视域车载多相机系统的相对位姿估计方法】http://mpl.sist.shanghaitech.edu.cn/

系统|ICRA 2020 | 基于无重叠视域车载多相机系统的相对位姿估计方法

推荐阅读

如何找寻自我

缝纫机调线器怎么安装平车方法如何

强组词强字组词

火笋鸡翅的做法（增肥食谱）

闺女生日快乐祝福语朋友圈

LV请来潮牌设计师做艺术总监，看中的是啥

老虎豆怎么做好吃老虎豆图片怎样弄来吃

暖气有流水声是什么原因

皮球是什么体

手机怎样开通QQ空间

男生发mua说明 mua是什么意思

手指盖凹陷怎么回事

对自己的生活失去掌控咋调整

小米10s怎么没有月亮模式

我想找个偏僻的地方搞养殖！有没有推荐的地方？

南京养老金认证上门服务怎么申请南京市养老金认证

如何评价猪场阉割猪？

最后一个字是豹的成语

泰山散酒怎么样

猫发情的声音(猫发情的叫声)