论文简述 | FlowFusion：基于光流的动态稠密RGB-D SLAM

动态环境对视觉SLAM具有挑战性,因为移动对象遮挡了静态环境特征并导致错误的摄像机运动估计.在这篇文章中,我们提出了一个新的密集的三维立体模型解决方案,同时完成了动态/静态分割和相机自我运动估计以及静态背景重建.

我们的创新之处在于使用光流残差来突出RGBD点云中的动态语义,并为摄像机跟踪和背景重建提供更准确和有效的动态/静态分割.在公共数据集和真实动态场景上的密集重建结果表明,与现有方法相比,该方法在动态和静态环境下均取得了准确和高效的性能.

机器人的同时定位和地图是从未知环境中获取信息,建立地图,并在地图上定位机器人.无论在机器人学还是计算机视觉研究领域,动态环境都是实现SLAM的一大难题.这是因为现有的大多数SLAM方法和视觉里程计解决方案都是基于静态环境假设来保证其鲁棒性和效率的.当动态障碍物出现或观测环境发生变化时,这些方法不能提取足够可靠的静态视觉特征,从而导致特征关联不足,导致不同摄像机姿态之间的运动估计失败.为了处理动态环境,可视化SLAM的一个简单的想法是从输入数据中提取动态部分,并单独处理它,以应用静态SLAM.

近年来,基于深度学习的图像分割和目标检测方法得到了快速发展,在效率和精度上都有了很大提高.许多研究者试图通过语义标注或对象检测预处理来处理动态环境,以去除潜在的动态对象.这些方法在处理特定动态对象的特定场景中显示了非常有效的结果.然而,当未知动态对象出现时,它们的鲁棒性可能会下降.考虑到更广义的动态特征,我们研究了描述各种动态对象的流动方法,如三维点云中的场景流动和2D图像中的光流.Flow方法是估计给定图像对或点云数据之间的像素运动.这些方法对微小的运动很敏感.然而此方法需要复杂的penalty设置,并且受到分割边界不清晰的影响.

在本文中,为了摆脱预先已知的动态对象假设,我们通过基于流的动态/静态分割来处理动态SLAM问题.与现有方法不同,我们提出了一种新的基于光流残差的动态分割和密集融合的RGB-D SLAM方案.该方法通过改善动态因素的影响,在当前的RGB-D帧中有效地提取动态片段,然后精确地重建静态环境.此外,在真正具有挑战性的人形机器人SLAM场景上的演示表明,所提出的方法优于其他先进的动态SLAM解决方案.

论文地址

https://arxiv.org/pdf/2003.05102.pdf

输入两个连续的RGB-D帧A和B,RGB图像首先被馈送到PWC-net用于光流(黄色箭头)估计.同时,强度和深度对A和B被馈送到鲁棒相机自我运动估计器,以初始化相机运动ξ,然后,我们用ξ将帧A映射到A’,并获得投影的2D场景流,然后将其应用于动态分割.经过几次迭代,静态背景实现重建.

下图是投影的2D场景在图像平面中流动, 是帧A中的一个对象点投影像素，是帧B中的同一个3D点(属于移动对象).红色箭头表示场景流,这是世界空间运动.蓝色箭头是中的光流.绿色箭头是图像平面中投影的2D场景流,黄色向量是摄像机自身运动产生的流.

下图是迭代估计动态场景中的2D场景流.(a)是机器人向左移动而人类向右移动的场景.(b)是根据(a)的图像对估计的光流.颜色表示流动方向,强度表示像素位移.蓝色的流动是相机自我运动的结果.我们从光流中减去自我流,得到像平面上的场景流分量,如(c)所示.在(b)中迭代地移除场景流和,在7次迭代之后就可以获得更好的2D场景流结果,如(d).

下图是TUM fr3_walking xyz序列的比较实验.比较了JF、SF、PF和提出的FF方法的动态分割性能.蓝色部分在JF和SF是静态的.红色部分在PF和FF中是静态的.第一行是输入的RGB帧,其他行是每种方法的动态/静态分割结果,最后一列显示背景重建(JF除外,它没有提供重建功能).

结果:

在HRPSlam 2.1序列上的流融合实验结果,黄色部分是估计的动态对象.在这个序列中,HRP-4人形机器人安装一个RGB-D传感器.首先移动到他的左侧,然后向右转动.这些数据集包含丰富的快速旋转运动和抖动,这使得难以获得光流残差.脚部分被分割成静态背景,因为在行走阶段,地面上的支撑脚很容易被视为静态对象.虽然扫地脚移动得很快,并保留了大量的光流残余,但它们离坚硬的地面太近了.因此,由于图的连通性,它们很容易被分割成静态背景.

在本文中,我们提出了一种新的密集的三维立体匹配算法,该算法可以联合计算出动态片段和重建静态环境.新提供的动态分割和密集融合公式应用了先进的密集光流估计器,提高了动态分割的精度和效率.