基于相关学习的多目标跟踪
摘要
最近的研究表明，卷积网络通过同时学习检测和外观特征，大大提高了多目标跟踪的性能。然而，由于对卷积网络结构本身的局部感知，无法有效地获得空间和时间上的长期依赖关系。为了结合空间布局，我们提出利用局部关联模块来建模目标与其周围环境之间的拓扑关系，从而提高模型在拥挤场景中的识别能力。具体地说，我们建立了每个空间位置及其上下文的密集对应关系，并通过自我监督学习明确地约束相关量。为了利用时间上下文，现有的方法通常利用两个或两个以上的相邻帧来构建增强的特征表示，但动态运动场景本质上难以通过cnn描述。相反，本文提出了一种可学习的相关算子来在不同层的卷积特征映射上建立帧对帧的匹配，以对齐和传播时间上下文。通过在MOT数据集上的大量实验结果，我们的方法证明了相关性学习的有效性和优越的性能，并在MOT17上获得了最先进的MOTA为76:5%和IDF1为73:6%。
我们做出了以下贡献:
我们提出了一种统一的相关跟踪器CorrTracker来集中地建模对象之间的关联，并通过关联传递信息。
提出了一种局部结构感知网络，通过自监督学习提高了相似对象的可辨别性。
我们将局部相关网络扩展到有效地建模时间信息。
CorrTracker在四个MOT基准测试中显示了比现有的最先进结果显著的改进。特别是在MOTA 17上，我们实现了76:5%的MOTA和73:6%的IDF1。
框架结构
概述
通过相关层对外观特征进行增强，将对象的成对关系及其时空邻域密集编码。局部相关量以自监督方式进行优化。
在参考图像中的指示目标(白叉)和查询图像的所有位置之间计算的匹配置信度(a)-(b)的可视化。基于外观特征的跟踪器[58](a)由于存在相似的干扰物而产生不显著和不准确的置信度。相反，我们的相关跟踪器(b)通过相关学习(c)在正确的位置预测出一个明显的高置信值。
多金字塔层次的相关性
实验结果
帧从MOT17- 03采样
我们的CorrTracker可以通过挖掘目标周围的上下文模式来识别对象。
每个边界框的颜色表示目标标识。每个边界框下面的虚线表示每个目标的最近轨迹。该跟踪器预测轨迹具有很大的鲁棒性和时间一致性。
结论
我们的相关模块密集地匹配所有目标与他们的局部上下文，并从相关体学习有区别的嵌入。此外，我们展示了如何扩展相关模块从空间布局到邻近的帧，以加强时间建模能力。我们探索了自我监督学习对关联量施加区别性约束，它显式地预测实例流。对四个MOT挑战的广泛实验表明，我们的CorrTracker达到了最先进的性能，在推理方面是有效的。
论文链接：https://arxiv.org/pdf/2101.02877.pdf
双一流高校研究生团队创建 ↓
专注于计算机视觉原创并分享相关知识 ☞
整理不易，点赞三连！