【CVPR2022】循环动态嵌入的视频目标分割

数据派THU

共 502字,需浏览 2分钟

 ·

2022-05-18 23:38


来源:专知
本文为论文,建议阅读5分钟
我们设计了一种新的自校正策略,使网络能够修复存储库中不同质量的掩模嵌入。



基于时空记忆(STM)的视频对象分割(VOS)网络通常每隔几帧不断增加存储库,表现出良好的性能。然而,1)随着视频长度的增加,硬件无法承受不断增长的内存需求。2)存储大量的信息不可避免地会引入大量的噪声,这不利于从存储库中读取最重要的信息。在本文中,我们提出一种循环动态嵌入(RDE)来建立一个固定大小的存储库。具体来说,我们通过提出的时空聚合模块(SAM)显式地生成和更新RDE,该模块利用历史信息的线索。为了避免重复使用SAM造成的误差积累,我们在训练阶段提出了无偏导损失,这使得SAM在长视频中更稳健。此外,由于不准确的网络推断,在内存库中预测的掩码是不准确的,影响了查询帧的分割。为了解决这一问题,我们设计了一种新的自校正策略,使网络能够修复存储库中不同质量的掩模嵌入。大量实验表明,我们的方法在性能和速度之间取得了最好的折衷。代码可在https://github.com/ Limingxing00/RDE-VOS-CVPR2022获得。





浏览 45
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报