ECCV2022|何恺明团队开源ViTDet:只用普通ViT,不做分层设计也能搞定目标检测
视学算法
共 3731字,需浏览 8分钟
·
2022-07-17 09:06
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
导读
做目标检测就一定需要 FPN 吗?来自 Facebook AI Research 的 Yanghao Li、何恺明等研究者在 arXiv 上上传了一篇论文,证明了将普通的、非分层的视觉 Transformer 作为主干网络进行目标检测的可行性。
研究概览
![](https://filescdn.proginn.com/918c2034a75a97353827d02ab3c03fe0/80884ad3f70cc5b84e8ceb67454cbe3a.webp)
![](https://filescdn.proginn.com/ac2295915174cd581210a06edca0fe38/46efab4b5546ca55e9188f22b5ade322.webp)
![](https://filescdn.proginn.com/6a20e884811dca2b9a69903ab2ab2ae2/c1ddea51cbe320d189d659a6323d7234.webp)
方法细节
简单的特征金字塔
![](https://filescdn.proginn.com/8615e8e1377fa80b45c00be0ce500856/e41dbb4e438a82f2a8ca1e95b89f0010.webp)
![](https://filescdn.proginn.com/3499155db79ab60511d60f5ba334bae0/c350062e09624137843bbbfa0f783ef8.webp)
![](https://filescdn.proginn.com/98d0a68d4c539bb6cc34a378f376d01e/9e39e1b89b2caf6e8e18e404e0df14df.webp)
主干网络调整
全局传播。该策略在每个子集的最后一个块中执行全局自注意力。由于全局块的数量很少,内存和计算成本是可行的。这类似于(Li et al., 2021 )中与 FPN 联合使用的混合窗口注意力。
卷积传播。该策略在每个子集之后添加一个额外的卷积块来作为替代。卷积块是一个残差块,由一个或多个卷积和一个 identity shortcut 组成。该块中的最后一层被初始化为零,因此该块的初始状态是一个 identity。将块初始化为 identity 使得该研究能够将其插入到预训练主干网络中的任何位置,而不会破坏主干网络的初始状态。
实验结果
消融研究
![](https://filescdn.proginn.com/17e26920a65972c5fa7b6513b9181b4d/1ea7168bd6c4fdcb7ef259bbf7c87de8.webp)
![](https://filescdn.proginn.com/3a9379af79a2521b05f2d800dd25e806/9424636ca814c0b272cba1a35c0feeb3.webp)
![](https://filescdn.proginn.com/928024286505e1b3b75ce19e8867c052/a7c1339f38583606aa036d2fc723ab42.webp)
![](https://filescdn.proginn.com/ec2a84d3ab6d880bf44eec54c3baf369/2badfda0de05ccc60eada2f14c1230cb.webp)
与分层主干的对比
![](https://filescdn.proginn.com/e3a8c43541f68a6641b2a2b4fa212cdd/5e39610a7cff8fd4ea0202a8c37de7d4.webp)
![](https://filescdn.proginn.com/b00c0737ab974555f138d04f4697699b/25b4f2465abe49c47ded02f794508538.webp)
与之前系统的对比
![](https://filescdn.proginn.com/ea3d9df2ef1e803adaba675a79350f14/3e99f91e7b4773b7d37e0591c8918945.webp)
![](https://filescdn.proginn.com/d0143dd9ca3f78d5b9df5e792aae0cbd/f5538f7681321968b953442dfbdfe96f.webp)
点个在看 paper不断!
评论