【论文解读】CVPR 2021 | 旷视提出GID：用于目标检测的通用实例蒸馏

作者单位：旷视科技, 北航
论文：https://arxiv.org/pdf/2103.02340.pdf

近年来，知识蒸馏已被证明是模型压缩的有效解决方案。这种方法可以使轻量级的学生模型获得从繁琐的教师模型中提取的知识。但是，以前的蒸馏检测方法对于不同的检测框架具有较弱的泛化性，并且严重依赖ground truth（GT），而忽略了实例之间的宝贵关系信息。

因此，我们提出了一种新的基于鉴别性实例的检测任务的蒸馏方法，该方法不考虑GT区分出的积极或消极，这称为通用实例蒸馏（GID）。

我们的方法包含一个通用实例选择模块（GISM），以充分利用基于特征的，基于关系的和基于响应的知识进行蒸馏。

General Instance Distillation

先前的工作[34]提出对象附近的特征区域具有相当多的信息，这对于知识的提炼是有用的。然而，我们发现，不仅对象附近的特征区域，而且甚至来自背景区域的区分斑块都具有有意义的知识。基于此发现，我们设计了通用实例选择模块（GISM），如图2所示。该模块利用教师模型和学生模型的预测来选择要蒸馏的关键实例。 

此外，为了更好地利用老师提供的信息，我们提取并利用了基于特征，基于关系和基于响应的知识进行蒸馏，如图3所示。实验结果表明，我们的蒸馏框架 对于当前最新的检测模型来说是通用的。

算法细节（建议去看原文）：

实验结果

广泛的结果表明，在各种检测框架下，学生模型可显著提高AP的表现，甚至优于老师。具体来说，在Reconet上使用ResNet-50的RetinaNet在COCO数据集上具有GID的mAP达到了39.1％，比基线的36.2％超出了2.9％，甚至比具有38.1％的AP的基于ResNet-101的教师模型更好。

往期精彩回顾




适合初学者入门人工智能的路线及资料下载
机器学习及深度学习笔记等资料打印
机器学习在线手册
深度学习笔记专辑
《统计学习方法》的代码复现专辑
AI基础下载
机器学习的数学基础专辑
本站qq群851320808，加入微信群请扫码：