2021最新最全！端到端人脸识别最新进展综述-轻识

点击下方“AI算法与图像处理”，一起进步！

重磅干货，第一时间送达

编辑：AI算法与图像处理（转载请注明来源）

大家好，我是阿潘，之前和大家分享过一篇人脸识别的综述

2020人脸识别最新进展综述，参考文献近400篇 | 附下载

现在论文又更新了一版，而且已被ACM旗舰期刊Computing Surveys（IF 10.282）接收！下面的内容是来自原作者的分享

一、导读

本篇综述全面回顾了端到端深度学习人脸识别系统三个组成要素的最新进展。该综述已被ACM旗舰期刊Computing Surveys（IF 10.282）接收。

论文链接：https://arxiv.org/abs/2009.13290

二、摘要

人脸识别是计算机视觉领域中最热门和悠久的研究课题之一。本篇综述全面地回顾了端到端深度学习人脸识别系统的三个组成要素，包括人脸检测，人脸对齐和人脸表征。我们从最新的算法设计，评估指标，数据集，方法性能比较，现有的挑战和未来发展方向等方面展开介绍，同时讨论了不同要素对后续环节和整体识别系统的影响。通过该综述，作者期望让读者能够认识到各个要素中值得进一步探索的方法，以及如何从头开始选择合适的方法来建立一套先进的端到端人脸识别系统。

三、引言

端到端深度人脸识别系统由三个关键要素构成：人脸检测（face detection）、人脸对齐（face alignment），人脸表征（face representation）。其中，人脸检测的作用是定位静止图像或视频帧中的人脸位置。然后，人脸对齐将人脸校准到一个规范的视角，并将他们裁剪到一个标准化像素大小。最后，在人脸表征阶段，从对齐后的图像中提取具有鉴别性的特征用于识别。在实际应用中，端到端人脸识别系统的性能表现同时取决于上述三种组成要素，任何一个环节出现短板，都会对端到端系统的识别性能造成不良影响，成为人脸识别系统的瓶颈。为了建立一套先进的端到端人脸识别系统，因此有必要理解每个要素对系统整体的影响，以及各个要素之间的内在联系。因此，本篇综述的主要贡献为：

1、我们系统地调研并回顾了端到端深度人脸识别三个组成要素的最近进展。

2、我们从多个方面介绍了这三个组成要素:算法设计、评估指标、数据集和性能比较。并且指出了各个要素对其后续环节和整体系统的影响。

3、我们分析了每个要素及其子类别现有的挑战和发展方向，并从整体系统的角度进一步讨论了主要的挑战和未来趋势。

图 1端到端人脸识别系统的流程图

图2介绍了各章节的主要内容，图中左侧部分主要是功能性的介绍，包括参考提供全面介绍和讨论的功能内容。右侧部分为技术性的内容，对三个要素分别进行了详细的分析。

图 2全文的内容结构图

四、人脸检测

给定一幅输入图像，人脸检测的目标是找到图像中所有的人脸，并给出所有人脸的包围框的坐标和置信度得分。为了让读者更好的认识和理解人脸检测的发展，我们从多个角度对人脸检测方法进行了分类，包括多阶段，单阶段，anchor-based，anchor-free，多任务学习，CPU实时，面向问题等方法，具体分类可以参考表1。图3 给出了具有代表性的人脸检测方法的发展历程。

表 1 深度人脸检测方法的类别

图3 人脸检测方法的发展历程

此外，我们还讨论了人脸检测方法对后续人脸对齐和表征环节的影响。不精确的检测框会导致人脸关键点定位性能下降，使用更鲁棒的人脸检测器能够进一步提升识别性能。相关实验结果如图4所示。

图4 人脸检测对后续要素的影响

五、人脸对齐

人脸对齐的目标是将检测到的人脸校准到一个规范的标准化视图，并裁剪为固定图像尺寸的图像，这是提高人脸识别性能的必要步骤。人脸对齐方法包括基于关键点对齐和不使用关键点的两种技术方案。其中，基于关键点的对齐方法是目前最常用的方案，根据如何获取关键点可分为坐标点回归，热力图回归以及3D模型拟合三种方法。不使用关键点的人脸对齐方法通过可学习的方式直接生成对齐后的人脸图像，具体分类可以参考表2。图5 给出了人脸对齐方法的发展历程。

表 2 人脸对齐方法的类别