一览端到端人脸识别最新进展，上大&京东AI研究院综述被ACM旗舰期刊接收

机器之心专栏

机器之心编辑部

人脸识别是计算机视觉（CV）领域中最热门和悠久的研究课题之一。本篇综述全面地回顾了端到端深度学习人脸识别系统的三个组成要素，包括人脸检测、人脸对齐和人脸表征。从最新的算法设计，评估指标，数据集，方法性能比较，现有的挑战和未来发展方向等方面展开介绍，同时讨论了不同要素对后续环节和整体识别系统的影响。通过该综述，作者期望读者能够认识到各个要素中值得进一步探索的方法，以及如何从头开始选择合适的方法来建立一套先进的端到端人脸识别系统。该综述已被 ACM 旗舰期刊 Computing Surveys（IF 10.282）接收。

端到端深度人脸识别系统由三个关键要素构成：人脸检测（face detection）、人脸对齐（face alignment）和人脸表征（face representation）。其中，人脸检测的作用是定位静止图像或视频帧中的人脸位置。然后，人脸对齐将人脸校准到一个规范的视角，并将人脸图像裁剪到一个标准化像素大小。最后，在人脸表征阶段，从对齐后的图像中提取具有鉴别性的特征用于识别。

在实际应用中，端到端人脸识别系统的性能表现同时取决于上述三种组成要素，任何一个环节出现短板，都会对端到端系统的识别性能造成不良影响，成为人脸识别系统的瓶颈。为了建立一套先进的端到端人脸识别系统，因此有必要理解每个要素对系统整体的影响，以及各个要素之间的内在联系。

论文地址：https://arxiv.org/pdf/2009.13290.pdf

因此，来自上海大学、京东 AI 研究院和瑞尔森大学的研究者联合撰写的这篇综述具有以下几项主要贡献：

系统地调研并回顾了端到端深度人脸识别三个组成要素的最近进展；
从多个方面介绍了这三个组成要素: 算法设计、评估指标、数据集和性能比较。并且指出了各个要素对其后续环节和整体系统的影响；
分析了每个要素及其子类别现有的挑战和发展方向，并从整体系统的角度进一步讨论了主要的挑战和未来趋势。

下图 1 为端到端人脸识别系统的流程展示：

下图 2 介绍了各章节的主要内容，图中左侧部分主要是功能性的介绍，包括参考提供全面介绍和讨论的功能内容。右侧部分为技术性的内容，对三个要素分别进行了详细的分析。

人脸检测

给定一幅输入图像，人脸检测的目标是找到图像中所有的人脸，并给出所有人脸的包围框的坐标和置信度得分。为了让读者更好的认识和理解人脸检测的发展，研究者从多个角度对人脸检测方法进行了分类，包括多阶段、单阶段、anchor-based、anchor-free、多任务学习、CPU 实时、面向问题等方法，具体分类可以参考下表 1。

表 1：深度人脸检测方法的类别

下图 3 给出了具有代表性的人脸检测方法的发展历程。

图 3：脸检测方法的发展历程

此外，研究者讨论了人脸检测方法对后续人脸对齐和表征环节的影响。不精确的检测框会导致人脸关键点定位性能下降，使用更鲁棒的人脸检测器能够进一步提升识别性能。相关实验结果如下图 4 所示。

图 4：人脸检测对后续要素的影响

人脸对齐

人脸对齐的目标是将检测到的人脸校准到一个规范的标准化视图，并裁剪为固定图像尺寸的图像，这是提高人脸识别性能的必要步骤。人脸对齐方法包括基于关键点对齐和不使用关键点的两种技术方案。其中，基于关键点的对齐方法是目前最常用的方案，根据如何获取关键点可分为坐标点回归、热力图回归以及 3D 模型拟合三种方法。不使用关键点的人脸对齐方法通过可学习的方式直接生成对齐后的人脸图像，具体分类可以参考下表 2。