人脸识别损失函数疏理与分析

写在前面
Cross-Entropy Loss (softmax loss)
Contrastive Loss - CVPR2006
Triplet Loss - CVPR2015
Center Loss - ECCV2016
L-Softmax Loss - ICML2016
A-Softmax Loss - CVPR2017
AM-Softmax Loss-CVPR2018
ArcFace Loss - CVPR2019
欧氏距离or角度距离与归一化
参考

博客：博客园 | CSDN | blog

写在前面

Closed-set 和 Open-set 人脸识别的对比如下，

两张人脸图像，分别提取特征，通过计算特征向量间的距离（相似度）来判断它们是否来自同一个人。选择与问题背景相契合的度量方式很重要，人脸识别中一般有两种，欧氏距离和余弦距离（角度距离）。

训练阶段和测试阶段采用的度量方式要一致，如果想在测试阶段使用欧氏距离，自然在训练阶段就要基于欧氏距离来构造损失进行优化。

实际上，不同度量方式间存在着一定的内在联系，

欧氏距离与向量的模和角度都有关，模固定，角度越大欧氏距离也越大，角度固定，模同比增大欧式距离也增大，模分别增大情况会比较复杂；
余弦距离和角度距离有单调关系（负相关），但两者分布的“密度”不同，观察余弦函数曲线可知，在角度从0向

匀速（线性）前进时，余弦值在0和

附近缓慢变化，在

frac{pi}{2}

附近近似线性变化

当向量模长归一化后，欧氏距离和余弦距离有单调关系，所以，在预测阶段，归一化后的特征选取哪种度量进行判别均可

可对不同损失函数按度量方式进行划分，

欧氏距离：Contrastive Loss，Triplet Loss，Center Loss……
余弦距离（角度距离）：Large-Margin Softmax Loss，Angular-Softmax Loss，Large Margin Cosine Loss，Additive Angular Margin Loss……

先从最基本的Softmax Loss开始。

Cross-Entropy Loss (softmax loss)

交叉熵损失，也称为softmax损失，是深度学习中应用最广泛的损失函数之一。

指数操作会将映射前的小差异指数放大，Softmax Loss希望label对应的项越大越好，但因为指数操作的存在，只需要映射前差异足够大即可，并不需要使出“全力”。

在人脸识别中，可通过对人脸分类来驱动模型学习人脸的特征表示。但该损失追求的是类别的可分性，并没有显式最优化类间和类内距离，这启发了其他损失函数的出现。

Contrastive Loss - CVPR2006

Contrastive Loss由LeCun在《Dimensionality Reduction by Learning an Invariant Mapping》CVPR2006中提出，起初是希望降维后的样本保持原有距离关系，相似的仍相似，不相似的仍不相似，如下所示，

类内希望距离越小越好，类间希望越大越好（大于margin），这恰与人脸识别特征学习的目的相一致。Contrastive Loss在DeepID2中得以使用，作为Verification Loss，与Softmax Loss形式的Identification Loss构成联合损失，如下所示，

这种Softmax Loss 其他损失构成的联合损失比较常见，通过引入Softmax Loss可以让训练更稳定，更容易收敛。

Triplet Loss - CVPR2015

Contrastive Loss的输入是一对样本。

Triplet Loss的输入是3个样本，1对正样本（同一个人），1对负样本（不同人），希望拉近正样本间的距离，拉开负样本间的距离。Triplet Loss出自《FaceNet: A Unified Embedding for Face Recognition and Clustering》。

损失函数如下，

该损失希望在拉近正样本、拉开负样本的同时，有一个margin，

Softmax Loss最后的全连接层参数量与人数成正比，在大规模数据集上，对显存提出了挑战。

Contrastive Loss和Triplet Loss的输入为pair和triplet，方便在大数据集上训练，但pair和triplet挑选有难度，训练不稳定难收敛，可与Softmax Loss搭配使用，或构成联合损失，或一前一后，用Softmax Loss先“热身”。

Center Loss - ECCV2016

因为人脸表情和角度的变化，同一个人的类内距离甚至可能大于不同人的类间距离。Center Loss的出发点在于，不仅希望类间可分，还希望类内紧凑，前者通过Softmax loss实现，后者通过Center Loss实现，如下所示，为每个类别分配一个可学习的类中心，计算每个样本到各自类中心的距离，距离之和越小表示类内越紧凑。

希望达成的效果如下，

以上损失在欧氏距离上优化，下面介绍在余弦距离上优化的损失函数。

L-Softmax Loss - ICML2016

L-Softmax 即 large-margin softmax，出自《Large-Margin Softmax Loss for Convolutional Neural Networks》。

A-Softmax Loss - CVPR2017

A-Softmax即Angular-Softmax，出自《SphereFace: Deep Hypersphere Embedding for Face Recognition》。

L-Softmax中，在对

x_i

归类时，会同时考虑类中心向量的模和夹角。

A-Softmax的最大差异在于对每个类中心向量进行归一化，即令

||W_j|| = 1

，同时令bias为0，在分类时只考虑

x_i

和

W_j

的夹角，并引入和L-Softmax相同的margin，如下所示，

[mathcal{L}_{mathrm{AS}}=-frac{1}{N} sum_{i=1}^{N} log left(frac{e^{left|boldsymbol{x}_{i}right| psileft(theta_{y_{i}, i}right)}}{e^{left|boldsymbol{x}_{i}right| psileft(theta_{y_{i}, i}right)} sum_{j neq y_{i}} e^{left|boldsymbol{x}_{i}right| cos left(theta_{j, i}right)}}right) \ psi(theta_{y_i, i})=(-1)^{k} cos (m theta_{y_i, i})-2 k, quad theta_{y_i, i} inleft[frac{k pi}{m}, frac{(k 1) pi}{m}right], k in [0, m-1] ]

当

m=1

时，即不引入margin时，称之为 modified softmax loss。

Softmax Loss、Modified Softmax Loss和A-Softmax Loss，三者的决策面如下，

可视化如下，

AM-Softmax Loss-CVPR2018

AM-Softmax即Additive Margin Softmax，出自论文《Additive Margin Softmax for Face Verification》，同CosFace 《CosFace: Large Margin Cosine Loss for Deep Face Recognition》，CosFace中损失名为LMCL（Large Margin Cosine Loss）。