论文标题：
Physically-Based Face Rendering for NIR-VIS Face Recognition
作者单位：
华威大学&帝国理工&华为& InsightFace&阿伯斯特威斯大学
近红外（NIR）与可见光（VIS）的人脸匹配具有挑战性，因为存在明显的域差距，而且缺乏足够的数据进行跨模态模型训练。为了克服这个问题，作者提出一种新的方法来生成配对的近红外-可见光人脸图像。
具体来说，作者从一个大型的二维人脸数据集中重建了三维面部形状和反射率，并引入一种将可见光反射率转换为近红外反射率的新方法。然后，使用一个基于物理的渲染器来生成一个巨大的、高分辨率的、逼真的数据集，其中包括近红外和可见光光谱中的各种姿势和身份。
此外，为了促进身份特征的学习，还提出一个基于身份的最大平均差异（ID-MMD）损失，这不仅减少了近红外和可见光图像在域层面上的模式差距，而且鼓励网络关注身份特征，而不是人脸细节，如姿势和配件。
在四个具有挑战性的 NIR-VIS 人脸识别基准上进行的广泛实验表明，所提出的方法可以达到与最先进的（SOTA）方法相当的性能，而不需要任何现有的NIR-VIS人脸识别数据集。通过对目标近红外-可见光人脸识别数据集稍作微调，所提出方法可以大大超过SOTA的性能。
论文地址：
https://arxiv.org/abs/2211.06408
开源地址：
https://github.com/deepinsight/insightface/tree/master/recognition
与之前方法DVG-Face的比较：
不仅看起来没那么糊，而且可以具有明显的姿态变化。
方法流程：
作者提出的损失函数效果可视化：
