作者 | 云从科技
编辑 | Camel
本文是对中科院信工所和云从科技共同完成，被 AAAI2020 录用的论文《Coupled-view Deep Classififier Learning from Multiple Noisy Annotators》进行解读。
近年来，深度学习已在各种分类任务中证明了有效性，例如使用深度神经网络(DNN)在有标签的数据上训练风控模型，取得了良好效果。但在许多现实情况下，例如真实场景的视频监控和医疗图像诊断，很难收集到清晰准确的标注。
云从科技与中科院信工所发表《Coupled-view DeepClassififier Learning from Multiple Noisy Annotators》，探索能够有效地利用多个弱标签的信息进行深度学习分类的方法，提出了一种从多人标注的带噪标签中进行双视图深度分类器学习的新方法。
文中，我们专注于研究从多人标注的噪声标签中进行深度神经网络分类学习这一问题，将期望最大化算法的迭代估计过程看作标签视图和数据视图的相互学习问题（如图1）。我们通过让两个视图分别学习对方视图生成的伪标签，把这一问题转化为监督学习问题，并通过迭代的更新伪标签和模型参数，让两个视图进行相互学习。我们提出的方法（称为 CVL）减少了对错误标签的过拟合，并且具有更稳定的收敛表现。
新方法基于深度学习的双视图分类算法，充分利用多个弱标签的信息进行建模，在安防布控、业务风控、金融安全等领域均可应用，可有效提升安防水平及风控业务等。与安防领域创新应用相结合，显著提升安防监管系统的加固，更高效地提升安防作战能力，提高安保工作效率。同时，在金融风控、创新安全等领域也有技术上的稳定效用。
图1：新方法研究逻辑模型
新算法概述
新算法尝试在特征空间和标签空间两个视图里分别构建分类器，在训练过程中，两个分类器的结果互为指导、互相监督，通过交替迭代更新，最终训练出性能稳定的分类器。
在两个合成数据集（MNIST和CIFAR10）和一个真实数据集（LabelMe-AMT）中进行实验，最后对比结果显示，CVL方法在有效性、鲁棒性、稳定性等方面均优于其他算法。
图 2、图3：在合成数据集mnist和cifar10上实验，我们的方法在有效性和鲁棒性方面胜过现有的其他技术示例结果
图4：我们的方法在收敛的稳定性上优于其他算法
图5：在真实数据集LabelMe-AMT上，我们的结果大幅领先现有的其他算法
方法解读
首先，我们可以将所研究的弱监督问题转化为两个视图的相互学习问题：
在经过初始化和预训练后，这一问题可以在交替更新的预测标签和聚集标签的监督下，通过替代优化解决。这种双视图视角提供了一种简单而通用的方式，使标签聚合器和数据分类器彼此交换知识。
随后，我们在两种学习视图中采用了几种策略，以促进相互学习收敛到良好和稳定的结果。
1、标签视图
基本模型。假设每个标注者的标签噪声都是随机且独立的情况下，我们采用了一种以噪声混淆矩阵为学习参数的朴素贝叶斯分类器。在噪声混淆矩阵π和类别先验分布q不变的情况下，第 i 个样本的第 k 类的后验概率可以用下式计算：
训练模型。两个视图的训练会遇到视图的不充分性问题，这意味着该视图提供的信息不足以充分地完美地预测所有样本，其中必然会发生预测错误。为了减少这一因素的影响，我们使用小损失度量标准作为测量标签的置信度，对进行样本选择。
在标签视图中，采用小损失度量标准选择标签之后极大似然估计的损失如下：
根据损失函数，参数π可以通过下式来估计：
此外，在已知类别均衡的情况下，设置
。
更新聚合标签。每一轮，标签视图更新自己的伪标签一次：
2、数据视图
基本模型。由于深度网络具有很高的学习能力，我们选择神经网络作为数据分类器。
训练分类器。除了同样使用小损失度量之外，我们还提出了两种策略。首先，由于深度网络具有很高的容量，能够拟合任意数据，在使用小损失度量之后，它由于会初始化的不同导致不同的错误选择偏置。我们还进一步采用了协同教学策略减少这一影响。这意味着
使用结构相同但初始化不同的两个网络
和
，并且在每个batch中，每个网络都将其选定的小损失样本视为有用的知识，并将此类样本教给其对等网络以进行更新参数。由于两个网络具有不同的学习能力，这样可以过滤掉带噪标签引起的不同类型的错误。其次，由于所选样本通常是类别不平衡的，因此必须添加类平衡约束。对于深度分类器，由于我们的方法会在每个batch中选择样本，因此我们在每个batch中进行动态的类别加权损失，以防止网络过度偏好某些特定类别。
在训练过程中，每个epoch中，我们首先将
洗牌并划分为p 个batch，
,（k= 1, 2, ... , p）。然后两个网络在每个batch中选择出各自的小损失样本集合给对等网络学习。第k个batch的损失函数如下：
更新预测标签。每一轮，在两个网络输出分类结果分别为
和
的情况下，数据视图通过下式更新标签。
更多AAAI 2020信息，将在「AAAI 2020 交流群」中进行，加群方式：添加AI研习社顶会小助手（AIyanxishe2），备注「AAAI」，邀请入群。
