AI 科技评论按：为了解释深度神经网络，研究人员们想了各种各样的办法。IBM 研究院的论文《Improving Simple Models with Confidence Profiles》（https://arxiv.org/abs/1807.07506）也从一个角度研究了这个问题，并被 NeurIPS 2018 接收为 poster 论文。雷锋网 AI 科技评论把论文主要内容介绍如下。
在许多机器学习系统中，系统的可解释性和模型性能往往是不可兼得的。因为许多性能最好的模型（即深度神经网络）本质上都是黑盒。在 IBM 研究院改进简单模型的工作中（https://arxiv.org/abs/1807.07506 ），他们提出一种将信息从高性能的神经网络迁移到另一个领域专家或应用程序可能需要的模型的方法，从而弥补性能和可解释性之间的鸿沟。例如，在计算生物学和经济学中，稀疏的线性模型往往是从业者的首选方案，而在半导体制造等复杂仪器领域中，工程师们可能更喜欢使用决策树。这种更简单的可解释模型可以与专家建立信任，并提供有用的分析结果，从而发现新的、以前未知的事实。他们的目标如下图所示，在这个例子中，他们试图提升决策树的性能。
假设网络是一位表现出色的老师，我们可以将它的一些信息传授给简单、可解释但通常性能不佳的学生模型。根据样本建模的难易程度对样本进行加权，可以帮助简单的模型在训练时专注于更容易建模的样本，从而获得更好的整体性能。他们的研究与 boost 集成学习方法不同：在 boosting 方法中，对于之前的一个「弱分类器」难以建模的示例会被重点关注，以便让后续的训练创建多样性的训练结果。在这里，困难的示例指的是对于构建一个准确率很高的复杂模型而言的。这意味着这些标签几乎是随机分布的。而且，如果一个复杂的模型不能解决这些问题，那么复杂度被固定的简单模型就没有希望了。因此，在他们的研究中，重点关注简单模型可以解决的简单示例是非常重要的。
为此，他们根据网络的难易程度为样本分配权值从而对其进行分类，并通过引入「探针」来具体实现这样的思路。每个探针从一个隐层获取它的输入。每个探针都含有一个全连接层，全连接层后还附有一个softmax层，该softmax层的维度与连接到该层的网络输出相同。第 i 层的探针相当于一个分类器，它只使用第 i 层之前的网络的。假设即使对于第一层的探针来说，简单的实例可以以高置信度被分类，那么他们就可以通过所有探针得到每个实例的置信水平 p_i。他们使用所有的 p_i 来计算实例的难度 w_i ，例如 p_i 的 ROC 曲线下的面积（AUC）。下图显示了一个简单示例和一个困难示例之间的区别。
现在他们可以使用权重在最终加权后的数据集上对简单模型重新进行训练。他们把这种方法称为由「探针，获取置信度权重，再训练过程」组成的工作流。
对于如何计算数据集中示例的权重，他们提出了两种备选方案。在上面所提到的 AUC 方法中，他们标注出了在原始训练集上训练时，简单模型的验证错误率/准确率。他们会选出一个准确率至少为 α（> 0，大于简单的模型的准确率）的探针。每个示例都是基于真实标签的平均置信度得分进行加权的，该得分是使用来自探针的 softmax 预测计算出来的。
第二种备选方案是使用神经网络进行优化。这里他们通过优化下面的目标函数来学习训练集的最优权值：
其中，w 代表为每个实例计算出的权重，β 表示简单模型 S 的参数空间，而 λ 是其损失函数。他们需要对权值进行约束，否则所有权值趋于 0 的平凡解（Ax=0 中的零解）将自然而然地成为上述目标函数的最优解。他们在论文中证明了，E[w]=1 的约束条件与寻找最优重要抽样有关。
在更一般的情况下，ProfWeight 可以被用于将知识迁移到更简单但不透明的模型（如较小的神经网络），这些模型可能在内存和功率受限的领域中非常有用。实际上，当他们在物联网系统、移动设备或无人机的边缘设备上部署模型时，就会遇到这种约束。
他们在两个领域测试了我们的方法：公共图像数据集 CIFAR-10和 IBM 专有的数据集。在第一个数据集上，他们的简单模型是更小的神经网络，它将遵守严格的内存和功率约束。他们看到，在这种情况下，新方法的性能得到了 3- 4% 的提升。在第二个数据集上，他们的简单模型是一个决策树，他们在该模型上取得了大约 13% 的显著提升，从而得到了可以被工程师在实际项目中使用的结果。下面他们将 ProfWeight与在该数据集上使用的其它方法进行比较。如图所示，他们比其它方法有相当大的优势。
在未来，IBM 研究院希望找到在使用他们的策略进行知识迁移时所需要的必要/充分条件，从而提升简单模型的性能。他们还想开发出比这个已经完成的方法的更精妙的信息迁移方法。
via IBM Research，雷锋网 AI 科技评论编译
