大数据文摘授权转载自Python专栏
神经网络被用的越来越多了。
无论是医疗诊断还是自动驾驶，在许多关乎人类安全与健康的重要领域，神经网络逐渐开始发挥作用。
但是这些神经网络，可信吗？
我们都知道，神经网络善于从大型、复杂的数据中识别模式，以帮助人类决策，但是它进行识别的过程却是一个黑箱。
一些AI研究者就试图揭开这一秘密，找出神经网络可信度的答案。
在一个麻省理工（MIT）和哈佛大学合作的项目中，亚历山大·阿米尼（Alexander Amini）和他的同事们就在探索这一问题，他们开发了一种可以处理数据的神经网络，不仅可以输出预测结果，还可以根据可用数据的质量，给出模型的可信赖水平。
简单来说，就是让神经网络自己对自己的结果可信度打个分，颠颠自己“几斤几两”！
打个比方，在自动驾驶中，模型通过对各种传感器的数据进行分析，这就是“交叉路口一切正常”和“可能安全，要以防万一”的区别。
目前的神经网络不确定性评估往往成本昂贵，并且要耗费相当长的时间，但是阿米尼提出的“深度证据回归”（deep evidential regression），可以加速这一过程，并且得到更可靠的结果。
麻省理工学院计算机科学与人工智能实验室（CSAIL）DanielaRus教授团队的博士生Amini说：“我们不仅需要拥有高性能的模型，还需要理解什么时候我们不能信任这些模型。”
“这个想法很重要，适用范围很广。它可以用来评估依赖于学习模型的产品。通过对学习模型的不确定性进行估计，我们还可以了解该模型可能带来的误差，以及哪些缺失的数据可以改进该模型。”Rus说。
阿米尼将在下个月的 NeurIPS 会议上展示这项研究，Rus将与他一起赴会。
有效的不确定性
在经历了一段起伏不定的历史之后，深度学习已经在各种任务中展现出了卓越的表现，在某些情况下甚至超过了人类的准确性。现在，深度学习似乎无处不在。它为搜索引擎结果、社交媒体订阅和人脸识别提供了技术基础。“我们已经通过深度学习取得了巨大的成功，”阿米尼说。“神经网络在 99% 的时间里都很擅长知道正确的答案。”
但是在生命面前，容不得AI 1%的侥幸。
阿米尼说: “研究人员一直在逃避的一件事，这些模型需要知道并告诉我们它们可能是错误的。”
“我们真正关心的是那1%的时候，以及我们如何能够可靠而有效地发现这些情况。”
神经网络有的规模非常大，有的拥有高达数十亿的参数。因此，仅仅为了得到一个答案，这可能是一个繁重的计算工作，更不用说置信度了。
神经网络中的不确定性分析并不新鲜。但是之前基于贝叶斯深度学习的方法，是多次依赖于运行，或抽样一个神经网络来理解它的可信度。这个过程需要大量的时间和内存，在像智能交通这样的场景中就不实用了。
研究人员设计了一个只从单个运行的神经网络来估计不确定性的方法。他们设计的网络具有多个输出，不仅可以输出一个预测，而且会产生一个新的概率分布，捕获支持该预测的可信度。
这些分布称为证据分布，直接捕获模型的可信度。这包括基础输入数据中存在的任何不确定性，以及对模型的最终决策的影响。这种区别可以表明是否可以通过调整神经网络本身来减少不确定性，或者输入的数据是否只是噪声。
检查可信度
为了测试他们的方法，研究人员决定从一项具有挑战性的计算机视觉任务开始。
他们训练自己的神经网络来分析单目彩色图像，并估计每个像素的深度值（即距离相机镜头的距离）。无人车辆可能会使用该计算方法来估计它与行人或其他车辆的距离，这并不是一个简单的任务。
他们的神经网络性能与先前最先进的模型不相上下，并且它还拥有估计自身不确定性的能力。正如研究人员所预料的那样，这个神经网络在预测错了的地方输出了高度的不确定性。
阿米尼说: “它是根据网络产生的误差进行校准的，我们认为这是衡量可信度预测器质量的最重要的事情之一。”
为了对他们的校准进行压力测试，研究小组还表明，网络对“分布不均”的数据预测了更高的不确定性——这是训练期间从未遇到过的全新类型的图像。在他们对网络进行了室内家庭场景的训练之后，他们给网络输入了一批室外驾驶场景。
该神经网络一直发出警告，表示它对未曾识别过的户外场景的反应是不确定的。该测试突出了网络在用户不应完全信任其决策时进行报警的能力。
在这种情况下，“如果这是一个医疗保健应用程序，也许我们不相信模型提供的诊断，而是寻求其他意见。”阿米尼说。
该网络甚至知道照片何时被篡改，从而有可能防范数据操纵攻击。
在另一个试验中，研究人员在一批图像中提高了对抗性的噪音水平，并将这些图像发送到网络中。这种改动是微妙的，几乎不为人类所察觉，但神经网络发现了这些图像，并用高度不确定性标记了输出结果。这种对伪造数据发出警报的能力可以帮助侦测和阻止敌对性攻击，这在深度造假时代是一个日益令人担忧的问题。
“深度证据回归”是“一种简单而优雅的方法，它推进了不确定性估计领域，这对于机器人和其他现实世界的控制系统非常重要，”
DeepMind 的人工智能研究员 Raia Hadsell 评论说。“这种方法以一种新颖的方式完成，避免了其它方法的一些混乱方面，例如采样或集合，这不仅使它优雅，而且计算效率更高，是一种成功的组合。”
“深度证据回归”可以提高人工智能辅助决策的安全性。阿米尼说: “我们开始看到越来越多的神经网络模型从实验室慢慢流出，进入现实世界，进入可能危及人类生命的环境。”
“任何使用这种方法的人，无论是医生还是坐在车辆乘客座位上的人，都需要意识到与这一决定相关的任何风险或不确定性。”他设想这个系统不仅可以快速识别不确定性，而且可以用来在危险的情况下做出更加保守的决策，比如一辆无人汽车经过一个十字路口的时候。
“任何有部署机器学习的领域最终都需要有可靠的可信度指标。”他说。
相关报道：
https://www.csail.mit.edu/news/neural-network-learns-when-it-should-not-be-trusted
点「在看」的人都变好看了哦！
