胜者为王!DeepMind新算法助Waymo加速模型训练

2019-07-30 16:36:13 浏览数 (1)

新智元原创

【新智元导读】DeepMind和Waymo宣布将合作开发受进化生物学启发的技术,以提高对AI算法训练的有效性和效率,原因是用于无人驾驶的AI模型通常需要无限的测试和微调,不断试验进行提升,DeepMind设计了一款基于进化的方法PBT,可像生物进化一样自动竞争继承,极大提高了训练的有效性和效率。

相比特斯拉,Waymo在商业化的道路上一直没有太大的建树,始终徘徊在凤凰城的结界中,未能走向更广阔的天地。

去年,Waymo CEO John Krafcik曾公开吐槽自动驾驶无法达到L5级,距离真正意义上的“消费级”应用任重而道远。场面一度引发极大反响,同时也引来了大批的反对声浪。

尽管前路艰辛,但商业化的步伐不能停下。Waymo在商业化上迈出的一大步,是自动驾驶出租车。Waymo在凤凰城经过6个月7x24小时的运营,乘客数量突破了1000人,平均一天载客不到6个人。

上个月,Waymo改装的捷豹电动车进行了上路测试。Waymo和捷豹在合作协议中敲定,在接下来的2年时间投放20000辆I-Pace,继续扩大自动驾驶出租车业务。

而DeepMind一直专心打围棋、打夺旗、打星际…以至于提到DeepMind,很多人第一反应是“就那个打败职业星际玩家的那个”。回忆过去,好像DeepMind也没干啥“正事”,光跟游戏较劲了。

硬件的性能和成本已经可以满足自动驾驶的一部分需求,适用于自动驾驶的传统传感器的性能还在不断提高;摄像头 雷达 声波等传感器组合套装,成本也在不断降低。

但自动驾驶并非单纯依赖硬件就能实现,在算法方面还有极大地提升空间。

神经网络的性能受训练方案的影响非常大。我们的目标就是找到最优学习率、让神经网络在每次迭代后变得更好,但性能波动不需要太大。

Waymo之前的方式是采用人工微调的方式。这项工作对人员的要求不低,需要丰富的经验,以及耐心和细心。这种不断试错的方式虽然效果好,但非常耗费时间、精力和资源。

如今,DeepMind和Waymo,两个谷歌旗下的公司,终于开始联手搞事情了。

Mission 1:提高调参效率,降低人员工作量

DeepMind此次伸出援手,需要帮助Waymo在算法上解决掉一切阻碍。第一步,就是提高微调的效率,降低研究人员的工作量。

为此,DeepMind设计了一种基于进化竞争(Population Based Training)的自动优化超参数的方法。

这种方式(后续我们简称其为PBT)将手动调参和随机搜索的有点结合在一起,定期评估模型。

模型之间依照丛林法则开始相互竞争,胜者为王并产生一些略有突变的超参数“后代”。长江后浪推前浪,前浪死在竞争中,最终推动模型的进化。

PBT模型能够提升效率很重要的一点是,它不需要从头开始重新训练。每个胜者的后代都遗传了父辈的最佳状态,并且产生新的突变超参数。

但这样一直处于竞争状态会导致模型过度短视,眼光不能放长远,更倾向于当前结果而忽视了长期效应。

DeepMind采取的解决方式是增加种族多样性。通过创建足够多的称为利基(niches)的子种族,将能够保证模型可以持续的进化,让那些缺乏爆发力却有后期优势的种族也能有机会成为胜者。

初步效果

实验取得了不错的进展,PBT算法不仅实现了更高的精度,并且减少24%的误报、保持了较高的召回率。

同时,PBT还节省了时间和资源。通过PBT训练的网络,时间和资源只有原来的一半。因此Waymo声称,已将PBT直接纳入其技术基础架构。24%的误报,同时也能保持较高的召回率。

此外,PBT所需的训练时间和计算资源仅为原来的一半。根据Waymo的说法, PBT已被直接纳入Waymo的技术基础架构。

DeepMind此次伸出援手,需要帮助Waymo在算法上解决掉一切阻碍。而如果两个部门能打一个漂亮的配合战,显然对今后的士气、整个市场的预期、大众的接受度,都将有极大的提升。

0 人点赞