【项目团队】
Team : Kai-Chen Lin, Evan Luo, Chao-Hsien Ting, Hao-Kang Liu, Yu-Wen Chen （中国台湾清华大学）
【项目背景】
自主导航
近年来，自主导航一直备受关注，尤其是自动驾驶汽车(AGV)的操纵和控制，其中包括自动驾驶汽车和送货机器人。
现代自主导航系统的潜在挑战
尽管自治系统很有前途，而且预期会有许多潜在的应用，但是开发一个实用的系统并不是一件简单直接的任务。基于视觉的自主导航系统通常需要四个基本功能:视觉感知、定位、导航和避障。为了满足这些需求，传统的agv严重依赖从高端相机、LIDARs、gps和其他定位传感器等设备获得的传感器输入。虽然这些设备提供了上述要求的解决方案，但它们大多价格昂贵，因此无法满足大规模生产的需要。
在这个项目中，我们建议通过使用几种最先进的技术来排除对任何高端传感器的需求来克服上述挑战。只有一个安装在AGV上的RGB摄像头被用作输入。我们采用深度神经网络(DNNs)的语义分割、同步定位和映射(SLAM)、路径规划算法以及深度强化学习(DRL)等技术来实现上述四个功能。在我们的系统中，视觉感知和定位是由我们的感知和定位模块使用RGB摄像机捕获的图像帧来执行的。另一方面，导航和避障是由我们的planner模块和在Unity引擎模拟的虚拟环境中训练的DRL代理一起完成的。为了在避免障碍物的同时引导DRL agent到达目的地，我们在自主系统中引入了“虚拟导航”的新概念。通过在AGV的路径上设置中间虚拟路径点，虚拟引导使DRL代理能够由planner模块进行引导。下一节将介绍虚拟制导的概念。实验结果表明，该方法能够指导AGV通过拥挤的环境，并在室内和室外环境中都具有较高的成功率。
【项目材料】
【项目亮点】
我们引入了“虚拟导航”，这是一种简单而有效的方法，可以将导航路径传递给DRL代理(比如：AGV 自主移动小车)。虚拟制导是为DRL代理设计的一种虚拟诱饵。在训练阶段，DRL agent被训练在我们模拟的环境中跟随虚拟导游，以获得奖励。在部署阶段(即在感知模块生成的语义分割的适当位置上，将一个虚拟向导呈现为一个黄色的球，这样我们的AGV就能够遵循planner模块创建的路径。
虚拟向导的呈现位置由planner模块基于预定义的候选位置池进行动态调整。如果存在一个障碍阻碍了所要遵循的路径，虚拟向导将暂时取消渲染，以使AGV专注于避障。如果AGV在进行避障后偏离了期望的方向，则将虚拟向导重新呈现在语义分割上，将其重定向到正确的路径上。
控制策略的简单到真实的转移
在这个项目中，我们首先在我们的模拟环境中训练DRL代理，然后将它转移到现实世界中来导航我们的AGV。这种方法被称为“模拟到真实的转移”，它提供了几个好处。首先，它允许DRL代理以快速和有效的方式收集经验(即，通过与模拟环境交互)，消除了与真实世界进行耗时交互的需求。其次，在训练阶段，它消除了对AGV和真实物体的潜在伤害。第三，它支持并行训练，因为在模拟环境中可以同时训练多个DRL代理。
虽然simto -real迁移提供了这些优势，但是虚拟环境和真实环境之间的现实差距(例如，光照条件、纹理等方面的差异)在将虚拟世界中训练的DRL代理迁移到真实世界时带来了挑战。为了克服现实差距带来的挑战，我们采用了语义分割作为中间表示，来连接不同的模块。其基本原理是，尽管来自虚拟世界和真实世界的图像的视觉外观可能不同，但它们的语义分割可能相似(如上图所示，并在技术报告中进行了解释)。该属性允许DRL代理的控制策略从虚拟世界无缝地转移到现实世界，只要DRL代理在训练阶段根据语义分段的观察执行操作即可。
控制策略模块
控制策略模块在我们的框架中充当本地计划器(而计划器模块充当高级计划器)。控制策略模块以DRL代理的形式实现，主要用于避障和跟随虚拟引导，引导AGV到达最终目的地。在训练阶段，我们使用著名的Proximal Policy Optimization (PPO)算法在我们的虚拟世界中用Unity模拟来训练DRL代理。在部署阶段(即，在现实世界中)，控制策略模块(即， DRL代理)采取语义分割渲染与建议的“虚拟指南”导航AGV到它的目的地。控制策略模块在NVIDIA Jetson Nano板上执行。
【实验、总结和演示】
为了验证所提出的框架，我们在模拟环境以及真实的室内和室外环境中进行了实验。AGV在不同的场景下测试，使用不同的导航路径和动态对象。评估结果表明，该框架能够有效地指导AGV到达高成功率的目的地。技术报告中提供了详细的实验设置和所做实验的总结。总的来说，我们提出了一个有效的、易于实现的、低成本的框架。只需要一个摄像头和一些边缘计算设备，我们就可以让自主导航变得更现实，也更便宜。我们认为，该项目为未来基于视觉的自主导航研究开辟了新的途径。我们的工作演示视频如下。
http://mpvideo.qpic.cn/0bf2tmaaaaaa2uaki73jnrpfbg6dacnqaaaa.f10002.mp4?dis_k=bfe347c0f71728a80245b6400b2feba2&dis_t=1584350807
