标题：From SLAM to Situational Awareness: Challenges and Survey
作者：Hriday Bavle，Jose Luis Sanchez-Lopez，Claudio Cimarelli，Ali Tourani，Holger Voos
编辑：郑欣欣@一点人工一点智能
01 摘要
移动机器人高效而安全地执行复杂任务的能力受其对环境的认知限制。先进的推理、决策和执行技能使智能机器人能够在未知环境中自主行动。
态势感知（SA，Situational Awareness）是人类的一项基本能力，在心理学、军事、航空航天和教育等多个领域得到广泛研究。然而，在机器人领域，该能力尚未得到充分重视，目前仅关注单一且相互独立的概念，如传感、空间感知、传感器融合、状态估计和同时定位与地图构建（SLAM）等。因此，本研究旨在连接广泛的多学科已有知识，为实现移动机器人完整的态势感知系统提供支持并展现其自主性。
在本文中，我们定义了构建机器人态势感知的主要组成部分及其所涉及的领域。本文介绍了态势感知的每个方面，并综述了最新的机器人算法，以探讨它们当前存在的限制。
值得注意的是，由于当前算法的发展限制了其应用范围，使其仅适用于特定环境，因此态势感知的关键方面仍不够成熟。然而，人工智能（AI），特别是深度学习（DL）为弥合这些领域在实际场景中的差距提供了新方法。
此外，我们还发现了通过“态势图”（S-Graph）将机器人理解算法的高度分散的空间连接起来的机会，态势图是主流的场景图的一种扩展形式。我们最终展示了我们对机器人态势感知未来发展的愿景，并讨论了有趣的近期研究方向。
02 介绍
机器人产业正在经历指数级的增长，迈向新的技术进步和应用。移动机器人凭借其代替或协助人类从事重复性或危险任务的能力，在商业领域引起了极大的兴趣 。目前，许多工业和民用领域都在使用移动机器人 ，例如工业机械和地下矿山的检查、监视和道路交通监控、土木工程、农业、医疗保健、在极端环境下进行搜索和救援干预（如自然灾害）以及勘探和物流。
一方面，移动机器人可以通过手动远程遥控操作或半自主模式进行控制，并不断地需要人类干预。此外，可以利用增强现实（AR）等应用程序来改善人机交互，参见 [5]。
另一方面，在完全自主的模式下，机器人基于其对环境的理解执行一整个任务，只需几个命令。值得注意的是，自主性可以降低成本和风险，同时提高生产力，并为当前研究解决它引发的主要挑战设定目标。
与工业情景中自主机器人只可以在可控环境中行动不同，移动机器人可以在对场景结构几乎不了解的情况下，在动态、非结构化和混乱的环境内进行运作。
到目前为止，机器人领域主要关注传感器、环境感知、传感器融合、数据分析、状态估计、同时定位和地图构建(SLAM)、以及应用于各种图像处理问题的人工智能(AI)。
图1显示了从Scopus文摘和引文数据库得到的这些研究领域的数据。
图1 Scopus数据库自2015年以来涵盖了机器人学和SLAM的研究。所有的工作都集中在独立的研究领域，这些领域可以有效地包含在机器人的情境感知领域中。
然而，自主行为需要理解涵盖机器人学多个跨越感知、控制、规划到人机交互等学科领域的情境。尽管SA是一个在心理学、军事和航空航天等领域广泛研究的整体概念，但它在机器人学中却几乎没有被考虑。
值得注意的是，Endsley在1990年代正式将SA定义为“在一段时间和空间范围内感知环境元素、理解其含义并预测其状态”的概念，这个定义至今仍然适用。为此，我们将这个定义转化为移动机器人的视角，以获得一个涵盖自主系统所需所有方面的统一研究领域。
所以，机器人的情境感知系统必须不断获取对周围环境的新观察，理解其基本要素并进行复杂的推理，将真实状态预测到可能的未来结果中以做出决策和执行动作，使机器人实现其目标。因此，我们在图2中描述了一个通用的SA体系结构，将特定的能力领域分为三个层次，具有逐渐增加的智能水平。我们提出以下研究问题：
图2：自主移动机器人的情境感知系统体系结构。我们将其分解为其主要组成部分，即感知、理解和预测，并展示它们的相互关联。
问题1：机器人的态势感知系统的组成部分是什么？
为了回答这个问题，我们将情境感知划分为三个主要组成部分，并提出了一系列描述来界定它们的范围并定义它们的各自的目标：
（1）情境感知：包括对外部信息即周围环境的收集，例如视觉光照强度或距离等外在信息，以及对内部机器人数值（例如速度或温度）和情况的感性理解。
传感器提供原始测量结果，必须经过转换才能获得所需知识，也可以通过少量处理直接向机器人提供有关其状态的信息。例如，主动式距离传感器通过明确定义的模型提供与物体的距离。相反，摄像头的像素强度值除被未知参数扭曲外，还依赖于复杂算法提取有意义的深度，这仍然是正在进行的研究。
因此，多种传感器模式对于感知情境中的互补细节至关重要，例如机器人的加速度和度量尺度、可见光强度及其变化，弥补不同条件下的低性能，例如光线昏暗、光透明材料或快速运动。因此，感知包括一系列传感器，给每个机器人赋予特定的属性，并增加后续层可用信息的算法。
此外，由于摄像头是大多数潜在环境特征的主要来源，因此需要图像处理算法从这些传感器中获取情境洞察力。我们将这些基本算法纳入直接理解的下一层，而这通常需要单个图像帧。
（2）情境理解：从理解当前感知开始，考虑可能的语义关系，使用给定时间瞬间的感知观察来构建短期理解，称为直接情境理解，或包含过去获得的知识，即积累的情境理解的长期模型。可以创建多个抽象关系来连接情境结构模型中的概念，例如几何关系（例如物体的形状）、语义关系（例如物体的类型和功能）、拓扑关系（例如空间中的顺序）、本体关系（例如常识概念的层次结构）、动态关系（例如物体之间的运动）或随机关系（例如包括不确定性信息）。
此外，情境理解还受到一些机制（如由决策制定和控制过程控制的注意力）的影响（例如寻找房间中的特定对象与获取房间的全局概述）。
（3）情境预测：未来的预测对于决策过程至关重要，更高层次的理解有助于这种能力。对环境背景的更深入了解，包括如机器人的位置、速度、姿态以及周围区域中的任何静态或动态障碍物等信息，可以使得模型的预测更准确。预测过程涉及预测自主机器人和外部机器人的未来状态，以预测行为和交互，使机器人能够适应其行动以有效实现其目标。
本文其余部分的目的是深入探讨由所揭示的SA主题自然引发的研究问题。
问题2：目前取得了哪些成果，仍存在哪些挑战？
问题3：情境感知的未来方向可能是什么？
因此，通过回顾当前在感知、理解和预测方面涉及机器人的最先进方法，我们将情境感知领域作为一个整体进行研究，并了解其组成部分的进展和局限性。然后，我们讨论我们预期研究将以哪个方向解决剩余的挑战，并弥合机器人与成熟智能自主系统之间的差距。
03 本文的主要贡献总结
（1）全面回顾最先进的方法：我们对涉及增强移动机器人平台情境感知的最新研究进行了深入分析，涵盖计算机视觉、深度学习和SLAM技术。
（2）识别和分析挑战：我们根据提出的移动机器人情境感知定义对已审查的方法进行分类和讨论，并突出显示它们实现移动机器人完全自主的现有局限性。
（3）提出未来研究方向的建议：我们提供有价值的见解和建议，针对开发高效和有效的移动机器人平台情境感知系统需要解决的未来研究方向和开放问题。
点击左下角阅读原文，查看更多内容
—— 精彩推荐 ——
1. SLAM 路径规划：巡检机器人算法设计
2. 多机器人协同在线构建三维场景图
3. 一文详解自动驾驶中的时空坐标系
4. 多相机视觉系统的坐标系统标定与统一及其应用
5. 结合局部与全局特征的点云语义分割卷积网络
6. 视觉SLAM：模型介绍、算法框架及应用场景
