文章;LESS-Map: Lightweight and Evolving Semantic Map in Parking Lots for Long-term Self-Localization
作者：Mingrui Liu , Xinyang Tang , Yeqiang Qian , Jiming Chen , and Liang Li
编辑：点云PCL
欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。
公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。侵权或转载联系微信cloudpoint9527。
摘要
精确且长期稳定的定位对于停车场内的行车任务，如自动驾驶或自动代客泊车等，至关重要。现有方法依赖于固定且内存效率低下的地图，缺乏强大的数据关联方法，不适用于精确的定位或长期地图维护。本文提出了一种基于地面语义特征、利用低成本摄像头的新型地图制作、定位和地图更新系统，提出了一种精确且轻量级的参数化方法，用于建立改进的数据关联，实现厘米级别的精确定位。此外还提出了一种新颖的地图更新方法，通过对参数化的语义特征实现高质量的数据关联，允许在重新定位过程中进行连续地图更新和细化，同时保持厘米级别的准确性。在实际实验中验证了所提方法的性能，并与最先进的算法进行了比较。所提出的方法在配准过程中平均准确性提高了5厘米。生成的地图仅占用450 KB/km的紧凑存储空间，并通过连续更新适应不断变化的环境。
图1. 左上角的图像描述了一个停车场场景，而更大的图像表示我们为停车场建立的地图，提出了一种轻量级的语义特征表示，为车辆实现厘米级别的定位精度。
主要贡献
现有方法缺乏对地面语义信息的强大参数化，导致在制图和定位过程中缺乏强大的数据关联，这个不足会对定位的准确性产生不利影响，同时对地图的长期更新能力有所限制。因此，在这项工作中，我们提出了一种用于地面语义特征的准确且轻量级的参数化方法，以帮助提高制图和定位的准确性和效率。此外提出了一种新颖的地图更新方法，允许在重新定位过程中进行连续地图更新和细化，同时保持厘米级别的准确性。本工作的贡献总结如下：
- 提出了一种用于地面语义特征的新型参数化方法，以实现更高效的位姿估计和更强大的数据关联。
- 提出了一种轻量级的地图维护方法，可以通过后续车辆的定位结果进行更新，实现厘米级别的定位精度。
- 提供了一个完整而实用的地图制作、定位和地图更新流程，通过实际实验在室外和室内场景中表现出可靠性。
内容概述
系统概述
使用四个全景鱼眼摄像头、惯性测量单元（IMU）和车轮编码器来捕捉周围环境并估算车辆的轨迹。所提出的算法包括两个主要模块：地图构建和定位，如图2所示。
图2. 所提出算法的概览。我们使用四个全景摄像头提取精确参数化的地面特征。系统主要分为两个部分。第一个（左侧）部分是地图构建部分，当首次进入环境时创建一个全局地图。第二个（右侧）部分是定位和地图更新部分，它进行定位并使用新捕获的环境数据更新先前的地图。
- 地图构建：当车辆首次进入环境时，一个基本任务是构建全局地图，作为后续定位和地图更新的基础。我们从全景摄像头中提取地面语义特征，并将其投影到3D空间中。通过估算这些观测的不确定性来增强地图融合。然后，使用本文介绍的方法对这些特征进行参数化。因此，通过姿态估计和回环闭合的细化生成了全局地图。
- 定位和地图更新：在构建全局地图后，当车辆返回到环境中时，可以利用新捕获的环境数据进行定位和地图更新。考虑到环境的动态性和可能进入未建图区域的可能性，构建了一个因子图来融合里程计和定位结果，产生了经过微调的全局轨迹和新生成的地图。新生成的地图然后无缝合并到现有地图中，确保了稳定和一致的地图更新过程。
语义分割和点云生成
使用一个强大的分割网络[23]来有效地从原始鱼眼图像中检测地面、车道线和道路标记。经过语义分割，我们将鱼眼图像转化为车辆坐标系内的语义点云。这个变换包括对鱼眼图像进行去畸变处理和执行逆透视变换。
图3. 点云生成结果。(a) 由鱼眼摄像头拍摄的原始图像。(b) 语义分割的结果。(c) 通过IPM投影获得的点云，用置信度测量呈现。(d) 由四个鱼眼摄像头的结果拼接而成的完整点云。
这个置信度测量的可视化如图3所示。需要注意的是，由于给定摄像机的投影建图在初始化期间保持不变，上述步骤只需要在摄像机初始化期间计算一次，不需要重复计算。
轮廓参数化
为了充分利用地面的语义结构，我们提出了一种自适应参数化方法来编码地面的语义信息。这种方法的过程如图4所示。为了消除在嘈杂环境中可能存在的微不足道或不可靠特征，我们过滤掉了置信度低和面积小的轮廓。轮廓聚类结果如图4(a)所示。然后计算每个轮廓点的2D轮廓法线向量，因为通过IPM投影获得的点云都位于同一平面上。该轮廓法线向量被定义为从轮廓内部指向轮廓外部的矢量，垂直于轮廓的边缘。我们利用一种基于表面的边缘估计算法[26]来估计轮廓法线向量。估计结果如图4(b)所示。然后，根据我们获得的相邻关系，我们在获得轮廓法线向量后采用区域生长算法来聚类轮廓点。具有一致轮廓法线向量的点被聚类到同一组中。聚类结果如图4(c)所示，说明了将道路标志分割成多个线云的过程。随后，对于每个线簇，我们计算其方向和中心点以获得6自由度线系数。此外，还获得了每个线簇的一组端点。提取的线特征如图4(d)所示。我们使用线簇中所有点的平均置信度测量来表示线的置信度。
图4. 我们的地面语义特征参数化过程。(a) 点云中的不同轮廓。(b) 轮廓点的轮廓法线向量（绿线）。(c) 由区域生长算法获得的线簇。(d) 从线簇云中提取的线特征。
里程计
里程计估计了两个相邻摄像机拍摄之间的位姿变换。基于前面提取的特征，我们利用对应特征来估计相对的位姿变换，这个估计是通过点对线的ICP方法进行的，经过一些修改以提高准确性和效率。
图5. 不同方法得到的相邻帧匹配结果。(a) 由最近搜索形成的匹配结果。(b) 由我们的方法形成的匹配结果。
局部地图构建
通过里程计获取了相邻帧之间的变换关系。当机器人的位姿变化超过预定义的阈值时，将生成一个关键帧，由于语义信息的限制以及个别测量中存在的碎片化和低置信度的观测，采用概率滤波来融合两个关键帧之间的所有观测，以获得更好的关键帧融合结果。
回环检测和全局优化
为了实现回环检测，在关键帧之间进行配准，当生成一个新的关键帧时，我们通过点对线配准将关键帧与附近的关键帧进行对齐，以识别潜在的回环闭合。我们构建了一个因子图用于进行全局姿态优化，其中包括三种类型的因子：(1) 里程计因子，(2) IMU 预积分因子，以及 (3) 回环检测因子。我们使用 iSAM2进行全局优化。在完成全局优化后，我们可以使用优化后的姿态将局部地图合并到全局地图中。
定位和地图更新
完成地图构建后，当车辆再次访问同一环境时，我们会执行定位和地图更新过程。在定位过程中，除了使用之前的地图进行引导，所提出的算法还可以适应环境可能发生变化或车辆进入以前地图未覆盖的区域的情况。在参数化地面语义信息之后，我们并行运行两个模块：基于帧间配准的里程计模块和基于先前地图的定位模块。里程计模块与前文提到的一致。在定位模块中根据预估的姿态加载周围的先前地图，执行帧对地图的配准，以获取车辆在全局坐标系中的姿态和位置。为了估计车辆是否遇到了环境变化或是否到达了先前地图的边缘，在定位模块内进行了有效性评估。鉴于在这种情况下，车辆当前的观察无法与先前地图建立有效的对应关系，我们通过评估当前帧和帧对地图配准后的地图帧之间的重叠来判断。地图边缘的重叠变化可视化如图6所示。当计算得到的重叠值低于预定义的阈值时，定位结果被视为无效。然后，这一有效性判断将被发送到图优化模块。
图6. 说明了地图边缘的重叠值情况。(a) 到 (d) 表示车辆从地图覆盖区域向地图边缘移动时重叠比率的变化。(a) 完全重叠；(b) 和(c) 部分重叠；(d) 未重叠。
在获取了定位和里程计测量结果之后，我们维护一个如图7所示的因子图。因子图包括三种主要类型的因子：里程测量因子、IMU因子和定位因子。里程计因子是基于从里程模块获取的帧对帧的结果构建的，而定位因子是基于由定位模块提供的帧对地图的结果构建的。值得注意的是，这些定位因子仅在定位有效时才会被纳入考虑。通过优化因子图可以在定位无效的情况下纠正累积漂移，获得连续的轨迹。由于因子图主要处理未建图区域的轨迹对齐和优化，因此我们只保留最近的10个定位结果在位姿图中，并将之前的结果视为稳定的，以避免处理大量的变量。在获得了连续的轨迹后，生成使用当前观测和新获得的轨迹的局部地图，这些具有关键帧全局位姿的局部地图被合并到先前的地图中，补充缺失的部分，并更新/完善现有的地图。
图7. 因子图示例
实验
通过实际的现场实验和对比研究来验证我们的算法。我们的车辆配备了四个全向鱼眼摄像头，安装在前、后和左/右侧镜子上。定位的地面真实性由RTK-GPS提供。作为比较，我们实现了AVP-SLAM和一个基于网格的建图方法，通过ICP实现了地面语义特征的配准。此外，我们使用ORB-SLAM2 作为基准，该基准具有安装在车辆顶部的前置摄像头，用于获得足够的特征进行视觉里程计。我们比较了提出的方法在建图和定位任务中与基准方法的性能。此外，我们进行实验来验证它在诸如配准、地图存储和长期定位等任务中的有效性。
为了评估地图构建的准确性，我们比较了ORB-SLAM2、基于ICP的方法和提出的方法的绝对轨迹误差。结果如表I所示。我们的方法在需要更小的地图存储的情况下实现了更高的地图构建精度。
我们计算了不依赖于任何传感器融合的配准结果，轨迹误差如表II所示，左侧的数据表示基于网格地图的定位结果，右侧的数据表示我们的结果。我们的方法在不同环境条件下表现出卓越的精度，并在与基准方法的比较中实现了更高的准确性。
我们比较了在经过明显更新的选定地图区域之前和之后的地图细化的定位性能。如表III所示的结果表明，通过利用更新后的地图，可以显著提高定位的准确性。
图8(a) 地下停车场的地图完整性结果，绿色轨迹代表地图创建期间的路径，而黄色轨迹代表定位期间的路径。图8(b) 地图更新结果，绿色圆圈突出显示已完成的箭头，而黄色圆圈突出显示带有更高可信度的更新停车线。
图8. 地图更新结果
总结
本文通过利用低成本摄像头中的地面语义特征，提出了一个针对停车场的精确定位的综合解决方案，提供了一个精确、高效、鲁棒的地图制作和定位解决方案以及更新方案，使地图能够随着环境的变化而不断发展。通过真实世界的实验验证了我们系统的实用性，突出了它在智能车辆中广泛应用的潜力。实验结果表明，所提出的方法在精度和鲁棒性方面优于最先进的算法。在未来，我们将致力于将所提出的系统推广到更多场景，并将其扩展为一个更具实用性和可扩展性的多智能体系统。
AVM-SLAM：用于代客泊车的多传感器融合的语义视觉SLAM
资源
自动驾驶及定位相关分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
自动驾驶中基于光流的运动物体检测
基于语义分割的相机外参标定
综述：用于自动驾驶的全景鱼眼相机的理论模型和感知介绍
高速场景下自动驾驶车辆定位方法综述
Patchwork ：基于点云的快速、稳健的地面分割方法
PaGO-LOAM:基于地面优化的激光雷达里程计
多模态路沿检测与滤波方法
多个激光雷达同时校准、定位和建图的框架
动态的城市环境中杆状物的提取建图与长期定位
非重复型扫描激光雷达的运动畸变矫正
快速紧耦合的稀疏直接雷达-惯性-视觉里程计
基于相机和低分辨率激光雷达的三维车辆检测
用于三维点云语义分割的标注工具和城市数据集
ROS2入门之基本介绍
固态激光雷达和相机系统的自动标定
激光雷达 GPS IMU 轮速计的传感器融合定位方案
基于稀疏语义视觉特征的道路场景的建图与定位
自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源）
用于三维点云语义分割的标注工具和城市数据集
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
TOF相机原理介绍
TOF飞行时间深度相机介绍
结构化PLP-SLAM：单目、RGB-D和双目相机使用点线面的高效稀疏建图与定位方案
开源又优化的F-LOAM方案：基于优化的SC-F-LOAM
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
易扩展的SLAM框架-OpenVSLAM
基于鱼眼相机的SLAM方法介绍
