文章：Lidar with Velocity: Motion Distortion Correction of Point Clouds from Oscillating Scanning Lidars
作者：Wen Yang , Zheng Gong , Baifu Huang and Xiaoping Hong
编译：点云PCL
代码：https://github.com/ISEE-Technology/lidar-with-velocity.git
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
摘要
运动物体引起的激光雷达点云畸变是自动驾驶中的一个重要问题，近年来，随着非重复型激光雷达的出现，对点云畸变的要求越来越高，非重复型激光雷达具有来回扫描模式和复杂的畸变。准确地校正点云畸变不仅可以更准确地描述三维运动对象，还可以通过增强的预测和跟踪能力准确估计运动对象的速度。本文提出了一种激光雷达与相机融合的方法，用全速度估计来校正激光雷达的非重复畸变，激光雷达在径向上精确测量飞行时间距离，但仅使用稀疏的角度信息，而相机作为补充传感器可以提供稠密的角度分辨率的点云。此外，该框架利用概率卡尔曼滤波方法将估计的速度与实时速度和正确的点云相结合，跟踪运动目标，本文提出的框架基于真实道路数据进行评估，并始终优于其他方法。完整的框架已开源：https://github.com/ISEE-Technology/lidar-with-velocity.git，以加速新兴激光雷达的使用。
主要贡献
汽车激光雷达在现代自动驾驶中发挥着越来越重要的作用，因为它可以在视野（FoV）中对物体进行直接而准确的3D描述。但是，点云的模糊性通常在对象运动时发生，与快门相机中的运动模糊机制类似，畸变源于激光雷达的扫描性质，如图1所示：
图1：360°旋转扫描（Velodyne，左）和非重复扫描（Livox Horizon，右）产生的典型失真，其中非重复扫描将来自不同时间和位置的点云合并到单个帧中，并降低了运动失真
渐进式飞行时间（ToF）扫描法会在被观测对象在这些测量过程中移动时一个接一个地进行。纠正这些畸变不仅可以更好地对对象进行三维描述，还可以作为一种手段，精确评估每个实例中移动对象的速度。非常需要全速度信息（例如4D激光雷达）和相关的校正点云畸变，以帮助目标识别、姿态识别、跟踪、运动预测和决策。传统360°旋转激光雷达的畸变已在之前的工作中有所描述，其中的现象通常是物体的变形（图1的左部分）。然而，由于汽车行业对性能、可靠性和成本的更高要求，新兴的激光雷达被开发出来，并且具有更严重的运动失真（表一）。
将相机和激光雷达融合在一起进行全三维速度估计将两者的优点结合在一起。如图2 ：
图2：激光雷达具有良好的径向精度，但缺乏角度分辨率，相机具有良好的角度分辨率，但无法直接检测距离，它们的融合可以提供对3D对象的精确的测量。
在本文设计了一种传感器融合方法，以同时识别运动物体的速度，并从非重复型激光雷达中恢复模糊的点云，其贡献如下。
- 这是针对新兴非重复型激光雷达畸变的首次工作。我们结合相机和激光雷达各自的优点，构造了一种概率传感器融合算法，以精确校正非重复扫描类型的畸变。
- 在卡尔曼滤波系统中估计并组合完整而精确的三维速度，从而实现精确的运动目标预测和跟踪。
- 提供了一个完整的框架解决方案，从前端传感器检测到后端跟踪，具有实时性能，并开源，以加速新兴激光雷达的使用和发展。
主要内容
A、 概述
硬件系统如图3所示。这里选择Livox Horizon激光雷达作为非重复扫描激光雷达的示例，其扫描模式类似于图1中右下角的模式。Livox Horizon激光雷达安装在行驶车辆的顶部。RGB摄像机安装在与激光雷达相同的FoV上，用于检测运动物体并估计其切向运动速度。利用GNS能量系统（APX-15）精确测量自我运动，进行相应的畸变校正，激光雷达、摄像头和APX15模块在时间上同步。
图3：硬件系统由Livox Horizon激光雷达、RGB摄像机和GNSS惯性模块组成，该系统安装在移动车辆上，用于从真实道路场景中采集数据
利用这套传感器硬件，提出了一个系统框架来估计移动物体的速度并矫正其点云的畸变，系统方案如图4所示：
图4：该框架的方案将激光雷达和camerea的优势与基于卡尔曼滤波器的跟踪相结合。（又是一个完全的基于相机和激光雷达的目标检测，跟踪的方案，值得学习）
外参校准的激光雷达和相机将传感器数据输入预处理阶段，其中包括自我运动校正、目标检测和关联，ego运动校正使用APX惯性系统或lidar里程计计算，这两种系统均已在框架中提供。在检测中，使用图像检测方法或激光雷达检测方法或两者来识别运动物体。一旦识别出图像中的对象，就会提取并关联相应的点云，分别对点云数据和图像数据进行优化，分别以帧更新率进行三维速度估计和切向速度估计。这两个速度被概率地融合成一个统一的速度，并作为测量输入卡尔曼滤波（KF）过程，KF过程针对每个跟踪对象运行，以计算其最终速度。使用此速度，可以校正每个移动对象的畸变点云。
B、 预处理
首先需要对坐标进行统一处理，并对所有传感器进行校准，以将其转换为同一坐标下。它们包括激光雷达相机外参校准和激光雷达APX外参校准，时间同步也在硬件级别执行。由于所有传感器都是同步的，因此我们可以将单个相机帧（通常为100 ms）期间收集的点云数据校正到t0帧的开始。Pi用于表示激光雷达系统中第i个点的坐标。采样点i时刻和帧开始时间t0之间的时间ti存在偏差。为了纠正不匹配，对于每个点，获得最接近的 APX velocity vi输出，以转换偏差。如果无法使用精确的GNSS惯性系统，则可以使用激光雷达惯性里程计系统来估计自我运动速度，在去除自我运动失真后，通过YOLO算法通过图像检测运动对象和相应的ROI边界框，通过边界框分割对象的相应点云，并将其与对象关联，如果摄像机检测不可用，也可以使用我们在框架中提供的3D点云检测算法。
C、 相机切向速度测量
该相机提供了良好的切向速度测量机制，如图2所示，图像分辨率要比使用角分辨率稀疏的点云更高，以准确确定切向速度，对于时间t0和t1处的两个连续帧，运动相对较小，并且执行KLT稀疏光流算法来跟踪像素运动场。由于每个移动对象的检测边界框可用，因此边界框内的光学矢量指示对象的相对2D移动。RANSAC方法用于去除异常值并细化结果。如图5 所示
图5：速度测量可以分解为两个正交方向，由于分辨率较高，相机可以更精确地测量切向（球坐标中的极向和方位向）速度，而激光雷达可以测量切向和径向。在切向方向上融合两种传感器模式是有益的
D、 激光雷达测量和优化
激光雷达提供了相机的另一种成像模式，首先，直接距离测量允许估计对象沿径向（深度）方向的移动。摄像头模式中缺少此功能。第二，尽管相对稀疏，激光雷达点云仍然可以用来估计切向速度，计算出的协方差可以与相机模态融合。我们提出了一种新的优化方法来估计目标的速度，该速度将投影到径向和切向上，径向部分将用作估计的对象径向速度，而切向部分将与相机测量融合，以结合两种模式的有效性。
E、 状态融合
卡尔曼滤波器用于组合每帧中的不同速度测量值，并在连续帧中保持跟踪速度。在每一帧中，输入来自激光雷达和相机的得出来的跟踪量，并最终融合的速度vf以帧输出速率，更详细的公式介绍请查看原文介绍。
实验
A、 切向分辨率增强摄像头能力
图6展示了摄像机在点云失真校正中的切向分辨率增强能力，来自三个连续帧的原始点云显示在第一行，由于非重复激光雷达的扫描性质，模糊效果非常明显，当仅使用激光雷达的点云进行优化时，与使用激光雷达和相机进行优化时相比，切向上的校正明显不足，尤其是在移动对象主要沿切向移动的情况下（情况2和3）。卡尔曼滤波器被用作所有情况的后端，以去除异常值并提供更好的连续速度估计。
图6：利用该方法对三个连续帧进行点云畸变校正，该方法仅对激光雷达点云进行优化，对激光雷达进行相机优化，原始点云显示在顶部，相应的图像显示在底部
表II显示了图6所示三种情况下的定量评分：
B、 畸变校正评估
Hold等人提出的方法是一种最先进的算法，广泛用于校正传统360°旋转型激光雷达的激光雷达点云畸变。利用所提出的方法（激光雷达和摄像头）和HOLD方法，评估了12个真实道路数据，其中57个是使用自制车顶安装系统收集的跟踪移动对象。图7示出了为每个被跟踪的移动对象计算的得分。根据该方法计算的平均脆度得分（0.32）是现有方法值（0.134）的两倍多。这一结果进一步验证了所提出的校正非重复型激光雷达运动模糊的框架是有效的。
图7：对实际道路数据上的跟踪对象，采用该方法和HOLD方法进行的运动失真校正的清晰度评分
C、 跟踪性能
为了进一步了解所提出的方法如何跟踪对象并及时执行畸变校正，我们查看了图7中的几个跟踪对象和相应的交通场景，性能如图8所示。在繁忙的交通情况下，同时跟踪多个移动对象，并估计其速度，第三列是原始点云（第二列）校正后的点云鸟瞰图，展示了减少模糊度的有效性，值得注意的是，卡车/公共汽车的污损效果得到了令人满意的消除，轿车的形状和车窗大多得到了实时恢复。
图8：利用该方法对常见交通场景进行跟踪和畸变校正，提供了估计车速的大小，用该方法恢复了卡车、公共汽车和轿车的形状
在图9中，展示了多个被跟踪对象的跟踪性能和得分。蓝色虚线是从原始点云计算的分数。由于非重复扫描产生较大的模糊，得分较低。在校正传统360°旋转激光雷达点云时采用的HOLD方法产生的脆度分数略好于原始点云。在一定时期内，性能可能会更好，但一致性较低。该方法结合了激光雷达和相机，始终工作得更好，在畸变校正方面显示出更高效和更稳健的框架
D、 实时分析
最后进行了运行时性能分析。在连续帧中同时进行多个运动目标的检测和跟踪、速度估计和点云畸变校正。卡尔曼滤波器接收激光雷达相机融合的速度测量值，保持最佳预测速度并校正失真。以上任务是在运行于3.80 GHz的Intel i7-10700K CPU上进行评估的。可以获得实时性能。如下表：
总结
本文提出了一种鲁棒的基于传感器融合的速度估计器和点云畸变校正方法，通过将相机和激光雷达模式与其独特的强度进行融合，新兴激光雷达独特的非重复扫描模式产生的畸变可以得到令人满意的矫正，由于能够有效且准确地跟踪移动对象，我们认为该框架特别适合在自动驾驶任务中采用非重复型激光雷达，我们希望这个开源框架和数据能够对学术界和专门从事这些领域的工业界有所帮助。
