文章：P2O-Calib: Camera-LiDAR Calibration Using Point-Pair Spatial Occlusion Relationship
作者：Su Wang , Shini Zhang, Xuchong Qiu
编辑：点云PCL
欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。
公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。侵权或转载联系微信cloudpoint9527。
摘要
准确而稳健的传感器标定结果被视为自动驾驶和机器人领域后续研究的重要基础。当前涉及3D LiDAR和单目摄像机之间外参标定的工作主要集中在基于目标和无目标的方法上，基于目标的方法通常在离线情况下使用，因为存在一些限制，比如需要设计额外的目标和目标放置的限制。目前的无目标方法在不同环境中存在特征不确定性和特征不匹配的问题。为了缓解这些限制，我们提出了一种基于在3D空间中使用遮挡关系进行的2D-3D边缘点提取的新型无目标标定方法。基于提取的2D-3D点对，我们进一步提出了一种遮挡引导的点匹配方法，提高了标定的准确性并降低了计算成本。为验证我们方法的有效性，我们在来自KITTI数据集的实际图像上定性和定量评估了方法的性能。结果表明该方法优于现有的无目标方法，实现了低误差和高鲁棒性，有助于提升相机-LiDAR标定的实际应用效果。
主要贡献
本文提出了一种新颖的无目标外参标定方法，利用统一的2D-3D遮挡特征在各种场景中实现了稳健的估计。对于在摄像机图像上进行特征提取，我们先前的工作[15]引入了像素对遮挡关系的概念，并允许我们提取带有空间遮挡信息的图像边缘点。在这项工作中，根据遮挡关系定义利用LiDAR点云上的3D遮挡边缘提取，并开发了一种使用提取的2D-3D点对的新型标定方法。此外遮挡关系为更健壮的跨模态特征关联提供了有价值的指导，能够容忍来自相机-LiDAR外参初始猜测的更大误差，与在实际数据集KITTI上评估的先前工作相比，所提出的方法提高了相机-LiDAR外参标定的准确性和泛化能力。这项工作的主要贡献包括：
- 基于遮挡关系设计了一种系统的相机-LiDAR外参标定流程，它可用于在线场内标定，无需外参标定目标。
- 提出了一种新颖的点云特征提取方法和相应的2D-3D边缘特征匹配方法，所提出的方法利用定向遮挡信息减少了特征配准不匹配，并对不完美的特征提取具有鲁棒性。
- 在合成和实际数据集上的实验证明了所提出方法的有效性，包括消融实验证明和对准确性、鲁棒性和泛化能力的检查。将会发布我们的代码和数据集。
图1. 所提方法的示意图：(a) 所提出使用对齐的2D-3D遮挡边缘点对来估计相机C和LiDAR L之间的外部TCL；(b) 在遮挡方向引导下的2D-3D特征匹配。彩色像素是从图像中提取的遮挡边缘特征点，彩色圆圈是从失标定的LiDAR中提取的点云遮挡边缘特征点，绿色和红色分别代表左右遮挡方向。蓝线表示具有相同遮挡方向的特征之间的数据关联（例如，左遮挡边缘）；(c) 使用估计的外参将LiDAR点云投影到图像上。
内容概述
本节详细介绍了提出的Camera-LiDAR外参校准方法，该流程包括三个步骤：首先，为RGB图像训练P2ORNet神经网络以进行逐像素遮挡边缘识别，并从给定的点云中提取3D遮挡边缘。然后提出了一种在2D像素和3D点之间指定透视n点（PnP）问题的遮挡引导匹配策略。最后通过优化点到线的投影重投影误差，最终获得外参校准矩阵。图2概述了提出的框架。
图2. 所提方法的架构，该方法首先从输入的2D-3D数据中提取2D-3D遮挡边缘特征点，然后应用遮挡引导的特征匹配将它们对齐。随后在匹配的2D-3D点对上进行优化，以恢复摄像机和LiDAR之间的外参。左右遮挡边缘点以绿色和红色着色，而上下遮挡边缘点以黄色和蓝色着色，为了清晰起见，图2D-3D特征匹配模块中仅可视化左右遮挡边缘。
2D-3D点对定义
通过考虑表面之间的遮挡关系，定义了遮挡边缘特征点，这些特征点位于遮挡和非遮挡表面之间的边界区域。通过为每个像素对分配方向，形成了不同方向的遮挡边缘特征点，然后正式定义了每个2D-3D点对，由LiDAR捕获的3D特征点和摄像机捕获的2D特征点组成，这个定义是文章后续Camera-LiDAR外参标定方法的基础。
图3. 2D-3D遮挡边缘点对定义的示意图：(a) 图像左侧遮挡边缘区域以绿色标示，对应的2D遮挡边缘点和3D遮挡边缘点，(b) 图像左右遮挡边缘和上下遮挡边缘在存在三个对象1、2、3并发生遮挡的场景中。
图像中的遮挡边缘提取
8邻域连接：
- 每个图像像素qi具有8个直接相邻像素，包括4个水平/垂直相邻像素和4个对角线相邻像素。
- 一个图像像素可以与其8个相邻像素配对形成8个像素对。
2D遮挡边缘估计：
- 3D中的表面对遮挡关系在2D中表示为像素对遮挡关系。
- 对于每个有效的图像像素对（qi，qj），神经网络P2ORNet对三种关系状态进行分类。
- 估计的图像遮挡边缘位于P2ORNet预测存在遮挡的像素对之间的图像区域。
遮挡边缘特征点集合：
- 选择沿图像的水平/垂直轴连接的像素对作为2D中的遮挡边缘点。
- 生成左右（L，R）和上下（U，B）遮挡边缘。
- 使用方向D标记图像2D遮挡边缘特征点集合。
网络训练：
- P2ORNet使用平衡分类交叉熵损失进行训练。
- 考虑到图像遮挡边缘上低类频率的像素。
总体这一步骤旨在通过图像处理提取激光雷达和摄像机之间的遮挡关系，为后续的外参校准提供基础。
图4. 无效特征对的示例，绿色/红色菱形：点云边缘点，绿色/红色线条：检测到的图像遮挡边缘，蓝色线条：接受的匹配，(a)中的黄色线条：由于缺失图像边缘导致的无效角度匹配，(b)中的粉色线条：LiDAR 特征与尖锐图像边缘曲线匹配并变为无效。
LiDAR 特征提取
LiDAR提供了确定扫描帧之间距离差异的信息，使得3D 遮挡边缘特征提取比2D图像更直观，水平遮挡边缘特征通过遍历扫描的每个圈，一旦它们与同一圈上的相邻光束断开连接，将该点标记为遮挡特征来提取，垂直遮挡边缘特征以相同的方式提取，通过遍历 LiDAR 的每一列并与其垂直相邻的光束进行比较。随后考虑到位于地平面上的点几乎不可能是遮挡点，因此在原始点云上应用 RANSAC（随机样本一致性）事先提取地平面的系数，在特征提取之后，将接近地平面系数的遮挡边缘特征移除，然后对特征点云应用半径滤波以减少浮动异常值。
外参标定
遮挡引导特征匹配（OGM）：
- 利用遮挡方向改进数据关联，确保点云特征仅与具有相同遮挡方向的图像特征匹配。
- 从四组图像特征（QL、QR、QU和QB）构建四个KD树，将每个LiDAR特征投影到相机框架上。
- 使用几何信息过滤掉异常匹配对，包括距离阈值、角度阈值和特征值比较。
- 匹配结果示例如图5(a)，与没有遮挡方向指导的匹配图5(b)和仅使用图像梯度提取的边缘图5(c)进行对比。
图5. 特征提取和匹配的比较：图（a）展示了提出的特征匹配结果，图像遮挡边缘与具有相同遮挡方向的点云遮挡边缘关联。在图（b）中，特征位置与（a）相同，但直接进行匹配而没有遮挡引导。在（b）中的放大窗口中，杆的所有左右点云特征错误地匹配到右侧图像边缘。图（c）显示了噪声Canny边缘的图像，这与点云上3D边缘的性质不一致。
优化：
- 通过遮挡方向改进的2D-3D特征匹配问题被解释为PnP问题。
- 定义残差为垂直距离，采用Huber核平衡离群匹配权重，通过Levenberg-Marquardt方法优化。
- 进行nopt次优化，第一次运行设置较大的切割距离dc，然后在接下来的迭代中逐渐减小。
- 算法1总结了完整的优化步骤，可接受来自多幅图像的积累特征对作为输入，确保效率和适应性。
实验
仿真数据集上的实验
在vKITTI2数据集中，LiDAR数据不可用，为了解决这个问题，使用深度图像模拟部分LiDAR扫描，每个LiDAR光束由极坐标中的方向角参数化，其范围值从沿方向角追踪的深度图像区域中采样，引入距离噪声和角度扰动以模拟传感器噪声，使用Velodyne HDL64和HDL32的制造设置渲染64线和32线的LiDAR数据，如图6的第2行所示。
图. 6. 仿真数据的示例
为了突显方法的鲁棒性，专注于验证当网络输出不完美时的标定性能。使用原始边缘检测结果作为基准，通过在网络输出上使用随机圆形补丁屏蔽边缘，删除x%的边缘点来模拟网络输出不完美的情况。图6(b)显示了处理后的图像，其中边缘丢失率为25%。在序列1、2、6、20上进行了测试，这些序列包含城市区域和高速公路上的驾驶场景。表I呈现了每个轴的平均绝对误差及其相关的实验参数。
在真实数据集上的实验
在真实的KITTI数据集上验证方法，使用Velodyne HDL-64 LiDAR和相机进行了标定、同步和去畸变校正，进行了消融研究，并提供了相应的分析。表II显示了定量结果。
图8显示了一些标定结果，包括数据集中的成功结果以及失败案例。
图8. KITTI数据集上的实验结果，细边表示2D特征，而圆圈代表使用估计的外部变换投影的3D特征，所有图像都经过裁剪以获得清晰的视图。第1列和第2列是成功标定外参的示例。请注意，边缘检测网络在(c)和(d)中分别遭受过曝光和先前未知车辆的问题。而我们的方法能够处理不理想的输出。第3列显示失败的情况，因为边缘检测结果不足。对于这两个失败的图像，为了可视化，3D点云仅使用地面真值进行投影。
总结
本文提出了一种无目标相机-LiDAR标定方法，基于遮挡关系的概念引入了一种依赖于场景中自然的3D边缘特征的鲁棒的2D-3D数据关联方法。在2D图像中提取3D遮挡信息使我们有机会生成组织良好的图像边缘特征，并以简单的方式将其与LiDAR点云特征对齐，此外该标定方法对于2D或3D特征的部分丢失具有鲁棒的性能。与端到端的标定方法相比，所提出的方法使用神经网络提取图像边缘，但明确构建特征对，并通过非线性优化计算外参。这种混合架构减少了统计偏差和跨数据集域差距的影响，在真实数据上的实验证明，即使给定了去标定的初始值，我们的方法在无目标相机-LiDAR标定方面始终优于现有技术。
资源
自动驾驶及定位相关分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
自动驾驶中基于光流的运动物体检测
基于语义分割的相机外参标定
综述：用于自动驾驶的全景鱼眼相机的理论模型和感知介绍
高速场景下自动驾驶车辆定位方法综述
Patchwork ：基于点云的快速、稳健的地面分割方法
PaGO-LOAM:基于地面优化的激光雷达里程计
多模态路沿检测与滤波方法
多个激光雷达同时校准、定位和建图的框架
动态的城市环境中杆状物的提取建图与长期定位
非重复型扫描激光雷达的运动畸变矫正
快速紧耦合的稀疏直接雷达-惯性-视觉里程计
基于相机和低分辨率激光雷达的三维车辆检测
用于三维点云语义分割的标注工具和城市数据集
ROS2入门之基本介绍
固态激光雷达和相机系统的自动标定
激光雷达 GPS IMU 轮速计的传感器融合定位方案
基于稀疏语义视觉特征的道路场景的建图与定位
自动驾驶中基于激光雷达的车辆道路和人行道实时检测（代码开源）
用于三维点云语义分割的标注工具和城市数据集
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
TOF相机原理介绍
TOF飞行时间深度相机介绍
结构化PLP-SLAM：单目、RGB-D和双目相机使用点线面的高效稀疏建图与定位方案
开源又优化的F-LOAM方案：基于优化的SC-F-LOAM
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
易扩展的SLAM框架-OpenVSLAM
基于鱼眼相机的SLAM方法介绍
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入知识星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
为分享的伙伴们点赞吧！
