标题:3D Object Detection Method Based on YOLO and K-Means for Image and Point Clouds
作者:Xuanyu Yin and Yoko Sasaki and Weimin Wang
●论文摘要
基于激光雷达的三维目标检测和分类任务是自主动驾驶领域(AD)的关键。激光雷达传感器可以提供周围环境的三维点云数据。然而,三维点云的实时检测需要强大的算法来实现。本文提出了一种基于点云和图像的三维目标检测方法,该方法由三部分组成:
(1)激光雷达与相机的外参标定和图像矫正。
(2) 基于YOLO的检测与点云提取;
(3)基于K均值的点云分割与基于深度图像物体检测实验。
在我们的研究中,相机获取的图像数据可以通过YOLO算法进行实时二维目标检测,然后将检测到的图像上的包围盒进行变换,该变换的功能是映射到Lidar的点云数据进行三维目标检测。通过比较三维点云传来的二维坐标是否在物体边界框内,可以在GPU中实现高速的三维物体识别功能。在点云上进行k-means聚类,提高了聚类的精度和精度。该检测方法的速度比PointNet快。
●主要贡献
CVPR2017提出的PointNet是一篇具有里程碑意义文章,标志着点云处理进入了一个新的阶段。原因是在PointNet之前,我们没有办法直接处理点云。因为点云是三维且无序的,并且他们不平滑。此外,需要适用于图像神经网络算法也对点云来说是不适用的。因此,研究人员提出了多种方法,如将点云转换成图像(MVCNN),将点云划分为体素,然后将点云划分为节点并按顺序排序。因此,点云在深度学习技术上的发展可以PointNet来划分““pre-PointNet era”发展到“ “post-PointNet era ”。在PointNet、PointCNN、SO-Net等相继问世后,基于点云的深度学习的方法才开始不断改善。
●论文图集
图1显示了所提出系统的概述。这项研究基本上分为六个部分。第一部分主要是相机的校准和测试设备的结构设计。第二部分是将未标定的失真的图像转换为未失真的图像。第三部分是带有2D图像的YOLOv3对象识别。在实验中,我们主要使用YOLOv1 tiny和YOLOv3方法,使用keras再现YOLO。第四部分是点云的提取。我们使用rosbag存储数据,并使用RVIZ进行点云可视化。第五部分是k-means的无监督聚类,用于优化基础实验的检测结果并提高3D物体识别的检测精度。
传感器的安装:激光雷达和大广角相机
五张经过标定后的图像
YOLO检测到的物体
激光点云检测到的物体
●实验结果
将激光雷达点云转换为深度图的参数设置
这是一个32*1024的点云生成的深度图
K-mean聚类展示
●总结
本文的研究结论如下:
1.采用的方法是将三维点云直接转换为二维图像数据,从二维Boundingbox的识别到三维点云的渲染。由于采用了YOLO算法,实时性很强,并且采用了无监督聚类。很多噪音都会被消除。这样可以提高识别率。
2.主要是想找到一种快速、准确地判断某一方向上是否有物体和物体的方法。这将有助于无人驾驶领域的成功,让汽车获得更多的信息做出更多的判断。
3.最后的实验结果,在使用两个1080Ti GPU的情况下,基本保证了没有聚类的实验每帧消耗0.19秒,k均值聚类后5个线程消耗0.192秒。快速识别过程保证了无人驾驶环境的实时检测。如果采用并行、分布式计算等技术,识别速度会更快。