标题：The algorithm to generate color point-cloud with the registration between panoramic imageand laser point-cloud
作者：Fanyang ZENG, Ruofei ZHONG
编译：点云PCL
来源: https://iopscience.iop.org/article/10.1088/1755-1315/17/1/012160
本文仅做学术分享，如有侵权，请联系删除。内容如有错误欢迎评论留言，未经允许请勿转载！
摘要
激光点云除了点云XYZ的信息只包含强度信息，需要从其他传感器获取颜色信息。相机可以提供相应对象的纹理、颜色和其他信息。利用数字图像中相应像素的颜色信息，可以生成彩色点云，有利于点云的可视化、分类和建模。不同的移动测量系统（MMS）使用不同类型的数码相机，不同系统产生彩色点云的原理和过程不尽相同。全景图像最突出的特点是视场在水平方向360度的视角，尽可能地获取相机周围的图像信息。本文介绍了一种利用全景图像和激光点云生成彩色点云的方法，根据三点（全向多相机系统的中心、球面上的像点、目标点）的共线原理，推导出全景图中点与激光点云的对应方程。实验结果表明，本文提出的算法和公式是正确的。
介绍
近年来，由激光扫描仪、POS和CCD相机组成的车载移动测量系统的研究取得了一定的成果。无需激光扫描系统获取带有颜色的稠密点云更精确、更直接，数码相机获取的图像可以提供丰富的颜色和纹理。因此，将点云与图像结合起来，可以更准确、更直观地描述地表特征。彩色点云是点云与图像数据融合的直观产物。它在视觉显示、分类和对象建模等方面具有很大的优势，不同类型的数码相机用于不同的移动测量系统（MMS），不同系统中产生彩色点云的原理和过程也不尽相同。
激光点云与数字图像融合的研究，根据摄像机的类型可分为三类。类型有平面阵列相机、线阵相机和全景相机。其中平面阵列相机与点云的融合是目前研究最多的问题。针对数据的不同特性，基于POS数据或两个数据源之间的特征匹配，实现激光点云数据与平面阵列相机图像的配准，与平面阵列相机相比，基于共线原理生成彩色点云，线阵相机具有宽视角和高采集频率，克服了在某些情况下不能及时存储图像和丢失图像的问题，但在标定和白平衡调整方面比较困难。对于全景图像，最突出的特点是水平方向360度的视场，尽可能获取相机周围的图像信息。三种不同的图像采集方法各有优缺点，应根据不同系统的不同需要进行选择。
加拿大Optech的Lynx移动地图机配备了2到4个平面阵列CCD摄像头。奥地利RIEGL公司的VMX-250配备了4或6个面阵CCD摄像机。日本Topcon公司的IP-S2系统采用 Ladybug3 全景摄像头。线阵CCD摄像机也可用于其它一些MMS。本文的实验平台是首都师范大学研制的车载激光扫描与建模测量系统。该系统主要由激光扫描仪、全景相机、GPS和IMU组成。激光扫描仪用于获取点云数据（图2）。数码相机用于获取彩色纹理。IMU和GPS提供系统在运动过程中的姿态和位置。所有设备固定在同一平台上，由GPS时间统一。通过实验场标定和一系列数据融合处理，激光点云与图像能够精确配准。本文中系统配备 Ladybug3 全景摄像头，直接获取全景图像（图3）。通过全景图像与激光点云的配准，可以得到图像中像素点与点云点之间的对应关系。本文在全景图像与点云配准的基础上，利用全向多相机系统的中心、球面上的像素点与目标点成直线的共线原理，介绍了一种由激光点云和全景图像生成彩色点云的方法。该方法充分利用了360度全景图像和激光点云。最后，实验结果表明本文提出的算法和公式是正确的。
具体实现
坐标系定义
大地坐标系S（Xt,Yt,Zt）：绝对坐标系，此坐标系中的所有数据通过该坐标系统一。
局部三维笛卡尔坐标系S1（X1,Y1,Z1）：系统原点位于当前全景相机球体的中心。我们可以通过将系统中的大地坐标系S的原点移到全景相机球的中心来得到新的坐标系S1。
全景三维笛卡尔坐标系S2（Xs，Ys，Zs）：系统原点也在当前全景相机的中心。Y轴指向前进方向，X轴指向车身右侧，Z轴垂直向上。
全景秋极坐标系P（B,L,R）：原点在全景球中心的极坐标系。
全景图像平面坐标系（o-xy）：以全景图像的主点为原点的笛卡尔坐标系。
生成彩色点云算法
点云数据中每个点的坐标都是绝对坐标，表示物体点的实际位置。根据共线原理，物体点、摄影中心和成像点是共线的。因此，我们可以根据对应的目标点的三维坐标来计算像素点的坐标，然后用像素点的RGB值来指定目标点。
第一步。坐标系转换从 S（Xt,Yt,Zt）到S1（X1,Y1,Z1），如公式1：
其中，（dX dY dZ）是当前全景球体中心的大地坐标（就是说把相机球体中心的大地位置，可以理解GPS和相机之间是有位移的，外参）
第二步。从S1（X1 Y1 Z1）到S2（Xs Ys Zs）的坐标变换，如公式2所示；
式中，（a1,a2,a3,b1,b2,b3,c1,c2,c3）为旋转矩阵的参数，由全景球的三个姿态角决定：φ（横滚角）、ω（俯仰角）、κ（航向角），公式3。(就是当前车辆的IMU的姿态？)
第三步。用S2中对应点的坐标（Xs Ys Zs）计算全景球内成像点的极坐标P（B L R），其中B和L的含义如图1所示，R为全景球的半径；
第四步。用极坐标（B L）计算对应像点的像面坐标（x y ）；
第五步。根据对应图像点的图像平面坐标（x y）计算像素的坐标（m,n）。步骤4和步骤5可表示为式6和式7；
其中，Width表示全景图像的宽度，Height表示全景图像的高度。
第六步。用像素的RGB值指定对象点，如公式8所示；
其中，RGB（Xs Ys Zs）表示点（Xs Ys Zs）的RGB值，N表示图像的序列号，RGB（m,n,N）表示像素(m,n)的RGB值
彩色点云的生成
本文的实验数据由点云数据、全景图像和图像相关信息文件三部分组成。图像的相关信息包括每个图像在拍照时刻的文件路径、位置、姿态和GPS时间。该系统中的点云数据是通过连续激光扫描获得的。数据格式为以下：x，y，z代表三维坐标，t代表每秒GPS周期。全景图像每5米采集一次。图像的格式是BMP或JPEG。生成彩色点云的第一步是读取这些数据。在本实验中，点云数据扫描线之间的距离约为0.2米（速度约为40公里/小时），而相邻两幅全景图像之间的距离为5米。全景图像中的某些物体被其他物体遮挡，在相邻的多幅全景图像中物体的可见度不同。基于以上原因，生成彩色点云的第二步是为每个点选择合适的全景图像。针对这些问题，本文提出了以下对策。首先，根据GPS时间或几何距离为每个点选择最近的全景图像。其次，分析点云在全景图像中的可见度，如果当前图像中的目标被遮挡，则选择相邻的全景图像对点进行着色。但在进一步的应用中，具体的程序还需要根据实际数据的特点和需要进行调整。第三步计算目标点对应的图像点的像素坐标，并将像素点的RGB值赋给目标点。对所有对象点执行相同的操作，直到生成颜色点云。
结果与分析
在本实验中，彩色点云的效果主要受以下因素的影响：点云的精度、图像的分辨率和几何失真程度、点云与图像的配准精度。本实验使用的激光扫描仪是国产的RANGLE-II型激光扫描仪，点云数据的相对测量精度优于1cm。Ladybug 3是实验中使用的全景相机，分辨率为2048×1024，在10米距离的误差为1厘米，在50米的误差为5厘米。当目标远离摄影中心时，一个像素可能对应多个相邻点，因此全景图像的分辨率越高，点云的颜色就越丰富，精度也就越高，可采用试验场定标法计算点云与图像的配准参数
本文所用的实验数据是由首都师范大学研制的车载激光扫描建模测量系统在广州某高架桥路段采集的。激光点云数据如图5所示，全景图如图6所示。通过本文提出的算法，自动生成图7所示的彩色点云。将彩色点云与原始图像进行比较，可以发现颜色完全一致，说明公式是正确的
对彩色点云数据的进一步分析表明，颜色对于点云的可视效果是非常好的。例如沿途的树木、房屋和路灯等（如图8所示）。即使当物体离摄影中心150米远时，效果还是不错的。但是，对于遮挡物和高层建筑顶部的物体，存在颜色混乱的问题。通过分析，其原因如下。首先，车辆位于高架桥上，路边护栏部分遮挡了全景摄像头的视线，使摄像头无法在较低位置获取图像。在下一步的工作中，将对遮挡处理策略和捕获路径进行优化。其次，本系统配备的全景摄像头存在一些问题。主要原因是相机的分辨率不够。瓢虫3的默认分辨率为2048×1024。摄影机的扭曲也会影响结果。未来，我们将开发一个由多个单反相机组成的高分辨率全向多摄像机系统，以取代现有的全景相机（ladybug 3），这将对实验效果的提高起到重要作用
