0. 简介
本文介绍了《P2O-Calib: Camera-LiDAR Calibration Using Point-Pair Spatial Occlusion Relationship》：利用点对空间遮挡关系的相机-激光雷达标定。传感器精确且鲁棒的标定结果被认为是自动驾驶和机器人领域中后续研究的一个重要组成部分。目前涉及3D激光雷达和单目相机之间外参标定的工作主要着重于基于目标和无目标的方法。基于目标的方法通常由于限制（例如额外的目标设计和目标放置限制）而离线使用。目前的无目标方法在各种环境中均存在特征不确定性和特征误匹配的问题。为了缓解这些限制，本文提出了一种新型的基于2D-3D边缘点提取的无目标标定方法，其使用3D空间中的遮挡关系。基于提取的2D-3D点对，我们进一步提出了一种遮挡引导的点匹配方法，其提升了标定精度并且降低了计算成本。为了验证本文方法的有效性，我们在KITTI数据集的现实图像上定性和定量地评估了方法的性能。结果表明，本文方法优于现有的无目标方法，实现了低误差和高鲁棒性，这有助于依赖高质量相机-激光雷达标定的实际应用。
1. 主要贡献
本文提出了一种新颖的无目标外部标定方法，该方法利用统一的2D-3D遮挡特征，在各种场景下实现了稳健的估计。对于摄像头图像的特征提取，我们之前的工作[15]引入了像素对遮挡关系的概念，使我们能够提取带有空间遮挡信息的图像边缘点。在这项工作中，我们利用遮挡关系的定义，在LiDAR点云上进行3D遮挡边缘提取，并开发了一种利用提取的2D-3D点对的新型标定方法。此外，遮挡关系为更稳健的跨模态特征关联提供了有益的指导，可以容忍来自摄像头-LiDAR外部参数初始猜测的更大误差。与在真实世界数据集KITTI上评估的先前工作相比，所提出的方法提高了摄像头-LiDAR外部标定的准确性和泛化能力。
这项工作的主要贡献包括：
- 基于遮挡关系设计了系统化的摄像头-LiDAR外部标定流程。它适用于在线现场标定，并且无需外部标定目标。
- 提出了一种新颖的点云特征提取方法及相应的2D-3D边缘特征匹配方法。所提出的方法利用定向遮挡信息减少了特征注册不匹配，并且对不完美的特征提取具有稳健性。
- 在合成和实际数据集上的实验验证了所提出方法的有效性，包括消融实验以及对准确性、稳健性和泛化能力的检验。我们将发布我们的代码和数据集。
2. 具体方法
这一部分详细阐述了提出的摄像头-LiDAR外参校准方法。该流程包括三个步骤：首先，我们训练了一个P2ORNet神经网络，用于在RGB图像上进行像素级遮挡边缘识别，并从给定的点云中提取3D遮挡边缘。然后，我们提出了一种基于遮挡的匹配策略，用于在2D像素和3D点之间制定perspective-n-point（PnP）问题。随后，通过优化点到线的重投影误差，最终获得外参校准矩阵。图2勾勒了提出的框架，接下来的小节将详细介绍遮挡关系的定义以及每个组件中的方法。
图2. 所提出方法的架构。我们的方法首先从输入的2D-3D数据中提取2D-3D遮挡边特征点，然后应用遮挡引导的特征匹配来对齐它们。随后，对匹配的2D-3D点对进行优化，以恢复相机和激光雷达之间的外部参数。左右遮挡边点着以绿色和红色标记，而上下遮挡边点着以黄色和蓝色标记。为了清晰起见，在2D-3D特征匹配模块中仅可视化了左右遮挡边。最佳观看方式为数字版本。
3. 2D-3D点对定义
在本节中，我们正式定义了2D-3D遮挡边缘的概念，并使用遮挡关系来定义图像2D点和LiDAR 3D点之间的点对。如图3(a)所示，我们考虑一个位于C处的摄像机和一个位于L处的LiDAR，它们观察到3D场景的空间表面（S_i，S_j），参考世界坐标系W。从LiDAR坐标系L到摄像机坐标系C的SE(3)变换是T^C_L，而在本工作中，估计T^C_L的任务被定义为外部标定。我们注意到q_i，q_j是3D点P_i，P_j在表面S_i，S_j上的摄像机图像平面2D投影（像素）。从C和L的角度来看，S_i在S_j的前面，遮挡边缘位于S_i和S_j非遮挡部分的边界区域。在左侧遮挡边缘区域，我们将q_i，q_j标记为2D遮挡边缘特征点，P_i，P_j则是3D遮挡边缘特征点。指向q_j的黑色箭头表示S_i在3D空间中从右到左遮挡S_j的边缘区域。通过为每个像素对分配这样的方向，遮挡边缘特征点可以进一步分为具有不同方向的特征点（参见图3(b)），例如，在本示例中的左遮挡边缘特征点q_i，q_j。从表面之间的遮挡关系开始，我们在这里正式定义每个2D-3D点对由LiDAR捕获的3D特征点和摄像机捕获的2D特征点组成，例如（q_i，P_i）和（qj，Pj）。
图3. 2D-3D遮挡边缘点对定义的示意图：(a) 图像左侧遮挡边缘区域标为绿色，对应的2D遮挡边缘点（例如，q_i, q_j）和3D遮挡边缘点（例如，P_i,P_j），(b)：在存在三个物体1、2、3遮挡的情况下，图像左右遮挡边缘和上下遮挡边缘。
4. 图像中的遮挡边缘提取
- 图像连通性-8邻域：对于每个图像像素$$q_i$$，它有8个直接相邻像素，包括4个水平/垂直相邻像素和4个对角线相邻像素。因此，一个图像像素可以与其8个相邻像素配对形成8个像素对。
- 2D遮挡边缘估计：如第3节所介绍的，3D中的表面对遮挡关系可以表示为2D中的像素对遮挡关系。对于每对有效的图像像素$$（q_i，q_j）$$，神经网络P2ORNet [15]对三种可能的遮挡关系状态进行分类：$$q_i$$遮挡$$q_j$$，$$q_j$$遮挡$$q_i$$和（$$q_i$$和$$q_j$$）之间没有遮挡。估计的图像遮挡边缘位于P2ORNet预测存在像素对之间遮挡的图像区域上。在本工作中，我们选择连接沿图像水平/垂直轴的像素对，并从预测结果中生成左右（L，R）和上下（U，B）遮挡边缘。我们将带有方向D的$$\mathbb{Q}^D$$图像2D遮挡边缘特征点集合，而$$q^D_i$$是第$$i$$个点。
- 网络训练：P2ORNet使用平衡类交叉熵损失[15]进行训练，考虑了图像遮挡边缘像素的低频率类别（详见第IV-A.2节）。
5. LiDAR特征提取
激光雷达可以自然地提供用于确定扫描之间距离差异的信息，使得3D遮挡边缘特征提取比2D更直观[1][30]。水平遮挡边缘特征是通过遍历每个扫描环并标记点作为遮挡特征来提取的，一旦它们与同一环上的相邻光束断开，就会被标记为遮挡特征。垂直遮挡边缘特征是通过遍历激光雷达的每一列并与其垂直相邻的光束进行比较来提取的。为了保持一对一的图像-激光雷达特征对应关系，激光雷达的遮挡特征根据第III-B.2节中相同的逻辑被分类为四类。
随后，考虑到地面上的点几乎不可能是遮挡点，因此在原始点云上应用RANSAC（随机采样一致性）[31]来提取地面平面S_{pl}的系数。在特征提取之后，接近S_{pl}的遮挡边缘特征被移除。然后对特征点云应用半径滤波器以减少浮动异常值。
然后，从单帧中定义3D特征点集\mathbb{P}如下：
在图2中的3D边缘提取模块中展示了提取的3D特征点集的一个示例。
6. 外部标定
6.1 遮挡引导特征匹配（OGM）
我们的2D3D特征匹配方法利用遮挡方向来改进数据关联，即，点云特征只与具有相同遮挡方向的图像特征匹配，因为激光雷达点云特征在投影后的遮挡关系保持不变。因此，分别从图像特征组\mathbb{Q}^L、\mathbb{Q}^R、\mathbb{Q}^U、\mathbb{Q}^B构建了四个KD树。
然后，我们通过未校准的初始外参将每个LiDAR特征P^D_i ∈ \mathbb{P}^D投影到相机帧上：p^D_i =π(\tilde{ξ}^C_L, P^D_i,)，其中π是投影函数，初始外参参数\mathbb{ξ}^C_L ∈ se(3)可以从机械设置或像[11]中的brutal force searching中获得。对于每个投影点p^D_i，从其对应的KD树中获取8个最近像素的参考像素集，以建立候选的2D边缘。
在这个过程中，c^D_i是8个点的几何重心，n^D_i是对应于8个点集协方差矩阵 M_{cov,i} 最小特征值的特征向量。在下一步中，我们利用几何信息来滤除异常匹配对。首先，从任意8个最近图像特征到 p^D_i的距离应小于像素距离阈值 d_c，这是优化过程中可变的阈值。由于网络的限制，图像特征可能部分缺失，如图4(a)所示。此外，为了避免将 p^D_i与尖锐曲线边缘匹配导致不一致，M_{cov,i}的最大特征值应比第二大特征值大 λ_c 倍（参见图4(b)）。我们在图5(a)中展示了匹配结果的示例，而图5(b)则展示了两个相同特征之间的匹配，但没有遮挡方向的指导。显然，由于初始外部误差，点特征容易发生错误匹配。仅使用图像梯度提取的边缘（例如Canny [32]）如图5(c)所示，与2D图案相比，更密集且携带额外的无效信息。
6.2 优化
给定一些相关的2D-3D特征点，校准问题可以被解决为PnP问题。目标是将3D遮挡边缘点P^D_i的投影误差减小到2D遮挡边缘候选点L^D_i，残差定义如下：
f_r是点p到直线L的垂直距离：
在指定的操作迭代中，N_D是匹配特征对的数量，ρ指的是应用于平衡异常匹配权重的Huber核[33]。方程式1使用Levenberg-Marquardt方法进行优化。
优化应该使用重新关联的特征进行n_{opt}次。对于优化的第一次运行，设置一个较大的切割距离d_c，以进行更激进的匹配尝试，然后在后续迭代中通常减小。完整的优化步骤总结在算法1中。该算法还可以接受来自多个图像的累积特征对作为输入，确保效率和适应性。
评论（0）
您还未登录，请登录后发表或查看评论