0. 简介

这篇文章我们介绍一下论文“High-Definition Map Generation Technologies For Autonomous Driving: A Review“，2022年6月11日，来自加拿大Ontario Tech University。相较于网上的其他文章，本文更在意向读者更轻松全面的了解文章中介绍的方法，让读者从总体上了解高精地图生成。

高清地图近年来备受关注，由于其定位精度高和信息量大，立即成为自动驾驶的关键部件之一。本文回顾最近利用二维和三维地图生成的高清地图制作技术。从百度阿波罗（Baidu Apollo）、英伟达（NVIDIA）和汤姆（TomTom）等大型组织到个人研究人员，研究者们已经为不同场景和目的创建了各种高精地图用于自动驾驶。有必要回顾高精地图生成的最新方法，本文回顾了最近利用二维和三维地图生成高精地图生成技术，介绍了高精地图的概念及其在自动驾驶中的作用，并对高精地图生成技术进行了详细概述，还将讨论当前高精地图生成技术的局限性，以推动未来的研究。
在这里插入图片描述

1. 方法总述

高精地图包含自动驾驶所需的道路/环境的所有关键静态特性（例如：道路、建筑物、交通灯和道路标记），包括由于遮挡而无法由传感器检测到的对象，近年来，用于自动驾驶的高精地图以其高精度和丰富的几何和语义信息而著称，它与车辆定位功能紧密相连，并不断与不同的传感器交互，包括激光雷达、雷达和摄像头，以构建自动驾驶系统的感知模块，这种交互最终支持自动驾驶车辆的任务和运动规划。
在这里插入图片描述
在自动驾驶市场中，没有唯一标准高精地图结构，然而，市场上有一些常用的高精地图结构，如导航数据标准（NDS）、动态地图平台（DMP，Dynamic Map Platform）、HERE 高精实时地图、Lanelet（Bertha Drive）和TomTom，大多数结构共享类似的三层数据结构。
在这里插入图片描述
文中将采用这里的术语来指代这三个地图层：

  1. 第一层“HD Road”定义道路特征，例如拓扑、行驶方向、高程、坡度/坡道、规则、路缘/边界和交叉口，它用于导航。

  2. 第二层”HD Lane”定义了车道级别的特征，例如道路类型、线、道路宽度、停车区域和速度限制，该层作为感知模块，用于自动驾驶，根据实时交通或环境做出决策。

  3. 第三层”HD Localization”，在高精地图中定位车辆自身运动，该层包含路边设施，例如建筑物、交通信号、标志和路面标记，这些功能有助于自动驾驶车辆快速定位。
    在这里插入图片描述

    2. 数据采集

    2.1 众包数据

数据采集是生成高精地图的第一步。数据采集使用移动地图系统（MMS）完成，MMS是一种装有地图传感器的移动车辆，包括GNSS（全球导航卫星系统）、IMU、LiDAR、摄像头和雷达，用于收集地理空间数据，商业化的高精地图提供商采用众包技术收集数据，以构建和维护高精地图。通过众包收集数据可以在很短的时间内获取大量最新的道路和交通数据，众包数据还包含不同的环境，包括城市、城镇和农村地区，然而，由于多个移动地图系统的高成本和数据收集的时间成本，该方法不是单个研究人员的最佳解决方案。此外，还有大量开源数据，如卫星图像、KITTI数据集、Level5 Lyft数据集和nuScenes数据集，供研究人员测试和生成高精地图，这些数据集包含2D和3D真实世界的交通数据，包括图像、3D点云和IMU/GPS数据，这些数据已经进行了组织和标记，下表总结了数据收集方法及其比较。
在这里插入图片描述

2.2 初始点云地图

一旦收集到足够的传感器数据，通常会对其进行融合和排序以生成初始地图，主要用于精确的定位，初始地图主要使用3D激光传感器生成，也可以与其他传感器融合，如IMU、GPS、里程计和视觉里程计，以便在高精地图中进行更精确的状态估计，惯导和GPS传感器提供方向和位置信息，更新厘米精度范围内的地图位置。这些点云地图具有很高的精度，可以帮助车辆在三维空间进行精确的厘米级运动运动和定位。之后，从地图做点云校准后，将从PCL map创建矢量地图。点云校准称为多步过程（如图所示），将多个重叠的点云对齐。矢量地图包含车道、人行道、十字路口、道路、十字路口、交通标志和红绿灯相关的信息。这一关键特征后来被用于检测交通标志和信号灯、路线规划、全局规划和局部路径规划，毫无疑问，点云地图生成是高精地图的一个重要组成部分，它可以定义为HD地图的基本地图层（ base geometry map layer）。
在这里插入图片描述
地图生成技术可分为在线地图和离线地图，使用卫星信息或激光雷达和相机存储的数据将离线生成地图，另一方面，使用在线地图中的轻量级模块在设备上生成地图。目前，所有有前途的测绘技术都将激光雷达作为主要传感器，用于测绘和完成高清晰度的地图。
目前，点云建图技术可分成：基于分割的点云配准、 仅基于激光雷达的点云建图、 与里程计融合的点云配准、GPS融合点云配准、 INS融合点云配准和 视觉传感器融合的点云配准的方法等。
在这里插入图片描述

2.3 特征提取

为了让车辆自身进行定位任务，需要进行特征提取，例如道路/车道提取、道路标记提取和杆状对象提取，传统上特征提取由人工完成，成本高、耗时长、精度低。近年来，机器学习辅助高精地图生成技术得到了发展和广泛应用，以提高特征提取精度和减少人工工作量，机器学习辅助高精地图生成利用 human-in-the-loop（HITL）技术，该技术涉及人机交互，人工进行数据标记，标记的数据使用监督学习进行训练，高精度/置信度分数的结果将保存到HD地图，低精度/置信度分数的结果将由人类检查并发送回算法进行重新训练，机器学习已被广泛应用于提取道路/车道网络、道路标线和交通信号灯。

3. 高精地图特征提取方法

3.1 道路网提取

3.1.1 基于二维航空图像(鸟瞰图)的道路提取

路线图/网络对于自动驾驶系统至关重要，以定位车辆自身位置并规划路线，从航空图像(鸟瞰图)中提取路线图也很有吸引力，因为航空照片通常覆盖城市范围的地图，并通过卫星不断更新。二维航空图像(鸟瞰图)的自动路网提取可分为三种不同的方法：基于分割的方法、迭代图生长方法和图生成方法。
a） 基于分割的方法
基于分割的方法从航空图像(鸟瞰图)中预测分割概率图，精细化分割预测并通过后处理提取图形
在这里插入图片描述
b） 迭代图增长方法
迭代图增长方法通过先选择道路网络的几个顶点，从二维航空图像(鸟瞰图)生成道路网络，然后，逐顶点生成道路，直到创建整个道路网络。
在这里插入图片描述
c） 图生长方法
图生长方法直接从航空图像(鸟瞰图)中预测路网图，该方法将输入的航空图像(鸟瞰图)编码为向量场，通过神经网络进行预测，然后通过解码算法将预测解码为图形。
在这里插入图片描述

3.1.2 基于三维点云的道路提取

在生成高精地图的过程中，基于三维点云的道路或车道线提取得到了广泛的应用，激光雷达点云具有高精度，通常在毫米级精度，并包含扫描对象的几何信息。通过使用3D正态分布变换（NDT/ICP）配准和合并预处理的回路点云。并对合并的原始点云进行后处理，包括空间子采样、噪声去除、重复点去除和平滑，以生成最终提取的道路。
在这里插入图片描述

3.1.3 基于传感器融合方法的道路提取

二维航空图像(鸟瞰图)和三维点云上的道路提取都有局限性，例如航空图像(鸟瞰图)中提取的道路网络通常不准确和不完整，三维点云上的特征提取还面临遮挡和点密度变化问题，这会导致不准确和不完整的道路提取。在提取道路或道路边界时，使用单一数据源的局限性显而易见。
在这里插入图片描述
同时文中总结了上述三种方法的比较
在这里插入图片描述

3.2 道路标记线提取

道路标记线/路面标线是混凝土和沥青路面上的标志，道路标线是高精地图上的基本特征。为车辆自身定位提供有关交通方向、转弯车道、可行驶和不可行驶车道、人行横道等的信息。与道路提取方法类似，也可以使用2D图像或3D点云进行道路标记提取。

3.2.1 基于二维图像的道路标记线提取

2D图像上的道路标记提取和识别通常采用两种不同的方法。一种是利用车载摄像头捕获的前视图图像，二是从航空图像(鸟瞰图)中提取道路标线
a) 基于前视图像的道路标线提取
前视图图像由于其经济高效和方便，已被广泛用于道路标记提取。
在这里插入图片描述

b） 航空图像(鸟瞰图)中道路标线的提取

卫星和航空图像不仅可以用于道路网络提取，还可以用于道路标记提取。
在这里插入图片描述

3.2.2 基于三维点云的道路标线提取

三维点云上的道路标线提取通常采用两种不同的方法，即bottom-up 方法和 top-down 方法。bottom-up方法通过区分道路标记点云和背景点云，直接提取道路标记。相反，top-down方法使用CNN检测预定义的几何模型，并基于检测重建道路标线。

a) Bottom-up方法
Bottom-up的方法使用深度学习算法，在目标检测和分割的基础上直接从原始三维点云中提取道路标记，阈值相关方法及其扩展，包括多阈值和多阈值与几何特征滤波相结合，广泛用于道路标线提取。
在这里插入图片描述
b) Top-down方法
Top-down方法使用现有的目标检测算法来检测和定位道路标记几何模型，基于检测和定位，在三维点云上重建道路标线。Top-down方法可以直接从MLS点云中提取道路标线，加快道路标线提取进度，但对不完善的原始数据敏感。
在这里插入图片描述

4. 现有高精地图框架

4.1 Lanelet2

Lanelet2是为Bertha Drive项目开发的Liblanelet（也称为Lanelet）的扩展和推广，Lanelet2地图采用Lanelet的现有格式，即基于XML（extensible markup language）的OSM（Open Street Map）数据格式，Open Street Map是一种免费的在线地图编辑工具，由全球地图编辑人员不断更新和贡献，然而，只要地图的实际数据格式可以转换为Lanelet2格式而不丢失任何信息，则认为地图的实际数据格式是不相关的和可互换的。
在这里插入图片描述

4.2 OpenDRIVE

OpenDRIVE是一个开源框架，用于描述道路网络和创建高精地图，由自动化和测量系统标准化协会（ASAM）开发，它还使用XML文件格式存储地图信息，在ASAM OpenDRIVE地图中，有三个元素/层、参考线/道路、车道和特征
在这里插入图片描述

4.3 Apollo地图

Apollo高精地图也使用OpenDRIVE格式，但与OpenDRIVE不同的是Apollo只是使用点，使用诸如直线、弧线和圆弧之类的几何图元来定义道路，与Lanelet2中的点一样，每个点存储纬度和经度值，这些点的列表定义了道路边界。
在这里插入图片描述

5. 参考链接

https://mp.weixin.qq.com/s/ruU5IKD2IF_l4RZMOzH88w

https://zhuanlan.zhihu.com/p/529272711

https://zhuanlan.zhihu.com/p/531667319