自动驾驶系统中的感知轻地图设计开发方案（二）：相关解决措施w3.jpg

近年来，对自动驾驶的需求不断增加。为了实现自主能力，车辆上配备了各种传感器， 例如 GPS、IMU、摄像头、激光雷达、毫米波雷达、车轮里程计等。准确定位对于自动驾驶任务至关重要。如今，我们看到了很多传感器丰富的车辆可以依靠高精度传感器（例如激光 雷达和 RTK GPS）和高分辨率地图在街道上自主行驶（例如 Robotaxi）。高精度定位依赖于高精度传感器和高精地图（HD Map）。

目前，RTK-GPS 和视觉相机、激光雷达是几种常见的传感器， 广泛应用于厘米级定位。RTK-GPS 通过接收来自卫星和地面站的信号，在开放区域提供准确的全球位姿。视觉相机和激光雷达可以捕获周围环境的图像和点云信息。通过图像分割匹配以及点云配准，车辆可以在 GPS 失效的环境中仍然生成 HD-Map 的定位信息。由此可见，基于视觉相机、激光雷达和高精地图的三位一体解决方案是自动驾驶融合定位和地图应用的理想选择。

但是，要在各家在研汽车上进行大规模量产，还存在几个缺点限制。首先，量产车无法 负担激光雷达和高精地图的高昂成本。此外，点云图占用大量内存，这对于量产来说也是一 般负担不起的。高精地图制作消耗大量人力，很难保证及时更新。为了克服这些挑战，很多 车企和 Tier1 已经在大量尝试利用依赖低成本传感器和紧凑地图的方法。

如何降低成本呢？答案就在如何利用好智能汽车自身具备的这些丰富的传感器了。

前文已经对感知轻地图的获取方案进行了详细的说明。本文将进一步从解决轻地图开发局限的角度提出一些较优的解决措施。

如下图表示了典型的轻地图方案和高精地图方案的差异。对于轻地图来说，原始的高精 地图数据不是必须的，即通过感知模块建图就可以实现替代高精地图的前置输入。当然，这必须依赖于一些车辆的全局定位数据，比如 GNSS/IMU 信息等。



在本文中，我们提出了一种优化的轻量级地图定位解决方案，它依赖于相机和紧凑的视觉语义图。该地图包含道路上的几个语义元素，例如车道线、人行横道、地面标志和停止线。这张地图很紧凑，很容易由传感器丰富的车辆以类似“众包”的方式制作。配备摄像头的低成本车辆可以使用这种语义绘制本地化的地图。

1. 轻地图的众包数据采集与处理
轻地图需要使用的道路元素实际是具备高精度地图和众包数据的特征的。不同之处在于初始高清地图是使用配备激光雷达、GNSS 传感器、惯性测量单元 (IMU) 和车轮编码器的昂贵 MMS 车辆生成的。因此，此方法采集生成的地标数据信息（包括红绿灯、交通标志和车道）相对精度更高。而当前主流的轻地图方案中，其行外包设备通常由较低成本车载相机和 GNSS传感器组成，轻地图的“众包数据”则是通过一系列车载相机处理生成，并通过一些深度学习图像算法对地标类型进行分类检测实现。最后，观察结果通过自定义的格式来存储。   轻地图“众包数据”包含定义为关键帧众包数据的全局位置和协方差矩阵。交通灯和标志被定义为离散地标，离散地标显示为具有与关键帧和协方差矩阵的相对位置的单个点，每个离散地标除了其位置外没有其他区别。暗示车道的连续地标表示为点集，点集中的每个点都包括与关键帧和协方差矩阵的相对位置。



综上所述，轻地图“众包数据”中积累的地标信息具有不同的几何类型属性。众包数据包含众包设备的全局位置和协方差矩阵，定义为一个关键帧。交通灯和标志被定义为离散的地标。离散地标显示为单个点与关键帧的相对位置和协方差矩阵。每个离散地标除了它的位置没有额外的区别。一个连续的地标，暗示车道表示为点集中的每一个点点集包括关键帧的相对位置和协方差矩阵。地标信息在众包中积累的数据具有不同的几何按类型的属性。每个众包数据基本只存储一个信息，每个地标的观测不确定性最低，甚至如果在几个相邻的地方多次观察到地标关键帧，考虑独特性的地图更新研究众包数据的表达也很少见。

2. 轻地图的局限说明
轻量级和语义上有意义的环境地图对于自动驾驶中的许多应用程序至关重要。他可以扩 展更高级别的驾驶任务，比如作为导航和规划。而其中高度准确和稳健的定位能力对于城市场景中的自动驾驶汽车（AV）非常重要。传统的基 于视觉的方法会因光照、天气、观察和外观变化而丢失。即便是在语义特征广泛出现在城市 道路上，以视觉方式识别对光照、天气、观察和外观变化也可能引起对语义信息带来较大的 识别障碍。同时，重复的结构、漏检和误检使数据关联 (Data Association，DA) 也会变得高度模糊。



首先，一般用于定位的语义特征会选择道路标记、电线杆、红绿灯和标志进行定位。处理过程中，通常采用流行的卷积神经网络（CNN）方法（如 YOLOV3）来检测特征。标志的四个轮廓点存储在高精地图中，每个点的高度是相对于当前位置路面的高度。检测到的极点 st = (slt; sct; sbt)由检测分类参数 slt、表示检测置信度参数 sct 和表示两个顶点的sbt 组成。极点存储在具有两个顶点的高精地图中，道路标记是表示为图像平面和高精地图中的样本点。   其次，比如针对语义特征的奇异性、错误和漏检，已有些算法通过欧几里得距离和极点 宽度将感知到的极点与地图相关联。可以利用高精地图和表示紧凑的语义特征的新型视觉语义定位算法。引入一个滑动窗口因子图优化框架来融合关联和里程计测量，而不需要地图特征的高精度绝对高度信息。同时，也有应用 RANSAC 来消除不匹配。此外，通过随时间累积检测来构建子图，以解决数据关联DA 的歧义。总结起来就是，需要研究一些算法特性是充分考虑局部结构一致性、全局模式一致性和时间一致性的鲁棒 DA 方法。
此外，由于语义特征的奇异性、误检和漏检，数据关联DA也成为语义定位系统最具挑战性的问题之一。针对这一问题，也可以基于局部结构、全局模式和时间一致性来解决 DA 的模糊性并确保时空一致性。因为以上方案的特征是易于检测、经常出现、具有紧凑性，因此，用来提升天气、照明、观测和外观一致性是非常有利的。

3. 感知语义网格优化
轻量级且具有丰富语义的环境地图对于自动驾驶中的许多应用至关重要，可以促进导航和规划等更高级别的任务。比如一些构建语义地图的方法是可以从单目或立体视频序列中直接将有意义且轻量级的语义图直接构建为 3D 网格。
基于此，在本文中，我们提出了一种新颖的方法，可以从单目或立体序列中直接将有意义且轻量级的语义图直接构建为 3D 网格。利用现有的基于特征的视觉里程计与学习深度预测和语义图像分割相结合来识别和重建语义相关的环境结构。此外，可以引入类似概率融合方案，以逐步细化和扩展带有语义标签的3D网格，减少中间基于体素的融合。
整体来说，轻地图方案下的概率融合定位框架分为四个部分：即传感器和地图、检测器、关联和优化，如下图所示。传感器由视觉相机、IMU、两轮编码器和 GNSS 接收器组成，其中，相机用于检测语义特征。



IMU 和车轮编码器形成的里程计可以提供局部相对运动估计。GNSS 接收器可以提供当 前位姿的粗略估计，用于系统初始化。检测器层从图像中检测道路标记、电线杆、交通灯和 标志。关联层将从图像中提取的语义特征并与高精度地图中的特征相关联。关联过程分为五个步骤。
首先，围绕先验姿势生成备选姿势图，并根据每个采样姿势将地图特征投影到图像中。其次，实现基于局部结构一致性的粗关联以找到近似最优采样姿势。第三，进行了考虑匹配 数、匹配相似度和局部结构相似度的最优关联方法以实现最优全局一致匹配。然后，执行连 续帧之间的特征跟踪。最后，执行时间平滑以获得时间一致的数据关联DA。在最后的优化层中，基于 DA 和里程计测量估计姿势引入位姿图优化。
为了解决现有视觉感知在密集映射方法的局限性，这里推荐使用单目或立体视频的新型 直接网格重建方法。该方法可以准确地重建语义标记的轻量级 3D 地图，同时保证基本的计 算效率。系统将每个关键帧的语义图像分割和来自深度单眼深度预测或立体的深度结合起来， 通过直接重建和增量更新来自关键帧观察的网格，恢复语义标记的 3D 网格。
这种基于将 2D 语义分割的三角网格提升到 3D 空间的想法，其中每个网格面都被语义 标记，以便网格分辨率适应场景中的语义对象。同时，通过将 3D 网格与每个关键帧中的 2D 语义网格匹配来根据时间的推移改进和扩展 3D 网格。此外，将重建中的每个顶点建模为概 率分布，以考虑空间不确定性并允许融合深度估计。在两个不同的户外驾驶数据集上评估这种方法有效性，根据语义标记的地面实况进行立体和单眼深度预测的效率更高。
如下图表示了增量网格映射方法的Pipeline。每个更新步骤的输入是一个具有语义分割和密集深度（包括不确定性）的关键帧。红色箭头表示从第一帧开始是地图初始化的一部分的步骤，蓝色箭头表示之后的更新步骤。



如上图所示，对于来自视觉里程计系统的每个关键帧,需要计算 2D 语义图像分割以及 深度图。深度图是通过单目图像的立体预测或深度预测获得的。而对于语义，则是使用 PSPNet 和平均频率类平衡来支持代表性不足但相对重要的数据类，例如细杆或道路标记。

4. 融合高精地图信息的语义图优化
对于单纯的轻地图方案来说，其劣势也是显得尤为明显。作为过渡和整合优化，当前的轻地图方案基基本都是通过结合高精地图输入来做整体数据关联优化的。
如上数据关联DA 过程的详细信息如下：
第 1 步：通过对里程计获得的先验位姿进行采样来生成数据关联建议。对于每个采样的姿势Tv，相应的地图特征被投影到图像平面中：


其中，Pim 是第 i 个地图特征的位置。K 和 TVC 是相机的内参和外参。Zic 是相机坐标中第 i 个地图特征的 z 轴位置。
第 2 步：基于局部结构一致性的粗关联，寻找近似最优采样用于消除由大先验姿势引起的不匹配的姿势错误。局部结构一致性保持横向位置感知特征的分布与相应的重投影特 征一致。
首先，感知与重投影特征按横向升序排列位置。
其次，我们计算每个之间的相似度感知特征 st 和每个重投影特征 rk。
第 3 步：基于近似最优匹配采样位姿来综合考虑匹配数、匹配相似度和局部结构相似度，这种最优关联方法执行可以实现最佳的全局一致性匹配。
第 4 步：特征跟踪。以上过程可以在连续帧的特征之间建立关联。由于感知到的特征是静态的，并且保持局部结构，该过程可以表述为类似于多阶图匹配问题。
第 5 步：时域滤波。该过程在连续帧和地图中的感知特征之间构建最佳一致匹配特征。当前帧的匹配正确性可以通过滑动窗口中先前的匹配结果来验证。此外，如果在当前帧中发生不匹配，则可以发现并根据先前的匹配和跟踪进行更正。时间平滑获得相应的感知特征 si 以及地图特征 xl 可以通过在滑动窗口中的每个帧上进行加权匹配 D1:T 和匹配置信度 ct;i 。
如果最佳感知特征的累积置信度比第二好的感知特征值大得多，则最佳感知特征将被视为匹配一对地图特征 xl。否则，地图特征 xl 是被认为具有不确定匹配，并且匹配可以给出每个感知特征的概率。这过程区分确定匹配和不确定匹配，其中可以解决奇点引起的错配问题。



5. 高精—感知融合地图更新
考虑到当前众多车企仍旧采用了过渡的高精地图+轻地图方案来提升整个场景建图效率和精度。配置的原始高精地图作为底图，可以作为感知轻地图的先验输入。轻地图则采用轻量化的增量地图更新方式来补充高精地图的更新局限性。
本文中提出的地图更新方案可以看成一个平台化的地图更新方案，即考虑引入高精地图和未引入高精地图的两种方案分别进行处理。
相应的方案设计流程图如下图所示：



如上流程图所示。首先，是加载我们感兴趣的本地道路观测数据ROD。一张局部图（本文中的局部地图独立于SD地图）对应一个全局拓扑图中的一个节点，全局拓扑图是局部图的组合。根据当地高精地图的可用性，下一个地图更新的过程变得不同。当本地高精地图存在时，将道路观测数据ROD 的观测值分配给高精地图。如果没有本地高精地图，则跳过此过程。
在下一步中，未分配给高精地图的观察结果被聚类。根据观察分配和聚类的结果，对地标类进行分类以检测地标存在的任何变化。一旦地标类分类完成，则地标的状态已更新。这一步意味着在考虑聚类众包数据的情况下计算地标姿态和不确定性。最后更新高精地图。

总结
高精地图的成本和采集周期却一直是自动驾驶系统比较容易为人所诟病的一些应用局限。近年来人们都在研究如何在融合定位中竭尽全力的去高精。其方案通常是最大限度的研究如何利用好车端感知构建所谓的“轻地图”方案。
本文提到的轻地图方案主要是基于学习的语义分割来提取有用的地标。所提出的语义映射和定位方法适用于大规模自动驾驶应用。将语义地标从 2D 恢复为 3D，并注册到本地地图中。本地地图需要上传到一个云服务器。云服务器合并不同车辆捕获的数据并压缩全局语义地图。最后，将紧凑地图分发给量产车以 进行本地化。
多年来，已经引入了许多用于密集 3D 地图重建的不同方法，最常见的是使用体素网格 或面元表示。虽然这些方法提供了巨大的重建质量，但它们在自动驾驶汽车中受到高保真重建的高计算和存储要求的限制。道路标记、电线杆或交通标志等精细细节的准确重建需要大量的体素或面元。这对在大规模室外环境中在计算资源有限的机器人上部署此类系统提出了重大挑战，特别是为了促进协作或众包地图等应用程序。


技术交流群
扫描左侧二维码，备注个人姓名+公司+工作岗位等基本信息，拉您进智能驾驶技术交流2群

推荐阅读：
◆竞品分析 |  特斯拉HW4.0与HW3.0 硬件对比信息梳理
◆自动驾驶系统中的感知轻地图设计开发方案（一）
◆自动驾驶下半场竞争的关键：数据驱动+车云一体
◆传感器 | 激光雷达在辅助驾驶领域正在沦为“花拳绣腿”？
◆AI芯片 |  芯片厂商作为底层“推进器”，助力智驾方案规模化量产落地