毫米波雷达里程计发展综述

以下为文章全文：(本站微信公共账号:cartech8)

汽车零部件采购、销售通信录       填写你的培训需求，我们帮你找      招募汽车专业培训老师

毫米波雷达里程计在过去十年中引起了人们的关注，它被视为在不利条件下进行机器人状态估计的最佳解决方案，在其他内部感知和外部感知传感器可能退化的条件下。毫米波雷达被广泛采用，对天气和照明具有抗干扰性，并提供多普勒信息，使其在这类任务中非常具有吸引力。本文对自动机器人的毫米波雷达里程计最新研究进行了广泛的调查。它涵盖了过去十年中开发的技术、数据集、度量标准和方法，以及对应对这一问题所应用的各种方法和技术的深入分析和分类，在最后提出了推动毫米波雷达里程计领域发展的挑战和未来建议，使其成为新手的绝佳起点，并为有经验的研究人员提供宝贵的参考。 主要内容 在过去十年中，使用毫米波雷达进行里程计的应用越来越受到关注，其中最引人注目的是与相机和激光雷达相比，毫米波雷达对恶劣天气条件的抗干扰性更强，得益于其更长的工作波长，radar对雨、尘、雾和雪等影响较小,雷达也不受光照和照明源的影响，比如在夜晚、多云天气、水下和矿井等场景中具有优势。radar的其他优点包括适用于室内和室外应用（不同于基于GNSS的定位），不像轮式编码器那样容易出现滑动或打滑问题，不像IMU那样容易发生漂移问题。此外，雷达具有长测距、可提供速度测量、相对较便宜、紧凑且已广泛应用于自动驾驶汽车市场。 图1. 过去十年自主车辆毫米波雷达里程计相关的出版物，数据截至2023年6月。 毫米波雷达的特点 毫米波雷达特点在于利用30-300 GHz的信号频率，对应的波长范围为1-10毫米，然而，汽车雷达通常使用较窄的70-100 GHz频率范围，采用这个波长范围的优势在于硬件成本和尺寸的降低以及精度的提高，雷达已经被广泛应用于自动驾驶车辆和机器人应用中，例如盲点检测、后方碰撞警告、自适应巡航控制、目标检测、跟踪和分类，以及里程计、定位和建图，这里简要介绍了毫米波频率调制连续波（FMCW）的基本原理，对于进一步了解细节，读者可以参考[12]和[13]以获取更全面的汽车/机器人应用中的毫米波雷达分析。 图2. 过去十年中自主车辆雷达测距的趋势。(a) 汽车雷达、扫描雷达和其他类型雷达的使用情况。(b) 稀疏、稠密和混合方法的受欢迎程度。(c) 基于学习和非学习的雷达测距方法。(d) 基于融合和非融合的雷达测距方法。 关于雷达里程计的文献通常区分两种广义的雷达类型，一种是所谓的"汽车雷达"，它生成一个稀疏点云检测结果，通常以每个目标检测的距离、径向速度、方位角和仰角的列表形式返回。另一种类型是"扫描雷达"，它返回密集的360度鸟瞰图扫描。图2a显示了基于每种雷达类型的已发表工作的百分比。在文献中有多个基于自定义扫描雷达的雷达里程计方法的示例，但是绝大多数利用扫描雷达的研究是基于Navtech开发的雷达，因此将额外关注这些雷达。图3显示了这两种雷达类型的示例。 图2. 过去十年中自主车辆雷达测距的趋势。(a) 汽车雷达、扫描雷达和其他类型雷达的使用情况。(b) 稀疏、稠密和混合方法的受欢迎程度。(c) 基于学习和非学习的雷达测距方法。(d) 基于融合和非融合的雷达测距方法。 对于距离测量需要对频率进行调制，在其最基本的形式中，线性频率调制连续波（LFMCW）将发送的信号斜坡化，以产生一个频率扫描信号（chirp），一旦这个频率扫描信号带有延迟返回，就会产生一个拍频，可以用来估计距离，当需要同时估计速度和距离时，问题会变得复杂，可以使用其他频率调制方法，比如锯齿波调制，但当场景中有多个物体时，这种方法也有限。这个问题通常可以通过更复杂的技术来解决，比如多频移键（MFSK）。最后，对于自动驾驶而言，另一个重要的测量是被检测物体的角度，称为到达角（AoA），利用多个间距已知的接收天线，我们可以利用接收信号在天线之间的相位差来估计物体的角度。当然，角度分辨率决定了可以将多近的物体定位为单独物体，通过增加更多的接收天线甚至更多的发射器，可以改善角度分辨率，实现多输入多输出（MIMO）雷达，可以提高雷达系统的精确性，而不需要增加阵列的大小超过合理范围。 扫描雷达是围绕垂直轴旋转，同时不断发送和接收信号，反射信号的功率取决于这些物体的反射性、大小和距离。在每个方位角N处，接收到一个1D信号，其功率读数对应M个距离区间，这些读数形成了一个极坐标图像，在其中点可以表示为p(a, r)，其中a和r分别表示点p的方位角和距离。通常希望将这些雷达图像映射和处理为笛卡尔坐标，在这种坐标系中，车辆（或雷达）出现在图像的中间。这可以通过将极坐标中的所有点投影到笛卡尔坐标中来实现。图4展示了极坐标和笛卡尔坐标下的雷达扫描示例。 图4 展示了来自RADIATE数据集的雷达扫描示例，分别用极坐标和笛卡尔坐标表示。(a) 极坐标。(b) 笛卡尔坐标。 在扫描雷达和其他“移动时记录”的传感器中普遍存在的一个问题是结果扫描中的运动畸变，虽然其他传感器中也存在这个问题，例如，滚动快门相机和扫描激光雷达中，但由于扫描雷达传感器的相对较慢的扫描速率，这个问题更为突出，像Navtech的扫描雷达型号具有4Hz的采样频率，一个完整的扫描需要0.25秒完成，假设传感器安装在以适度速度行驶的汽车上，速度为30英里/小时（或48.3公里/小时），在完成一个完整的扫描时，前方的物体将靠近11英尺（或3.35米），这是距离估计中相当大的差距，可能导致严重的危险。图5显示了一个畸变的雷达扫描示例。解决这个问题的最常见方法是进行运动畸变补偿（或扫描去斜），它依赖于估计点的位置移动和偏移，并基于假设速度恒定地进行单次扫描。尽管与脉冲雷达相比增加了复杂性，但FMCW雷达仍然是自主驾驶车辆和大多数机器人应用中的首选，因为它们的体积较小，功耗较低，成本较低，而且不受相对较远的最小探测距离的限制。 图5展示了来自RADIATE数据集的雷达扫描失真示例，雷达前方的一个探测目标，可能是另一辆车辆，由于在扫描开始时和相同扫描的结束时（即大约0.25秒后）被检测到，导致出现断裂的情况。 毫米波雷达数据集 数据集是许多计算机视觉和机器人研究的基础，记录、整理和标记数据集是一项耗时的任务，需要大量资源。幸运的是，研究人员通常会收集和共享数据集，并将其向研究社区开放。这一趋势极大地帮助了数据集的利用，增加了研究工作的可见性，并加速了该领域的研究进展。这里总结了包含毫米波雷达数据的数据集，包括扫描雷达和汽车雷达。这些数据集可用于测距研究，即包含雷达数据但在静态设置下收集的数据集（例如CARRADA数据集），或者不包含地面真实姿态信息来源，如GPS/IMU、SLAM或视觉测距（例如SCORP数据集）对测距研究不适用，因此在此不予讨论。表I总结了本节讨论的数据集。 Oxford Radar RobotCar，2019年，位于英国牛津，是原始Oxford RobotCar数据集的扩展，这是雷达测距研究中最有影响力、用于算法基准测试最广泛的数据集，它提供了丰富的传感器套件，包括四个摄像头、四个激光雷达、一个Navtech CTS350-X扫描雷达和GPS/INS模块，地面真实姿态是通过优化视觉测距、视觉闭环和GPS/INS约束而生成的，尽管具有主导地位，牛津雷达机器人数据集在季节多样性方面还有所欠缺，并且缺乏足够多的雪天和雾天场景。 Boreas数据集，2022年位于加拿大多伦多是最近添加的数据集，它是一个多模态、多季节的自动驾驶数据集，包括单目摄像头、扫描雷达（Navtech CIR304-H）和3D激光雷达（Velodyne Alpha-Prime，具有128个光束）。Boreas数据集具有迄今为止最丰富的季节多样性，其同一路线遍历从完美晴天到非常多雪暴雪，其官方网站还有一个基准测试的排行榜，用于测距算法在SE(2)和SE(3)上，使其成为测距研究的宝贵工具。 RADIATE数据集，2019-2020年位于英国爱丁堡是另一个以雷达为中心的冬季天气条件下的自动驾驶数据集，它提供了极好的季节多样性（雪天、雨天、雾天、晴天、阴天），并在白天和夜晚不同时段进行记录，其传感器套件包括立体相机（ZED立体相机）、激光雷达（Velodyne HDL-32e）、扫描雷达（Navtech CTS350-X）和GPS/IMU，RADIATE数据集的一个限制因素是地面真实数据中偶尔会出现GPS信号丢失。 MulRan数据集，2020年位于韩国大田和世宗，MulRan侧重于使用雷达和激光雷达进行地点识别，并在某些地点进行了多次访问，它有一个扫描雷达（Navtech CIR204-H）、一个3D激光雷达（Ouster OS1-64）和GPS数据，但没有摄像头记录，通过使用基于SLAM的过程以及光纤陀螺和虚拟参考站GPS的帮助来生成地面真实姿态，MulRan的限制因素是季节多样性和缺乏视觉数据。 nuScenes数据集，2019年，是另一个多模态自动驾驶数据集，包括六个视觉摄像头（Basler acA1600-60gc）、五个FMCW汽车雷达（Continental ARS 408-21）、一个激光雷达（Velodyne HDL32E）和IMU/GPS传感器。nuScenes在两个不同的城市：美国波士顿和新加坡录制，这使得它具有很好的空间多样性；然而，它缺乏其他数据集提供的季节多样性。 PixSet数据集，2020年位于加拿大魁北克和蒙特利尔包含97个序列和2.9万帧带有边界框的注释数据更适合于目标检测和跟踪研究。然而由于它还具有带有IMU和RTK GPS传感器数据，因此它也可用于测距和定位研究。PixSet集中在闪光激光雷达传感器技术，但也配备了汽车级毫米波（雷达TI AWR1843），该数据是在城市环境中大多数在白天和雨天或多云天气条件下收集的，有四个摄像头，两个激光雷达（一个扫描雷达和一个闪光激光雷达）以及一个GPS/IMU模块。 Marulan数据集，2010年特点是澳大利亚场地机器人中心（AFCR）构建的FMCW雷达，它提供了四个2D激光雷达、一个视觉摄像头、一个热像仪、一个RTK GPS接收机和一个IMU传感器的数据，Marulan的局限性在于它只在非道路环境下记录，驾驶速度较慢，并且使用的雷达扫描速率相对较慢。 RadarScenes数据集，2016-2018年位于德国乌尔姆使用四个重叠的汽车雷达进行收集，其主要焦点是使用汽车雷达进行目标检测、跟踪、分类、语义和实例分割以及格网建图。它对于这些感知任务有注释，但也有GNSS信息，因此可以用于测距研究；然而，它可能不是非常准确，有多个雷达数据集的选择对于推进研究是很有益的；尽管如此，雷达测距领域缺乏KITTI 基准为视觉研究提供的共同且广泛接受的参考标准。 毫米波雷达里程计 毫米波雷达里程计发布的文献总结将方法分为三大类：稀疏雷达里程计、稠密雷达里程计和混合雷达里程计。稀疏雷达里程计依赖于可量化的检测数（或地标）并将其用于运动估计；稠密雷达里程计则处理整个扫描以执行所述估计；混合雷达测距则同时使用两者。图2b显示了基于稀疏、密集和混合方法的出版物百分比。可以看出，稀疏方法比稠密方法更受欢迎。这里进一步将稀疏方法细分为基于特征、扫描匹配、滤波和其他方法。类似地，我们将稠密方法细分为基于傅立叶梅林变换（FMT）、基于深度学习和基于相关性的方法。图6显示了所描述的雷达测距方法的分类。 图6. 基于输入数据表示的雷达测距方法的不同分支，包括稀疏、密集和混合方法，稀疏方法进一步分为基于特征、扫描匹配、滤波和其他方法，稠密方法分为基于Fourier-Mellin变换（FMT）、基于深度学习和基于相关性的方法。 稀疏雷达里程计方法 基于特征：在深入讨论基于特征的方法之前，值得强调的是，雷达测距文献中使用的关键点、特征和地标这几个词是可以互换使用的，它们都指的是在离散的一维或二维信号中的局部段落的显著性特征。我们区分视觉（或基于视觉的）特征，这些特征是从视觉相机领域借用的特征，通常与图像处理技术相关联，以及专用特征，这些特征是专门用于实现雷达测距的目标而开发的。 扫描帧匹配：通常扫描匹配方法的思想是找到最佳对齐两个预处理雷达扫描的刚体变换，扫描匹配方法与基于特征的方法的主要区别在于匹配过程中缺乏关联或对应（即源扫描中的点不与目标扫描中的点匹配），扫描匹配方法通常是迭代的，并尝试在每次迭代中优化对齐的误差度量。我们区分三种常用于扫描匹配方法的技术：迭代最近点（ICP）、点到法线匹配（P2N）和正态分布变换（NDT），这三个子类有时被文献称为点对点匹配、点对线匹配和点对分布匹配。 基于滤波的方法：我们将依赖于卡尔曼滤波器(KF)或其变体作为主要估计器的一类方法称为基于滤波的方法，总的来说，基于滤波的方法非常适合融合来自多个传感器的数据，它们利用多个传感器的互补性来获得更精确和稳健的性能。然而，由于它们是模型依赖型的（即运动模型和测量模型），它们在不同平台上通用性较差，需要参数调整，并且如果没有仔细实现，可能会对计算性能有要求。 其他方法：稀疏方法中的最后一个子类用于归类其他不完全适合前面讨论的特殊方法。这些方法基于独特的运动学、几何学或统计学表述。他们将轨迹建模为三次B样条，并使用滑动窗口优化框架获取轨迹参数，轨迹的连续表示和施加的平滑性有利于在任何时间点找到姿态及其导数，即使在任何传感器没有信息的时刻。他们将自己的方法与离散时间实现进行了比较，并显示他们的方法提供了改进的平移误差，但旋转误差略有增加，有一些研究人员使用牛津数据集来评估他们的旋转雷达方法，关于牛津数据集的发布结果和评估资源见表II。 稠密雷达里程计 稠密方法受到视觉里程计中直接法的启发，其中使用光流来估计姿态变化。在雷达里程计的背景下，稠密方法的特点是将完整的雷达扫描作为输入，几乎没有或者很少进行预处理，稠密方法可以分为基于FMT、基于深度学习和基于相关性的方法。 基于Fourier-Mellin变换（FMT）：最早的稠密毫米波雷达里程计示例来自Checchin等人的工作[80]，他们使用FMCW全景K波段扫描雷达（称为K2Pi）生成周围环境的稠密2D图像，使用计算机视觉中著名的图像配准技术FMT来计算两个连续稠密雷达扫描之间的旋转和平移。简而言之，他们的算法首先进行阈值处理并将图像转换为极坐标。接下来，他们使用快速傅里叶变换（FFT）将图像转换到频域，并使用归一化互相关来找到两个图像之间的旋转。一旦原始图像被校正为旋转，就会重复FFT和归一化互相关步骤来计算x和y维度上的平移。 基于深度学习：Barnes等人使用了Navtech的FMCW扫描雷达，并利用U-net风格的CNN生成能抑制雷达扫描中噪声和伪影的掩膜，该CNN以自监督方式进行训练，即使用视觉里程计的地面真实姿态信息来训练掩膜网络，然后计算两个连续滤波后扫描的所有可能旋转的互相关值，并使用最大互相关来估计姿态，此方法后来由Weston等人改进，他们将平移和旋转问题解耦为两个步骤，并利用极坐标上傅里叶变换的平移不变性来避免穷举搜索最大互相关。 讨论、挑战和未来建议 从实际角度来看，雷达传感器不太可能完全取代摄像头和激光雷达在感知方面的作用。事实上，目前可用的雷达在物体识别、采样率或信噪比方面无法与摄像头/激光雷达相竞争。我们预期雷达将在自动驾驶平台的传感器套件中继续扮演强大的补充角色。至少是汽车类型的雷达已经在自动驾驶汽车市场广泛采用，价格仍然比激光雷达便宜得多，并且在恶劣的天气条件下更可靠。以下是妨碍雷达里程计进展的一些挑战以及未来建议可以缓解这些挑战： 雷达几乎总是被提出作为解决恶劣天气问题以及激光雷达和摄像头在这些场景下性能下降的方案；然而，最具挑战性的两种情况，雾和尘土，却是当前可用数据集中最少见的情况，关于添加合成雾的研究取得了很大进展，但是在雾和尘土条件下驾驶的真实数据仍然更可取。然而，我们认识到在这些条件下预测和记录数据的难度，尤其是雾的情况下。 来自Navtech的流行扫描雷达被认为具有4Hz的低采样率，鉴于大多数公开可用的数据集是在相对较低的行驶速度下记录的，如图7所示，这意味着我们的雷达算法未经过中高速行驶测试。这是有问题的，因为这可能意味着我们对雷达里程计算法的现有评估最多也只是乐观的。 在雷达感知的整体研究以及雷达里程计的特定研究中，缺少像KITTI数据集和排行榜为基于视觉和激光雷达的研究提供的公共参考点；供研究人员测试和评估他们的工作。虽然Oxford Radar RobotCar数据集在某种程度上填补了这一空白，但它在季节性多样性和行驶速度方面非常有限。此外，它缺乏维护的排行榜，而Boreas数据集试图解决这个问题。 最受欢迎的雷达数据集是使用扫描雷达收集的，没有一个基于汽车的公开可用雷达数据集引起足够的关注，以被视为“雷达里程计基准”，相反，由于其显著较低的成本，在汽车雷达研究中的常见做法是让研究人员收集和测试自己的未发表数据，这使得难以比较和对比为汽车雷达开发的不同里程计方法。 最流行的评估指标，平均平移误差和平均旋转误差，是针对KITTI数据集量身定制的。有必要进行泛化，以适应具有较长或较短距离的轨迹。 总结 毫米波雷达里程计作为在具有挑战性的环境中估计机器人位置和方向变化的最佳解决方案之一，毫米波雷达在机器人领域有着牢固的地位，并具有许多优点，使它们成为任何传感器套件中的重要组成部分；此外，雷达日益变得更好、更便宜、更小。本文对毫米波雷达里程计的相关工作进行了调查，具体关注自主车辆或机器人的雷达里程计算法，调查了当前雷达里程计研究的趋势，包括方法、传感器类型以及传感器融合和机器学习技术的利用。文章还介绍了雷达传感器的工作原理、雷达里程计的标准评估指标以及可用于雷达里程计研究的公开数据集，此外，还对文献中找到的雷达里程计方法进行了系统分类，虽然基于雷达的状态估计技术并不是新的，但雷达传感器技术的最新进展以及对自主性、安全性和全天候功能的增加期望，为在这一领域进行更多的工作和开发留下了巨大的空间。

[文章纠错]

文章网友提供，仅供学习参考，版权为原作者所有，如侵犯到

你的权益请联系qchjl_admin@126.com，我们会及时处理。