176
社区成员
发帖
与我相关
我的任务
分享智能交通系统需要精确可靠的感知。然而,雨、雪、雾等恶劣环境会显著降低激光雷达和摄像头的性能。相比之下,4D 毫米波雷达不仅可以提供 3D 点云和速度测量,还能在恶劣条件下保持稳健性。
近年来,针对恶劣环境下 4D 毫米波雷达的研究日益增多,但仍然缺乏全面的综述。为了弥补这一空白,本文回顾了当前 4D 毫米波雷达在恶劣环境下的研究现状。首先,我们概述了现有的涵盖各种天气和光照场景的 4D 毫米波雷达数据集。随后,我们分析了现有的基于学习的方法,这些方法利用 4D 毫米波雷达来提升不同恶劣条件下的性能。最后,探讨了在恶劣环境下推进 4D 毫米波雷达应用所面临的挑战和潜在的未来发展方向。据我们所知,这是第一篇专门针对恶劣环境下 4D 毫米波雷达的综述。
相关研究列于:https://github.com/4DR-Adv。
人为失误仍然是当今交通系统中交通事故的主要原因 [1]。为了应对这一挑战,现代智能交通系统 (ITS) 旨在通过稳健的自动驾驶来提高道路安全和效率。自动驾驶的安全性和可靠性在很大程度上依赖于精确的感知和场景理解。然而,恶劣的环境严重影响 ITS 的稳健性 [2]。阳光、雨水、雾和雪会引入噪声和遮挡,从而降低感知性能 [3]。雨滴会影响路面状况,造成驾驶危险。
根据美国交通部的统计数据,每年 600 万起交通事故中约有 11% 发生在积雪或结冰的道路上 [4]。此外,雾、沙尘暴和烟雾等现象也会降低能见度 [5]。现代自动驾驶系统通常采用多传感器配置。因此,越来越多的公共数据集包含多个传感器用于感知和 SLAM 任务。图 1 展示了 Dual Radar 数据集中雨夜条件下的摄像头、雷达和 LiDAR 数据。摄像头擅长通过高分辨率 RGB 图像进行二维检测,但在恶劣的光照和天气条件下,容易受到遮挡和深度感知不佳的影响 [6]。LiDAR 可以生成具有精确几何信息的三维点云,并且受光照影响较小 [7]。然而,由于不利条件的噪声干扰,LiDAR 的测量精度和点密度会下降。
作为替代方案,4D 毫米波 (mmWave) 雷达因其体积小、成本效益高、测速能力强、探测距离远以及全天候适应性而被广泛应用 [9]。它通过增加高度测量功能增强了传统的 3D 毫米波雷达,从而能够获取 3D 空间信息。与其他传感器相比,4D 毫米波雷达能够穿透细小的空气颗粒,在具有挑战性的环境中实现持续可靠的运行 [10]。图 2 详细比较了摄像头、激光雷达和 4D 毫米波雷达在不同环境下的性能及其特性。比较结果表明,4D 毫米波雷达在雨雪、雨夹雪、雾和烟雾条件下的表现均优于激光雷达和摄像头,具有更佳的探测距离和测速能力。因此,仅采用 4D 毫米波雷达的方法能够在稳健性和成本效益之间取得平衡。与其他传感器融合时,4D 毫米波雷达可有效弥补摄像头和激光雷达的局限性,克服探测范围短、在恶劣环境下性能下降等问题。
随着技术的进步,已出现了涵盖天气的 4D 毫米波雷达数据集和方法 [11]–[13]。这些研究针对不同的场景,例如陆地、水路和矿井,以及不同的应用,例如单智能体感知和合作感知。目前已对 4D 毫米波雷达技术进行了多项综述。文献[14] 中首次介绍了基于深度学习 (DL) 的 4D 毫米波雷达数据集及其应用。后续综述探讨了其在特定任务(例如检测和跟踪)中相对于其他传感器的优势 [10]、[15]。然而,目前仍然缺乏专门的综述,专门研究 4D 毫米波雷达在挑战性条件下的性能提升。
为了弥补这一空白,本文全面总结了恶劣环境下的 4D 毫米波雷达,为未来的研究提供了宝贵的见解和基础。主要贡献如下:
• 据我们所知,这是第一份全面总结当前基于深度学习的 4D 毫米波雷达数据集、方法和针对恶劣环境的应用的综述。
• 详细概述了恶劣环境下感知和 SLAM 的 4D 毫米波雷达数据集,涵盖了各种天气和光照条件。
• 分析了现有的使用 4D 毫米波雷达增强恶劣环境下性能的基于深度学习的模型,包括针对多种条件的通用策略和针对特定天气的专用技术。
• 讨论了恶劣环境下 4D 毫米波雷达面临的挑战和前沿领域,重点关注模拟真实感、协作感知、以运动为中心的任务以及新兴的应用案例。
本综述的总体框架如图3所示。首先,第二部分介绍了涵盖各种天气和光照条件的公共数据集。第三部分详细分析了不同不利条件下基于深度学习的4D毫米波雷达研究。第四部分讨论了4D毫米波雷达在不同环境下面临的挑战和前沿研究。
目前已开发出众多 4D 毫米波雷达数据集。Astyx [16]、VoD [17]、RADIal [18] 和 ZJOUDset [19] 等数据集专注于基于同步激光雷达和摄像头数据的 4D 毫米波雷达进行 3D 物体检测。RaDelft [20]、SJTU4D [21]、Colorado [22] 和 DRIO [23] 为同步定位与地图构建 (SLAM) 任务提供带有地面真实姿态的雷达点云和多传感器数据。虽然这些数据集在标准环境下的研究取得了显著进展,但它们在评估更复杂和恶劣环境中的性能方面仍存在局限性。因此,近年来,4D 毫米波雷达在恶劣条件下的性能越来越受到关注 [11]。表 1 总结了当前公开的恶劣环境下 4D 毫米波雷达数据集。

A. 感知数据集
TJ4DRadSet [24] 包含 7757 帧 4D 毫米波雷达、激光雷达和摄像头数据,用于 3D 物体检测和跟踪。它考虑了城市道路、高架公路和不同光照条件下的工业区等多种驾驶场景,为在不同光照和驾驶条件下进行 4D 毫米波雷达感知奠定了基础。
除了驾驶条件和光照之外,为了充分利用 4D 毫米波雷达在恶劣天气下的优势,KRadar [11] 被收集作为第一个专门针对恶劣天气的大规模 4D 毫米波雷达数据集。它包含 35,000 帧 4D 毫米波雷达张量(多普勒、距离、方位角和仰角)和点云。该数据集涵盖了各种天气条件,包括正常天气、阴天、雾、雨、雨夹雪和雪,中等探测范围为120米。
然而,K-Radar 数据集 [11] 缺乏远程 4D 毫米波雷达点云。相比之下,aiMotive 数据集 [13] 提供了高达 200 米的远程感知能力。同样,Dual Radar 数据集 [8] 包含两个 4D 毫米波雷达系统(Arbe Phoenix 和 ARSS48 RDI),支持中程和远程探测。使用不同的雷达系统可以对相同场景下的各种 4D 毫米波雷达设计进行比较分析。
此外,L-RadSet 数据集 [25] 将远程探测能力扩展至 220 米。虽然这三个数据集都涵盖了多种天气场景,包括晴天、雨天、多云和夜间,但 aiMotive [13] 还捕获了少量眩光场景,而 L-RadSet 则额外包含雾天数据。为了进一步扩大数据规模,Bosch Street 数据集 [26] 提供了 130 万帧同步数据,涵盖 13.6 万个不同场景,覆盖距离远达 200 米,视野范围为 360°。为了提升卡车专用的自动驾驶感知能力,MAN TruckScenes数据集 [27] 提供了一个 4D 毫米波雷达数据集,探测范围可达 230 米。该数据集是在多种天气和光照条件下收集的,填补了重型车辆跟踪领域的一个关键空白。
跨传感器域自适应可以缓解基于传感器的差异。CMD [42] 是第一个专为跨传感器域自适应设计的数据集,它整合了来自 4D 毫米波雷达、摄像头以及不同光束配置、不同光照条件下的多个激光雷达的数据。它考虑了不同传感器之间的密度、强度和几何形状,支持跨传感器自适应的研究。
在恶劣条件下收集真实世界数据极具挑战性。因此,模拟已成为一种切实可行的替代方案。[29] 的研究基于真实世界 VoD 数据集 [17],在保持 4D 毫米波雷达点云不变的情况下,模拟了不同程度的雾对激光雷达点云的影响。这一扩展数据集被称为 VoD-Fog 数据集,它使得在雾天条件下使用 4D 毫米波雷达-激光雷达融合进行 3D 检测和跟踪的研究成为可能。
与单智能体感知相比,协作感知对于扩大感知范围和克服遮挡至关重要。然而,在车联网 (V2X) 领域,4D 毫米波雷达数据集仍然稀缺。因此,V2XRadar [30] 推出了首个用于 3D 物体检测的真实 V2X 4D 毫米波雷达数据集,涵盖晴天和雨天场景。它包含合作感知、路侧感知和单车感知的子集。与之互补的是,V2X-R [31] 是首个通过 CARLA [43] 模拟的 V2X 数据集,包含 4D 毫米波雷达、激光雷达和摄像头。在模拟中,数据集融入了雾雪天气。V2X-R [31] 的扩散模型首次被用于利用 4D 毫米波雷达特征对激光雷达数据进行去噪。
除了检测和跟踪之外,一些 4D 毫米波雷达数据集还用于处理其他感知任务。 ZJU-Multispectrum [32] 专注于使用 4D 毫米波雷达和热像仪进行深度估计。它结合了人工烟雾场景来评估干扰处理能力。OmniHD-Scenes [33] 的目标是在检测和跟踪的同时进行占用率预测,数据是在白天和夜晚的晴天、阴天和雨天条件下收集的。除了基于道路的数据集外,WaterScenes [34] 是第一个用于水路自主导航的 4D 毫米波雷达-摄像机数据集。它支持目标检测、实例和语义分割,为图像提供 2D 框和像素级标签,以及 3D 点标签。它涵盖了水路环境中各种天气和光照条件。
B. SLAM 数据集
由于 4D 毫米波雷达在各种条件下都具有出色的鲁棒性,它越来越多地应用于具有挑战性环境下的 SLAM 应用 [35]。对于城市环境中的大规模 SLAM,MSC RAD4R [35] 采用 4D 毫米波雷达,探测距离可达 400 米,并辅以里程计传感器。该数据集包含正常天气、雪天以及人造烟雾等场景。
NTU4DRadLM [36] 是一个由机器人和车辆平台在各种条件下收集的 4D 毫米波雷达数据集。NTU4DPR [44] 由此衍生,成为使用 4D 毫米波雷达数据进行位置识别的基准数据集。DIDLM [37] 集成了红外摄像头、深度摄像头、激光雷达和 4D 毫米波雷达,用于 3D 地图绘制。它涵盖室内和室外场景,涵盖包括雨雪在内的恶劣天气。SNAIL 雷达 [39] 由三个不同的平台捕获,涵盖了雨天和夜晚的各种情况。
Hercules [40] 是第一个融合 4D 雷达和旋转雷达的数据集。它涵盖了各种天气和光照条件,并包含大量动态物体。
NavINST [41] 集成了四个 4D 毫米波雷达和一个多普勒雷达,可在白天和夜晚生成具有 360° 覆盖范围的统一点云。
MINE4DRAD [38] 是第一个用于露天矿的 4D 毫米波雷达数据集,专注于检测用于运输的静态障碍物。4D 毫米波雷达点云覆盖了各种多尘和烟雾的采矿场景,包括装载场、倾卸场、运输维护区和通勤道路。它为应对露天矿山环境中的特定挑战提供了宝贵的数据。
上述 4D 毫米波雷达数据集可满足感知和 SLAM 的各种任务需求。通过真实世界数据收集和模拟,这些数据集涵盖了恶劣的天气条件和光照场景,为在具有挑战性的环境中推进 4D 毫米波雷达研究奠定了基础。
基于真实世界和模拟数据集,许多基于深度学习的 4D 毫米波雷达方法已被开发出来,以提升其在恶劣环境下的性能。如图 3 所示,纯 4D 毫米波雷达方法通过对 4D 张量或点云进行高级预处理和特征提取,实现了可靠且经济高效的感知。在多模态方法中,4D 毫米波雷达可以补偿摄像头或激光雷达在恶劣环境下(例如噪声和遮挡)的局限性。不同的传感器对不同的天气条件表现出不同的敏感度。因此,与图 3 相对应,一些研究旨在提高在多种恶劣条件下的总体性能 [12], [45],而另一些研究则通过传感器融合策略针对激光雷达和摄像头性能不佳的特定条件 [29], [46]。在本节中,我们将对现有研究进行全面分析,并按不同的挑战性环境进行分类。
A. 整体恶劣环境
许多研究提出了通用策略来增强在多种恶劣环境下的鲁棒性。尽管已经发布了更多包含极端天气的数据集,但 K-Radar [11] 仍然是使用最广泛的基准。因此,我们首先使用 K-Radar [11] 分析了恶劣天气条件下的检测方法。表 II 总结了 K-Radar [11] 在恶劣天气下的 3D 目标检测方法。
作为 K-Radar [11] 的基准,RTNH [11] 从 4D 张量中提取雷达特征图。RadarOcc [56] 是首个在恶劣条件下使用 4D 毫米波雷达进行 3D 占用率预测的研究。多普勒频移箱和 Top-N 元素在每个范围内进行编码,以将雷达张量转换为稀疏格式。
与 4D 张量相比,点云的计算效率更高。从四维张量生成点云时,可以滤除不利环境下的噪声。RTNH+ [57] 设计了一种点云生成方法。通过 CA-CFAR [58] 和旁瓣滤波技术,可以在生成过程中去除雨、雪、雨夹雪和雾等环境噪声。[59] 进一步进行了超参数调整。[60] 进一步研究了不同天气和路况下的域偏移,尤其是雪、雨和雨夹雪天气。由于稀疏性和噪声的影响,单纯使用雷达的方法往往无法获得令人满意的结果。因此,融合方法越来越多地被采用来提高感知鲁棒性。EchoFusion [50] 从四维张量生成雷达 BEV 查询,并将相应的频谱特征与图像融合。为了解决摄像机在不利条件下的成像质量下降问题,DPFT [51] 将雷达张量投影到正面和 BEV 视角上,并将它们与摄像机图像融合。 4D 毫米波雷达-激光雷达融合方法将激光雷达的精确空间信息与 4D 毫米波雷达的鲁棒性相结合。3D-LRF [12] 借助注意力机制,将每个激光雷达体素与其周围的雷达体素融合。随后,天气敏感的图像特征作为门控元素来控制融合的信息流。3D-LRF [12] 无需专门考虑恶劣天气即可显著提高方法的性能,例如 InterFusion [52]、AttFuse [53] 和 BEVFusion [54],尤其是在雾天(19.3%)和大雪天(5.6%)的情况下。然而,从两种模态中提取特征需要很高的计算成本。蒸馏通常用于将较大的模型过渡到较小的模型。LOD-PRD [45] 使用 4D 毫米波雷达-激光雷达融合方法训练教师模型。然后,将对天气不敏感的特征提炼成仅基于 LiDAR 的学生模型。
通过双向融合,L4DR [29] 可减轻不利条件下 LiDAR 的退化。4D 毫米波雷达数据通过模态内特征提取来补偿缺失的 LiDAR 点。L4DR [29] 的性能优于 LOD-PRD [45],尤其是在雨天(8.9%)和雨夹雪(14.2%)天气下。
RTNH-AL [61] 引入了一种全天候 4D 毫米波雷达张量的自动标记方法。基于 LiDAR 的检测网络经过训练,可为雷达张量生成边界框标签。值得注意的是,当使用生成标签的模型在更广泛的天气条件下进行训练时,性能会有所提升。
ASF [55] 采用正则投影来实现 4D 毫米波雷达、LiDAR 和摄像头特征之间的一致性。沿图像块的交叉注意机制增强了对传感器性能下降和故障的鲁棒性,在阴天、雾天和雨夹雪天气下也能取得最佳效果。
除了基于 K-Radar 的方法外,4D RadarPR [62] 还设计了一个上下文感知的 4D 毫米波雷达位置识别模型,用于从多个数据集中识别具有挑战性的场景。Doracamom [63] 融合了多视角摄像机和 4D 毫米波雷达,用于联合 3D 物体检测和语义占用预测,在 OmniHD-Scenes 数据集 [33] 上取得了夜间和雨天的最佳效果。文献[64] 提出的人体检测模型处理多视角雷达热图,包括仰角、方位角、距离和多普勒速度维度。数据收集自四个具有挑战性的环境中——地下矿井、大型洗车场、工业帐篷和室外树林——这些环境中的能见度因灰尘、水雾和烟雾而降低。 TransLoc4D [44] 是第一个端到端的 4D 毫米波雷达位置识别框架。经过自速度回归和 RANSAC 滤波 [65] 后,注意力机制可以捕捉点云的局部和全局信息,从而减轻点云的稀疏性和噪声。
B. 雨雪天气
4D 毫米波雷达在雨雪天气中保持了极强的鲁棒性,而相机镜头上的水滴会导致图像模糊和失焦。在下雪天气中,低温会由于光学和机械干扰而影响摄像头系统。雨滴和雪滴的反射信号会使激光雷达信号产生杂波 [66]。因此,雨雪天气会严重降低激光雷达和摄像头的性能 [67]。为了解决这个问题,一些研究将 4D 毫米波雷达与摄像头或激光雷达融合,以专门提高其在雨雪天气下的性能。一个模拟的 4D 毫米波雷达-摄像头跟踪框架 [68] 使用 SUMO 和 CARLA 软件来模拟高速公路路边场景。该框架融合了各种降雨条件,并证明了 4D 毫米波雷达-摄像头融合方法在雨夜中的表现优于仅使用摄像头的方法。
文献[69] 提出的另一种多模态训练策略将现实世界的 4D 毫米波雷达和激光雷达数据与模拟扰动相结合。在 Astyx 激光雷达数据 [16] 中,雪被建模为点的增加、点的丢失和空间位移。加入模拟雪噪可以减轻性能下降。在 VoD 数据集 [17] 上,雾也证明了类似的效果。
与单智能体感知相比,协作感知通过在车辆和基础设施之间共享观测数据来增强对环境的理解。然而,多智能体系统在通信过程中会放大环境噪声。为了解决这个问题,[31] 提出了一种用于模拟 V2X 场景的 4D 毫米波雷达-激光雷达融合检测方法。由于激光雷达点云会受到天气噪声的影响,因此利用雷达特征引导扩散过程来对激光雷达数据进行去噪。该方法也在现实世界数据集上进行了测试,结果显示其在雨雪天气下有更好的改善效果。
C. 雾和烟
由于雾和烟粒子的尺寸与波长之间存在很大差异,因此对毫米波的影响可以忽略不计[69]。相比之下,雾和烟对激光雷达的影响最大,因为它们的消光系数和后向散射系数较高[70]。此外,它们还会降低相机的图像对比度。因此,可以使用4D毫米波雷达来补偿雾和烟在激光雷达和相机传感中造成的遮挡。因此,一些方法在现实世界的激光雷达或相机数据上模拟雾,并将其与4D毫米波雷达数据融合,以提高鲁棒性。表3展示了在VoD-Fog数据集[29]上使用不同方法的实验结果。TL4DRCF[71]实现了4D毫米波雷达和相机数据的两阶段融合。首先将4D毫米波雷达点云投影到相机坐标系下。随后,体素和像素通过视锥关联和交叉注意机制相互关联。该方法在雾天表现出卓越的鲁棒性。类似地,L4DR [29] 在 VoD 数据集 [17] 上模拟了不同程度的雾。在多级融合过程中,4D 毫米波雷达有效地滤除了 LiDAR 的雾天噪声。

在 [72] 中,通过删除特定序列中的 LiDAR 扫描来模拟烟雾条件。当通过雷达-LiDAR 重叠检测到 LiDAR 性能下降时,将使用静态雷达点。否则,静态 LiDAR 点将用作里程计和动态点识别的输入。实验表明,4D 毫米波雷达-LiDAR 融合方法可实现更佳的里程计性能,而仅使用 LiDAR 的方法在浓烟中会出现严重的漂移。对于深度估计,传统的可见光谱或近红外 LiDAR 经常会遇到噪声和遮挡等问题。RIDERS [32] 通过将 4D 毫米波雷达与红外热像仪数据相结合,在具有挑战性的烟雾场景中解决了这些挑战。使用全局缩放因子将单目深度预测与雷达点对齐。并采用基于 Transformer 的网络来估计雷达像素关联的置信度。
D. 挑战性光照
光照对 4D 毫米波雷达没有影响。相反,低能见度条件会显著降低摄像头的视场和图像清晰度,导致图像中出现眩光或暗影。因此,4D 毫米波雷达通常用于与摄像头融合,以补偿弱光对图像的负面影响 [73]。 DADAN [74] 根据速度和强度为前景点分配更高的权重,即使在强光和前景-背景混淆的情况下也能实现精确的目标检测。RCFusion [75] 将 4D 毫米波雷达和摄像头的特征融合在一个统一的 BEV 空间内,在图像质量因弱光或强光而下降时也能实现较高的检测精度。 一些方法将 TJ4DRadSet 数据集 [24] 分为不同的光照条件:黑暗、眩光和正常。 LXL [76] 提出了一种使用预测深度图和占用网格的采样策略,结果表明,将 4D 毫米波雷达与图像融合,由于车辆灯光信息丰富,在黑暗场景下性能有所提升,但在光照过强的情况下性能会下降。继 LXL [76] 之后,MSSF [77] 提出了一种多级采样融合网络,该网络在黑暗和眩光条件下均能保持稳健性并避免性能下降。HGSFusion [78] 进一步解决了到达方向估计误差问题,并使用模态同步来减少图像质量下降,从而在不利光照条件下实现了更佳的融合性能。
4、挑战与前沿
4D 毫米波雷达凭借其卓越的鲁棒性,在 ITS 的恶劣环境中展现出巨大潜力。然而,它面临着模拟真实性、协同感知和高效噪声处理等挑战。随着其应用领域的扩展,未来的研究将在探索新任务和用例的同时,解决这些问题。
数据集模拟:在真实恶劣天气下收集数据极具挑战性,而由于其可配置的环境设置,模拟的价值也日益凸显。一些方法模拟整个场景,而另一些方法则通过模拟水滴或喷雾等天气效应来增强真实数据集[29]。然而,目前的 4D 毫米波数据模拟往往无法捕捉复杂的真实交通状况。在未来的研究中,将气象原理融入高保真模拟将有助于生成更真实的数据。此外,从晴朗天气到恶劣天气,捕捉同一场景的连续数据,可以支持算法的渐进式鲁棒性测试。
协同感知:除了单智能体任务外,4D 毫米波雷达已扩展到多智能体系统[30],[31]。然而,目前的 V2X 研究缺乏对协作式多模态特征级融合的深入研究,并且面临着通信噪声、同步和时间延迟等挑战。进一步探索恶劣天气对智能体间通信的影响,可以为协作感知提供更可靠的基准。
以运动为中心的任务:多普勒速度测量使 4D 毫米波雷达能够在恶劣条件下出色地完成以运动为中心的任务,例如运动物体分割、速度预测和场景流估计。目前很少有方法利用速度来消除恶劣天气条件下的噪声。未来利用速度信息的研究可以帮助模型适应动态复杂的交通场景。
新兴用例:安装在机器人上时,4D 毫米波雷达可以扩展远程感知能力。在充满粉尘和烟雾的采矿环境中,4D 毫米波雷达已被部署用于检测静态障碍物 [38]。未来,我们将进一步探索4D毫米波雷达在水生环境、建筑工地、以人为本的应用等新场景的应用。
5、结论
本文首次全面回顾了基于深度学习的4D毫米波雷达在恶劣环境下增强鲁棒性的方法。首先,本文强调了4D毫米波雷达在挑战性条件下相对于其他传感器的优势。然后,我们总结了各种恶劣天气和光照场景下的4D毫米波雷达数据集,并分析了它们的特点和局限性。基于开源数据集,我们分析了当前的4D毫米波雷达方法,包括针对多种恶劣条件的通用策略以及针对特定条件以弥补其他传感器不足的专用方法。然而,现有方法仍然面临着数据模拟和协同感知等挑战。我们提出了恶劣天气下4D毫米波雷达发展的新方向,包括新的场景、任务和应用。我们希望这项研究能够提供宝贵的资源,并激发恶劣环境下4D毫米波雷达的进步。
原文:https://arxiv.org/pdf/2503.24091