雨天一样强 | 3D目标检测如何解决雨雪等恶劣天气的影响？

点击下方卡片，关注「集智书童」公众号

LiDAR传感器在自动驾驶应用中用于准确感知环境。然而，它们受到诸如雪、雾和雨等恶劣天气条件的影响。这些日常现象会引入不必要的噪音到测量中，严重降低了基于LiDAR的感知系统的性能。

在这项工作中，作者提出了一种用于提高LiDAR基础的3D目标检测器对道路喷水的抗干扰性的框架。作者的方法使用了最先进的恶劣天气检测网络来过滤LiDAR点云中的喷水，然后将其用作目标检测器的输入。

通过这种方式，检测到的目标受到场景中恶劣天气的影响较小，从而更准确地感知环境。除了恶劣天气过滤之外，作者还探讨了使用雷达目标来进一步过滤假阳性检测的方法。对真实世界数据的测试显示，作者的方法提高了几种常用的3D目标检测器对道路喷水的抗干扰性。

1、简介

自动驾驶车辆依赖摄像头、LiDAR和雷达传感器来感知环境。与其他传感器相比，LiDAR可以提供丰富的深度信息，而不受光照条件的限制。LiDAR基础的感知系统，如语义分割和3D目标检测，在良好的天气条件下表现出色。然而，当在恶劣天气条件下测试这些模型时，它们的性能会下降，比如雪、雾和雨。

本文将重点研究车辆的路面喷水对3D目标检测的影响。喷水效应通常在车辆在湿滑路面上高速行驶时观察到。车辆轮胎的前进运动会导致地面上的水滴被推向车辆后方，形成所谓的喷水走廊。这些水滴被LiDAR传感器检测到，可以看作是测量中的一种不希望的噪声。在良好天气条件下训练的目标检测器会受到这一现象的负面影响。由此产生的影响包括由于视野被阻挡而导致的目标漏检，以及在感知系统中引入幽灵目标（假阳性检测）。

在日常场景中，最后一个效果可能会极为问题复杂。例如，在高速公路上行驶时，喷水可能会被误检为迎面驶来的车辆，并在极端情况下导致自动驾驶汽车采取规避动作，危及乘客和其他道路使用者的安全。

图1显示了幽灵目标检测的示例。在文献中，很少有工作提出了在恶劣天气条件下提高目标检测器抗干扰性的方法。Hahner等人提出模拟雪天情况来训练目标检测器。Xu等人在雨天条件下对点云中的目标进行了上采样，以考虑返回点数较少的情况。然而，并没有提出明确的解决方案来处理喷水引起的不希望的测量噪声。Linnhoff等人提出了一种模拟路面喷水的方法，并利用这些数据来提高目标检测的抗干扰性。然而，这需要重新训练目标检测器，这可能在商业可用的检测器的情况下是昂贵的或甚至不可行的。

此外，将噪声引入训练数据可能会导致在良好天气数据上测试时性能降低，而模拟模型可能无法完全反映实际和复杂场景中产生的喷水。

在本文中，作者提出了一种简单而有效的框架，用于提高雨天条件下目标检测器的抗干扰性。作者的框架使用了最先进的恶劣天气检测网络，以识别和去除LiDAR点云中的喷水点。过滤后的数据然后被用作目标检测器的输入，该检测器仅在良好天气数据上进行了训练。

由于许多自动驾驶应用系统包括LiDAR和雷达传感器，因此作者探讨了雷达目标作为额外的后处理步骤，以过滤掉喷水引起的幽灵检测。作者在SemanticSpray数据集上测试了作者的框架，该数据集包含雨天条件下类似高速公路的场景，并展示了它提高了评估的目标检测器对喷水的抗干扰性。此外，由于作者不需要重新训练目标检测器，因此在良好天气条件下的性能保持不变。

总之，作者的主要贡献包括：

• 提出了一个框架，用于提高雨天条件下3D LiDAR目标检测器的抗干扰性，基于点对点的恶劣天气过滤。

• 对于包括LiDAR和雷达传感器的多模态设置，作者使用雷达目标作为额外的后处理步骤，以进一步过滤掉喷水引起的幽灵目标。

• 在真实世界情景下的测试显示，本文的方法提高了多个目标检测器对道路喷水的抗干扰性，同时仍然允许实时性能。

2、相关工作

A. 基于点云的3D目标检测

3D目标检测的目标是返回包含场景中相关目标的一组3D边界框。已经提出了各种方法来解决这个问题。早期的方法如VoxelNet使用中间体素表示输入点云，然后使用全3D卷积提取特征。SECOND通过使用稀疏卷积改进了基于体素的架构，大大减少了计算时间。PointPillars通过将点云投影到2D柱状结构中并使用2D卷积来提取特征，进一步减少了计算量。

最近，像CenterPoint这样的中心点方法被提出，允许在不使用预定义锚点的情况下检测目标，使检测更加鲁棒，可以应对方向变化。像VoxelNeXt这样的最新网络使用只有3D稀疏体素特征来预测目标，无需锚点或中心代理。

B. 恶劣天气下的LiDAR感知

LiDAR传感器受到恶劣天气条件如雪、雾和雨的负面影响。Walz等人研究了雨水对自动驾驶感知系统的影响。他们使用车载设备模拟尾气喷射，并发现无论是基于LiDAR还是摄像头的检测器都受到了这种影响，从而显著降低了它们的可靠性。

对于基于LiDAR的检测器，他们观察到了由于喷水点引起的幽灵目标的引入以及由于视野受阻而导致的领先车辆漏检。存在不同的方法来检测LiDAR点云中的恶劣天气效应。Charron等人提出了DROR过滤器，该过滤器旨在使用局部邻居信息来确定点是否是异常值，从而去除点云中的雪点。Kurup等人通过提出DSOR过滤器来改进这一概念，该过滤器在过滤过程中考虑了邻居之间的平均距离。Piroli等人通过识别场景中每辆车的可能排放区域，然后找到点云中可能存在排气云的区域来检测车辆尾气。Heinzler等人使用一个气象室生成人工雾和雨，然后使用轻量级CNN网络来分类与恶劣天气相关的LiDAR点。Stanislas等人提出了基于体素和基于CNN的体系结构，以识别LiDAR点云中的粉尘和烟雾等空气颗粒。

在作者最近的一项工作中，作者提出了AWNet ，它使用基于能量的异常检测框架来区分内点（非恶劣天气）和外点（恶劣天气）。AWNet在雪、雨、雾和喷水检测方面达到了最先进的性能。它还在泛化到未见天气效应方面显示出有希望的结果。

有一些工作旨在提高恶劣天气条件下目标检测的鲁棒性。Bijelic等人提出了一种单次模型，将摄像头、LiDAR和雷达信息融合在一起，以在有雾的场景中稳健地检测目标。Hahner等人使用模拟的雾和降雪来提高目标检测器的鲁棒性。

最近，Linnhoff等人提出了一种用于道路喷水效应的模拟模型，然后使用这些数据来改善目标检测。相反，作者的框架首先去除喷水点，然后使用过滤后的点云作为检测器的输入。这允许仅在良好天气数据上训练过的检测器在雨天条件下使用，无需重新训练。

此外，作者提出的过滤方法可以根据环境的上下文感知（例如，仅在下雨时激活）。

3、方法

在接下来的内容中，作者描述了用于提高目标检测器对道路喷水的鲁棒性的框架。作者的方法可以用于单模态应用（仅使用LiDAR传感器）或多模态方法（LiDAR和雷达传感器）。方法的概述如图2所示。

A. 传感器输入数据

作为主要的传感器数据，作者使用LiDAR点云，由个点组成，每个点具有个特征（即、、、强度）。

对于多模态方法，作者假设有一个雷达目标列表，其中每个目标由其位置和速度（即、、、）定义。假设LiDAR和雷达传感器已经进行了时间同步并校准到相同的参考框架。

B. 恶劣天气过滤

给定LiDAR点云P，作者希望检测并移除由道路喷水引起的所有点，并获得一个经过滤波的点云，其中。为此，作者使用一个网络，将作为输入，并将所有N个点分类为有效或噪声。作为的主要方法，作者使用AWNet，这是一种用于检测LiDAR点云中恶劣天气点的最先进的网络。AWNet通过为P中的每个点返回一个异常分数来检测恶劣天气。

更具体地说，AWNet学会了将恶劣天气点检测为异常值，并使用点能量分数来确定一个点是否为内点。可以通过选择适当的阈值进行二进制分类，使得

其中是与的第个点对应的输出。使用这个决策规则，通过选择所有被分类为有效的点，可以得到经过滤波的点云。

C. 目标检测

作者使用一个3D目标检测器ψ来检测场景中的相关目标。检测器以经过滤波的点云作为输入，并返回一组目标检测。每个检测都由一个边界框θ来描述目标的位置、大小和方向。通过使用来过滤点云中的噪声，目标检测器ψ更不太可能返回由车辆尾气引起的不需要的幽灵目标检测，从而实现对环境的更鲁棒感知。

D. 基于雷达的检测过滤

除了在前一节中描述的仅使用LiDAR的过滤方法外，作者还展示了如何使用雷达目标来改进LiDAR-based的3D目标检测。对于每个检测，作者检查一个或多个雷达目标是否包含在目标边界框中。

为了考虑估计的边界框中的错误（例如大小和方向），作者通过添加固定填充来增加每个边界框的维度，使得与目标相关联的边界框等于θ。

由于雷达传感器本质上对恶劣天气条件具有很强的鲁棒性，因此由喷水引起的检测不会有相关的雷达目标，因此可以使用这个简单的规则进行过滤。

4、实验

4.1、实验结果

恶劣天气过滤

在表I中，作者报告了使用未经处理的点云和使用AWNet过滤的点云作为输入的目标检测结果。作者发现，恶劣天气过滤将整个检测范围的3D AP分别提高了5.67%和2.4%。过滤在0-25米范围内特别有效，因为这个范围内有大多数自车和前车的喷水点。

在图3中，作者展示了恶劣天气过滤对3D目标检测的一些定性结果。当比较未经预处理的普通和微调检测器时，作者发现性能存在较大差距，突显了喷水效应之外的领域适应问题。

雷达目标过滤

在表I中，作者还报告了基于雷达的检测过滤的结果。当仅使用雷达目标来过滤目标预测时，与基线结果相比，性能有很大提升。例如，在整个范围内，普通检测器的3D AP提高了17.84%，微调检测器提高了3.49%。

由于雷达检测受恶劣天气条件的影响较小，而SemanticSpray数据集仅包含一个目标车辆，大多数误报预测被过滤掉，因此普通检测器的性能也很高。最后，当同时使用恶劣天气和雷达目标过滤时，作者发现普通和微调模型性能进一步提高。

不同的恶劣天气过滤器

表II显示了使用不同方法进行恶劣天气过滤的结果。所有基于学习的方法都提高了普通和微调检测器的3D AP性能。只有当应用DSOR过滤器时，观察到性能大幅下降。DSOR旨在过滤掉通常被检测为围绕传感器的密集簇的雪点，而喷水点通常被检测为距离传感器更远的散簇，使得使用局部邻居不太有效。与AWNet相比，基于CNN的方法（Particle-UNet和WeatherNet）对于普通检测器而言性能更好。

相反，对于微调检测器，AWNet是所有测试方法中性能最高的。测试方法的推理时间分别为71.50毫秒DSOR，4.32毫秒Particle-UNet，4.18毫秒WeatherNet，409.14毫秒Particle-VoxelNet和15.37毫秒AWNet。当使用快速目标检测器（如PointPillars，推理时间为16.13毫秒）时，使用过滤方法（如AWNet、Particle-UNet和WeatherNet）仍然允许在考虑到LiDAR传感器通常的10-20Hz采样频率的情况下实现实时性能。

消融实验

噪声分类阈值

在表III中，作者报告了不同决策阈值τ（1）对性能的影响。对于基于异常值的方法，如AWNet，通常会根据所需的TPR百分比[22]，[29]，[1]来设置决策阈值。作者看到，这个选择直接影响了3D目标检测的性能。例如，虽然95% TPR的τ将过滤掉更多的喷水点，但前者的性能较低，因为一些车辆点也被过滤掉。此外，使用更高的过滤阈值时，可能会丢失重要的上下文提示，如道路点。

Box填充

在表IV中，作者展示了不同填充值对3D AP的影响。当应用0米填充时，与未经处理的方法相比，性能较低。这是因为前车的雷达目标通常位于后方，这使得过滤方法对于大小和方向估计非常敏感。通过添加0.5米填充，作者看到性能比未经处理的输入要高。

然而，当将填充增加到1.0米和1.5米时，只能看到小幅改善。然而，在密集和混乱的场景中，多个检测结果会聚集在一起，较大的填充值可能会导致检测结果重叠。

4.3. 讨论

前面章节中呈现的实验结果显示，在雨天条件下提高3D目标检测器的稳健性方面取得了有希望的结果。然而，包含道路喷水的标记数据有限，这限制了对此效应的可能测试。Road Spray和SemanticSpray数据集是更好地理解雨天对自动驾驶系统感知的影响的第一步。

尽管如此，数据集中的场景仅限于在无杂乱环境中的单个前车。在实际应用中，可能会出现更复杂的场景，使呈现的过滤方法不太有效。

最后，通过使用更复杂的规则进行过滤或直接将雷达目标集成到LiDAR目标检测器训练中，可以进一步改进雷达传感器的使用。

5、参考

[1].Towards Robust 3D Object Detection In Rainy Conditions.

6、推荐阅读

骨干网络PK | ResNet/Res2Net/DarkNet/Swin-T在Deformable DETR中应该怎么选择

大模型系列 | 玩转nnUNet和SAM | 如何把SAM做到即插即用，nnSAM是最好的答案！

一步到位 | What？QAT+自监督结合，让你没有标注也能完成具有量化落地能力的模型

扫码加入👉「集智书童」交流群

（备注：方向+学校/公司+昵称）

想要了解更多：

前沿AI视觉感知全栈知识👉「分类、检测、分割、关键点、车道线检测、3D视觉（分割、检测）、多模态、目标跟踪、NerF」

行业技术方案👉「AI安防、AI医疗、AI自动驾驶」AI模型部署落地实战👉「CUDA、TensorRT、NCNN、OpenVINO、MNN、ONNXRuntime以及地平线框架」

欢迎扫描上方二维码，加入「集智书童-知识星球」，日常分享论文、学习笔记、问题解决方案、部署方案以及全栈式答疑，期待交流！

免责声明凡本公众号注明“来源：XXX（非集智书童）”的作品，均转载自其它媒体，版权归原作者所有，如有侵权请联系我们删除，谢谢。
点击下方“阅读原文”，了解更多AI学习路上的「武功秘籍」