强化学习再登Nature封面，自动驾驶安全验证新范式大幅减少测试里程

​

自动驾驶汽车 (AV) 技术的快速发展，使得我们正处于交通革命的风口浪尖，其规模是自一个世纪前汽车问世以来从未见过的。自动驾驶技术具有显着提高交通安全性、机动性和可持续性的潜力，因此引起了工业界、政府机构、专业组织和学术机构的共同关注。

过去 20 年里，自动驾驶汽车的发展取得了长足的进步，尤其是随着深度学习的出现更是如此。到 2015 年，开始有公司宣布他们将在 2020 之前量产 AV。不过到目前为止，并且没有 level 4 级别的 AV 可以在市场上买到。导致这一现象的原因有很多，自动驾驶汽车的安全性能仍大大低于人类驾驶员。对于美国的普通驾驶员来说，在自然驾驶环境 (NDE) 中发生碰撞的概率约为 1.9 × 10^−6 per mile。相比之下，根据加利福尼亚 2021 年的脱离报告（Disengagement Reports）显示，最先进的自动驾驶汽车的脱离率约为 2.0 × 10^−5 / 英里。

提高自动驾驶汽车安全性能存在的一个关键瓶颈是安全验证效率低下。目前流行的是通过软件模拟、封闭测试轨道和道路测试相结合的方式来测试自动驾驶汽车的无损检测。这样一来，AV 开发人员必须支付大量的经济和时间成本来评估，从而阻碍了 AV 部署的进展。

在 NDE 环境中，进行 AV 安全性能验证非常复杂。例如，驾驶环境在时空上是复杂的，因此定义此类环境所需的变量是高维的。随着变量维数呈指数增长，计算复杂度也呈指数增长。在这种情况下，即使给定大量数据，深度学习模型也很难学习。

本文中，来自密歇根大学安娜堡分校、清华大学等机构的研究者，他们提出密集深度强化学习 (D2RL，dense deep-reinforcement-learning) 方法来解决这一挑战。

该研究登 Nature 封面。

• 论文地址：https://www.nature.com/articles/s41586-023-05732-2 

• 项目地址：https://github.com/michigan-traffic-lab/Dense-Deep-Reinforcement-Learning

论文一作封硕，目前是清华大学自动化系终身助理教授（Tenure-Track Assistant Professor），此外，他还是密歇根大学交通研究所 (UMTRI) 的助理研究科学家。他于 2014 年和 2019 年在清华大学自动化系获得学士和博士学位，师从张毅教授。2017 年至 2019 年，他在密歇根大学土木与环境工程专业做访问博士，师从 Henry X. Liu 教授（本文通讯作者）。

更多内容：

https://auto.ifeng.com/qichezixun/20200303/1390011.shtml 

https://www.nature.com/articles/d41586-023-00798-4 

​Read More