强化学习登Nature封面，自动驾驶安全验证新范式大幅减少测

　　机器之心报道
　　编辑：陈萍、小舟
　　引入密集强化学习，用AI验证AI。
　　自动驾驶汽车（AV）技术的快速发展，使得我们正处于交通革命的风口浪尖，其规模是自一个世纪前汽车问世以来从未见过的。自动驾驶技术具有显着提高交通安全性、机动性和可持续性的潜力，因此引起了工业界、政府机构、专业组织和学术机构的共同关注。
　　过去20年里，自动驾驶汽车的发展取得了长足的进步，尤其是随着深度学习的出现更是如此。到2015年，开始有公司宣布他们将在2020之前量产AV。不过到目前为止，并且没有level4级别的AV可以在市场上买到。
　　导致这一现象的原因有很多，但最重要的是，自动驾驶汽车的安全性能仍大大低于人类驾驶员。对于美国的普通驾驶员来说，在自然驾驶环境（NDE）中发生碰撞的概率约为1。9106permile。相比之下，根据加利福尼亚2021年的脱离报告（DisengagementReports）显示，最先进的自动驾驶汽车的脱离率约为2。0105英里。
　　注：脱离率是评定自动驾驶可靠性的重要指标，它描述的是系统运行每1000英里需要驾驶员接管的次数。系统的脱离率越低，意味着可靠性越佳。当脱离率等于0时，也就从某种程度上说明这个自动驾驶系统已经达到无人驾驶级别。
　　尽管脱离率会因为存在偏见而受到批评，但它已被广泛用于评价自动驾驶汽车安全性能。
　　提高自动驾驶汽车安全性能存在的一个关键瓶颈是安全验证效率低下。目前流行的是通过软件模拟、封闭测试轨道和道路测试相结合的方式来测试自动驾驶汽车的无损检测。这样一来，AV开发人员必须支付大量的经济和时间成本来评估，从而阻碍了AV部署的进展。
　　在NDE环境中，进行AV安全性能验证非常复杂。例如，驾驶环境在时空上是复杂的，因此定义此类环境所需的变量是高维的。随着变量维数呈指数增长，计算复杂度也呈指数增长。在这种情况下，即使给定大量数据，深度学习模型也很难学习。
　　本文中，来自密歇根大学安娜堡分校、清华大学等机构的研究者，他们提出密集深度强化学习（D2RL，densedeepreinforcementlearning）方法来解决这一挑战。
　　该研究登Nature封面。
　　论文一作封硕，目前是清华大学自动化系终身助理教授（TenureTrackAssistantProfessor），此外，他还是密歇根大学交通研究所（UMTRI）的助理研究科学家。他于2014年和2019年在清华大学自动化系获得学士和博士学位，师从张毅教授。2017年至2019年，他在密歇根大学土木与环境工程专业做访问博士，师从HenryX。Liu教授（本文通讯作者）。
　　研究介绍
　　D2RL方法的基本思想是识别和去除非安全关键（nonsafetycritical）数据，并利用安全关键数据训练神经网络。由于只有一小部分数据是安全关键的，因此其余数据的信息将被大量密集化。
　　与DRL方法相比，D2RL方法可以在不损失无偏性（unbiasedness）的情况下显著减少多个数量级的策略梯度估计方差。这种显著的方差减少可以使神经网络学习和完成DRL方法难以处理的任务。
　　对于AV测试，该研究利用D2RL方法，通过神经网络训练周围车辆（backgroundvehicles，BV）学习何时执行何种对抗性操作，旨在提高测试效率。D2RL在基于AI的对抗性测试环境下可以将AV所需的测试里程减少多个数量级，同时确保了测试的无偏性。
　　D2RL方法可以应用于复杂的驾驶环境，包括多条高速公路、十字路口和环岛，这是以前基于场景的方法无法实现的。并且，该研究提出的方法可以创建智能测试环境，即使用AI来验证AI。这是一种范式转变，它为其他安全关键系统进行加速测试和训练打开了大门。
　　为了证明基于AI的测试方法是有效的，该研究使用大规模实际驾驶数据集对BV进行了训练，并进行了模拟实验和物理测试轨道的现场实验，实验结果如下图1所示。
　　密集深度强化学习
　　为了利用AI技术，该研究将AV测试问题表述为马尔可夫决策过程（MDP），其中BV的操作是根据当前状态信息决定的。该研究旨在训练一个由神经网络建模的策略（DRL智能体），它可以控制BV与AV交互的操作，以最大限度地提高评估效率并确保无偏性。然而，如上文所述，受维数和计算复杂度的限制，如果直接应用DRL方法，很难甚至根本无法学习有效策略。
　　由于大多数状态都是非关键的，无法为安全关键事件提供信息，因此D2RL的重点是去除这些非关键状态的数据。对于AV测试问题，可以利用许多安全指标来识别具有不同效率和有效性的关键状态。该研究利用的关键性度量指标是当前状态特定时间范围内（例如1秒）内AV碰撞率的外部近似值。然后该研究编辑了马尔可夫过程，丢弃非关键状态的数据，并将剩余数据用于DRL训练的策略梯度估计和Bootstrap。
　　如下图2所示，相比于DRL，D2RL的优势是能够最大化训练过程中的奖励。
　　AV仿真测试
　　为了评估D2RL方法的准确性、效率、可扩展性和通用性，该研究进行了仿真测试。对于每个测试集，该研究模拟了一段固定距离的交通行驶，然后记录并分析测试结果，如下图3所示。
　　为了进一步研究D2RL的可扩展性和泛化性，该研究对AVI模型进行了不同车道数（2车道和3车道）和行驶距离（400米、2公里、4公里和25公里）的实验。本文对25公里行程进行了研究，因为在美国，平均通勤者单程旅行约为25公里。结果如表1所示：
　　参考链接：
　　https：auto。ifeng。comqichezixun202003031390011。shtml
　　https：www。nature。comarticlesd41586023007984