天天新消息丨从所有驾驶的车辆中学习驾驶

2022-08-08 17:37:57来源：计算机视觉深度学习和自动驾驶

作者提出一个系统，

(相关资料图)

Learning from All Vehicles (LAV)

，根据自车收集的经验，以及从其观察到的所有车辆收集的经验来训练驾驶策略。该系统用其他智体的行为创建更多样化的驾驶场景，无需收集额外数据。从其他车辆学习的主要困难是没有传感器信息。用一组监督任务来学习中间表示，其对控制车辆的视点具有不变性。这不仅在训练时提供了更丰富的信号，而且允许在推理过程中进行更复杂的推理。了解所有车辆的驾驶方式有助于测试时预测其行为，并可以避免碰撞。在闭环驾驶仿真中评估了该系统，大大优于公共Carla排行榜的方法。

代码：https: //github.com/dotchen/LAV.

如图所示：LAV是一个基于无地图的学习型端到端驾驶系统。LAV将多模传感器读数作为输入，并从场景中所有附近车辆学习，进行感知和规划。在测试时，LAV预测所有检测车辆（包括自车）的多模态未来轨迹。

如图是智体流水线概述：3D主干融合激光雷达测量和RGB摄像机的语义分割，生成2D空间特征地图。该共享特征图用作运动规划器的输入。在推理时间（a），用中心裁剪来预测自车轨迹。在训练时（b），用附近车辆的真值检测，从所有可见车辆训练运动规划器。检测结果用共享特征图的旋转ROI表示。最后，在推理时，控制器将多个运动预测聚合为单个转向和加速命令。

目标是建立一个确定性驾驶模型π，该模型在每个时间步长t将传感器数据、高级导航命令和车辆状态映射到原始控制命令。选择端到端可微的三步模块化流水线：感知模块、运动规划器和低级控制器。

感知模块从大规模标记监督中训练，有两个目标：创建周围世界的鲁棒泛化表示，以及构建车辆不变特征，有助于监督运动规划器。

运动规划器用感知模型的地图视图特征生成一系列描述车辆未来轨迹的路点。运动规划通常仅使用自车监督来进行此预测。这种监督非常稀疏，为运动规划器提供的收集数据点只有一系列标签。在LAV框架中，从围绕自车的所有智体中学习运动规划。这是可能的，因为感知系统产生车辆不变特征作为输入；这也是因为运动规划器的输出，即未来轨迹，可以很容易地从真实驾驶日志中获得。

最后，低级控制器将运动计划转换为在车辆上执行的实际转向和加速命令。在测试时，低级控制器会考虑其他车辆的运动规划，做出紧急停车决策。

如图是模型训练流水线概述：（a）用检测和语义映射作为监控信号来训练3-D感知模型。这两项任务都有助于学习视点不变的空间表示。检测还可以预测其他车辆的姿态，这些姿态在推理时预测其未来的轨迹。感知模块生成用于运动规划中与车辆无关的特征表示。（b）同时通过真实感知结果训练运动规划器。用所有附近车辆的轨迹来训练模型，并用其未来轨迹作为监督。（c）最后，用蒸馏技术结合（a）和（b）中学习的模型。该模型学习所有车辆如何仅使用自车传感器输入以端到端的方式进行规划。

控制器将运动规划转换为实际的驱动命令。用两个PID控制器进行横向（转向）和纵向（加速度）控制。这两种PID控制器都使用细化的运动规划基本统计信息作为输入，生成连续输出命令。纵向PID控制器还用当前速度作为输入来计算加速度。在交通灯和危险停车的情况下，用单独神经网络分类器B重写刹车程序。该分类器用与感知模块相同的图像输入，再加上一个额外的带有长焦镜头的摄像机来捕捉远处的交通灯。分类器用记录的制动动作来学习数据收集车辆的制动行为。

最后，重用从其他车辆学习的运动规划来检测潜在碰撞并执行危险停车。具体来说，用主干的3D检测来查找所有附近车辆。对于每一个车辆，用运动规划器M在每个高级命令上生成未来的轨迹。所有高于高级命令似然阈值的运动规划，会检查与自车运动规划的碰撞可能性。

如图即控制器逻辑：

实验结果如下：

标签：其他车辆实验结果神经网络

责任编辑：hnmd003