首页 > 新闻 > 汽车 > 正文

为了自动驾驶安全的感知模块处理率估计模型-Zhuyi

2022-05-22 06:14:39来源：计算机视觉深度学习和自动驾驶

2022年5月6日arXiv上传论文“Zhuyi: Perception Processing Rate Estimation for Safety in Autonomous Vehicles“，是哈佛大学学生在英伟达公司的实习工作。

在复杂场景中，自动驾驶车（AVs）对高精度感知的处理要求可能超过车载计算机提供的资源，从而降低安全性和舒适性。本文提出一种传感器帧处理率（FPR）估计模型

Zhuyi

（中文意思“主意”？），在驾驶场景中该模型可以连续量化最小安全FPR。

Zhuyi可以在部署后作为在线安全检查和对工作排列优先。行业SOA多摄像头AV系统的实验表明，Zhuyi估计的FPR是保守的，但与测试场景中默认的30-FPR系统相比，该系统只需处理相比36%或更少的帧，从而保持安全性。

仅在12摄像头系统上实现高质量感知处理能力，就可能超过最先进的SoC提供的资源。如图显示SOA模型运行感知任务的吞吐量需求，以及单个NVIDIA DRIVE AGX Xavier和NVIDIA Jetson AGX Orin SoCs提供的吞吐量。

假设在12台摄像头1200x1200图像帧运行SSD- Large目标检测模型，可估计每秒Tera操作数（TOPS）（运行所需来自MLPerf）。由于精确感知还需要运行其他视觉模型（例如，车道线检测、自由空间感知、遮挡检测），假设这些模型可以重用提取特征，那么TOPS需求会增加20%。考虑到激光雷达、雷达以及定位和规划算法，计算需求可能会更高。更高输入分辨率的感知算法可能需要数倍计算量。

此外，要做的工作可能会根据场景增加。例如，最近的一项研究表明，AV周围障碍物较高的密度会间歇性地增加计算需求。由于实时AV系统产生的计算需求可能非常高，因此为安全操作必须量化感知需求，车内计算机要提供固定资源以确定重要任务的优先级，并将剩余资源用于进一步提高安全性和舒适性的任务。

Zhuyi用于量化多摄像头设置下可容忍的摄像头处理延迟，以确保安全操作。安全操作或安全，定义为自车与周围参与者之间没有碰撞。基于自车和周围参与者的当前和未来状态，用一个考虑碰撞可能性的运动学模型来量化安全驾驶的最大容许延迟。

最大容许延迟的倒数，是摄像机传感器的最小帧处理速率或FPR要求。因此，与典型AV系统中的固定传感器设置（例如，摄像头30 FPR）不同，AV系统可以分配硬件资源来处理安全-紧要感知任务，避免做出不及时的决定或增加系统反应时间。

例如，当没有足够的资源来处理来自更重要传感器的数据时，对于不太重要的摄像头，主要感知/跟踪不重要障碍物，其处理速度可能会设置很低，从而优化AV系统，实现舒适性和安全性。当硬件系统因操作条件或某些延迟增加而受到限制时，动态FPR调整尤为关键。

在AV软件系统的开发阶段，Zhuyi 可以验证不同AV任务的资源分配是否足够安全，并用来设计更有效的系统。AV软件在部署前，针对不同的ODD对一组不同的驾驶场景进行测试。对于每个驾驶场景，Zhuyi可以为每个摄像头提供最大可容忍延迟要求，以避免碰撞。

Zhuyi 也可以作为回归测试的一部分。Zhuyi可以利用延迟估计的分析来更好地设计AV系统。例如，延迟边界可以加速设计空间探索，并帮助架构师为不同ODD发现新的优化机会。

Zhuyi模型采用基于运动学的计算来估计每个参与者的处理延迟需求，并根据摄像头的视野（FOV）聚合所有需求获得FPR。

如图显示自车和其他参与者的在时刻t0和tn的位置：将世界坐标系定义为二维俯视图，其中

标签：安全操作自由空间处理速度

责任编辑：hnmd003