首页 > 新闻 > 汽车 > 正文

每日速读!ANTI-CARLA: 一个CARLA中自动驾驶的对抗测试框架

2022-08-19 15:36:50来源:计算机视觉深度学习和自动驾驶  

arXiv论文“

ANTI-CARLA: An Adversarial Testing framework for Auto-nomous Vehicles in CARLA“,2022年7月,Vanderbilt University和Tech Uni of Munich的工作。


(资料图片仅供参考)


尽管自动驾驶系统最近取得了进步,但这些系统仍然容易受到corner case的影响。在系统部署之前,必须对其进行彻底测试和验证,以避免此类事件发生。在开放世界场景中进行测试可能很困难,耗时且昂贵。


这些挑战,可以通过CARLA等驾驶模拟器来解决。这种测试的一个关键部分是对抗性测试,其目标是找到导致给定系统故障的场景。

CARLA

虽然已经在测试方面做出了一些努力,但尚未提供一个完善的测试框架,以支持对抗性测试。因此,提出ANTI-CARLA,CARLA中的一个自动测试框架,用于模拟不利天气条件(如暴雨)和导致系统故障的传感器故障(如摄像头遮挡)。


应测试给定系统的操作条件,用场景描述语言(scenario description language,SDL)指定。该框架提供了一种高效的搜索机制,用于搜索让测试系统失败的对抗操作条件。通过这种方式,ANTI-CARLA扩展了CARLA模拟器,能够在任何给定的驾驶流水线上执行对抗性测试。用ANTI-CARLA测试通过欺骗式学习LBC, Learning By Cheating)训练的驾驶流水线。仿真结果表明,尽管LBC在CARLA基准中达到100%的精度,但ANTI-CARLA可以有效地自动找到一系列故障案例。


代码将在:

https://github.com/scope-lab-vu/ANTI-CARLA

.



如图所示:

ANTI-CARLA

提出的对抗性测试框架集成到CARLA模拟器中。给定任意驾驶流水线,用户指定所需的测试条件,框架自动生成对抗性测试用例。




如图是

ANTI-CARLA框架和组件:



场景生成器


框架的第一个组件是场景生成器。

它包括用于建模场景的场景描述语言,以及用于指定和选择测试参数的规范文件。

根据场景定义一个测试用例,该场景是环境中系统路径的时间序列轨迹,持续30秒-60秒。


一个

场景使用环境条件(E)和AV系统参数(A)表示。

E可以用结构特征(例如道路类型和道路曲率)和时域特征(例如天气和交通密度)来定义。

A包括启动位置、车载传感器和执行器等信息。

E和A一起构成测试参数集。

其中一些参数的值可以从指定的分布中采样。


此外,采样过程由一组物理约束控制,这些约束限制了这些参数的演化速率。

例如,一天中的时间有一个固定的变化率。

在采样过程中包括这些约束,会产生更有意义的场景。


场景描述语言:用textX元语言设计了一个SDL,用于场景建模。语法包含元语言描述场景的规则。元模型包含场景的实际描述。元模型结构的可视化如图所示。




一个场景s是表示不同环境条件和智体参数的实体{e1,e2,…,ek}集合。

例如,高交通量驾驶(High Traffic Driving)场景由Track以及Weather和Traffic条件指定。

实体由一组属性{p1,p2,…,pm}进一步指定。

例如,Weather可以具有Rain和Fog的特性。

每个属性都有一个名称n和一个数据类型t。

例如,Rain是均匀分布,而Waypoints是整数数组。

特殊数据类型(如分布)也可以具有属性,例如均匀分布的范围。

元模型允许对Carla模拟器中的任何所需场景进行结构化描述。


规范文件:提供了一组规范文件,其中包含用户可以选择的场景参数。这些文件用作SDL建模概念的抽象表示。基于用户采样器的选择,从各自的分布中对所选参数进行采样。其余参数为默认值。


将信息分为三个规范文件。首先,用户选择场景说明符。如图显示了场景说明符文件的摘要。它指定了做为地图的城镇、要行驶的轨道、天气交通密度、行人密度和采样约束的分布。用户还指定使用哪种违规度量以及记录数据的频率。其次,需要一个智体说明符,包括与智体相关的信息,如可用的控制器、传感器列表及其位置,以及可记录的传感器数据。第三,采样器说明符从可用采样器列表中确定要使用哪个采样器。


最后,该语言有一个解释器。它连接规范文件、SDL和概率采样器。首先,解释器从规范文件中提取需要采样的参数和固定参数。然后将需要采样的参数发送给采样器。采样器根据这些参数的分布范围生成这些参数值。最后,将采样参数和固定参数解析为SDL元模型,生成驾驶模拟器的人工文件。


适配器合并代码


该框架还需要一个正在测试的驾驶流水线。集成不同的流水线并非易事,因为可能没有框架中使用的正确接口。例如,由于严格的接口要求,在CARLA之外开发的驾驶流水线可能不会直接用于模拟器。它们可能需要“调整”以满足模拟器的接口期望。为了解决这个问题,生成了一个适配器,以模拟器API所需的格式将驾驶流水线代码与传感器和执行器连接起来,如图所示。适配器是从智体规范文件合成的,该文件包含驾驶流水线所需的传感器列表、位置和采样率。




适配器从模拟器API中的自主

智体

类读取可用传感器,并

用规范文件中

求的传感器对其进行扩展。

因此,生成所请求的传感器

代码结构,

将其提供给驾驶

流水线代码。

此外,模拟器所需的

致动器从API中读取,并在代码中

实现

通过适配器提供所需的传感器和执行器,用户需要提供

驾驶流水线

代码。


控制器的任何实用程序文件和模型权重都有特定的目录,它们与代码框架链接。用户只需处理此界面即可正确设置其控制器。如果致动器和传感器未正确设置,模拟器将抛出错误。未来将包括一个自动检查,以确保代码、传感器和执行器之间的结构设置正确。


评分函数


为了评估AV系统在生成场景中的驾驶熟练度,该框架还提供了一个称为测试分数(TS)的评分函数。评分基于系统在给定场景中执行的所有违规行为进行。在CARLA测量的违规行为包括路线偏离、车道违规、交通规则违规、跑过停车标志、闯红灯和越野驾驶。为每个违规Ik分配权重wk。在当前设置中,这些权重设置为CARLA挑战中用的值。然而,可以根据当前用例而变化。


由违规行为生成的测试分数TS与测试用例参数一起存储在测试用例表中。这些测试用例和分数,用于

在线

驱动活跃采样器向搜索空间中导致高测试分数的区域移动。该测试用例表还可用于离线后分析(post-analysis ),识别给定控制器的故障条件,从而重新训练和改进控制器。


采样器


集成几个采样器执行基于搜索的测试用例生成。采样器通过解释器连接到SDL,解释器向其提供场景参数和分布,从中可以对参数的不同值进行采样。


在框架中包括了两种可用的采样器。首先,实现几种被动采样器,因为它们速度快且应用广泛。在抽样过程中不使用以前结果的反馈。随机搜索(Random Search),从其各自的随机分布均匀地采样参数值。网格搜索(Grid Search),彻底搜索给定网格中的所有参数组合。


Halton 序列搜索(Sequence Search)是一种伪随机技术,使用共-素数作为基对参数进行采样。虽然这些采样器表现良好,但其非反馈采样方法导致无方向搜索,可能会错过几个重要的故障测试用例。此外,其并不平衡搜索空间的探索与开发,这是生成多样故障案例所必需的。


为了克服这些限制,还包括了两个对抗性采样器,随机邻域搜索(

Random Neighborhood Search,

RNS)和引导贝叶斯优化(

Guided Bayesian Optimization,

GBO)

在对当前测试用例的参数进行采样时,

这些采样器使用系统先前性能的反馈。此外,它们还捕获不同测试参数之间的约束和相关性,生成有意义的测试用例。反馈和约束的总体思想,是将采样过程移向搜索空间中很可能使系统失效的区域。


RNS采样器使用kd- tree最近邻域搜索算法扩展传统的随机搜索,为随机采样器提供了开发的能力。如果随机抽样参数生成的测试用例导致高测试分数,则利用这些参数值周围的区域。否则,将再从整个分布中随机采样

参数

。GBO扩展了有约束的传统贝叶斯优化采样器,该约束限制了采集函数查找下一个采样变量的区域。



评估结果如下:



如图比较随机采样器和RNS采样器采样的100个场景。RNS采样器生成不同的故障群集。x轴表示一天中的时间,y轴表示降水量水平,z轴表示云量水平。




标签: 测试用例 违规行为 如图所示

责任编辑:hnmd003

相关阅读

资讯播报

推荐阅读