自动驾驶汽车中机器学习安全的实际解决方案
1 【资料图】
►
摘要自动驾驶汽车依靠机器学习来解决知觉和运动规划方面的挑战。然而,汽车软件安全标准还没有完全发展到来应对机器学习安全的挑战,如可解释性、验证性和性能限制。本文回顾和整理了实际的机器学习安全技术可以补充用于自动驾驶汽车的基于机器学习的软件的工程安全。我们的组织将安全策略映射到最先进的状态机器学习技术,以提高可靠性以及机器学习算法的安全性。我们还讨论了自动驾驶汽车中机器学习组件的安全限制和用户体验方面的问题。
2
►
介绍机器学习
(ML)
的进展是过去十年中最大的创新之一。如今,ML模型被广泛应用于自动驾驶汽车、医疗诊断和机器人等不同的工业领域,以执行各种任务,如语音识别、目标检测和运动规划。在不同ML模型中,深度神经网络(DNNs) (LeCun, Bengio和Hinton 2015)
以其在高维数据中的强大特征学习而闻名并被广泛应用。例如,在自动驾驶领域,各种DNN目标检测和图像分割算法被用作处理相机的感知单元(如Pilot-Net (Bojarski等人,2016)
,快速RCNN(Wang, Shrivastava,和Gupta, 2017))
和激光雷达数据(例如VoxelNet (Zhou和Tuzel 2018))
。安全关键系统的开发依赖于严格的安全方法、设计和分析,以防止故障时的危害。在汽车领域,ISO26262和ISO/PAS 21448是两个主要的安全标准,用于解决电子电气元件的安全问题。这些标准提出并要求了系统、硬件和软件开发的方法。特别是对于软件开发,该过程确保了需求、架构和单元设计、代码和验证之间的可追溯性。对于具有很高复杂性的自动驾驶软件,需要对自动驾驶软件进行迭代危害分析和风险评估以更好的描述运行设计区域。
另一方面,ML模型有许多固有的安全缺陷包括训练集的准确性 以及在开放世界限制下运行的域的鲁棒性。例如,ML模型容易受到域移位
(Ganin和Lempitsky 2014)
、数据损坏和自然扰动(Hendrycks和Dietterich 2019)
的影响。而且,DNNs中的预测概率评分并不能真实表达出模型的不确定性。此外,从安全的角度来看,已经证明DNN容易受到对抗性攻击,这些攻击对输入样本(人眼无法分辨)
造成小扰动,但可以欺骗DNN(Goodfellow, Shlens, 和Szegedy 2014)
。由于DNNs缺乏验证技术,ML模型的确认往往依赖于不同大型测试集上的简单精度度量,以覆盖目标运行设计区域。虽然这是衡量算法成功与否的一个重要指标,但它绝对不足以衡量安全关键应用程序中的性能,因为实际示例可能与测试集不同。随着意识到ML模型将越来越多地用于安全关键系统,我们需要检查这些模型暴露在现有工程安全标准中的差距。我们已经讨论了机器学习安全方面的几个例子,包括代码的可解释性和可跟踪性、形式验证和设计规范
(Salay,Queiroz,和Czarnecki 2017)
。在这篇论文中,我们回顾了自动驾驶汽车安全算法技术的挑战和机遇,以补充现有的自动驾驶汽车软件安全标准。第2节简要回顾了两个主要的汽车行业安全标准,并识别出它们与机器学习算法的五个基本差距。第3节通过对机器学习(1)错误检测器的研究和(2)模型鲁棒性的调查,介绍了实用的算法安全技术。我们将简要介绍三种针对安全关键型应用的实现。第4部分讨论了开放问题的挑战,未来工作的方向,并总结了本文。
3
►
背景工业安全广义上是指对一个行业内的所有操作和事件的管理,通过使危害、风险和事
故最小化来保护员工和用户的安全。鉴于电子电气
(E/E)
元件正确操作的重要性,IEC 61508是为电子和电气安全相关系统制定的基本功能安全标准,具有两个基本原则: (a)安全生命周期:以发现和消除设计错误的最佳实践为基础的工程过程;(b)故障分析:解析系统故障对安全影响的概率方法。IEC 61508在不同领域有不同分支。例如,为了实现汽车行业的安全,工程师需要遵循ISO 26262标准,将E/E故障造成的安全风险降至可接受的水平。在本节中,我们简要回顾一个整理后的、可以满足两个主要汽车安全标准中安全需求的基本机器学习限制列表。我们注意到,这两个汽车标准都要求对危害和风险进行详细的分析,然后是专注于系统需求、文档化的架构和设计、结构良好的代码,以及对单元、集成和系统级测试的全面的验证。
ISO 26262 标准
ISO 26262或汽车E/E系统功能安全标准将汽车安全定义为不存在因E/E组件故障而产生的不合理风险。它需要危险分析和风险评估
(HARA)
以确定车辆级别的危险。潜在的危害和风险指导安全工程师导出功能安全需求以满足安全目标。然后这些功能安全需求指导系统开发过程,系统开发过程又可分解为硬件和软件开发过程。图1给出了该标准的概述。本文的重点是ISO 26262的第6部分,它为软件开发过程定义了V模型。图1中V-Model的目标是确保软件架构设计充分满足软件安全需求,并通过软件测试充分测试和验证。类似地,验证软件架构设计,软件集成测试证明架构实体
(包括静态和动态方面)
之间的交互得到了测试。在V模型的最底端,单元设计制定每个单元的设计细节(在软件体架构设计期间识别)
,例如输入、输出错误处理、单元的行为,以便对单元进行编码。最后,单元测试确保软件单元得到测试,以满足其设计需求,并满足单元设计的覆盖率。图1 软件开发V型 ISO 26262-6(绿色)
和ISO/PAS 21448(蓝色) 的比较
ISO 26262还确定了故障检测和避免的方法,以将风险降低到可接受的水平。但当将ISO26262用于自动驾驶领域时就有一些局限性。它不能应对由于组件不能理解环境而发生的故障,例如由于性能限制或鲁棒性问题,或可预见的系统误用。
ISO/PAS 21448 标准
ISO/PAS 21448或SOTIF
(预期功能安全)
标准描述了一个迭代开发过程,包括设计规范、开发、验证和确认阶段。SOTIF标准认识到软件(包括ML组件)
的性能限制,并期望属于未知不安全(如训练分布之外的样本)
和已知不安全(如运行设计区域之外的样本)
情况的场景/输入应减少到残余误差风险可接受的程度。SOTIF过程在ISO 26262的基础上增加了SOTIF HARA和安全概念。危害分析包括识别由于性能不足、感知不足、合理可预见的误用或人机界面缺陷造成的危害。相比之下,ISO 26262的危害和风险分析仅限于电子/电子故障造成的危害。如果SOTIF分析导致的风险高于可接受的风险,则进行功能优化以降低风险。然后制定验证和确认策略,以论证剩余风险低于可接受水平。
机器学习(ML)组件的安全缺陷
近年来,对ML模型安全限制的识别越来越受到人们的关注。例如,Varshney等人
(Varshney 2016)
讨论了ML模型的安全定义,并将其与工业上的四种主要工程安全策略(1)固有安全设计,(2)安全量,(3)安全失效,(4)程序保障措施进行了比较。在对汽车软件安全方法的回顾中,Salay等人(Salay, Queiroz,和Czarnecki 2017)
按照ISO-26262 part-6方法对ML模型进行了安全分析。他们评估软件安全方法在机器学习算法上的适用性(作为软件单元设计)
表明约40%的软件安全方法不适用于ML模型。ML模型的安全性和鲁棒性也一直是ML科学家
(Hern´andez-Orallo等人,2019)
关心的问题。Amodei 等人(2016)
提出了五个具体的研究问题,这些问题可能导致现实世界AI系统的意外和不安全行为。他们将人工智能的安全问题聚焦并表征为目标函数的定义和评估。此外,Ortega等人(Ortega和Maini 2018)
介绍了技术AI安全的三个领域,即规范(在设计和紧急情况下)
和鲁棒性(用于错误预防和恢复)
和保证(用于监视和执行)
。我们在汽车软件安全标准术语中对这些开放性的挑战进行了分类,并简要回顾了具有代表性的研究,以解决这些安全缺陷。
设计规范:记录和审查软件规范是功能安全的关键步骤,然而,ML模型的设计规范通常是不够的,因为模型学习数据中的模式来区分或生成新的不可见输入的分布。因此,机器学习算法通过它们的训练数据
(和正则化约束)
学习目标类,而不使用正式的规范。缺乏专一性会导致“设计者的目标”和“模型实际学到的东西”之间的不匹配,这可能会导致系统的非预期功能。这种基于数据驱动最优的训练机器学习模型不可能定义出和提出具体的安全约束。为此,Seshia等人(2018)
调查了DNNs形式化规范的现状,并为DNNs形式化描述和性质推理奠定初步基础。管理这个设计规范问题的另一种实用方法是将机器学习组件分解为更小的算法(具有更小的任务)
,以实现分层结构的工作。与此相关,Dreossi等人(2019)
提出将VerifAI工具包用于基于人工智能的系统的形式化设计和分析。责任编辑:hnmd003
相关阅读
-
世界信息:海德声科采用R&S CMX500加速5G NR语音服务(VoNR)测试
语音和音频分析专家海德声科已决定采用罗德与施瓦茨(以下简称“RS”公司)的5G测试解决方案,用于验证5...
2022-11-30 -
全球热门:R&S推出测量高达90GHz的功率传感器NRP90S(N)
新型RSNRP90S(N)罗德与施瓦茨(以下简称RS)近日将其快速二极管传感器的最大测量频率从67GHz提升至90GHz...
2022-11-30 -
【线上丨Webinar】汽车ECU产测自动化:稳定高效的测试平台与集成系统
网络研讨会汽车ECU产测自动化稳定高效的测试平台与集成系统12月08日10:00-11:00汽车电子市场竞争越来越...
2022-11-30 -
全球热门:R&S推出测量高达90GHz的功率传感器NRP90S(N)
新型RSNRP90S(N)罗德与施瓦茨(以下简称RS)近日将其快速二极管传感器的最大测量频率从67GHz提升至90GHz...
2022-11-30 -
世界信息:海德声科采用R&S CMX500加速5G NR语音服务(VoNR)测试
语音和音频分析专家海德声科已决定采用罗德与施瓦茨(以下简称“RS”公司)的5G测试解决方案,用于验证5...
2022-11-30 -
【线上丨Webinar】汽车ECU产测自动化:稳定高效的测试平台与集成系统
网络研讨会汽车ECU产测自动化稳定高效的测试平台与集成系统12月08日10:00-11:00汽车电子市场竞争越来越...
2022-11-30 -
-
2022年青岛市人口总数是多少?青岛市人口呈上升还是下降趋势?
2022年青岛人口总数是多少?答2022年青岛市人口总数1040 77一万人。青岛市总人口稳步增长,2022年底,全...
2022-11-30 -
sgimeguard.exe是什么进程程序?sgimeguard.exe进程怎么关闭呢?
SGImeGuard exe是搜狗输入法的一个进程程序。当我们安装了搜狗输入法就会有这个进程出现在任务管理器的...
2022-11-30 -
可以非常方便的将音视频文件进行各种格式的转换 mediacoder怎么用?
MediaCoder 影音转码快车是一款功能强大的音视频批量转码工具,可以非常方便的将音视频文件进行各种格...
2022-11-30 -
天玑1000plus和骁龙865哪个好?处理器详细对比如下
最近联发科新发布的芯片天玑1000Plus赚足了眼球,作为业内第一一个搭载5G+5G双卡双待和5G双载波聚合技术...
2022-11-30 -
【世界报资讯】地产股月内第二次史诗级暴涨!这只个股涨超100%,有开发商称“很惊喜、很意外”
上一次是央行、银保监会,这一次是证监会,短短半月内,房地产板块又迎来了一轮暴涨。今日地产股开盘几...
2022-11-30 -
阅读排行
资讯播报
- 2023年全国硕士研究生招生考试确...
- 做好个人防护畅通联系渠道 河南...
- 龙湖成功发行中债增全额担保20亿...
- 【天天报资讯】北京土拍热度大大...
- 世界滚动:伊朗惜败美国 首进16...
- 每日看点!绿城中国:已购回部分...
- 2023河南考研笔试时间已确定 考...
- 房地产板块市值暴增 业界看好行...
- 阿根廷今迎小组生死战,想出线要...
- 【环球新视野】B组结果:英格兰...
- 环球看点!阳光保险拟发售11.5亿...
- 天天实时:“英伦德比”英格兰3:...
- 记者手记:卡塔尔队回家,带着他...
- 全球速递!美国1:0伊朗后出线,...
- 荷兰队小组头名出线 东道主三战...
- 世界热门:塞内加尔2:1胜厄瓜多尔...
- 德国对哥斯达黎加,法国女裁判弗...
- 【天天新要闻】海昌海洋公园签署...
- 今日观点!英格兰3球大胜威尔士 ...
- 【全球聚看点】北京四批供地成交...
- 【世界速看料】逆转再逆转!塞内...
- 【聚看点】A组结果:荷兰携手塞...
- 2:0击败东道主卡塔尔,荷兰队锁...
- 环球观点:金鹰商贸签订物业管理...
- 赛事前瞻:阿根廷波兰共迎“生死...
- 每日快报!北京:风险区域划定要...
- 全球热点!快评 | “三支箭”...
- 每日速读!新时代新征程新伟业·...
- 速看:广州:开设24小时重症孕产...
- 世界热头条丨原产地证书签证带给...
- 【快播报】丁祖昱:推“第三支箭...
- 全球即时:杭州第四批次集中供地...
- “精准免检”也是精准防控
- 首开集团回复首开股份:不存在应...
- 焦点简讯:闭环管理 稳产保供(记...
- 当前热门:“第二支箭”首单落地...
- 青春华章|台湾青年:在祖国的山...
- 全球今热点:又一研究院自主研发...
- 焦点快报!康明斯东亚研发中心新...
- 当前热门:重庆多家银行与房地产...
- 资讯推荐:南山控股:拟向中国南...
- 即时焦点:杭州之江城投20亿元私...
- 焦点资讯:中国交建附属与中交集...
- 记者手记:C罗、梅西,卢赛尔的...
- 全国沙排巡回赛总决赛:两大上海...
- 环球观热点:现场丨分众传媒江南...
- 观察:陕西建工拟对创兴建投增资...
- 土拍|北京第四批集中供地:中海...
- 数实互生 文明共存——2022北京...
- 携全球超豪华评委阵容,“极光之...
- 天天亮点!快问|如何防范房地产...
- 实时焦点:南京首个智能网联精准...
- 成都龙泉阳狮广场项目将被破产清...
- 保持清醒的大脑,我的五点思考
- 今日热搜:阳光城拟为子公司提供...
- 珠海华发集团15亿元公司债券将于...
- 新动态:中天美好摇号竞得杭州1...
- 焦点报道:拧螺丝成世界冠军,职...
- 全球热点评!航天员邓清明25年终...
- 天天时讯:加快打造智能制造升级版
- 北京四批集中供地:金隅32.3亿摘...
- 焦点简讯:人民财评:以实干奏响...
- 全球热点评!现场丨高通全球副总...
- 世界技能大赛比赛项目全部结束 ...
- 退休之前可以参加重庆个人养老金...
- 个人养老金缴费完全由参加人个人...
- 百年糊涂创新品牌营销,传统企业...
- 重庆个人所得税APP进行版本更新...
- 重庆已经退休的人员不能参加个人...
- 重庆公积金贷款额度最高是多少?...
- 修改tcpackfrequency可以提高网...
- 《社内相亲》和漫画相比改编大吗...
- 上海立法“禁止群租”,“群租客...
- 当前短讯!汽车空调箱鼓风机电机...
- 百事通!现场丨管清友:中国经济...
- 环球今亮点!这对兄弟很特别
- 楼市“三支箭”正式落地!如何把...
- SNH48成员刘丽千发文确诊粘液样...
- 世界今日报丨亚洲足球借世界杯出海
- Logo解读,探寻乾佰纳品牌文化
- 环球即时看!IMT-2020(5G)推进组...
- 环球百事通!关于汽车EMC测试的...
- 全球速读:巴黎奥运会柔道参赛资...
- 国际乒联更新世界排名 樊振东孙...
- 街边小店纷纷开门营业 居民迎着...
- 热点在线丨现场丨红杉中国投资合...
- 世界今热点:自动驾驶仿真技术横览
- 吴京影片票房破250亿?吴京都主...
- 【新要闻】“中国草”为世界减贫...
- 天天快看点丨58安居客房产研究院...
- 即时看!耗资6亿只为测试,探秘...
- 世界热议:新疆多地逐步有序恢复...
- 环球简讯:多元粤剧节目亮相香港...
- 焦点短讯!4队积分接近 E组形势胶着
- 全球关注:飞天圆梦三十载,中国...
- 陕西哪五类慢性病可以异地就医直...
- 西安哪些医疗机构可以异地就医直...
- 共谋创新合作 赋能产业发展 杭...
- 科技驱动,倍益康北交所上市引领...
- 你知道世界第一巨蛇到底有多大吗...