看点:ScePT: 为规划的场景一致和基于策略轨迹预测
arXiv上传于2022年6月18日的论文“ScePT: Scene-consistent, Policy-based Trajectory Predictions for Planning“,作者来自Nvidia和斯坦福大学。
(相关资料图)
轨迹预测是自动驾驶系统的关键功能,其与无控制的智体共享一个环境,其中一个突出的例子是自动驾驶车辆。目前,大多数预测方法并不强制场景一致性,即场景中不同智体的预测轨迹之间存在大量自碰撞。此外,许多方法生成每个智体的单独轨迹预测,而不是整个场景的联合轨迹预测,这使得下游规划变得困难。
这项工作提出
基于策略规划的轨迹预测模型ScePT
,该模型可以生成适用于自主系统运动规划、精确、场景一致的轨迹预测。其明确地强制
场景一致性
,并学习可用于制约预测的
智体交互策略
。在多个真实行人和自主车辆数据集上的实验表明,ScePT匹配当前最先进的预测精度,并显著提高场景一致性。ScePT具备与下游意外规划器一起工作的能力。
代码是开源
https://github.com/nvr-avg/ScePT
预测非受控智体的未来运动对于与其交互的自动化系统安全至关重要。一个突出的例子是自动驾驶汽车,其中自车与其他道路使用者(如车辆、行人和骑自行车人)共享道路。由于人行为是出名的不确定和不一致,因此预测任务很困难。比如,众所周知,人类在驾驶环境中表现出多模态行为,能够同时保持当前车道、变换车道、让行或在未来超车。
因此,早期关于人类驾驶行为预测的工作不够准确,无法用于自动驾驶车辆的运动规划。为了解决这一问题,许多研究人员一直在开发现象学(phenomenological)方法,即从大量数据中学习智体行为,效果显著。
轨迹预测模型的典型特征包括高预测精度、快速推理速度和标定不确定性。随后当预测被下游规划器使用时,以下特征对整体系统性能也至关重要:
兼容性
:场景中不同智体的轨迹预测应在单个联合预测中相互兼容。特别是,预测轨迹之间的碰撞应该是罕见的,因为碰撞本身在现实中是罕见的。可跟踪的联合轨迹预测
:如前所述,智体的未来运动可以是多模态的。在由多个智体组成的场景中,如果为单个节点生成多模式预测,则下游运动规划器需要考虑这些轨迹预测的所有组合。由于模态数随着智体数呈指数增长,规划器很快就会不知所措。或者运动规划器可以采取保守的方法,避开所有预测的轨迹,但往往以牺牲规划性能为代价(例如,如果所有规划似乎要发生冲突,则使自车处于静止状态)。因此,希望所有智体的多模态联合预测具有有限但完全代表性的模态数,以便下游规划器可以执行应急规划(contingency planning)。时间一致性
:对于下游规划器,运动规划在很大程度上取决于预测结果。为了确保平滑的运动规划,如果场景本身在此期间没有发生剧烈变化,则预测不应在后续时间发生显著变化。因此,应避免做数据采样,因为预测可能在时间步发生显著变化,导致生成的运动规划不连续,可能会影响规划性能和安全性。制约(conditioning)
:制约是固定一个或多个智体未来轨迹并预测其他智体未来轨迹的最终分布。制约预测有助于运动规划(以自车智体的运动规划为条件)和智体交互的理解。制约用在一些现有工作中,但需要显式建模。理想情况下,在不需要模型结构更改的情况下可生成制约分布。ScePT是一种离散
CVAE(Conditional Variational Auto Encoder)
模型,为场景中的多个智体输出联合轨迹预测,为确保其预测中的高度场景一致性,推理每个智体的运动策略及其周围智体的影响。如图是ScePT输出的说明,包括每个智体的多模态轨迹预测:不同的线类型(实线、虚线、点线)表示场景一致性联合轨迹预测的不同模式;场景中的智体被划分为高度互动的小团,其中一个例子用黄色虚线显示。
节点和智体,可以是车辆、行人、自行车手或其他类型的道路使用者。用s表示智体的状态,e表示两个节点之间边。由于模型是CVAE,遵循CVAE的标准术语,即x表示制约变量,y表示观测变量,z表示隐藏的潜变量。
为了保持场景一致性,ScePT是一种以场景为中心的模型,即其输出预测是场景中多个节点的联合轨迹。给定具有多个节点的场景,生成时空场景图,其中节点表示智体,边缘表示智体之间的交互。用智体的
最近未来距离
作为交互的一个代替,根据恒速模型向前传播每个节点。两个智体之间最近未来距离定义为然后定义场景图
邻接矩阵
通过邻接矩阵确定场景图,不同于将所有节点保持在单图模型,而是将场景图划分为具有最大规模(固定为参数)的
小团(cliques)
。这样做是为了减少乘积潜空间(product latent space)的维度,该空间随图的大小呈指数级扩展,如果太大,会导致预测精度下降。虽然加权图划分是NP-hard问题,但有许多现成的算法,由于其,我们使用了著名有强大性能的Louvain算法。在划分之后,一个小团的每一对节点都被连接(尽管距离阈值不同)。然后收集节点历史并将其提供给ScePT。如果可用,还利用地图信息和与最近车道的相对位置。
有了小团,智体的状态和边(智体之间的相对状态)历史通过LSTM编码到特征向量中。编码器对联合潜分布进行建模,而不是将每个节点与独立于其邻居的潜变量分布相关联。具体来说,每个智体都配备基数为N的离散潜变量zi,使得小团的联合潜变量仅为z=[z1,z2,…zn]。这意味着联合潜空间的基数随小团中节点数呈指数增长,这也是限制小团规模的原因。
ScePT将联合潜变量的分布表示为一个Gibbs分布,由节点因子和边缘因子组成,
其中,xi是节点i的状态历史,fi是节点i的节点因子,一个前馈神经网络将xi和zi映射为一个实数。fij是节点对(i,j)的边因子,也是前馈网络,E是边缘集。
对数似然可以通过构造
因子图(factor graph)
来计算,因子图是一个具有可变节点和因子节点的bipartite graph。一个因子图例子如图所示:归一化是通过汇总z的所有可能估值来完成的(因为z是离散的)。虽然联合潜空间的基数与小团大小呈指数变化,但概率分布通常只集中在少数(<10)个模态上。
解码器设计受运动规划过程的启发,即将每个智体视为运动规划器,并仿真其规划过程以输出轨迹预测。典型的运动规划器采用参考轨迹,即所需运动,并进行调整以满足约束(例如,避撞)并最小化指定的成本函数。受此过程的启发,策略网络(policy network)的结构如图所示:
策略网络的输入是小团节点的当前状态、参考轨迹Sdes和小团潜变量z。参考轨迹以状态历史编码、地图编码和潜变量z为输入的
GRU网络
生成。然后将当前节点状态与参考轨迹进行比较,获得跟踪误差∆和局部坐标系的下一个航路点∆s+。为了建模边,将其两个节点状态配对在一起,并将状态对馈送到预编码网络(全连接),然后输入到
LSTM单元
。对于每个节点,根据图结构,可能存在不同数量的邻居。为了编码可变数的邻居,通过注意网络(attention network)
将节点的所有边压缩为单个观测编码。然后将观测编码、潜变量和跟踪误差连接并馈送给全连接的动作网络(action network)
,获得节点的控制动作预测a。在此,假设节点的动力学是输入状态和控制的可微分函数,这适用于常见的智体类型,例如车辆(例如Dubin的汽车模型)和行人(单积分器或双积分器)。然后将状态预测反馈到状态向量,并重复该过程。
ScePT
的整体结构如图所示:编码器采用LSTM编码的状态和边历史以及CNN编码的局部图,并在小团潜变量生成离散Gibbs分布;潜变量与状态历史和图编码一起,用于GRU为每个节点生成所需轨迹;然后将所需轨迹和潜变量传递到策略网络,获得闭环轨迹预测。制约预测是一种重要的能力。之前的工作,在编码器中显式编码自车未来轨迹来执行制约。然而,假设只有一个智体可以被制约,使得如驾驶模拟之类的用例变得困难,因为需要为每对智体训练显式制约模型。相比之下,PRECOG只需设置车的潜变量,即可生成未来的制约预测。
同样,ScePT不需要任何结构变化来产生制约预测,因为它直接学习智体的交互策略。简单地固定制约智体的轨迹并输出小团中其他智体的轨迹预测,就生成制约预测。由于固定的未来轨迹不会落入任何潜模态,可以从Gibbs分布因子图中删除与制约节点有关的任何因子。
证据下界损失作为目标函数(标准CAVE训练程序):
对于似然损失,假设每个模态的未来轨迹噪声是高斯,则得到L2-norm损失如下:
添加碰撞惩罚项,惩罚不匹配预测的正则化项,还可以添加其他类型的正则化,例如乘坐舒适性,因为节点动力学是明确包括在策略网络中。
虽然离散潜空间可枚举,但Z的基数随着小团规模呈指数增长。因此,有时无法对所有模态进行解码。为解决这个问题,采用
多样性采样(diversity sampling)
。具体地说,采用Ng个最高概率模太,并从其余模态中随机抽样Nr个模态。当Z总基数小于Ng+Nr时,选择所有模态。然后,对样本概率进行归一化,以便预期损失不会崩溃为0。用于轨迹预测的离散CVAE容易发生
模态崩溃(mode collapse)
,即解码器倾向于在不同模态下预测相似的轨迹,因为似然成本是L2误差加权和,平均预测可能是局部最小值。模态崩溃通过多种方法解决,如多轨迹预测(MTP)
损失、先验知识、以及通过真值类别分配模态。这里的方法保持预期损失函数,但引入CVaR作为一种新方法来避免模态崩溃。风险中制约价值(Conditional Value at Risk,CVaR)
是金融和优化中常用的风险度量,定义为其中P是X的概率分布,α调整风险-反对的度。CVaR是分布P下状态x最低α百分位的平均。在α的极限→ 0产生X的本质下确界,α=1产生E[X]。
受对偶形式的启发,将公式(4)的期望损失修改为CVaR是分布P下状态x的最低α百分位值的平均值。在α的极限处→ 0产生X的必要下确界(essential infimum),α=1产生E[X]。
在公式(5)中的第二行是CVaR的对偶形式,可以理解为在P′必须是适当分布的约束下,将分布P转移到P′,对于所有x,P′(x)≤ α1 P(x)。受对偶形式的启发,将公式(4)中的期望损失修改为
这种CVaR损失不会迫使所有而只有已经接近的模态,与真值相匹配,这样直接防止模式崩溃。与通常关注最坏结果的风险测度常见用法相比,CVaR关注最佳预测,保持输出多样性。在训练过程中,α用于权衡模型对编码器精度和多样性的关注。除了合并CVaR外,这里用贪婪算法对乘积潜空间进行不同采样。
为证明ScePT与下游规划器集成的性能,将其预测反馈给基于下游MPC的规划器。MPC规划器考虑了多模态轨迹预测,并通过分支执行应急规划(contingency planning)。给定M个联合轨迹预测,MPC规划M个对应的自车轨迹,并附加约束,即所有M个自车轨迹的第一个控制输入必须相同。
公式(7)是一个非线性优化问题,用IPOPT求解。作为预测和规划一起运行示例,M=3,未优化Pytorch预测代码在不到240ms的时间内执行,MPC规划运行时间不到60ms,所有这些都在CPU上跑。
实验结果如下:
如图显示将ScePT预测与下游MPC规划器相结合的结果,可视化预测模态及其产生的自运动规划:黑车是自车;蓝车是自小团之外的相邻车辆;青色轨迹是规划轨迹(3种模态);绿车和棕车是自小团内的相邻车辆;绿色和棕色轨迹是预测轨迹(前3种模态);品红色圆是行人;红线是自小团内的连接节点。
责任编辑:hnmd003
相关阅读
-
看点:ScePT: 为规划的场景一致和基于策略轨迹预测
arXiv上传于2022年6月18日的论文“ScePT:Scene-consistent,Policy-basedTrajectoryPredictionsforPlanni...
2022-07-05 -
看点:ScePT: 为规划的场景一致和基于策略轨迹预测
arXiv上传于2022年6月18日的论文“ScePT:Scene-consistent,Policy-basedTrajectoryPredictionsforPlanni...
2022-07-05 -
山东按照每人不超过1500元标准发放一次性扩岗补助 所需资金从失业保险基金中列支
7月2日,记者从山东省财政厅了解到,为加大稳市场主体促就业力度,日前,山东省出台一系列社会保险援企...
2022-07-05 -
每日快播:景瑞控股2022上半年实现销售额45亿元 销售面积28.56万㎡
7月4日晚间,景瑞控股发布2022年6月未经审计的营运数据。根据公告,集团2022年6月的合约签约销售额(连...
2022-07-05 -
实际成交额与原价几乎无差 今年“618”消费者被反向“薅了羊毛”
中国消费者协会日前发布的《2022年618消费维权舆情分析报告》(以下简称《报告》)显示,今年618促销活动...
2022-07-05 -
环球观天下!海尔智家:截至6月底累计回购约5570.29万股A股 支付金额约14.07亿
观点网讯。7月4日,海尔智家股份有限公司公布A股回购进展。于6月当月,海尔智家通过集中竞价交易方式已...
2022-07-05
阅读排行
资讯播报
- 全球速递!东莞放松限购 临深片...
- 当前热门:“携手同心 共话亚运...
- 环球信息:建发房地产10亿元公司...
- 世界速看:游泳世锦赛收官 中国...
- 每日头条!东扬精测系统IMS Tech...
- 今日热文:一条东江水,情牵两地心
- 最新:抢农时 促生产 全国有序...
- 全球速读:【赣南苏区振兴十周年...
- 焦点速看:万达电影:公司董事长...
- 【环球新视野】男篮世预赛:再胜...
- 世界速递!世预赛中国男篮41分大...
- 天天关注:华夏幸福:已签约实现...
- 每日看点!万达商业50亿中期票据...
- 热点!国家发展改革委召开生猪市...
- 【环球新要闻】世锦赛中国跳水再...
- 天天最新:禁止价格欺诈新规7月...
- 环球简讯:力高地产2022年上半年...
- 天生敢玩,一起出色!WOW COLOU...
- 蜂亿健品牌健康回访:高产品质量...
- 蜂亿健会员陈福发:命运不公,蜂...
- 吉祥馄饨6款新品全国上市,新潮...
- 运动贴身层功能科技延续,Surpin...
- 郑州实行工作日三环以内每天限行...
- 后疫情时代,健合集团是如何抓住...
- 啄木鸟家庭维修工程师辣篇|先做...
- 别错过!2022郑州消费券领取时间...
- 中顺洁柔太阳纸巾,有棉感,不敏...
- 维他奶积极作为 促进农村儿童营...
- 将死亡和“天上的每一颗星星”勾...
- 维他奶为公卫人送去千余箱营养品...
- 在一老一少隔代人妙趣横生的日常...
- 风格质朴但又充满了锋芒 新旧观...
- 从9场加演到14场 《弗兰肯斯坦...
- 从品类到品牌,探究王老吉刺柠吉...
- 高三毕业生走进蜜雪冰城 学习学...
- 孚惠教育:秉持初心 不断探索 ...
- 经济下行压力加大环保企业生产经...
- 处于新的战略机遇期和“双碳”目...
- 覆盖预付式消费各主要行业合同示...
- 开展一系列全国性活动 工信部进...
- 固定资产投资快速增长 已成为深...
- 依托农副产品物流园资源优势 河...
- 元培智库推荐教育领域专家——曾...
- 世界观点:海口高新区着力打造“...
- “主动搭讪”或沟通加强合作的情...
- 【独家】绿城集团125亿小公募债...
- 每日速看!中建AB面
- 国产岩板品牌大评比,东鹏瓷砖墙...
- 【全球报资讯】越秀物业新增投资...
- 利用仿冒投资平台诱导欺诈网民致...
- 每日信息:“自贸临空号”专列在...
- 天天热点评!雄安新区启动区首条...
- 看热讯:招商蛇口子公司昆山中航...
- 各地全面落实工程质量安全手册制...
- 每日热门:甘肃出台稳定扩大就业...
- 世界新消息丨华侨城地产等向华侨...
- 当前观察:天津河东:内外兼修探...
- 精彩看点:“首付分期”政策为何...
- 世界热头条丨东莞多区域暂停住房...
- 速递!上市房企年中成绩出炉:近...
- 遴选20个左右的城市完成建设工作...
- 环球最新:宝龙地产:就2022年7...
- 环球信息:特房集团10.63亿公司债...
- 重点围绕三个方面进行改革 重庆...
- 供应链金融业务深耕各行业 众多...
- 每日消息!周冠宇发文感谢Halo系...
- 今日热门!海南离岛免税新政实施...
- 头条:福州连江县挂牌1宗商住地...
- 当前简讯:宝龙地产就今年7月及11...
- 快报:东莞住房限购区域调整为莞...
- 快资讯:领展:完成收购澳洲悉尼...
- 世界微资讯!广东东莞凌晨发文:...
- 全球聚焦:送韩国队12连败!中国...
- 天天快资讯:“煤老板”再上线 ...
- 动态:【赣南苏区振兴十周年】江...
- 环球观速讯丨每经品房 | 新政...
- 视点!世联赛中国女排3:1击败韩...
- 每日精选:麦秆画里话丰收
- 环球微动态丨“北京健康宝”调整...
- 天天速读:首届福建太姥山洞道穿...
- 当前热文:ESR拟向投资者出售中...
- 全球资讯:周冠宇F1英国站遭遇事...
- 每日焦点!东西问| 回归25周年...
- 全球信息:万达酒店:附属公司与...
- 全球新消息丨国家铁路今年前6月...
- 全球快报:中巡赛长沙站莫业聪成...
- 今日快讯:广州中华广场13.76亿...
- U本位合约风险在哪里,u本位合约...
- 焦点日报:萨拉赫以40万英镑周薪...
- 世界快资讯丨爵士送走戈贝尔 以...
- 每日聚焦:2022国际象棋世界冠军...
- 环球快看:国际泳联世锦赛:陈艺...
- 快报:辽宁锦州首届“张宁杯”羽...
- 全球短讯!游泳世锦赛:中国跳水...
- 热点评!【赣南苏区振兴十周年】...
- 【世界聚看点】杭州二轮土拍收金...
- 当前通讯!重磅文件出炉!这些深...
- 快资讯丨【赣南苏区振兴十周年】...
- 【世界时快讯】中国球员朱婷加盟...
- 今日观点!奥运冠军庞伟:会全力...