全球要闻:一文读懂自动驾驶在人车交互下的行人轨迹预测方法
本文来源:中科院自动化所认知自动驾驶团队
(相关资料图)
引言
近年来,
行人轨迹预测
在多个领域中受到越来越多的关注,例如自动驾驶汽车、智能交通、智慧城市等领域。行人作为交通场景中的主要参与者,对其未来运动轨迹的合理推理和预测对于自动驾驶和道路安全至关重要。在交通场景中,行人的运动轨迹不仅会受到本身意图的影响,还会受到周围行人、车辆的影响,所以行人轨迹预测是一项极具挑战性的工作。本文的内容分为三个部分,首先将论文中常用的行人轨迹预测方法进行分类,包括基于LSTM的轨迹预测方法、基于GCN网络轨迹预测方法、基于GAN网络的轨迹预测方法,接着对行人轨迹预测的难点进行探讨,最后对行人轨迹预测的发展趋势做出总结与展望。
行人轨迹预测方法
目前广泛应用在行人轨迹预测领域的方法主要包括
基于LSTM网络、GCN网络和GAN网络的轨迹预测方法
,这些网络在训练完成后对同类型输入具有很好的适用性,拥有较高的轨迹预测精度。下面对应用以上网络模型的方法分别展开介绍。
2.1 基于LSTM的行人轨迹预测方法
循环神经网络
(Recurrent Neural Network,RNN)[1]是最早用于行人轨迹预测的模型,它通过输入和存储在历史网络中信息共同决定输出,RNN通过这种特性使其能够根据历史序列信息去预测未来值。但传统的RNN网络面临的一个缺点是会将所有历史信息都存储于网络之中,在训练时会导致大型网络产生梯度消失或者梯度爆炸。而在行人轨迹预测中,需要大量的网络节点和庞大的数据集对网络进行训练以提高预测的精度。因此
传统的RNN将不能满足行人轨迹预测的需求
。
为了解决RNN在复杂时序的预测问题,Hochreiter等人提出了
长短时记忆网络
(Long Short-Term Memory, LSTM),它是一种特殊的RNN结构,
能轻松地学习到长期依赖的信息
。LSTM通过增加遗忘网络层来丢弃导致错误预测结果的信息,在解决梯度消失问题的同时提升网络预测的精度。
为了将LSTM应用到行人轨迹预测的方法中,Alahi等[2]提出了一种
Social LSTM网络
,网络结构如图1所示。Social LSTM方法解决了以往工作中行人轨迹预测遇到的
两个难点:
(1)
现有的模型不能通过数据驱动的方式来展示交互关系,需要手工构造函数来表现出来,导致模型只能捕捉简单的交互情景。
(2)
现有的轨迹预测工作中所针对的任务通常是距离很相近的情景,而没有考虑更远距离可能发生的交互问题。针对这两个难点,论文提出了一种Social LSTM模型,通过为场景中的每个行人配备一个独立的LSTM网络,用于预测其运动轨迹;通过社交池(s-pooling)层相互连接来计算周围其他行人交互产生的影响。Social LSTM填补早期工作的空白,实现了很好的行人轨迹预测效果。
图1 social lstm模型结构
Zhu等[3]提出了一种
StarNet星型拓扑网络
,如图2所示。通过对行人之间的全局交互建模实现高效的行人轨迹预测。该模型中Hub Network模块是基于LSTM的全局时序交互计算网络,用于获取所有行人的观察轨迹。Host Network是基于LSTM的轨迹预测网络,每个Host Network对应一个行人,通过参考描述信息对未来轨迹进行预测。在ETH和UCY数据集上,该网络在80%的场景下都优于其他算法,且实时性高。
由以上的分析可知,基于LSTM的神经网络模型主要解决行人本身对轨迹的影响问题,再根据社会交互模型的结论去修正目标预测轨迹,进而得出更加准确的预测结果。
图2 StarNet模型结构
2.2 基于GCN的行人轨迹预测方法
图卷积神经网络
(Graph Convolutional Networks,GCN)是一种能对图数据进行深度学习的方法,通过使用图的边和节点数据作为输入进行学习训练。在行人轨迹预测领域,GCN通过加入时空数据进行行人轨迹预测,因而能够理解行人行为从而加快社交互动的建模进度,所以GCN在轨迹预测方向有很大的应用前景。
为了将GCN应用到行人轨迹预测的工作中,Shi等[4]提出一种用于行人轨迹预测的稀疏图卷积网络模型(SGCN),解决了行人密集无向交互中存在的建模冗余和忽略轨迹运动趋势的问题。模型框架如图3所示,通过使用稀疏有向空间图对稀疏有向交互进行建模,以捕获自适应交互行人;使用稀疏有向时间图来建模运动趋势,便于对观测方向进行预测。将上述两种稀疏图融合在一起,推算出用于轨迹预测的双高斯分布参数进行轨迹预测,最终在ETH和UCY数据集上实现了精准的行人轨迹预测结果。
图3 GCN网络架构
Bae等[5]研究了基于社会关系的行人轨迹预测,针对现有轨迹预测方法过多估计行人个体的社会力量,无法解决过度避碰的问题,提出了
一种用于社会纠缠行人轨迹预测的解耦多关系图卷积网络
(DMRGCN),模型框架如图4所示。该模型中通过解耦的多尺度聚合区分相关的行人,使用多关系的GCN提取场景中复杂的社会交互行为,模型中加入全局的时间聚合函数用于补偿因过度避撞而累积的误差。实验结果在平均位移误差(ADE)和最终位移误差(FDE)上分别超过了最先进的方法,实现了准确的预测效果。
由上述论文的分析可知,GCN网络主要是将行人社交模型加入到预测模型之中,对行人历史轨迹进性优化处理,进而提升预测速度和预测精度,从而实现准确预测行人轨迹的目的。
其缺点是不能够单独使用完成轨迹预测任务
。
图4 DMRGCN网络架构
2.3 基于GAN的行人轨迹预测方法
生成式对抗网络
(GAN, Generative Adversarial Networks)是一种无监督学习的深度学习模型,主要结构由两部分组成:
生成器
,用于学习数据的分布并生成相似的数据。
鉴别器
,计算来自真实数据的可能性,并将其分类为真实或虚假。GAN通过生成器和鉴别器的相互博弈来达到使网络相互学习的目的。在行人轨迹预测中加入GAN网络,可以解决过去仅能预测一条“最优”轨迹的缺陷,此网络能够预测多条可行的轨迹并通过博弈的思想进一步优化预测精度。
Gupta等[6]首次将GAN的对抗思想引入行人运动轨迹预测的任务中,提出一种
Social GAN的轨迹预测方法
。该网络将LSTM用作“运动编码器模块”处理时间信息,并采用“位置编码器模块”对空间交互进行建模,结合来自序列预测和生成对抗网络的工具来解决行人轨迹预测问题。模型结构如图5所示。
图5 Social GAN网络架构
由于GAN网络易受模式崩溃和模式下降的影响,Amirian等[7]提出了
Social Way网络模型
,通过加入info-GAN来改进多模式轨迹预测,避免GAN出现的问题,模型框架如图6所示。该模型是继Social LSTM、Social GAN模型之后的进一步提升,在理想的监控俯瞰数据库ETH、UCY上进行数据的预测,通过引入注意力机制使模型自主分配对交互信息的关注,并且模型结构上舍弃了L2代价函数,引入基于互信息的Information Loss,使得网络在多模态行人轨迹预测上有着良好的训练效果。
图6 Social Way模型框架
GAN网络能够在行人轨迹预测方面实现较好的预测效果,但
也会存在一些缺点影响其网络性能
。比如,
(1)
网络训练不稳定,容易出现梯度消失、模式崩溃等问题,进而造成生成结果较差。
(2)
GAN训练时需要达到纳什均衡才能够拥有良好的预测精度,若不满足则会导致网络不收敛。
(3)
由于网络训练过程中没有使用损失函数,造成我们对当前的训练效果处于一个未知的状态,如果网络训练过程中出现生成器退化现象,则网络将无法继续训练。
行人轨迹预测难点
目前最先进的论文方法中,对行人轨迹的预测会出现预测结果不准确的现象。
结合论文进行分析可知,造成行人轨迹预测不准确的难点主要包括以下两个方面:
(1)行人运动方式灵活多变,预测其轨迹难度较大。
在现实中,相对于自行车、汽车等运动学模型,行人运动更加灵活,例如正在加速奔跑的行人可能会突然停止下来或者突然掉头再跑等动作,因此很难对行人建立合理的动力学模型,进而增加了行人轨迹预测的难度。
(2)行人之间的交互关系复杂且抽象,很难精确的进行建模。
行人轨迹往往不仅仅由行人本身的意图决定,很多时候也受周围行人的影响。在实际场景中,某一行人未来的运动不仅受自己意图支配,同样也受周围行人的影响。这种交互关系在算法中往往很难精确地建模出来。目前,大部分算法都是用相对空间关系来进行建模,例如相对位置、相对朝向、相对速度大小等。
常规算法模型的实现是找到一个输入到输出的函数映射,对于轨迹预测的模型来说,其对应着一个序列到另一个序列的映射,常规的模型或训练方式容易使模型预测结果陷入平均状态(预测结果倾向于预测一种折中的轨迹),显然使用常规的训练模型无法很好地对行人轨迹进行有效的预测。
总结与展望
本文对近年来行人轨迹预测领域部分最先进的方法进行了分类,并对不同的方法的优缺点进行了总结。结合轨迹预测的发展趋势可以看出,
基于神经网络的行人轨迹预测算法能够实现较好的预测效果,也是论文中使用较为普遍的方法。
而在实际场景的应用过程中,需要同时保证轨迹预测算法运行的高效性及识别的高精度性,在当前领域内轨迹预测技术在实际场景应用中还存在部分难点需要去克服。
轨迹预测技术在最近几年发展速度较快,伴随着传感器技术的不断发展,达到一个更加精准的行人轨迹预测更加易于实现。未来的发展中,相信轨迹预测技术走进实际生活的距离不会太遥远。
参考文献:
[1] Bahdanau D, Cho K, Bengio Y. Neural machine translation by jointly learning to align and translate[J]. arXiv preprint arXiv:1409.0473, 2014.
[2] Alahi A, Goel K, Ramanathan V, et al. Social lstm: Human trajectory prediction in crowded spaces[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 961-971.
[3] Zhu Y, Qian D, Ren D, et al. Starnet: Pedestrian trajectory prediction using deep neural network in star topology[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019: 8075-8080.
[4] Shi L, Wang L, Long C, et al. SGCN: Sparse graph convolution network for pedestrian trajectory prediction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 8994-9003.
[5] Bae I, Jeon H G. Disentangled multi-relational graph convolutional network for pedestrian trajectory prediction[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(2): 911-919.
[6] Gupta A, Johnson J, Fei-Fei L, et al. Social gan: Socially acceptable trajectories with generative adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 2255-2264.
[7] Amirian J, Hayet J B, Pettré J. Social ways: Learning multi-modal distributions of pedestrian trajectories with gans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2019: 0-0.
责任编辑:hnmd003
相关阅读
-
全球信息:分中心能力建设|广州检验中心和罗德与施瓦茨公司成立联合实验室
7月19日,中汽研汽车检验中心(广州)有限公司—罗德与施瓦茨公司联合实验室正式揭牌。广州检验中心电磁...
2022-07-21 -
【全球快播报】美国大众电池工程实验室正式投入使用
2022年6月8日,大众汽车(Volkswagen)耗资2200万美元的电池工程实验室(BEL)正式投入使用,大众将在这里对...
2022-07-20 -
全球信息:分中心能力建设|广州检验中心和罗德与施瓦茨公司成立联合实验室
7月19日,中汽研汽车检验中心(广州)有限公司—罗德与施瓦茨公司联合实验室正式揭牌。广州检验中心电磁...
2022-07-21 -
天天亮点!消息称远洋与中国人寿洽谈出售成都太古里部分股权 募资40亿元
7月20日,据资本市场消息,远洋集团控股有限公司与其大股东中国人寿保险近期开展洽谈,希望利用其持有的...
2022-07-21 -
【快播报】亚洲房企最大债务重组新例 摩根大通细解富力10支美元债展期
观点网10支美元债整体展期,展期时长约3-4年,富力得到的这次“喘息”机会,大概是目前很多流动性压力巨...
2022-07-21 -
【世界时快讯】【发现最美 你评我论】库安、水清、景美、民富 三峡库区交出令人满意的“生态答卷”
【发现最美你评我论】库安、水清、景美、民富三峡库区交出令人满意的“生态答卷”青海新闻网
2022-07-21 -
天天观天下!ESR再购回88万股 累计购回总股0.448%
7月20日,ESR发布翌日披露报表。据观点新媒体了解,ESR当日已购回股份88万股,占总股数0 0198%。回购每...
2022-07-20 -
每日消息!福州一地土拍要求“现房销售”、购房5年限售,限最高溢价率20%…多地土拍曾试点
近日,证券时报记者从福建省福州市永泰县自然资源局了解到,将于8月5日拍卖的一宗涉宅用地,建设要求中...
2022-07-20 -
全球热消息:金科股份:公司不存在利用前期披露回购方案炒作股价配合股东减持的情形
7月20日,金科股份(000656)发布《关于深圳证券交易所关注函回复的公告》。问题:回购报告书显示,你公司...
2022-07-20
阅读排行
资讯播报
- 资讯:数字科技为江苏东海乡村振...
- 全球观焦点:浙江足球后备军如何...
- 天天热消息:旭辉永升服务累计回...
- 世界最新:天地源选举王锐、祁英...
- 天天快播:恒大汽车:恒驰5预售...
- 2022世界食品广州展 小鲜驿站,...
- 当前热议!基于控制瞬态冲击电机...
- 世界热消息:兴业物联:张世泽获...
- 【全球独家】瑞安建业再回购15.6...
- 世界热资讯!首届中国垒球联赛第...
- 世界今热点:陕西乡村振兴融媒体...
- 【环球新要闻】越秀81.19亿元竞...
- 环球快资讯:天虹股份股东五龙贸...
- 抱珠楼丨抱珠藏玉,复旧履新,抱...
- 环球微速讯:上海禹洲·雍锦府顺...
- 世界时讯:河南:上半年商品住宅...
- 看点:新华全媒+|特写:跨越千...
- 当前观察:福州一地土拍要求“现...
- 全球今亮点!统计局:北京上半年...
- 【全球快播报】美国大众电池工程...
- 每日资讯:人民艺起评:治理发力...
- 环球速递!统计局:北京上半年房...
- 世界观热点:新指导意见促进乡村...
- 视焦点讯!四川遂宁:房地产项目...
- 环球微头条丨武汉各区优质示范学...
- 环球今热点:陕西咸阳:一个科室...
- 环球快资讯丨BK CONNECT 2022....
- 当前快播:褚教授课程笔记 | ...
- 每日热闻!7月LPR继续维持不变:1...
- 焦点简讯:消费升级重在提质增效...
- 天天简讯:HBK助力IMA Dresden数...
- 动态:河南:1-6月全省房地产商...
- 世界新资讯:车辆通过噪声法规 ...
- 母婴室遭滥用?mamain移动母婴室...
- 世界今热点:田径世锦赛:谢震业...
- 片仔癀牌男士净爽控油系列,精致...
- 世界时讯:陕西咸阳住建局:一个...
- 环球快报:惠誉下调富力地产长期...
- 天天观焦点:足协就欠薪事件发文...
- 微资讯!新动能引领作用持续显现...
- 环球即时:江苏南通新政:购买主...
- 世界通讯!【争先崛起看中部】太...
- 世界头条:宁夏集中整治废弃矿区...
- 环球信息:北京统计局:上半年商...
- 关注:【促就业·全社会在行动13...
- 焦点日报:华润置地:22润置07于...
- 快讯:柴油机排气的O2-NO2对碳烟...
- 天天快看点丨江西:多措并举推进...
- 降低追尾危害,奇瑞艾瑞泽8应对...
- 努力将实践传统与时尚的融合 京...
- 欧度再次携手清华色研所,2022秋...
- 美飒双修引领新生代潮流 花戎FA...
- 两个月的海外征战辗转各处 中国...
- W.Lab品牌携手妆前乳代言人姚琛...
- 水果饮品只带来热量没有饱腹感 ...
- 长沙IFS携手Philip Colbert 呈...
- 玖云平台成为华为云精英服务商,...
- 不以口渴了才喝水为标准 夏季饮...
- 含糖的荔枝为什么会让人低血糖呢...
- 重磅!OKAI成为2022年首家UL2849认证企业
- 全程运行24分钟 京涿通勤高铁开...
- 项目审批加快 制约基建投资增长...
- 世界今亮点!95后残奥冠军邓培程...
- 环球今热点:统一集团65.54亿元...
- 中央预算内投资补助资金原则上不...
- 世界观热点:7月LPR保持不变:1...
- 天天即时:重庆龙湖企业20亿公司...
- 全球热点!家居丨蒙娜丽莎:股东...
- 全球即时:家居丨扬子新材:因工...
- 不确定不稳定因素仍多 下半年经...
- 长期购买的欲望并不大 雪糕的创...
- 疫情防控形势持续向好 热气腾腾...
- 面向全球用户的产品数量同比激增...
- 在野外“打地铺”有点贵 “钱景...
- 即时看!早读拾光(7.20)丨 卧...
- 天天动态:约大牌 | 梦想藏在心...
- 每日速看!卧龙地产终止收购卧龙...
- 世界新消息丨未来三年乡村民宿发...
- 44种药品全部接续成功 甘肃接续...
- 全球热资讯!紫金书院:神秘的“...
- 规定了保险公司各种义务 中国银...
- 焦点报道:嘉泓物流:Allport Cr...
- 世界最资讯丨商品房预售制变革呼...
- 全球快报:江苏南通:主城区购买...
- 全球快看点丨柠萌影视通过港交所...
- 今日最新!有开发商开始卖现房,...
- 头条焦点:造富雪道 | 我叫赵...
- 【报资讯】夜读·房企融资|中海...
- 天天微资讯!荣安地产董事王丛玮...
- 全球球精选!越秀地产新获广州海...
- 当前热文:佳源国际公布可换股债...
- 全球即时:蓝光发展控股股东将再...
- 全球微速讯:金辉控股附属公司5...
- 世界观焦点:广州增城:推进一批...
- 天天观天下!合生创展附属公司7...
- 通讯!郑州银行与当地房管局“互...
- 当前快播:深圳控股上半年合同销...
- 焦点短讯!连涨70个月之后,这个...
- 热消息:行业透视 | 从选答题...
- 天天短讯!新城控股:通过集中竞...