首页 > 新闻 > 汽车 > 正文

天天动态:PolarFormer:极transformer的多摄像头3D目标检测

2022-07-11 05:36:39来源:计算机视觉深度学习和自动驾驶  

arXiv上传2022年6月30日“PolarFormer: Multi-camera 3D Object Detection with Polar Transformers“,作者来自复旦大学张利教授团队。


自动驾驶中的3D目标检测旨在推理3D世界中感兴趣目标的“what”和“where”。现有的3D目标检测方法遵循以往2D目标检测的传统思路,通常采用垂直轴的标准笛卡尔坐标系。然而,这不符合自车透视几何性质,因为每个车载摄像机,都以径向(非垂直)轴成像几何楔形(wedge)内参,去感知世界。因此,本文提倡利用极坐标系,并提出一种


【资料图】

极transformer(PolarFormer)

,以多摄像机2D图像作为输入,用于BEV空间更精确3D目标检测。


具体来说,设计一种不受输入结构形状限制、基于交叉注意的

极检测头(Polar detection head)

,用于处理不规则的极网格(Polar grids)。为了解决沿极距离维度(Polar"s distance dimension)的无约束目标尺度变化,进一步引入一种多尺度

极表征(Polar representation)

学习策略。通过几何约束下

序列到序列(seq-to-seq)

的方式,该模型从相应图像观测的光栅化最佳利用极表征。在nuScenes数据集上的全面实验表明,PolarFormer显著优于最先进的3D目标检测方案,并且在BEV语义分割任务上具有竞争力。


3D目标检测是在无约束的真实场景中实现自主驾驶的一种能力,旨在预测3D世界中感兴趣的单目标位置、尺寸和方向。尽管有良好的成本优势,但基于多摄像机的3D目标检测仍然有特别大的挑战性。为了获得3D表示,通常利用密集深度估计,但不仅计算成本高,而且容易出错。


为了绕过深度估计,最近的方法利用基于查询(query)的2D检测,学习一组稀疏和虚拟嵌入,用于多摄像机3D目标检测,但无法有效建模目标之间的几何结构。通常,在2D或3D空间中采用垂直轴的经典笛卡尔坐标系。这在很大程度上受到所用卷积模型的限制。


相反,在自车的透视图中,每个摄像机下感知的物理世界,是摄像机成像几何楔形内参的形状,具有径向非垂直轴。考虑到这种成像特性,极坐标系应该比通常采用的笛卡尔坐标系更合适、更自然地用于3D目标检测。事实上,极坐标已在一些基于激光雷达的3D感知方法中得到利用。然而,由于卷积网络仅限于矩形网格结构和局部感受野,其在算法上受到限制。


在3D目标检测中,得到了一组N个单目视图,包括输入图像和摄像头内外参。PolarFormer的目标是从多个摄像机视图中学习有效的极BEV表征,以便在极坐标系中预测目标的位置、大小、方向和速度。


PolarFormer由以下部件组成:跨平面编码器首先生成每个输入图像的多尺度特征表示,具备一个跨平面注意机制,其中极查询(Polar queries )处理输入图像在BEV生成3D特征。然后,极对齐(Polar alignment)模块聚集来自多个摄像机视图的极射线(Polar rays),生成结构化极图(Polar map)。此外,极BEV编码器(Polar BEV encoder)通过多尺度特征交互增强极特征(Polar features)。最后,极检测头对极图(Polar map)进行解码,并在极坐标系中预测目标。


为解决具有多粒度细节的无约束目标尺度变化问题,考虑了一种多尺度极BEV表征结构。不同尺度的图像特征有独特的跨平面编码器,并在共享极BEV编码器中相互交互。然后,多尺度极BEV图由极解码头(Polar decoder head)查询。PolarFormer的总体架构如图所示:


跨平面编码器的目标是将图像与极射线相关联。根据摄像机的几何模型,对于任何摄像机坐标(x(C), y(C), z(C)),转换到图像坐标(x(I), y(I))可以描述为:


对任何极BEV坐标



设fn,u,w表示来自第n摄像机、第u尺度和第w列的图像列,ṗn,u,w表示引入的相应极射线查询。跨平面注意力表述为:


沿方位(azimuth)轴叠加极射线特征pn,u,w,得到第n个摄像机和和第u个尺度的极特征图(即极BEV表征)pn,u为:

这种基于序列-到-序列交叉注意的编码器可以对几何成像进行先验编码,并隐式有效地学习深度的替代。

极对齐模块将极射线从不同的摄像机坐标转换为共享的世界坐标。以多视点极特征图和摄像机矩阵为输入,生成相干极BEV图,覆盖所有摄像机视图。具体来说,首先在柱坐标系中均匀生成一组三维点 G(P) = (ρ(P), φ(P), z(P)) 表示。然后将这些点投影到第n个摄像机的图像平面,检索极射线的索引如下:


第u个尺度的相干极BEV图如下生成:


极对齐模块通过沿z轴生成这些点来整合不同高度的特征。学习极坐标表征优于笛卡尔坐标,因为信息损失最小,与原始视觉数据的一致性更高。


利用多尺度特征图处理极坐标中的目标尺度变化。为此,极BEV编码器在相邻像素之间跨多尺度特征地图执行信息交换。形式上,设{Gu}为输入的多尺度极特征图,xˆ为每个查询元素q的参考点的归一化坐标,引入一个多尺度可变形注意模块,如下所示:


作为查询,多尺度特征图中的每个像素利用相邻像素和跨尺度像素的信息。这样在所有特征尺度上学习更丰富的语义。


极解码器解码上述多尺度极特征,在极坐标中进行预测。构造有变形注意的极BEV解码器。


与编码器的2D参考点不同,这里的参考点位于3D柱坐标中,当投影到BEV时,等同于极坐标。每个解码器层的分类分支输出置信度分向量,回归分支的关键学习目标是极坐标,而不是笛卡尔坐标,如图所示:


参考点(ρ,φ,z)在解码器中迭代细化。有了参考点,回归分支输出偏移量dρ、dφ和dz。方向θ和速度v的学习目标相对于目标的方位角,并分解除为正交分量θφ、θρ、vφ和vρ,定义如下:



将目标大小l、w和h回归为对数l、对数w和对数h。分别采用focal loss和L1 loss进行分类和回归。如图是生成多尺度极BEV图的示意图:


实验结果如下:






标签: 目标检测 极坐标系 笛卡尔坐标

责任编辑:hnmd003

相关阅读

资讯播报

推荐阅读