Vision-Centric BEV Perception: A Survey

许多方法被提出以解决从透视视图（Perspective View, PV）到 BEV 的转换问题，本文将它们分为基于几何、基于深度、基于 MLP 和基于 Transformer 的四类方法。

此外，本文还探讨了 BEV 感知的扩展应用，如多任务学习、多模态融合和语义占据预测等。

1. 背景介绍

BEV 感知的核心任务是将 PV 中的图像序列转换为BEV特征，并在BEV空间中进行感知任务（如3D目标检测和语义地图生成），能够提供精确的定位和绝对尺度信息，便于多视图、多模态和时间序列数据的融合。

但由于摄像头通常安装在车辆上，捕捉到的图像是透视视图，如何将 PV 转换为 BEV 仍然是一个具有挑战性的问题。

3. 主要方法分类

1. 基于几何的方法

   • 优势：这类方法主要依赖于逆透视映射（IPM），通过几何变换将 PV 图像转换为 BEV 图像。
   • 缺陷：但 IPM 假设地面是平坦的，因此在复杂场景中（如存在高度变化的物体）会产生失真。为了减少失真，一些方法引入了语义信息或使用 GAN 。

2. 基于深度的方法

   通过深度估计将 2D 特征提升到 3D 空间，然后通过降维得到 BEV 表示。深度估计可以是显式的（如通过深度图）或隐式的（如通过任务监督）。

   • 点云方法：将深度图转换为伪 LiDAR 点云，然后使用 LiDAR 检测器进行 3D 检测
   • 体素方法：将 2D 特征映射到 3D 体素空间，并通过体素特征进行 BEV 感知

3. 基于MLP的方法

   • 优势：MLP 方法不依赖于摄像头的几何参数，而是通过学习隐式表示来完成视图转换。
   • 缺陷：尽管 MLP 具有通用逼近能力，但由于缺乏深度信息和遮挡问题，视图转换仍然具有挑战性。

4. 基于Transformer的方法：