从3D车道线到局部地图，BEV视角求解「路在何方」

在发达的现代公路交通体系中，「各行其道」是交通运行的一项核心前提，车辆和行人按照划分的道路区域规范通行，可以最大程度地保障交通的安全和效率。因此对自动驾驶来说，从环境信息中求解出自己的道路区域是至关重要的感知任务。

在这方面，Nullmax曾分享过一些出色的研究，包括用于3D车道线检测的CurveFormer，近日入选了国际机器人和自动化顶级会议ICRA 2023，以及可用于局部地图构建的BevSegFormer，入选了计算机视觉领域知名会议WACV 2023。

这两篇论文均是在BEV视角下，基于Transformer对自动驾驶的「路在何方」问题进行了求解，不仅取得了极其出色的算法性能，还高效解决了实际量产应用中的一些难点、痛点，比如：更进一步的车道检测效果，更满足下游需求的任务输出；通过车端实时构建局部地图，将驾驶场景扩展至任意道路。

作为BEV + Transformer技术架构的部分研究，这些技术正与更多的拓展工作，一同应用到Nullmax的多个量产项目中。

BEV感知与车道线检测

在自动驾驶感知当中，实时检测环境中的车道情况，乃至构建一份要素更多的局部地图，可以视为理解静态场景的核心工作。有了车道信息，车辆便可以在车道内和车道间进行一系列操作，如巡航、跟车、变道等，从而实现连贯的智能驾驶。

在这当中，感知系统需要提供自车坐标系下的车道线参数曲线，以便于下游的规控模块使用。因此一些比较领先的行业方案，是将车道线检测的输出设计为BEV视角下的2D或3D车道线参数曲线。

BEV的原意是鸟瞰图视角，这种俯瞰全局的表征方式可以更好地融合不同传感器输入的数据信息，在空间、时间维度进行统一的计算。在这当中，BEV视角一般可以设为相机坐标系，通过车辆下线的标定与自车坐标系进行便捷的转换，所以BEV视角的车道线结果下游可以直接使用。

但是在行业内，更常见的是另一种方式：先在相机输入的图像上进行感知计算，然后再经过复杂的后处理将图像空间的结果转换到BEV视角下的3D空间。

当中的不足在于，这个后处理的过程需要工程师编写大量代码，同时也会消耗大量计算资源。而且面对千变万化真实世界，这种基于人工规则的后处理方式，也很难在各种情况下都获得满意的效果。

因此，包括车道线检测在内的很多感知任务，将后处理部分设计为基于学习的模块，让整个算法以学习为主，这样的话就可以重新定义任务，甚至重构整个自动驾驶系统。

比如车道线检测的任务，就可以直接定义为：输入图像，输出BEV视角的车道线参数曲线。

面向量产的3D车道线算法

在去年，Nullmax提出了基于Transformer的3D车道线检测方法CurveFormer，取得了业界最佳（SOTA）的算法效果，论文在今年被国际机器人领域顶会ICRA录用。

论文链接：

https://arxiv.org/abs/2209.07989v1

这一基于Transformer的BEV语义分割方法，同样也取得了当下业界最优（SOTA）的算法效果，论文入选计算机视觉学术会议WACV 2023。BEVSegFormer相比于HDMapNet等优秀算法，性能提升超过了10个百分点。

论文链接：

https://arxiv.org/abs/2203.04050

BEVSegFormer同样扩展deformable attention形成multi-camera cross attention，完成BEV空间的query和图像特征之间的关联，从而实现了不依赖相机参数，另一方面也可以大大节约计算量。

在实际的行车过程中，颠簸、加速、制动、上下坡等情况都可能引起相机外参的变化，精准的实时相机外参估计相对困难，不依赖相机的参数，可以让算法在这些情况下更加稳定，鲁棒性更强。

特别是，BEVSegFormer不依赖相机参数就可以将图像特征转成BEV特征，基于得到的BEV特征，又可以扩展出多个其他任务，比如3D目标检测，包括将不同时刻的BEV特征缓存下来，进行时序上的融合。并且基于这一创新点，Nullmax感知团队已经完成了多项扩展研究。

目前，Nullmax正在将BEVSegFormer应用到量产项目中，实时构建稠密的高精度局部地图，帮助客户拓展功能范围，从而实现任意常规道路上的智能驾驶。

结语

当前，Nullmax正在完成一套车端实时运行BEV + Transformer技术架构，同时支持感知、规划任务，并能在高、中、低算力平台上完成落地的自动驾驶整体方案。通过BEV感知完成3D车道线检测和局部地图构建，正是当中的一部分工作。

预计在2023年，Nullmax打造的这套多相机BEV-AI方案就将完成交付。通过这些先进的技术，Nullmax希望能够为普通用户提供极致安全、舒适高效的智能驾驶体验。