北京大学申请自动驾驶感知专利，能够动态调整网络推理速度与精度

金融界2024年3月15日消息，据国家知识产权局公告，北京大学申请一项名为“基于长短时序混合编码的端到端多模态多任务自动驾驶感知方法和装置“，公开号CN117710917A，申请日期为2023年11月。

专利摘要显示，本发明涉及一种基于长短时序混合编码的端到端多模态多任务自动驾驶感知方法和装置。该方法的步骤包括：针对车载传感器的多帧输入，使用多个编码网络进行长短时序的特征提取；然后对提取的特征进行基于注意力机制的时序融合，并进行跨模态融合，并对每个任务生成BEV特征图，然后采用不同任务的解码器获得每个任务的预测结果。本发明能够动态调整网络推理速度与精度，能够提高在同样计算量下的网络性能，能够针对不同编码网络得到的多帧BEV特征图进行时序融合，对于动态物体能够更好地进行跨帧对齐。本发明能够生成多尺度的BEV特征，进行时序和跨模态融合后，保留多尺度特征，经过特征选择，能够分别给予各任务解码器不同尺度的特征图。

本文源自金融界