端到端成为共识，大模型时代到来
思瀚产业研究院    2024-05-09

端到端自动驾驶已经成为市场共识

算法从基于规则逐步走向基于学习，从模块化走向端到端。自动驾驶逐步从基于规则走向基于神经网络，从感知到规控，越来越多的环节人工代码被神经网络所替代，模型的能力和适应性不断提升。

端到端算法基本形成三大方向

目前端到端的自动驾驶算法逐步形成三大方向：

（1）显式的端到端模型+自动驾驶：将不同的自动驾驶算法环节神经网络化，并进行拼接形成端到端算法。

（2）基础模型（隐式端到端）+自动驾驶：采用大的神经网络，输入端对接传感器数据，输出端对接轨迹输出或控制信号输出。

（3）大语言模型+自动驾驶：通过对多模态的大语言模型进行提示，让大语言模型实现场景理解、决策、行为输出等步骤进而实现自动驾驶。

远期大语言模型和端到端模型结合或许是可行的方向

解决长尾场景需要“常识”。经过海量的数据训练，神经网络可以处理诸多驾驶场景中的长尾问题，但当该长尾问题并未被训练过，或者该长尾问题在历史上就从未发生过，模型则难以处理。人类可以处理各类长尾场景主要基于人类驾驶之外的“常识”。因此最终，自动驾驶算法有望包含擅长驾驶的“端到端”模型，以及拥有一定“常识”的大语言/多模态模型，用以处理各类复杂场景。

在2024年春季GTC大会上，理想汽车提到一种基于DriveVLM的思路，意在将端到端模型和大语言模型相结合，使得自动驾驶系统同时具备系统1和系统2的能力。一方面，将大语言模型用于自动驾驶场景，涉及场景描述、场景分析、层级规划等递进式的思维链，解决驾驶中的长尾场景。另一方面，将传统算法的感知规控等环节和大模型得出的结果异步推进，相互验证，最终达到好的驾驶效果。

测试中发现模型可良好的识别警察挥手等动作。此外，在2024年春季GTC大会上，英伟达也介绍了其即将在CVPR2024上发布的自动驾驶解决方案，由亦将大语言模型嵌入到自动驾驶基础模型中，实现对驾驶行为的监督和指导。

更多行业研究分析请参考思瀚产业研究院《2023-2028年中国大模型行业市场现状与投资前景预测规划报告 - 信息技术 - 研究报告 - 思瀚产业研究院》，同时思瀚产业研究院亦提供行研报告、可研报告、产业规划、园区规划、商业计划、专项调研、建筑设计、境外投资报告等相关咨询服务方案。