Transformer 作为通用模型架构,既可用于数字 AI,也可应用于物理 AI。数字 AI凭借对 Transformer 的应用,已在语言、视觉与多模态任务中跑通通用底座模型。
那么对于物理 AI 场景,数字 AI 的能力能够外溢到哪里,边界由什么决定。我们以智能驾驶为样本梳理借鉴史实,说明能力外溢已经发生、且借鉴层级由架构理念上移至模型迁移。
1. 借鉴层级由架构理念上移至模型迁移
从产业与学术实践看,智能驾驶对数字 AI 的借鉴大体经历两个阶段。第一阶段以架构理念移植为主:Transformer 确立的注意力机制与序列建模思想被引入驾驶感知与轨迹预测,催生了矢量化表示、鸟瞰图(BEV)与 Transformer 结合的统一空间表征,以及以查询解码为核心的端到端一体化框架 UniAD。这一阶段迁移的是建模范式,而非具体模型权重。
第二阶段进一步表现为模型层面的直接迁移。代表性工作是 Waymo 于 2024 年提出的端到端多模态驾驶模型 EMMA(End-to-End Multimodal Model for Autonomous driving),其论文明确说明该模型构建在谷歌多模态大模型 Gemini 之上,将原始摄像头输入与文本指令映射到统一语言空间,再输出轨迹、目标检测与道路图等结果。与此同时,源自机器人领域的视觉—语言—动作(VLA,Vision-Language-Action)范式被引入车端,例如理想汽车 MindVLA(2025 年发布)以及小鹏汽车提出的约 720 亿参数世界基座模型。
我们认为,沿着从架构理念到具体模型的借鉴层级上移,可直接复用的成果在形态上越来越完整,但其与物理世界的耦合也越来越紧密。文本、代码等数字信号与驾驶所需的三维时空信号之间存在结构性差异;越接近车辆控制、实时三维感知与安全攸关决策环节,数字 AI 已有成果可直接迁移的比例越低,需要针对物理世界重新设计或重新训练的部分越多。借鉴层级在上移,但越靠近物理闭环,可直接迁移的红利区间可能趋于收窄,尚无统一量化标准。
2. 表征、数据与学习范式存在系统差异
在共享底层技术的同时,物理 AI 与数字 AI 存在的系统性差异导致其存在一定的技术隔阂,具体表现在输入表征、数据获取与训练范式三个方面。
其一是表征差异:数字 AI 处理的文本天然是离散的、带语义的符号 Token,输入端已具备较强结构化基础;物理世界的原始输入则是连续的光子、点云等信号,并不存在天然、通用、可被模型直接处理的符号化方案,智能驾驶因此多出一段数字 AI 无需经历的历程——将三维物理空间构建为可学习的模型底座。
其二是数据差异:数字 AI 的训练语料已大量沉淀在互联网中,规模化的核心动作是抓取、清洗与压缩已有数据;物理 AI 最具价值的数据恰恰是长尾、极端与事故场景,天然稀疏、采集成本高且可能涉及安全风险。兰德公司(RAND,2016)的情景测算说明了路测里程的量级问题:若要在 95%置信度、±20%精度下证明自动驾驶致死率达标,约需 88 亿英里,以百辆车规模的车队计算需要数百年;为缓解这一问题,业界发展出以世界模型生成合成数据、并将其定位为数据工厂的路径。
其三是学习范式差异:数字 AI 的预训练以下一词元预测为代表,其模仿对象是整个互联网上的人类知识,模仿可覆盖的边界较宽,强化学习与 RLHF 更多承担对齐与推理增强角色;物理 AI 以 L4级自动驾驶为代表,所模仿的对象通常是平均水平的人类司机,而安全性目标却要显著超越人类。我们认为,当模仿对象为平均水平人类司机、而目标是大幅超越人类安全性时,单纯模仿学习的上限相对更低,强化学习更接近突破能力边界的关键路径。