阿里发布Qwen-Drive 1.0：一个模型同时处理感知、问答与路径规划
阿里研究部门基于Qwen3.5-4B构建的驾驶模型，用独立模块生成鸟瞰图、规划未来几秒路线，但论文承认模型给出的刹车理由未必对得上实际动作，换一套摄像头配置后检测能力还会明显下降。
AI解读：Qwen-Drive 1.0想解决的是现有驾驶模型的两个毛病：一是靠交通问答数据微调出来的模型仍然测不准距离、位置和可通行空间；二是过度专精驾驶数据后，会把原本训练里的通用知识忘掉，也就是“灾难性遗忘”，而这部分知识恰恰在罕见路况里最有用。阿里的做法是给一个Qwen3.5-4B加上两个模块：一个从相机图像重建包含车辆、行人、道路标线的俯视图，另一个利用模型内部中间结果规划未来几秒的路线。
论文里最值得记的一条实验结论是：只训练新增模块、不动视觉语言模型本身时，空间准确率一直上不去；只有把视觉语言模型也在空间任务上训练，性能才明显提升。也就是说，能详细描述一张图片，并不等于模型真的懂三维空间。训练流程按感知、感知加问答、路径规划、强化学习依次推进。
对真正落地的人，一个现实收益是座舱和驾驶系统可以共用一个模型和一份算力，不用为了对话或开放问题再维护第二个模型。在Qwen自己的基准里，Qwen-Drive 1.0在多数驾驶和感知类别上超过专用模型，在因果关系问题（比如为什么要刹车或转弯）上领先基础模型最多；驾驶之外的通用测试几乎不掉分，部分空间任务还略高。
但限制同样具体。模型的解释不一定指向真正的触发原因，比如远处红灯和突然窜出的孩子需要完全不同的反应时间，模型可能把两者混为一谈；事先给出的推理和实际规划的动作也未必一致。在带奖励重训练的模拟器里，车辆偏离道路的比例从 24% 降到 12%，代价是开得更保守、总行驶距离更短。换成其他车辆的摄像头素材后，检测能力下降很多，团队称这类配置目前还缺合适的训练数据。
这些数字大多来自作者自己设计或重建的测试流程，单个指标说明不了乱糟糟的真实路况下会怎样。来源仅为一篇摘要，上述实验细节以论文描述为准。模型已在Hugging Face、ModelScope和GitHub上免费向研究社区发布。
阿里巴巴研究部门发布了Qwen-Drive 1.0，一个模型同时承担三项任务：对环境的空间感知、回答交通相关问题、以及路径规划。该模型基于 2 月发布的Qwen3.5-4B构建，额外加入两个组件。
论文指出，现有驾驶模型通常拿通用图文模型在驾驶数据上微调，主要用交通场景问答对。这种做法有两个弱点：主要靠交通问答训练出来的模型，仍然无法可靠判断距离、位置和可通行空间；而一旦对驾驶数据过度专精，就会因为“灾难性遗忘”丢掉原训练中的广泛通用知识——这恰恰是罕见、突发路况下最需要的知识。
第一个新增组件负责生成周围环境的鸟瞰图：在三维空间中识别物体、判断哪些区域被占用、并描出道路布局。研究者称它同时是一把“量尺”，能揭示模型到底从图像中提取了多少空间信息。所有驾驶功能都经过同一个共享语言模型，两个新增模块读取它的中间结果：一个构建环境的三维模型，另一个规划未来几秒的行驶路线。
实验显示，只训练新增组件、不动视觉语言模型时，空间准确率一直偏低，这证实“能详细描述图片的模型并不会自动理解三维空间”。只有当团队把视觉语言模型本身也在空间任务上训练后，性能才明显改善。也就是说，空间理解能力必须被刻意构建进去。
训练顺序是：先感知模块，再合并感知与问答，然后是路径规划，最后一步用强化学习精调模型行为。视觉语言部分合并了 24 个公开交通场景数据集，这些数据集结构不一、有时还含错误，团队用一个AI模型统一问答格式并与原始数据对齐，另外自建了说明“为什么该做出某个驾驶决策”（例如哪个物体会触发刹车）的样本。
论文给出的使用场景是：现代汽车的信息娱乐系统和驾驶系统正汇聚到同一个计算单元，而不是跑在两个独立控制器上。作者认为，一个牺牲通用能力换取纯驾驶性能的模型在这里帮不上忙，因为座舱仍需要自己的模型和额外算力来处理对话或开放问题。来源仅为摘要，未提供更完整的论文细节。
基准成绩与通用能力的保留情况
按论文描述，在Qwen自己的基准测试中，Qwen-Drive 1.0在多数驾驶和感知类别上超过专用模型，在交通场景问答上明显高于未经修改的基础模型Qwen3.5-4B。差距最大的一类问题是解释因果关系，例如为什么该刹车或转弯。
通用知识方面，模型在驾驶之外的测试上几乎不掉分，在某些空间任务上还略有提高。
模拟器结果与已知短板
在驾驶规划上，团队按难度分级测试，从简单预测一直到误差会随时间累积的模拟器。在模拟器中，经过奖励重训练的版本把车辆偏离道路的比例从 24% 降到 12%，同时开得更保守，总行驶距离也更短。
每个场景中模型都会解释自己的驾驶决策，比如为路上的动物刹车、在红灯前停车。但论文承认，模型的解释并不总能命中真实原因：远处红灯和突然窜入道路的孩子需要完全不同的反应时间，模型可能把两者混为一谈；事先给出的推理与实际规划的动作也未必一致。
部分结果依赖作者自行设计或重建的测试流程，因此单个指标说明不了系统在混乱的真实驾驶中会表现如何。换成其他车辆、不同摄像头配置的影像时，模型检测到的东西明显更少——团队称目前还缺少适配这些配置的训练数据。
空间理解差距与外部研究参照
Qwen团队用自建的HopChain基准衡量了这一空间理解差距：视觉语言模型在图文基准上得分不错，却会误分类物体、搞混空间关系。
灾难性遗忘并非新问题。2023 年Google DeepMind构建的PaLM-E（面向语言、图像和机器人控制的模型）中，较小版本在机器人训练后丢掉了很大一部分语言能力，而 5620 亿参数的最大版本几乎没有损失。
把语言模型与驾驶功能配对还会带来新的攻击面：加州大学圣克鲁兹分校的研究者在摄像头视野内放置一块带标签的标牌，诱使DriveLM驾驶系统朝正在过马路的行人转向，尽管它已正确检测到行人。
研究趋势meanwhile正转向World Action Models，这类模型还会预测环境如何随智能体自身动作而变化。