NVIDIA在Hugging Face发布Cosmos 3四个开源权重检查点，覆盖自动驾驶与双臂机器人仿真
四个检查点均为Cosmos 3 Nano的后训练版本，各含 160 亿可训练参数，采用允许商用与非商用的OpenMDW1.1许可；其中Sim-Auto是Transfer-Auto经因果蒸馏得到的流式变体。
NVIDIA在Hugging Face博客中发布Cosmos 3世界模型平台的四个新开源权重检查点，用于交互式世界仿真和多传感器多视角驾驶场景生成。四个模型都是Cosmos 3 Nano的后训练示例，各含 160 亿可训练参数，采用OpenMDW1.1许可，按该许可条款允许商用与非商用。
NVIDIA将这四个检查点定位为互补的环境构建方式：Sim-Bimanual从动作预测视觉后果，Sim-Transfer把物理仿真器的控制转成生成观测。
四个检查点各自做什么
- Cosmos3-Nano-Transfer-Auto：从驾驶场景生成多传感器数据，覆盖不同天气、光照和时段；生成最多 11 路相机视角（含鱼眼）的同步视频，支持RGB与LiDAR联合生成，用每相机的World Scenario Map指定场景结构与交通运动，文本提示控制外观。
- Cosmos3-Nano-Sim-Auto：Transfer-Auto的因果蒸馏流式变体，在少量去噪步内生成连续小段的同步相机视频与LiDAR，利用生成历史和更新的驾驶控制支持快速流式、长时交互推演。
- Cosmos3-Nano-Sim-Transfer：把仿真器的控制与文本提示渲染成逼真RGB视频，供策略消费；物理和真值状态仍由仿真器计算。
- Cosmos3-Nano-Sim-Bimanual：从场景与双臂机器人动作直接预测下一观测，支持YAM和AgiBot本体，可由策略或人操作摇杆控制；一个控制序列可在视角变化与操作之间切换，混合动作示例使用 59 个控制值，训练时填充到 64。
训练配方与适配路径
NVIDIA给出的后训练配方分四阶段：Stage 0双向适配，从完整记录片段学习领域与控制到视频的关系；Stage 1教师强制，用已有观测和控制预测每个片段，掩掉干净答案与未来目标；Stage 2一致性蒸馏，用冻结教师训练学生模型以四步去噪生成每片段；Stage 3自强制，用学生自己生成的歷史训练，配合冻结教师和辅助评分模型提供分布匹配信号。NVIDIA称最后一步针对误差累积：轻微错判的物体会成为后续帧的上下文。
- 新传感器配置或驾驶领域：先在Transfer-Auto上用自采数据后训练，再做因果训练与少步蒸馏，得到Sim-Auto；这条路径即Sim-Auto的生成方式。
- Sim-Transfer与Sim-Bimanual均为按各自环境或本体后训练的检查点，官方建议保留完整训练检查点以便恢复，导出的推理权重不含优化器等训练状态。
- 官方提示：短程成功运行只验证执行，不代表收敛，质量应在留出片段上评测。
推理条件与已知限制
NVIDIA说明Sim-Bimanual推理需要Linux、NVIDIA GPU、Docker和NVIDIA Container Toolkit；发布的vLLM-Omni配置在一块GB200上测试过，官方明确这不是最低显存规格。流式生成依赖带K/V缓存的时序因果注意力，每步潜在表示对应 4 帧RGB，Transfer每片段预测一步，报告中优化的Bimanual配置预测两步。
- 闭环交互需要仿真运行时和WSM渲染器根据驾驶输入更新控制，模型本身不提供这一部分。
- NVIDIA在文中列出仍待解决的问题：需衡量模型在何处能可靠支持策略学习与评测、理解其局限并在不足处改进；来源未给出量化效果数据。