NVIDIA发布Cosmos框架与NIM微服务，用于世界模型训练和部署
NVIDIA技术博客称，Cosmos Framework提供智能体技能与推理配方，可从已发布检查点生成同步的相机视频与LiDAR观测；Cosmos NIM则以容器形式提供GPU加速推理，并列出各模型的显存需求。
NVIDIA在技术博客中介绍了Cosmos平台的两个用于世界模型的新组件：开源的Cosmos Framework和容器化的Cosmos NIM微服务。博客称，前者覆盖训练、优化与推理，后者负责把模型部署为可调用的推理服务。
博客给出的可直接运行路径是：从已发布的Cosmos 3 Nano检查点出发，用Framework的推理配方生成同步的多视角相机视频与LiDAR观测，覆盖自动驾驶、机器人、手术等仿真场景。
Framework：从检查点生成同步视频与LiDAR
NVIDIA称，Cosmos Framework是开放、模块化的世界模型训练、优化与推理框架，并提供位于 .agents/skills的智能体技能，用于让编码智能体执行设置、推理、后训练和排障等有边界的任务。
自动驾驶方向给出两个检查点。Cosmos3-Nano-Transfer-Auto采用双向生成，一次性去噪整段多视角片段，用于离线合成数据；博客称它支持 30 fps输入输出，最高 400 帧 480p或 720p，更长序列通过自回归分块生成。输入包括提示词和World Scenario Map控制，联合RGB–LiDAR生成还需HD地图距离图控制。
博客给出的四GPU参考运行产出 7 段 720p视频（297 帧、30 FPS）和 99 次LiDAR扫描；开发者需检查输出文件的成功标记以及LiDAR距离与强度值是否有限，并核对WSM对齐与多视角一致性。
Cosmos3-Nano-Sim-Auto是上述模型经过因果、少步蒸馏的变体，按自回归流式方式增量生成观测，可用于闭环评估：策略或人类驾驶输入更新场景，生成的相机与LiDAR观测再返回策略。
机器人与手术仿真配方
机器人方向，Cosmos3-Nano-Sim-Transfer把深度视频和提示词转换为RGB视频，改变光照、纹理和背景，同时保留几何与运动；博客称它可在保留动作、状态和腕部相机记录的情况下改变第三人称视角。Cosmos3-Nano-Sim-Bimanual根据场景与机器人动作生成下一帧视觉观测，支持YAM和AgiBot两种本体的双臂交互仿真，可由策略或摇杆操作。
手术方向，Cosmos3-H-Embodied-Nano基于Cosmos3并在Open-H-Embodiment上后训练，接收初始RGB帧、任务提示、最近 16 个已执行动作及后续动作，可生成手术视频、从视频预测动作或二者同时生成。NVIDIA称开发者可借此生成合成数据、离线评估策略，无需构建手术场景的物理模型。Cosmos3-H-Dreams从中蒸馏而来，按实时机器人运动学生成帧，用于闭环仿真。
NIM：显存需求与部署方式
NVIDIA称Cosmos NIM以优化容器提供加速推理，用到了量化、投机解码、缓存、token剪枝和KV缓存感知路由；其中投机解码在H200上实测平均约 2–3 倍加速，这一数字来自NVIDIA自身的测量。
博客按任务和精度列出显存需求：推理任务中，Cosmos3-Edge在BF16下需 16 GiB，Cosmos3-Nano需 23.1 GiB，Cosmos3-Super在BF16需 135 GiB、FP8需 67 GiB；生成任务中，Cosmos3-Nano在BF16需 58 GiB、FP8需 44 GiB，FP8加offloading需 31 GiB，Cosmos3-Super对应为 150、93、38 GiB。
部署流程为：按表选择GPU与模型配置，在Linux上安装NVIDIA驱动、Docker与NVIDIA Container Toolkit，取得NGC API Key后拉取nvcr.io/nim/nvidia/cosmos3:2.0.0 镜像并以docker run启动，等待健康检查通过后发送推理请求。博客示例使用单卡启动Nano生成器。
性能配置有两种：latency优先让单个请求更快完成，支持 1、2、4、8 卡；throughput优先单位时间完成更多请求，需要 2、4、8 卡。博客提醒，仅把单卡示例中的NIM_PERF_PROFILE改为throughput会导致配置选择失败。