NVIDIA发布Cosmos3-H-Dreams：基于胆囊切除临床录像的实时生成式手术模拟器
NVIDIA在Hugging Face博客中称，Cosmos3-H-Dreams是首个基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术模拟器；它由Cosmos 3驱动，经FlashDreams加速，可在单张NVIDIA RTX PRO 6000 GPU上交互运行。NVIDIA明确表示该模型是研究用模拟器，并非经过验证的患者诊疗系统。
AI解读：NVIDIA发布Cosmos3-H-Dreams，将交互式生成模拟从桌面缝合任务扩展到临床胆囊切除场景，训练数据为CMR Surgical Versius平台临床手术中的视频与机器人运动学记录。
模型基于Cosmos3-H-Embodied-Nano（160 亿参数，在Open-H-Embodiment上预训练），专门化后使用左右两把器械（左侧Cadiere抓钳、右侧单极钩）和 28 维动作空间，训练视频为 832×480、动作对齐频率 10 Hz。
发布包含四步去噪和两步去噪两个检查点，两步模型独立训练而非四步模型少采样；步数更少推理更快，但视觉质量下降，开发者可在两者间权衡。
NVIDIA称该模型可适配其他数据集与控制器，前提是具备同步视频和兼容的动作表示，并需沿用训练时的动作约定与归一化方式。
NVIDIA将解剖精度评估、与数值模拟结合、更多器械支持和自主手术策略列为后续研究方向，并声明这些不是已确立的临床能力。
NVIDIA在Hugging Face博客中发布Cosmos3-H-Dreams，称其为首个基于临床胆囊切除录像训练、支持实时运动学控制的实时生成式手术模拟器（“据我们所知”）。该模型学习CMR Surgical Versius平台临床手术中的视频与机器人运动学记录，由Cosmos 3驱动、经FlashDreams加速，可在单张NVIDIA RTX PRO 6000 GPU上交互运行。
从桌面缝合到体内场景
NVIDIA此前发布的Cosmos-H-Dreams基于Cosmos-Predict2.5，用于dVRK桌面缝合。NVIDIA将其描述为世界基础模型（WFM）路线：不显式建模场景几何、组织形变和物理交互，而是从同步视频与机器人运动学中学习视觉动态。
NVIDIA称体内场景比桌面环境更复杂：牵拉下组织拉伸、反光移动、结构被遮挡、烟雾改变能见度；小误差在自回归生成中累积，会逐渐改变器械几何或解剖结构。因此博客把视觉真实感称为验证的起点，而非生物力学准确的证明。
模型、动作空间与两个检查点
Cosmos3-H-Dreams建立在Cosmos3-H-Embodied-Nano之上，这是一个 160 亿参数、在Open-H-Embodiment上预训练的模型。NVIDIA用精选的胆囊切除视频与运动学数据专门化一个双向教师模型，样本筛选要求画面中有两把可见且参与操作的器械，并限制相机指令以突出器械驱动的交互。
模型使用 28 个动作维度：双臂的位姿与夹爪信息，加上能量控制、摇杆轴和摇杆按键。训练视频为 832×480，动作以 10 Hz对齐；NVIDIA指出该采样率不同于运行时生成吞吐。
训练流程为：教师在 24 帧未来帧上适配，再扩展到 72 帧（10 Hz下 2.4 秒和 7.2 秒）；蒸馏把双向教师转为可按新动作分块生成视频的因果学生，先做因果教师强制，再用自生成上下文做Self-Forcing，并由教师和学到的评判器引导，以应对交互推演中的误差累积。首个发布的学生模型每个生成块用四步去噪；两步检查点是在此基础上另行训练得到，并非四步模型直接少采样。NVIDIA称步数更少推理更快，但视觉质量更低，两个检查点供开发者探索质量与推理成本的平衡。
适配自有数据与控制器
NVIDIA提供四步和两步的胆囊切除检查点，并表示系统可适配其他数据集和具身形式，条件是具备同步视频和兼容的动作表示。博客提供了教师微调与Self-Forcing蒸馏的完整步骤说明，涵盖数据准备、公开教师训练工具和蒸馏阶段。控制器集成必须使用与训练相同的动作约定和归一化。
定位与后续方向
NVIDIA在博客末尾明确写道，Cosmos3-H-Dreams是研究用模拟器，不是经过验证的患者诊疗系统。它列出的研究方向包括：覆盖胆囊切除全部阶段、把生成式视觉真实感与显式几何、接触和组织力学结合、由外科医生评估解剖精度与组织响应、支持更多器械，以及将世界动作模型与模拟器闭环耦合以学习手术子任务；NVIDIA称这些是研究方向，而非已确立的临床能力。