NVIDIA博客展示开发者用前沿AI代理搭建Omniverse仿真应用
NVIDIA博客列举六个开发者项目,覆盖仓库人形机器人、自动驾驶测试、数字孪生、机器人运动、拆解与空间站可视化;开发者用自然语言指令指挥Astra等模型,Omniverse库提供物理、渲染与传感器仿真。
NVIDIA博客发文介绍,开发者正在将前沿AI模型与NVIDIA Omniverse库结合,用自然语言指令指挥AI代理完成仿真应用的搭建,包括组装资产、连接物理与渲染、检查场景行为。
文中称开发者通过自然语言指令指导AI代理,审阅结果并引导修改;Omniverse库提供GPU加速的物理、渲染和传感器仿真能力。博客列举的项目来自NVIDIA团队和生态开发者,示例中出现的模型包括GPT-6 Astra和Claude Fable 5。
仓库人形机器人模拟器
NVIDIA Omniverse产品经理Frank DeLise使用Astra,把一个SimReady仓库和人形机器人转成带第一人称和第三人称视角的交互式模拟器。
DeLise指挥Astra连接NVIDIA Omniverse库中的物理(ovphysx)、场景更新(ovstage)、渲染(ovrtx)和用户界面(ovui),并用Astra配合SimReady(simready-foundation)在仿真中创建物理场景。Astra随后生成动画和应用代码,把这些能力组合起来。
- 项目目标:在自动化仓库任务之前,提供可交互的仿真环境,用于探索任务行为和评估工作方式。
自动驾驶测试工作流
NVIDIA仿真技术团队经理Doyub Kim让Astra构建“Zero to Alpamayo”,一个基于旧金山Market Street的可复用仿真环境。
Kim指挥Astra先梳理工作流,再分阶段连接资产创建、交通、Omniverse RTX传感器仿真和Alpamayo驾驶,并逐步检查每个集成。这个原型成为比较模型、追踪场景或传感器变化如何影响下游驾驶行为的测试场。
另一项Cosmos3-Nano实验对录制的仿真视频改变天气和光照,让Kim比较驾驶模型在同一场景不同条件下的反应。
用传感器差异改进数字孪生
NVIDIA RTX传感器验证团队的Ashley Reid指挥Astra和Claude Fable 5代理,把ovrtx摄像头和原始LiDAR输出与录制数据作比较。
这些代理从零创建了两个数字孪生,并改进了两个已有孪生。在大约三天时间里,Reid引导了一个迭代流程:代理测量差异、创建或修改OpenUSD场景,再检查结果。修改涉及缺失物体、几何和材质,是否通过取决于摄像头和LiDAR指标。
博客称这为开发者提供了一种用测量差异指导场景创建和改进的方法,并建议从ovrtx最小Python示例渲染OpenUSD场景开始,再定义传感器度量与录制数据比较。
Robo Olympics机器人运动测试
负责NVIDIA Omniverse工程与产品的Tae Kim用体育视频和自然语言指令,指导Astra构建Robo Olympics,一个测试模拟Unitree G1人形机器人做体育动作的实验项目。
在Kim的指导下,Astra构建控制器并通过物理试验改进。Newton Physics Engine模拟行为,开源NVIDIA Warp框架加速计算,ovrtx渲染场景和虚拟相机图像。
博客给出的一项实验数据是:机器人以 64/100 次仿真试验成功越过单个跨栏。这些试验为Kim改进机器人的时序和控制提供了反馈。
拆解测试、空间站应用与房间重建
NVIDIA OpenUSD高级产品经理Jens Jebens指挥Astra在PTC Onshape中建模汽车悬架,并在NVIDIA Isaac Sim中配置。代理测量可用空间,设计出机器人能伸到悬架螺栓的扳手;Jebens报告在仿真中成功拆下了一个悬架部件。
NVIDIA工程总监Nic Johns用提示词指挥Astra,把NASA资产组装成带遥测数据的OpenUSD国际空间站模型。他用单个提示词构建应用,随后用后续提示词把场景转到地球的白昼侧;流程使用Blender做资产准备,Omniverse库负责渲染(ovrtx)、场景运行时(ovstage)和流传输(ovstream)。
NVIDIA Isaac工程应用团队的Chirag Majithia指挥Astra把立体相机拍摄内容转成可编辑的OpenUSD工作室,流程结合PyCuSFM、FoundationStereo和nvblox做重建,由用户审阅引导物体选择与摆放;Astra组装生成资产和Blender创建的资产,并用USD Content Agents配置物体在仿真中的运动和交互,Isaac Sim测试指导门和抽屉的碰撞与接触修改。