斯坦福HomeBody项目让GPT-6 Astra调用技能库控制宇树G1完成厨房家务
斯坦福团队在HomeBody项目中用GPT-6 Astra调度导航、抓取、开抽屉等可复用技能,让宇树G1在未见过的新厨房中收拾物品、丢纸盒并从抽屉取药,部署时不需要额外采集训练数据或训练专用动作策略。
AI解读:这条新闻的核心不是机器人又会做一件家务,而是大模型控制机器人的方式变了。斯坦福团队的HomeBody项目没有让GPT-6 Astra直接生成每一个关节动作,而是把它放在决策层,让它调用导航、抓取、放置、开抽屉这些封装好的技能,由技能模块自己解决“手怎么伸过去、怎么抓起来”的问题。
真正受影响的是做具身智能和机器人应用的人。过去换一个新厨房,通常要么重新采数据,要么重新训一套专用动作策略;HomeBody的说法是部署到新厨房不需要额外采集训练数据,也不需要再训练专用策略,这让“换环境”的成本结构发生了变化。
但门槛没有消失。前期要花时间和API成本重建数字厨房,执行时模型推理会让动作之间出现等待,长时间干活还要过硬件关,比如手指舵机过热。整套系统跑在一台搭载RTX 4090的笔记本上负责感知、规划和技能执行,Astra在远端决策,所以“买台G1接上GPT就能做家务”目前还不成立。
斯坦福团队在HomeBody项目中把GPT-6 Astra接上宇树G1,让机器人进入厨房执行语言指令。据量子位2026年9月30日报道,G1会先探索一个从未见过的厨房,随后根据指令收拾物品、丢掉纸盒,甚至把不在视野内的药找出来递到人手里。
HomeBody的核心思路是让GPT把机器人技能当作工具调用。Astra负责理解目标、安排步骤,再调用导航、抓取、放置、开抽屉、从抽屉取物等技能,把任务一步步做完。
整个流程分三步。第一步,机器人接到“你是一台厨房机器人,请探索这个空间”的指令后,Astra选择值得观察的位置引导G1移动,机器人一边走一边记录相机画面、激光雷达扫描和自身关节姿态与途经位置;相机看清房间内容,激光雷达提供实测空间结构,SLAM帮助机器人建图并确定自身位置,这些观察被保存为可调用的空间记忆。
第二步,Astra担任Real2Sim智能体,在Isaac Sim仿真平台里搭出数字厨房。系统把SLAM测得的几何信息交给模型,用真实测量约束重建结果,再把真实世界的定位地图与数字厨房对齐到同一坐标系,将拍到的画面、内容描述和对应位置关联起来,让记忆里的画面同时对应一个可以返回的位置。
第三步,用户给出目标,比如“收拾一下厨房”,再补充咖啡袋放哪里、哪些纸盒要扔。Astra结合当前画面、地图、空间记忆、手里有没有拿着东西以及上一步执行结果,选择接下来调用哪项技能、操作哪个目标。
演示中,用户只说了“帮我把药拿来”,药不在当前视野里,系统从之前保存的画面中找到抽屉,把导航、开抽屉、取药等技能接起来,还能同时完成丢纸盒的任务。
GPT只决定抓哪个、用哪只手,技能模块负责手怎么伸过去
此前Robocurve让GPT和Claude控制机械臂,是让模型根据相机画面和机器人状态,通过工具调用指定夹爪的位置、朝向和开合状态,再由底层模块转换成具体动作。HomeBody同样采用工具调用,但交给GPT的是更完整的技能:导航、抓取、放置、开抽屉,以及从抽屉中取物。
在常见的机器人分工里,System 2是视觉语言模型,负责看图、理解指令、决定做什么;System 1是视觉语言动作模型,负责生成动作命令;System 0是底层控制器,负责协调身体执行。HomeBody调整的是中间这一环:让System 2直接调用技能库,由技能模块规划具体动作,再交给底层控制系统执行,不必经过一个学习型VLA。
技能库里装的是已经写好、可复用的电机技能,包括Navigate、Pick、Place、Open drawer、Pick from drawer等。这些技能有统一接口:大模型只需要告诉它去哪里、抓什么、放到哪,技能自己执行,执行完再把结果反馈给大模型。
以抓取为例,Astra只需要在画面中点出目标物体,再指定使用左手还是右手。抓取技能内部的感知模块会圈出物体、估计深度,结合相机标定确定目标的三维位置并计算抓取姿态,运动规划器再规划机械臂怎么伸过去、怎样避开障碍,最后交给控制模块执行。导航接收目标位置和朝向,放置接收物品落点,开抽屉则把对准把手、勾住把手、后退拉开封装成一项完整技能。
每项技能执行后都会把结果反馈给Astra,再由它决定下一步。遇到偏差时,技能模块会先自行调整、重试,解决不了再交回大模型重新安排。走路、伸手时怎样保持平衡属于System 0的工作,HomeBody使用预训练的AMO控制策略,让下半身运动同时考虑上半身的动作目标。
- 交给GPT的是导航、抓取、放置、开抽屉、从抽屉取物等完整技能,而非直接指定夹爪位置、朝向和开合状态
- 技能有统一接口:大模型说去哪里、抓什么、放到哪,技能模块负责具体动作规划
- 执行后技能反馈结果,偏差先由技能模块自行调整重试,解决不了再交回大模型
不用为新厨房再训练,但部署和硬件仍有成本和限制
团队表示,部署到这个新厨房时,系统不需要额外采集训练数据,也无须再训练一套专用动作策略。
但这不等于整套系统从未训练过。HomeBody不用为新厨房重新训练专用动作策略,现成的感知模型、运动规划和预训练控制器仍是机器人能把活干起来的基础。
部署和运行也有成本。目前HomeBody的感知、规划和技能执行运行在一台搭载RTX 4090的笔记本上,Astra则在远端负责决策。前期重建数字厨房需要准备时间和API成本,实际执行任务时模型推理会让动作之间出现等待。
硬件也可能是限制。即使软件流程顺利跑通,长时间干活还得过硬件这一关,比如手指舵机过热,就是系统目前面临的限制之一。
- 新厨房部署不需要额外采集训练数据,也不需要再训练专用动作策略
- 感知、规划和技能执行跑在一台搭载RTX 4090的笔记本上,Astra在远端决策
- 前期重建数字厨房需要时间和API成本,执行时推理会造成动作间等待
- 手指舵机过热是系统目前面临的硬件限制之一
大模型控制机器人的几条路线与最新分数
报道将当前大模型控制机器人的做法归为几条路线。第一条是Robocurve最早采用的方案:大模型直接接收相机画面和机器人状态,输出夹爪的目标位置、朝向和开合程度,再由底层逆运动学模块转换成关节动作执行,完成后重新观察,形成闭环。
第二条路线是让大模型充当System 2,搭配负责生成动作的VLA。Anthropic测试过让语言模型接收、修改甚至替换MolmoAct提出的动作。
HomeBody选择让System 2直接调度技能库,再由包括预训练AMO在内的底层系统负责执行与身体协调。报道称,这不是简单地多接一层System 0,而是换了一种连接决策与动作的方式,再结合空间记忆,把任务从桌面扩展到整个房间。
Robocurve的最新战况是:GPT-6 Sol平均得分是GPT-5.6 Sol的1.6倍,成本低约47%;Opus 5.5平均得分约为Opus 5的1.8倍,与GPT-6 Astra接近,单次成本比Astra低约21%。
- 路线一:大模型直接输出夹爪目标位置、朝向和开合程度,由逆运动学模块转成关节动作
- 路线二:大模型充当System 2,搭配负责生成动作的VLA
- HomeBody:System 2直接调度技能库,预训练AMO等底层系统负责执行与身体协调
- GPT-6 Sol平均得分是GPT-5.6 Sol的1.6倍,成本低约47%;Opus 5.5平均得分约为Opus 5的1.8倍,单次成本比Astra低约21%