量子位刊载的团队介绍称，AgentGarten把可执行代码环境与流式神经渲染器接成闭环，以 480p、30 fps以上吞吐支撑智能体交互；在重做的捉迷藏实验中，躲藏者第 4 轮学会搭掩体，搜寻者第 10 轮掌握借坡道翻墙。
AI解读：MirroS团队发布AgentGarten，把可执行代码环境与实时神经渲染器连接：代码定义物理规则，模型生成视觉反馈，团队称吞吐超过 30 fps。
做法是让物理交给代码、光影交给神经模型：智能体给出动作后，代码环境计算碰撞与状态更新，并从第一人称视角导出深度或法线等几何草图，渲染器再结合视觉记忆生成下一帧。
团队称该分工让物理规则确定可控、场景扩充从美术建模转为代码程序化扩展，且渲染是流式的，动作走一步、画面画一段。
在重做的捉迷藏实验中，团队采用一对一设定，智能体通过写Python代码控制移动与抓取，仅凭第一人称画面决策。团队称躲藏者第 4 轮学会搬挡板搭掩体，搜寻者第 10 轮掌握借坡道翻墙，并会在一跳失败后推近坡道重试；作为对照，2019 年OpenAI研究中相应策略分别经历约 2500 万局和约 1 亿局。
智能体的经验写进文字手册：每轮结束复盘尝试、记录现象与疑问，手册归档后交给下一轮智能体作为起点。
团队称同一套探索—复盘—沉淀循环还在陪伴小狗、狭桥会车、合作牧羊、采石场装载机四个世界各跑四轮，并给出得分、耗时等变化。
MirroS团队发布AgentGarten，将可执行代码环境与实时神经渲染器连接，让智能体在由代码定义物理规则、由模型实时生成画面的虚拟世界中反复行动、复盘并积累经验。
据量子位刊载的团队介绍，该系统以 480p分辨率、30 fps以上的吞吐支撑交互闭环；在重做的捉迷藏实验中，躲藏者第 4 轮学会搬动挡板搭建掩体，搜寻者第 10 轮掌握借坡道翻墙。
代码管物理，神经渲染管画面
AgentGarten的一次标准交互闭环是：智能体给出动作指令，代码环境立即计算物理碰撞与状态更新，并从智能体第一人称相机视角导出一份轻量几何草图，即空间深度或表面法线；神经渲染器读取这份草图，结合此前的视觉记忆，渲染出下一帧画面递给智能体。
团队称这种分工带来两点变化：一是场景布局、接触判定与胜负由代码裁决，不产生“幻觉物理”；二是只要能输出简单的三维深度和法线轮廓，极简代码场景都能套用这套神经渲染器，从而把虚拟环境的扩充从美术建模转为代码程序化扩展。
渲染是流式逐块生成的：智能体做一个动作，模型立即产出对应的短块画面，看清结果后再做下一步决策。团队提到翼装飞行、机械臂操作、厨房烹饪、多车竞速等场景共用同一个视觉接口。
重做捉迷藏：4 轮搭掩体、10 轮翻墙
团队在AgentGarten中重做了OpenAI 2019年的捉迷藏实验，采用一对一的设定：躲藏者先布置场景封堵入口，随后搜寻者进场搜寻。智能体通过写Python代码控制移动与抓取，全凭眼前生成的画面决策，对空间坐标和对手位置一无所知。
双方从完全空白的手册起步，各自维护由单篇技能组成的策略库。每轮对战十局，战罢复盘沉淀，下一轮随机抽选部分技能库应用。团队称，躲藏者在第 4 轮学会搬挡板搭掩体，搜寻者在第 10 轮掌握借坡道翻墙；一次跳跃失败后，搜寻者会主动推近坡道、调整位置再试。
团队给出的对照是：2019 年那项研究依靠从零开始的强化学习，摸索出掩体搭建约经历 2500 万局，学会借坡道翻墙约经历 1 亿局。
智能体自己写手册，经验封存给下一轮
演练被划分为四个环节：领受任务，拿到任务文件明确目标与规则红线，但没有标准答案；盲盒试错，在步数与时间限制下自主行动，只有相机画面，没有上帝坐标和小地图；撰写手册，一轮结束后复盘记录试了什么、看到什么现象、哪些判断存疑、下次验证什么；封存传代，手册归档冻结，作为先验交给下一轮智能体。
团队称，手册会区分“看到的实况”与“脑补的猜测”，并标注防坑经验，例如躲藏者总结“防守的核心在于堵住通道，而不仅仅是挡住视线”，搜寻者总结“搬东西前先试拉一下，别把卡死当抓稳”。经受住考验的经验被后继者沿用，失效的教训则促使它们尝试新的策略分支。
同一套循环在其他四个世界各跑四轮
团队称，除捉迷藏外，同一套“探索—复盘—沉淀”循环还在另外四个世界各运行了四轮演练，并给出结果：陪伴小狗任务中，智能体需在 60 秒内通过伸手抚摸、适时玩球维持小狗好感度，得分从首轮 13 分提高到第 4 轮 19 分；狭桥会车任务中，两车依据驾驶第一视角协商互让，双车通关总耗时从 71 秒压缩至 41 秒。
合作牧羊任务中，两只牧羊犬仅凭自身视线配合，把四只羊赶进羊圈并维持 5 秒，从第 1 轮超时仅圈进三只，到后三轮稳定实现全部圈进；采石场装载机任务中，重型装载机需推石、送料、入库，第 1 轮仅勉强推开石块，到第 4 轮已能在 360 秒时限内提前 31 秒跑通全流程。
为 30 fps实时交互做的渲染优化
团队称，要让智能体边看边行动，渲染器需解决三重问题：跟上突发动作、稳住超长交互、跑得足够快。其做法是从基础全模态模型出发，提出Adversarial Forcing训练方法，再配合推理优化。
具体包括：把以往一次性生成整段视频改为流式逐块生成；针对连续生成误差累积导致的外观漂移，设计精确重放机制，第一遍无梯度前向展开，第二遍按完全一致的逐块节奏带梯度重新执行，以稳定长序列交互的时序一致性；在训练中引入真实视频判别器构建对抗信号，约束画面质感并让生成结果贴合代码给出的几何轮廓。
速度方面，团队手写定制Triton融合算子以消除显存往返、避免全图编译数分钟的冷启动等待，配合CUDA Graph消除CPU调度开销，并换上延迟不到 10 毫秒的超轻量解码器，最终以 480p分辨率、30 fps以上吞吐稳定支撑闭环交互。