英伟达员工用Nemotron开源模型搭万圣节“暴躁海盗船”互动装置
一篇发布在Hugging Face的英伟达博客介绍了MonsterHouse：一个会听、会回话、会用低沉海盗腔抱怨的万圣节互动投影装置，整套系统跑在一台工作站上，所用模型均已公开。博客作者自述是英伟达员工，并在Bolt E4B公开发布前测试过该模型。
AI解读：博客称MonsterHouse由Nemotron Voice Agent串联Nemotron语音ASR、Nemotron 3.5 Bolt E4B 4GB、Magpie TTS Zeroshot和Audio2Face-3D，在一台工作站上运行。
说话到出声的延迟，博客给出中位数：Bolt Q4加TTS为 1.70 秒，命中缓存回复为 0.72 秒；作者注明语音结束检测目前等待 300 毫秒静音。
角色个性来自作者用 5000 多组多轮对话训练出的LoRA适配器；作者建议把“访客是否说过please”这类对话状态放在应用层，而不是让模型自己记。
视觉观察是可选功能：博客用一段五只穿道具服绵羊的视频测试Nemotron 3 Nano Omni，识别出海盗、吸血鬼、女巫、南瓜和幽灵装扮；作者明确说这是合成测试，真实车道、服装和夜间灯光仍需测试。
作者称MonsterHouse代码本身未打包发布，但所用英伟达模型目前均可获取；博客最后承认尚未实现让装置独立值守万圣节的原定目标。
英伟达博客发布一篇作者自述文章，介绍其万圣节互动装置MonsterHouse：一个装在车库门上的投影角色，能听清访客说话，用“暴躁老海盗船”的口吻回答，对说了“please”的访客态度变软。
文章称该系统基于NVIDIA Nemotron Voice Agent搭建，组件包括Nemotron语音ASR、Nemotron 3.5 Bolt E4B 4GB、Magpie TTS Zeroshot和Audio2Face-3D，整个装置运行在一台工作站上，使用RTX PRO 6000 Blackwell Max-Q与RTX PRO 4000 Blackwell两块GPU分工。
作者在文中说明自己在英伟达工作，因此在Bolt E4B公开发布前就测试过该模型。这些属于作者与英伟达方面的说法。
文章称MonsterHouse的代码本身没有打包发布；它使用的英伟达模型目前可以获取，Nemotron Voice Agent也已开源在GitHub上。
技术链路与延迟数据
博客把流程拆成听、想、说、动四步：Nemotron Speech ASR把访客语音转成文本；Bolt E4B生成回复，LoRA适配器提供角色性格；Magpie TTS Zeroshot用一段短参考样本合成声音；Audio2Face-3D把干净语音转成Unreal Engine 5中的嘴部动画。
为压缩等待时间，作者让管线在整句回答完成前就先输出可朗读文本；常见开场白和糖果玩笑则直接使用预写文本与缓存录音。博客给出的中位端到端延迟为：Bolt Q4加TTS为 1.70 秒，缓存回复为 0.72 秒，并注明语音结束检测当前等待 300 毫秒静音。
作者称自己测试了十多个模型后选择Bolt E4B的 4 比特量化版，理由是它比其他候选Qwen3 30B-A3B和Qwen 3.6 35B-A3B占用更小。
- 听：Nemotron Speech ASR将访客语音转为文本
- 想：Nemotron 3.5 Bolt E4B 4GB生成回复，LoRA适配器塑造性格
- 说：Magpie TTS Zeroshot用短参考样本合成声音，支持七种情绪
- 动：Audio2Face-3D驱动Unreal Engine 5角色口型
- 分工：语言与语音管线跑在RTX PRO 6000 Blackwell Max-Q，Unreal图形与Audio2Face-3D跑在RTX PRO 4000 Blackwell
角色训练与视觉观察的测试边界
作者称为了让车库门“有脾气”，他用 5000 多组多轮对话训练LoRA适配器，部分训练耗时约一到两小时。他建议把对话状态（例如访客是否已说过“请”）留在应用逻辑里，而不是交给模型记忆。
视觉部分是可选项。作者用Nemotron 3 Nano Omni描述摄像头画面中的服装，另用YOLO与ByteTrack统计和跟踪画面中的人数，以分开“识别装扮”和“数人”两项工作。博客给出的验证是一段五只穿装扮绵羊的合成视频，模型识别出海盗、吸血鬼、女巫、南瓜和幽灵五种装扮；作者明确表示绵羊是合成测试，不能作为万圣节当晚成功的证据，真实车道人群、服装和夜间灯光仍待测试。
- LoRA训练数据：5000 多组多轮对话
- 作者称部分LoRA训练耗时约一小时，部分约两小时
- 视觉测试素材：五只穿装扮绵羊的合成视频
- 作者自述未完成的目标：让装置独立值守万圣节
复刻路径与发布状态
博客最后给出复刻建议：克隆Nemotron Voice Agent，跑通用助手示例；把Bolt E4B设为对话模型；先靠系统提示和示例对话塑造性格，不够再训练LoRA；用Magpie TTS Zeroshot做定制声音，用Audio2Face-3D做面部动画；需要“眼睛”时再接Nemotron 3 Nano Omni。作者还建议算力有限时用缓存音频撑现场，用Bolt E4B与Magpie离线批量生成数百条回复。
文章提醒，定制声音只能使用获得授权的声音样本；MonsterHouse代码本身未打包发布。
- 可获取：Nemotron Voice Agent、Bolt E4B、Nemotron语音ASR、Magpie TTS Zeroshot、Audio2Face-3D、Nemotron 3 Nano Omni
- 未发布：MonsterHouse装置代码
- 作者提醒：定制声音需获得声音样本授权