NVIDIA发布TensorRT Edge-LLM 0.11.1，DGX Spark上几条命令跑起Nemotron模型
NVIDIA技术博客给出的教程显示，开发者可在 64GB DGX Spark上用trtedge命令行下载模型、构建TensorRT引擎，并通过本地OpenAI兼容API提供服务；开启DSpark推测解码后，官方测得的生成速度从约 73 tokens/s升至 105–127 tokens/s。
AI解读：这篇教程要解决的具体问题是：让嵌入式开发者在DGX Spark上先把边缘AI模型跑起来、做原型验证，而不必从零处理模型下载、引擎构建和服务封装。TensorRT Edge-LLM被描述为一套轻量C++推理运行时，同一推理框架可用于Spark上的开发，以及Jetson Thor、DRIVE AGX Thor、IGX Thor等平台上的部署。
适用对象和条件是明确的：需要 64GB DGX Spark、受支持的NVIDIA软件栈、CUDA 13、10.x系列中 10.16.1.11 或更新的TensorRT，以及Python 3.10至 3.12；示例使用TensorRT Edge-LLM 0.11.1和TensorRT 10.16.1.11。
首次运行需下载约 21GB的Nemotron-3.5 Lightning模型，默认缓存在 ~/.cache/tensorrt-edgellm。
DSpark推测解码的效果只在NVIDIA给出的测试条件下成立：DGX Spark 64GB、DGX OS 7.6.0（Ubuntu 24.04.4 LTS）、NVFP4、开启thinking、batch size为 1、单并发流式请求、输出上限 128 tokens。
三组负载下开启DSpark后平均生成速度为 105.3 至 126.9 tokens/s，关闭时为 72.8 至 73.4 tokens/s；首token中位时间变化不大。NVIDIA称开启DSpark时推理峰值系统内存为 27.9GB（含操作系统）。
教程运行的是纯文本模型Nemotron-3.5 Lightning，示例以摄氏度转华氏度验证对话，并通过 /health/ready和 /v1/chat/completions接口测试服务。这些是入门验证步骤，不构成对视觉语言、语音等其它模型在Spark上性能的说明；NVIDIA在文末仅列出可尝试的模型类型，未给出相应数据。
NVIDIA在技术博客中发布了一套在DGX Spark上运行边缘AI模型的入门流程：通过TensorRT Edge-LLM的trtedge命令行工具，下载模型、构建针对Spark优化的TensorRT引擎，并在终端对话或启动本地OpenAI兼容API进行应用原型开发。教程以纯文本模型Nemotron-3.5 Lightning为例。
TensorRT Edge-LLM被描述为面向嵌入式工作负载的轻量C++推理运行时。NVIDIA称，同一推理框架既用于Spark上的开发，也用于Jetson Thor、DRIVE AGX Thor、IGX Thor等平台上的部署。DGX Spark目前提供 64GB配置。
运行前提与首次启动
教程列出的前提包括：受支持的NVIDIA软件栈、CUDA 13、10.x系列中 10.16.1.11 或更新的TensorRT，以及Python 3.10至 3.12。示例在TensorRT Edge-LLM 0.11.1和TensorRT 10.16.1.11上测试。
安装方式为在DGX Spark上创建带 --system-site-packages的Python虚拟环境，再安装tensorrt-edgellm[server]==0.11.1。NVIDIA提示，如果系统TensorRT绑定不可用，可在已激活的环境中按TensorRT pip安装说明装入兼容的 10.x版本，然后重新运行验证命令。
首次执行trtedge chat启动模型时，需等待约 21GB的模型下载和引擎构建完成，文件默认存放在 ~/.cache/tensorrt-edgellm，后续启动会复用匹配的缓存引擎。
本地API与DSpark推测解码
通过trtedge serve可在Spark上启动本地OpenAI兼容API，默认示例监听 127.0.0.1:8000。教程用 /health/ready检查状态，用 /v1/chat/completions发送流式请求，便于应用程序在开发阶段对接测试。
DSpark推测解码通过草稿模型一次提出多个token、再由主模型验证来加速生成。示例以三个草稿token重启服务，并允许调整num_speculative_tokens等参数。NVIDIA同时提供了推测解码文档入口。
- DSpark关闭时，三组负载的平均生成速度为 72.8 至 73.4 tokens/s；开启后为 105.3 至 126.9 tokens/s。
- 首token中位时间：SpeedBench 1K约 201 至 203 毫秒，SpeedBench 2K约 329.5 至 331.6 毫秒，HumanEval约 98 毫秒，开启与关闭DSpark差别很小。
- 上述数据在DGX Spark 64GB、DGX OS 7.6.0（Ubuntu 24.04.4 LTS）、NVFP4、开启thinking、batch size 1、单并发流式请求、输出上限 128 tokens下测得；平均输入长度为SpeedBench 1K的 1,153 tokens、SpeedBench 2K的 2,247 tokens、HumanEval的 139 tokens。
- NVIDIA称，开启DSpark时推理期间峰值系统内存为 27.9GB，包含操作系统。
教程覆盖的范围
这篇教程演示的是文本模型的对话与API服务，验证提示为“将 25°C转换为华氏度并用一句话回答”。NVIDIA在结尾建议开发者从受支持模型列表中另选模型继续开发，提到视觉语言、语音识别和语音合成模型，并指向TensorRT Edge-LLM文档和Nemotron开发者页面。教程没有给出这些其它模型在Spark上的性能数据。