英伟达与MIT团队基于MiniMax H3发布2K视频重生成开源权重
Efficient-Large-Model团队在Hugging Face发布Open-H3-Regenerate-2K模型权重,配套推理代码在NVlabs/Sana仓库开放,支持2K输出,最高可做4K原生重生成。
英伟达与麻省理工学院研究人员组成的Efficient-Large-Model团队,在Hugging Face发布了视频增强项目Open-H3-Regenerate-2K的模型权重,推理代码在NVlabs/Sana仓库开放(量子位报道,2026年10月30日)。该方案基于MiniMax H3,将低分辨率视频草稿重新生成为高分辨率视频。
发布的模块与输出规格
按报道,MiniMax H3的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成等环节。其中已开放权重的H3-Base负责生成768P音视频,官方H3-Regenerate-2K模块通过API提供服务。此次发布的Open-H3-Regenerate-2K为高分辨率重生成环节提供了一套可自行部署的开放实现。
该方案支持2560×1440的2K输出,最高可实现3840×2160的原生4K重生成。
训练方式与推理流程
在细化模型训练阶段,团队保持H3 Transformer主干与视频VAE的原有参数不变,仅训练新增的细化LoRA。推理时,细化LoRA与LightX2V FL2VA Turbo、LMS Sharp等社区适配器合并使用,通过三步去噪在目标分辨率下重新生成画面细节,视频草稿中的场景、布局和运动信息为这一过程提供基础。
为提高推理效率,项目采用社区开发的潜空间放大器直接放大视频的潜在表示,减少高分辨率下重复解码、编码的开销,并结合SoL-Engine的稀疏注意力、低精度计算和快速VAE解码器加速细化与解码环节。
团队公布的耗时与画质数据
项目团队公布的单张NVIDIA B200 GPU预热测试显示,一段约5秒视频的潜空间放大、三步细化和2K解码合计耗时,由未优化实现的87.26秒降至22.45秒,处理速度约为原来的3.9倍。其中快速解码器将视频解码耗时从约15秒降至约1.6秒。
画质方面,团队在RefinerBench-150上以相同输入、相同2K输出条件对比:Open-H3-Regenerate-2K在UniPercept感知质量评测上的平均分为60.0,官方H3-Regenerate-2K API为53.4。VBench评测中,该方案的美学质量、成像质量和主体一致性得分更高,官方API在运动平滑度和动态程度上仍略优。以上均为项目团队自述的测试结果。
H3生态中的位置
报道称,MiniMax H3于今年8月开放权重,一个月内下载量超过2400万次,产生超过300个公开衍生模型。英伟达与MIT联合团队围绕H3的开发还包括流式视频渲染模型StreamRender-H3(基于H3 Ref2VA)和快速解码器Sol-H3-VAE(从H3视频VAE蒸馏)。社区方面,LightX2V推出MiniMax-H3 Turbo蒸馏版本,Singularity侧重动作表现、面部细节与视觉风格,FastVideo和Pika分别发布FastH3与Pika H3 Flex,ComfyUI、Unsloth则提供权重适配和量化版本。