Luma发布开源AI视频模型盘点,同时推广自家Ray 3.2与Layers
Luma Labs在一篇盘点文章中列出Stable Video Diffusion、腾讯HunyuanVideo、CogVideoX、Mochi 1、阿里Wan 2.1和LTX-Video等开源视频模型及其硬件与许可条件,并把自家托管平台Ray 3.2、Layers列为专业制作选项。
Luma Labs在其新闻页发布一篇盘点文章,介绍可用于AI视频生成的开源模型及配套制作工具。文章逐项列出Stable Video Diffusion、腾讯HunyuanVideo、CogVideoX、Mochi 1、阿里Wan 2.1和LTX-Video,并给出各自的参数规模、输出规格、许可与硬件条件。
文中的第一项是Luma自家的Ray 3.2与Layers。文章明确说明Luma是托管创意平台,而非可下载的开源模型,其工具通过Luma服务使用,支持集成时提供API访问。
文章列出的开源模型与规格
文章按模型逐项描述。Stable Video Diffusion来自Stability AI,支持图生视频,可在 8GB显存上运行,输出 576x1024竖版格式,并称其拥有大量社区教程与集成。
HunyuanVideo是腾讯的开源权重视频模型系列,采用扩散Transformer架构,从提示词生成视频,权重可下载,硬件需求、支持分辨率与许可随具体发布版本而定。
CogVideoX将文本与视觉信息放在统一空间处理,文章称这有助于提升对结构化提示的语义准确性;提供 2B和 5B参数版本,720p输出、最长 6 秒,2B版本采用Apache 2.0许可。
Mochi 1来自Genmo,为 100 亿参数开源权重模型,采用Apache 2.0许可,宣称支持单GPU官方训练,按精度不同需 20–60GB显存,文章称其在头发、织物和水体等次级运动上表现较强。
Wan 2.1由阿里巴巴Wan团队开发,包含文生视频与图生视频模型,有 1.3B和 14B参数版本,还支持在给定首尾帧之间生成过渡,采用Apache 2.0许可。
LTX-Video由Lightricks开发,基于潜在扩散,支持文生视频、图生视频、关键帧条件与前后向视频延展,有 2B和 13B版本及蒸馏加速版本;文章称原仓库已作为legacy版本维护,后续开发转入LTX模型系列。
硬件与许可的适用边界
文章给出的显存区间是概括性说法:部分小模型可在 8–12GB显存的消费级GPU上借助省显存优化运行,较大模型可能需要 24GB或更多。实际需求取决于模型、分辨率和生成设置。
许可方面,文章提醒Apache 2.0通常在满足条款的前提下允许商用、修改和分发;CogVideoX的 2B与 5B版本条款不同,LTX-Video多个发布的权重与许可各异,HunyuanVideo的许可随版本而定。文章建议在商用部署前核对具体模型版本的许可。
关于开源与托管的区别,文章的说法是:开源模型提供不同程度权重访问、定制和独立部署;托管平台以服务方式提供生成能力并整合制作工具,无需本地部署。
- 显存:小模型 8–12GB可运行(需优化),大模型可能需要 24GB以上;Mochi 1为 20–60GB(按精度)
- 许可:CogVideoX 2B、Mochi 1、Wan 2.1标注Apache 2.0;CogVideoX 5B、LTX-Video、HunyuanVideo需逐版本核对
- 参数:CogVideoX 2B/5B;Mochi 1 10B;Wan 2.1 1.3B/14B;LTX-Video 2B/13B
Luma对制作环节的主张
文章认为生成一段视频只是制作的一步,后续还包括审片、修改、保持视觉一致和按不同格式交付。文章列出四项需求:跨镜头保持机位、主体外观与动作节奏一致;在保留已批准元素的前提下做定向修改;匹配HDR、色彩处理与导出格式;管理主片、短片、产品图和本地化版本等多份交付物。
基于这些需求,文章介绍Luma Ray 3.2支持多关键帧控制、HDR工作流与EXR导出,Layers支持在保留已批准构图的情况下修改图像局部,Luma Agents用于在修改和交付过程中保持创意上下文。以上均为Luma对其产品的描述,文章未提供效果对比数据。