产品AWS Machine Learning·原文 2026年9月11日

TwelveLabs Marengo Embed 3.0在Amazon Bedrock Knowledge Bases正式可用

AWS宣布TwelveLabs Marengo Embed 3.0作为嵌入模型在Amazon Bedrock Knowledge Bases正式可用,视频、图像和音频内容可通过自然语言搜索,无需自建管道。

AI解读:以前做视频语义搜索要自己拼转写、抽帧、嵌入模型、向量库和同步逻辑,现在Bedrock托管的RAG服务把这些活全包了,用户只需要指向S3数据源、同步、搜索。

Marengo Embed 3.0把视频、音频、图像和文本一起编码成 512 维向量,支持MP4、MOV、JPEG、PNG和音轨,目前只在美国东部(弗吉尼亚北部)和西部(加利福尼亚北部)两个区域可用。

普通读者不用急着行动,但如果你手里有大量视频素材却只能靠人工翻找,这条新闻意味着可以先用S3上的片段试一下托管搜索,按存储和检索量付费,嵌入生成按标准模型调用价计费。

AWS宣布TwelveLabs Marengo Embed 3.0作为嵌入模型在Amazon Bedrock Knowledge Bases正式可用(general availability)。该模型支持对视频、图像和音频内容进行自然语言搜索。

Amazon Bedrock Knowledge Bases是一项全托管的检索增强生成(RAG)服务,负责存储、摄取、嵌入、重排和检索。它支持视频文件(MP4、MOV)、图像(JPEG、PNG)和音轨,并提供Amazon S3、SharePoint、Confluence等原生连接器。

Marengo Embed 3.0是一个多模态嵌入模型,将视频、音频、图像和文本联合编码到一个紧凑的、存储高效的 512 维向量空间。作为嵌入模型选项接入后,通过视频、音频和图像内容进行自然语言搜索成为全托管体验。

Managed Knowledge Bases(Managed MKB)自动生成多模态嵌入,把视觉、文本、语音和音频信号捕获到统一的向量表示中。

操作流程:从S3上传到语义搜索

AWS的演练场景是一段 2022 年FIFA世界杯决赛的 10 分钟片段。前置条件包括:有效的AWS账户;在支持区域启用TwelveLabs Marengo Embed 3.0的Amazon Bedrock访问权限;一个用于存放视频和图像文件的Amazon S3存储桶;以及针对Amazon Bedrock和Amazon S3的IAM权限。

用户先把视频文件上传到Amazon S3存储桶,无需预处理,Managed MKB会在内部处理分段、帧采样和转写。随后在Amazon Bedrock控制台进入Knowledge Bases,选择Create Managed KB。在Additional Configuration中把嵌入模型从默认的Amazon Titan Text改为TwelveLabs/Marengo Embed 3.0;在Data source中选择Amazon S3并配置S3 URI。

在Advanced configurations的Audio/video segmentation部分可配置音频和视频分段时长,两者默认均为 4 秒。保持高级参数不变,点击Create Knowledge Base。创建后点击Sync开始摄取,Managed MKB自动抽帧、转写音频、为每个片段生成Marengo Embed 3.0嵌入,并把向量写入索引。

控制台测试与下游集成

控制台的Test功能可配置检索的源片段数量、应用元数据过滤,并运行类似 “show me the penalty kicks from this soccer match” 的查询。返回结果是排序后的结果,附带元数据,包括片段开始时间、片段结束时间、源URI和嵌入类型。示例中排名靠前的结果识别出了罚点球的时刻。

下游应用可通过Amazon Bedrock Retrieve API查询知识库,调用代码可从Details页面复制。架构上,多模态内容从Amazon S3流入使用Marengo 3.0进行嵌入和索引的Managed Knowledge Bases;下游应用通过Boto SDK的Retrieve API或作为Amazon Bedrock AgentCore中的Amazon Bedrock Gateway目标进行查询。

可用区域与计费

Managed Knowledge Bases for Amazon Bedrock配合Marengo Embed 3.0目前在美国东部(弗吉尼亚北部)AWS区域(us-east-1)和美国西部(加利福尼亚北部)区域(us-west-1)可用。AWS表示完整支持模型和区域列表见Amazon Bedrock的Supported models by AWS Region。

计费方面,使用Managed Knowledge Bases for Amazon Bedrock只为存储和检索付费;Marengo Embed 3.0的嵌入生成按标准Amazon Bedrock模型调用费率收费。

AWS列出的行业用途

AWS在公告中列举了业务影响覆盖的行业:体育分析,可跨整个赛季的素材查找特定战术、阵型或球员动作;媒体和娱乐,用于媒体资产管理、媒体档案或流媒体服务内容的语义搜索;安防,搜索监控录像中的特定事件或活动;教育和培训,按概念而非仅关键词定位讲座片段;零售,搜索产品演示视频中的功能展示。

信息来源