Anthropic推出Message Threads公测:长对话首字延迟降低约 35%
Anthropic称,Message Threads公测版只传上一条消息以来变化的内容,在 50 万至 100 万token的请求中把首token时间缩短约 35%;token用量不变,线程闲置 5 分钟后过期。
AI解读:Anthropic在Claude平台以公开测试形式发布Message Threads,面向Messages API使用方。此前每个API请求都要重发整段对话历史,现在只传输上一条消息以来发生变化的内容。
据Anthropic提供的数据,在 50 万至 100 万token的请求区间,首token时间(time to first token)降低约 35%。这一区间是延迟改善的测量范围,不代表其他长度的请求有同等幅度。
Anthropic称受益最明显的是编程智能体(coding agents)、计算机使用智能体(computer-use agents),以及处理大量文档或图像的工作流。这是公司对适用场景的判断,来源未给出这些场景的独立测试结果。
线程在两次请求之间以加密形式保留在内存中,闲置 5 分钟后过期。token用量不会减少,因为Claude仍要读取完整对话历史;该功能不改变计费所依据的token数。
Anthropic在Claude平台以公开测试形式发布Message Threads。此前每个API请求需重发完整对话历史,现在只发送自上一条消息以来变化的内容。Anthropic称,在 50 万至 100 万token的请求中,首token时间降低约 35%。
改动落在请求传输环节
Message Threads面向Messages API。此前每轮请求都要携带整段历史;改用线程后,请求只传新增部分。按Anthropic的说法,这缩短了长对话在服务端读取历史并开始生成之间的等待。
- 发布形式:公开测试(public beta)
- 平台:Claude平台,并通过AWS、Microsoft Foundry和Google Cloud提供
- 延迟改善:50 万至 100 万token请求的首token时间约降低 35%(Anthropic数据)
- token用量:不变,Claude仍需读取完整对话历史
- 生命周期:线程在两次请求之间加密保留在内存中,闲置 5 分钟后过期
公司点名的适用场景
Anthropic称,编程智能体、计算机使用智能体和处理大量文档或图像的工作流受益最明显。这些场景的共同点是对话或上下文长、请求轮次多,也因此更依赖减少每轮重传历史的开销。该判断由Anthropic给出,来源未附这些场景的单独性能数据。