Cohere的Embed 5与Rerank 5上线OpenRouter，可用同一API密钥搭建RAG流水线
Cohere称这是其最强的检索模型，并给出了一套按“Embed 5 Pro建索引用Fast查询、Rerank 5重排”分工的Python示例；文章还报告Fast查询在Pro索引上保留了 98.4% 的全Pro检索质量。
AI解读：Cohere宣布Embed 5和Rerank 5已在OpenRouter上线，用户沿用现有OpenRouter API密钥和额度即可调用，无需额外设置。Cohere称两者是其迄今最强的检索模型，但这一性能说法来自公司自身，来源未提供独立的第三方评测。
来源给出的RAG流程分为离线索引和在线问答两段：每个语料只建一次索引，用Embed 5 Pro以search_document生成向量；每次提问则调用一次Embed 5 Fast（search_query）、一次Rerank 5和一次聊天模型。
两个模型的设计特点支撑了上述分工：Embed 5 Pro与Fast共享同一嵌入空间，因此可用Pro建索引、Fast查询，前提是维度一致；Rerank 5的分数经过校准，同一阈值可跨查询和领域过滤弱上下文。
来源引用Cohere在 40 个数据集上的测试称，用Fast查询Pro索引保留了 98.4% 的全Pro检索质量，而Fast对Fast为 96.6%；这组数字只反映该测试范围，不能外推到其他模型或数据。
示例中建议检索取 20 个候选、重排保留前 5 并设 0.3 的分数下限，未过阈值就不调用LLM。Rerank 5支持 32k token的查询与文档合计长度，仅处理文本，解析后的PDF需按文本重排。
Cohere在官方博客宣布，Embed 5和Rerank 5已在OpenRouter上线，现有OpenRouter用户可用同一API密钥和额度直接调用，无需额外配置。文章用一段Python示例演示如何把两者接入检索增强生成（RAG）流水线。
示例流水线的分工与调用次数
Cohere把RAG拆成两半：离线的建索引任务，以及每次提问都要跑的在线路径。索引每个语料只建一次，用Embed 5 Pro以search_document类型生成向量并归一化；之后每个问题消耗一次Embed 5 Fast调用、一次Rerank 5调用和一次聊天调用，全部经由OpenRouter的API。
示例用NumPy做内存向量库，并注明生产环境应换成pgvector、Qdrant、Pinecone或Weaviate等向量数据库。检索阶段取余弦相似度最高的 20 个候选，重排后保留前 5，并丢弃低于 0.3 分数的结果；如果没有结果过阈值，就跳过LLM调用，直接返回未找到。
- 索引：文档切块后用cohere/embed-5-pro生成向量，示例维度取 1024
- 提问：cohere/embed-5-fast生成查询向量，取前 20 个候选
- 重排：cohere/rerank-5-pro或rerank-5-fast打分，阈值MIN_SCORE = 0.3
- 生成：把入选文本连同标题作为编号来源交给聊天模型，要求只依据来源作答并标注引用
共享嵌入空间与校准分数
Cohere称Embed 5 Pro和Fast共享同一嵌入空间，因此可以用Pro建索引、用Fast查询，只要两侧维度一致。来源引用Cohere在 40 个数据集上的测试结果：Fast查询Pro索引保留了 98.4% 的全Pro检索质量，Fast对Fast为 96.6%。该对比仅限Cohere自己的测试，来源没有给出其他模型家族的数据，并指出换用其他模型时必须两侧使用同一模型。
Rerank 5的分数被描述为经过校准，同一分数在不同查询和领域下含义一致，因此可以用一个固定阈值过滤弱上下文。来源还称Rerank 5支持查询与文档合计 32k token，长块可整体打分，JSON记录和表格格式化为YAML字符串后重排效果较好；升级重排模型不需重建索引。Rerank 5仅处理文本。
- 用Pro建索引、Fast查询的前提是两侧维度相同
- 来源建议推理密集、长文档或领域文档用rerank-5-pro，高频搜索和代理场景用rerank-5-fast
- 重排读取原始文本，切换模型只需改一行配置
示例中的一组对比结果
文章以提问“如何在不中断服务的情况下轮换API密钥”做演示。仅用Embed 5时，排序前三依次是“Rotating API keys”（0.522）、“Webhook signing secrets”（0.337）和“Creating API keys”（0.316）；加入Rerank 5后，第一条重排分为 0.808，后两条落到 0.3 阈值以下被丢弃。作者用这一例说明重排能压掉与问题接近但不相关的候选，但这只是单个示例，来源未提供更大范围的评测数据。