Cohere于周三发布了Embed 5，该模型让团队能够使用Embed 5 Pro对数据进行索引，同时用速度更快、成本更低的Embed 5 Fast来查询这些相同的向量，而不需要创建第二套索引。
该公司建议使用Pro进行索引、使用Fast进行查询，尤其适用于RAG（检索增强生成）和智能体工作负载场景，因为在这些场景中，同一数据会被反复搜索，延迟问题会不断累积。
这种做法在检索质量上存在一定取舍，不过Cohere的测试显示这种损失相当有限。在涵盖文本、图像、融合文档和解析文档的40个数据集测试中，以Pro索引、Fast查询的方式得分为98.4，而Pro对Pro的基准得分为100。如果索引和查询都使用Fast，得分则降至96.6。Cohere表示，在Pro和Fast搭配使用的情况下，没有任何单个数据集出现明显的质量下降。
共享一个嵌入空间的两个模型
由于Pro和Fast共享同一个嵌入空间，团队可以在两者之间切换，而无需对语料库重新进行嵌入处理。两者在相同维度下生成的向量是兼容的，Cohere表示，即便使用Matryoshka截断或int8量化，团队依然可以混用这两个模型。
由于Pro和Fast共享同一个嵌入空间，团队可以在两者间自由切换而不必重新嵌入语料库。
Pro的价格为每百万Token 0.12美元，而Fast为0.08美元，在Cohere的测试中，Fast的文档处理吞吐量平均达到Pro的2.4倍。对于文档摄入频率远低于搜索频率的RAG系统而言，可以让Pro处理进入索引的文档，同时由Fast处理更为繁重的查询流量。
借助Matryoshka缩减向量规模
两款模型都支持从256到2048的六种向量维度，并支持float32、int8和二进制格式。在规模化部署中，存储空间的差异会变得十分显著，这对于那些正在重新考量向量存储方式的团队尤为重要。
Cohere给出的数据显示，一个2048维的float32向量占用8KB，若有1亿个文本块，总存储量约为819GB。而1024维的int8向量可将这一数字降至约102GB，256维的二进制向量则能将同样规模的语料库压缩至约3.2GB。
对于大多数部署场景，Cohere建议使用1024维int8格式，这样既能减少内存和存储占用，又能基本保持接近全精度的检索质量。二进制表示法能提供更强的压缩效果，但会带来一定的精度损失，更适合用于初始检索阶段，之后再配合高精度的重排序环节。
两款模型都支持从256到2048的六种向量维度，并支持float32、int8和二进制三种格式。
超越纯文本的检索能力
Embed 5支持文本、图像以及文本图像融合输入，覆盖100多种语言，上下文窗口达到128K Token。该模型可以直接对页面图像进行嵌入处理，也可以将图像与文本输入结合为单一向量。
Cohere报告称，在其五个数据集组成的融合文本图像评测中，Pro的平均得分为82.3，Fast为81.2，而谷歌的Gemini Embedding 2得分为61.3。在解析PDF的评测中，Pro得分84.8，紧随其后的是Voyage 4 Large的83.6、Fast的83.4，以及Gemini Embedding 2的80.8。
在ViDoRe V3评测中（该评测使用的是由基准测试作者整理的解析文本输出，而非页面图像），Pro平均得分85.8，Fast为84.5，相比之下Voyage 4 Large为83.7，Gemini Embedding 2为83.2，而Cohere此前的Embed 4仅为77。
Cohere在多语言方面的结果则不那么一边倒，这一点颇为引人注目，尤其考虑到该公司近期在机器翻译领域的发力。在五种欧洲语言的平均得分上，Pro以77分领先，Voyage 4 Large为76分，Gemini Embedding 2为73分，但在九项测试中Pro落后于Gemini Embedding 2。
解读基准测试的细节说明
这些基准测试结果需要一些背景说明，因为Embed 5是Cohere首个采用RCP-nDCG@10评测方式的模型系列，该方法使用针对具体查询的相关性标准，而非固定的相关性标签。
Cohere表示，这种方法能够发现原始基准标签遗漏的相关结果，但RCP-nDCG@10衡量的是在固定候选集上的重排序效果，而非从完整语料库中进行的第一阶段检索。
第一阶段检索则单独使用标准的nDCG和召回率指标进行评估，而融合文本图像、页面图像以及跨模型测试则使用标准的nDCG@10指标，因此各项评测得出的分数之间并不能直接进行比较。
将索引与服务分离
Embed 5带来的更为重要的变化，是让团队能够将索引和服务当作两个独立的基础设施决策来处理。同一语料库可以针对检索质量进行索引，同时查询路径则可以针对吞吐量和延迟进行优化，而无需维护两套数据表示形式。
Cohere给出的98.4分表明，在其测试中，Pro索引加Fast查询的组合方案在检索质量上的损失相对较小，不过这一数字是对Cohere自身评测套件的平均结果。在实际生产环境中，RAG和智能体系统仍需要在自己的语料库和查询分布上，对Pro-Fast组合与Pro-Pro组合进行基准测试，尤其是在检索错误可能会沿着智能体工作流的多个步骤持续传递的情况下。
Embed 5 Pro和Fast已可通过Cohere的API和Model Vault、微软Foundry以及亚马逊SageMaker获取，并支持通过vLLM在私有VPC和本地环境中部署。
在实际生产环境中，RAG和智能体系统仍需要在自己的语料库和查询分布上，对Pro-Fast组合与Pro-Pro组合进行基准测试，尤其是在检索错误可能沿着智能体工作流的多个步骤持续传递的情况下。
Q&A
Q1：Cohere Embed 5是什么？
A：Embed 5是Cohere发布的最新嵌入模型系列，包含Embed 5 Pro和Embed 5 Fast两个版本，支持团队用Pro索引数据、用Fast进行查询，而无需创建第二套索引。
Q2：使用Fast查询会不会影响检索质量？
A：会有一定影响，但较为有限。Cohere测试显示，以Pro索引、Fast查询的得分为98.4（满分基准为100），如果索引和查询都用Fast，得分会降至96.6。
Q3：Embed 5支持哪些数据类型和部署方式？
A：Embed 5支持文本、图像及文本图像融合输入，覆盖100多种语言，支持128K Token上下文窗口。可通过Cohere的API、微软Foundry、亚马逊SageMaker获取，并支持通过vLLM进行私有化部署。
