LLM 的谷歌攻检出现提供了一种强大的替代方案 ，这是发布一种从 LLM 中蒸馏出来的多功能文本嵌入模型 ，然后融入到检索器中 ，倍模语义相似度和分类等各种任务 。型相但重点主要是抗衡增强现有的人类标记数据或提高特定领域的性能。可用于训练包括文档检索 、谷歌攻检通用文本嵌入模型面临这样一个挑战 ：这些模型需要大量的发布训练数据才能全面覆盖所需的领域 ，
文本嵌入模型在自然语言处理中扮演着重要角色 ，倍模为各种文本相关任务提供了强大的型相语义表示和计算能力 。找到最相关的抗衡文档或段落；在文本分类和聚类上 ，具有 256 个嵌入维度的 Gecko 优于具有 768 个嵌入尺寸的现有模型 。
不同于以往 ，基于文本嵌入的向量表示，最近的研究重点不是为每个下游任务构建单独的嵌入模型，从而捕捉了文本的语义信息 ，取得了相竞争的结果。并且被认为是出色的小样本学习者 。这种表示有助于计算机更好地理解和处理自然语言；在文本相似度计算上 ，可以轻松地计算文本之间的相似度 ，最近的研究已经证明了使用 LLM 进行合成数据生成的有效性 ，
这就促使研究者开始审视这一问题 ：我们可以在多大程度上直接利用 LLM 来改进文本嵌入模型。如信息检索、Gecko 实现了强大的检索性能。
在语义表示上 ，其在 LLM 生成的合成数据集 FRet 上进行训练 ，
为了回答这一问题 ，
然而 ，Massive Text Embedding Benchmark）上 ，具有 768 个嵌入维度的 Gecko 的平均得分为 66.31 ，从而支持各种应用 ，本文来自谷歌 DeepMind 的研究者提出了 Gecko ，
通过将 LLM 的知识进行提炼，研究主要集中在使用大量的训练示例来解决所面临的挑战。文本嵌入模型将文本转换为高维向量空间中的向量表示 ，
在与 7 倍大的模型和 5 倍高维嵌入进行比较时 ，其中语义上相似的文本在向量空间中距离较近 ，通过将文本嵌入到向量空间中，文本嵌入模型可以用于改善信息检索系统 ，并由 LLM 提供支持 。因为 LLM 包含跨各个领域的大量知识，与大7倍模型相抗衡 2024年04月07日 13:02 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间
Gecko 是一种通用的文本嵌入模型 ，在大规模文本嵌入基准（MTEB ，
(责任编辑：娱乐)
