长文本向量模型在4K Tokens 之外形同盲区？

2025 年 2 月发布的 NoLiMA 是一种大语言模型（LLM）长文本理解能力评估方法。不同于传统“大海捞针”（Needle-in-a-Haystack, NIAH）测试依赖关键词匹配的做法，它最大的特点是 通过精心设计问题和关键信息，迫使模型进行深层语义理解和推理，才能从长文本中找到答案。Jina AI 技术团队受到启发，并进针对向量模型 jina-embeddings-v3 进行了类似实验。

• 向量模型能不能在长文本中进行“单跳推理”？ 传统的 NIAH 测试，问题和答案通常能直接对上（比如，“约翰哪一年去的巴黎？”和“约翰 2019 年去了巴黎”）。而我们设计的“针”不一样，它需要模型进行语义推理（比如，问题是“哪个角色去过法国？”，“针”是“Yuki 住在森珀歌剧院旁边”，模型得知道森珀歌剧院在德国才行）。
• 查询扩展能不能让长文本检索更好用？ 查询扩展就是给查询加些相关的词，让语义更丰富。我们想看看，这个方法能不能弥补向量模型在处理长文本时的不足。

• 问题：”哪个角色去过德累斯顿？”
• 关键信息：”Yuki 住在德累斯顿。”

• 问题：“哪个角色去过德累斯顿？”
• 关键信息（默认）：“事实上，Yuki 住在森珀歌剧院旁边。”
• 关键信息（倒装）：“森珀歌剧院就在 Yuki 住的地方旁边。”

Question-Haystack similarity = 0.2391

Question-Needle similarity = 0.3598
Normalized Query - Haystack similarity = 0.2391 / 0.3598 = 0.6644



为什么要归一化呢？因为不同的向量模型，算出来的相似度得分可能会不一样。而且，jina-embeddings-v3 模型通常会低估两段文本之间的相似度。
对于每一个关键信息（包括默认版本和倒装版本），我们都生成了 10 个不同长度的上下文，每一个上下文里，关键信息出现的位置都不一样。对于同一个关键信息和同一个上下文长度，这 10 个上下文大概是这样的：



另外，为了有个对照，我们还给每一种测试条件（不同的上下文长度）生成了一个不包含任何关键信息的上下文。这样算下来，我们总共生成了 3234 个上下文。
最后，我们用jina-embeddings-v3 模型（使用默认的 text-matching LoRA）对每一个上下文进行编码。如果上下文的总词元数超过了 8192（这是 jina-embeddings-v3 模型的上限），我们就把多余的部分截断，并对对应的每个问题也进行编码。


评估指标
我们设计了一套评估框架，用几个不同的指标，来衡量向量模型在不同上下文长度下的表现：
主要指标
1. 归一化相似度分数
这是最核心的指标。它不只是简单地看问题和整个上下文之间的语义相似度，还会把问题和关键信息单独拿出来比较一下。这样，我们就能知道，模型在包含关键信息的上下文里的表现，跟它在理想情况下的表现（问题和关键信息直接比较）相比，差距有多大。
具体计算方法是：先算出问题和它对应的关键信息之间的余弦相似度得分，作为基准；然后，用“问题-上下文相似度”除以这个基准，得到归一化的相似度得分。


2. 比随机瞎猜强多少

对于向量模型，只有比较同一个问题和不同文本的相似度才有意义。所以，除了归一化相似度得分，我们还要看，这个问题跟整个上下文比起来，是不是真的比跟一段同样长度但没有关键信息的随机文本更像。换句话说，我们要看看模型找到的答案是不是真的比瞎猜要准。

次要指标
1. 区分能力分析
这个指标是看模型能不能把关键信息和其他不相关的内容区分开。具体有两个方面：



平均分离度：包含答案的段落（“正例”）和不包含答案的段落（“负例”）之间的差异有多大。




AUC（曲线下面积）得分：通过计算 ROC 曲线（受试者工作特征曲线）下的面积，来衡量模型区分关键信息和其他内容的能力。



2. 位置效应
我们还会研究关键信息在上下文中的位置，会不会影响模型找到它的难易程度。我们会分析：



关键信息的位置和相似度得分之间有没有关系（相关系数）。




把关键信息放在不同位置，模型的表现会有什么变化（回归斜率）。




把关键信息按位置分组，看看不同组的表现有什么不同。





研究发现


相似度得分和准确率随着文本变长而下降
实验结果很明显：文本上下文越长，模型表现越差。平均相似度得分从 128 个词元时的 0.37 一路降到了 8K 词元时的 0.10。而且，这个下降过程不是一条直线，而是在 128 个词元到 1 千个词元之间降得特别快。





我们还发现，把关键信息的说法倒过来（倒装），对模型找到它的影响不大。不管是“实际上，Yuki 住在森珀歌剧院附近”（默认说法）还是“森珀歌剧院就在 Yuki 住的地方旁边”（倒装说法），模型找到它们的概率几乎一样：




不过，关键信息的内容类型，对模型查找的难度有影响。如果是关于地点和地标的信息，模型找起来比较容易；但如果是关于饮食和健康状况的信息，模型就比较难找，而且随着文本变长，难度增加得更快：



为了看看模型是不是真的比瞎猜强，我们把模型的结果和“随机猜测”做了个比较。“随机猜测”就是随便挑一段跟问题一样长、但不包含关键信息的文本。结果发现，上下文越长，模型的结果就越接近瞎猜，跟随便挑一段没用的文本差不多。





我们还按照关键信息的内容类型，把数据分组，再来看模型的表现。结果还是类似：有些类型的信息（比如饮食限制），即使文本不长，模型也比瞎猜强不了多少；另一些类型的信息（比如地点和地标），不管文本多长，模型都表现得不错：

不同类型信息分组，模型找到答案的概率和随机猜测的概率对比
把关键信息的说法倒过来，对模型找到它的概率基本没影响。下图展示了模型找到正确包含关键信息的文本的概率，比随机猜测的概率高多少。我们把关键信息的两种说法（默认和倒装）分开来看：




从图里能看出来，两种说法下，模型性能的变化趋势都差不多。所以，后面我们就不再区分这两种情况了。
模型还能区分有用信息和无用信息吗？
我们最重要的发现之一，是关于向量模型能不能在不同长度的文本里，区分有用信息和没用信息。我们做了一个“分离度分析”，结果发现，在 128 个词元到 1000 个词元之间，模型找到正确答案的能力掉得特别快。之后虽然还在下降，但速度就慢下来了。



短文本（128 词元）下，模型能清晰区分有用信息和无用信息，平均分离度为 0.1，AUC 达 0.81（即 100 次中有 81 次能将包含答案的段落排在前面）。
然而，随着文本变长，模型性能急剧下降。1000 词元时，分离度降至 0.04（下降 60%），AUC 降至 0.66，表明模型已难以区分。到 8000 词时，分离度几乎为零 (0.001)，AUC 接近 0.5（与随机猜测相当），这意味着模型已无法根据相似度得分区分有用信息。
模型区分有用信息的能力随文本长度增加而下降的速度非常惊人。虽然原始相似度得分从 128 词到 8000 词下降了约 75%，但分离度指标却下降了近 99%，效应量更是下降了 98.6%！这表明，向量模型处理长文本的困难，不仅在于相似度得分降低，更在于区分有用信息和无用信息的能力严重退化，远超我们之前的预期。
关键信息的位置如何影响查找难度？
一般来说，把关键信息放在文本最前面，最容易找到。但也不是说放在中间就一定难找：



实验结果也证实，关键信息放在开头的时候，最容易被找到。而且，如果文本比较短，把它放在靠近结尾的地方，也比较容易找到。但是，不管文本长短，把它放在中间位置，都不太好找：

把关键信息放在不同位置，找到它的概率对比。
查询扩展能帮上忙吗？
我们最近发了篇博客，讲的是“查询扩展”。这是一种搜索里常用的方法，简单来说，就是在你提问的时候，给你的问题里加点相关的词，让搜索结果更准确。



自从有了向量模型，搜索的方式发生了很大的变化。那像“查询扩展”这种主要靠加词汇的方法，在 AI 时代还有用吗？我们认为还是有用的。
在那篇博客里，我们用大模型（LLM）生成了一些扩展词，然后把这些词加到查询向量里，结果发现搜索效果更好了。现在，我们想看看这招对“大海捞针”这种长文本检索任务有没有帮助。比如说，当你问：
哪个角色去过德累斯顿？
我们用大模型（Gemini 2.0）给它扩展一下，加上 100 个相关的词，大概长这样：



哪个角色去过德累斯顿？ 角色：虚构角色 文学角色 主角 反派 人物 角色 身份 剧中人物
德累斯顿：德国德累斯顿；二战德累斯顿轰炸 历史小说 库尔特·冯内古特 《五号屠宰场》 萨克森州城市 易北河 文化地标
去过：访问过 去过 曾到过 出现于 出现于 特征为 设定在 发生于 地点 背景




查询扩展能起多大作用？
我们做了个实验，生成了三组扩展后的查询，每组分别加了 100 个、150 个和 250 个词（具体怎么加，可以看看这篇文章）。然后，我们把之前的实验又跑了三遍，每次用一组不同的扩展查询。
结果发现，不管加多少词，只要文本一长，模型表现就拉胯，跟不使用查询扩展的时候差不多：




跟没扩展的问题比，所有加了词的情况，都还是老样子：文本越长，性能越差。而且，这个下降过程还是不均匀的，在 128 个词到 1K 个词之间降得最厉害：




但是！仔细看看“比较比率”这个指标，就会发现查询扩展还是有用的：它能让模型更容易找到包含关键信息的文本。如果不做查询扩展，模型在 8K 词元长度下的表现就跟随机猜测差不多了。
如何解释查询扩展的结果？
上面这些结果，跟 NoLiMa 论文，还有我们之前“查询扩展”研究的发现，都是一致的。可以这样解释：



适度加词效果最好：加 100 个词比加 150 个、250 个词效果好，说明查询拓展时，加词得有个度，加太多反而会带来语义噪声而不是信号，干扰模型的判断。加 250 个词的时候，很可能加进去一些跟问题相关性较弱的术语，在长文本里这些词就帮倒忙了。




长文本依然是核心挑战：即使进行了查询扩展，上下文一长，模型性能还是会显著下降。目前基于注意力的模型架构在处理长文本时存在根本性的瓶颈，这个问题不是简单地增加几个词就能解决的。




查询拓展仍有价值：虽然无法完全克服长文本带来的挑战，但“比较比率”指标始终高于 0.5，这说明着查询扩展还是有效果的。就算是 8 千词元的长文本，经过查询扩展后的问题也比随机猜测要更容易找到正确答案。这给了我们一个启发：查询扩展仍然是提升向量模型长文本处理能力的一个有潜力的方向，值得进一步探索。





字面匹配对向量模型的影响？
在之前的实验中，为了衡量向量模型在长文本中进行“单跳推理”的能力，我们特意避免让问题和关键信息之间有任何字面上的重复。结果表明：即使做了查询扩展，模型在长文本中找到相关信息的能力还是会变差。这个现象很有意思。按理说，向量模型应该有能力自己完成这种推理，不需要额外帮忙。毕竟，我们只是把“德累斯顿”换成了“森珀歌剧院”，本质上就是用一个意思相近的词替换了另一个词。
那么，字面匹配在语义匹配中到底有多重要？还是说文本长度的影响更大？为了找到答案，我们重新设计了实验，让关键信息和问题之间存在字面上的重复，比如：


问题：“哪个角色去过德累斯顿？”


关键信息（默认）：“实际上，Yuki 住在德累斯顿。”


关键信息（倒装）：“德累斯顿是 Yuki 住的地方。”


注意，这里我们直接给出了“Yuki 住在德累斯顿”这个信息，而不是像之前那样，需要读者自己推理出“森珀歌剧院在德累斯顿，所以住在附近的人去过德累斯顿”。
我们把所有 22 组问题和关键信息都改成了这种直接的形式，然后用同样的向量模型 jina-embeddings-v3 重新跑了一遍实验，各种文本长度和关键信息的位置都试了。




结果出乎意料。即使问题和答案里有相同的词，只要文本一长，模型区分正确答案和随机猜测的能力还是会迅速下降。当然，比起完全没有相同词的情况，还是要稍微好一点。
这最终证明了，比起关键信息的具体措辞（语义表述），上下文的长度，以及关键信息在其中的位置，对向量模型在“大海捞针”任务中的表现影响更大。


结论
总的来说，我们用向量模型做的实验，结论跟 NoLiMA 用大型语言模型做的实验一致：文本越长，模型就越难找到正确答案。我们的实验还证明，就算问题和答案里的关键词一模一样，模型也不一定能找对。
我们的实验结果与 NoLiMA 论文对 LLM 的发现高度一致：对于向量模型，上下文长度是影响检索性能的关键因素，文本越长，模型就越难找到正确答案。就算问题和答案里的关键词一模一样，模型也不一定能找对。



性能随长度锐减：jina-embeddings-v3 在短文本（128 词元）下表现出色，但在长文本下性能迅速下降。归一化相似度得分从 128 词元时的 0.37 降至 8K 词时的 0.10。更重要的是，模型区分相关信息和无关信息的能力（我们称之为“分离度”）几乎完全消失了。




“单跳推理”很困难：即使在短文本下，如果问题和答案之间没有直接的字面重叠，模型的表现也会明显变差。这说明，向量模型在进行“单跳推理”（例如，从“住在森珀歌剧院旁边”推断出“去过德累斯顿”）时存在困难。




查询扩展有帮助，但不是万能的：查询扩展可以在一定程度上提高检索性能，特别是在长文本下，使模型表现优于随机猜测。但是，它并不能完全解决长文本带来的问题，性能还是会随着文本变长而下降。而且，加词也得小心，不相关的词反而会引入语义噪声，降低性能。




字面匹配不是关键：就算问题和答案里有一样的关键词，只要文本一长，模型还是找不到。这说明，比起答案怎么说，文本有多长，答案在文本里的位置，对模型能不能找到答案的影响更大。



总的来说，我们的研究表明，像 jina-embeddings-v3 这样的向量模型，处理短文本很有一套，但要处理那些需要深入理解语义的长文本，还是力不从心。这促使我们继续探索更有效的长文本检索技术，希望在未来的 jina-embeddings-v4 中有所突破。


（文：AI科技大本营）
欢迎分享