位置编码

NeurIPS 2024 如何缓解长文本情境下的中间信息丢失问题？

作者

最近提出的方法通过在短时间内微调插入位置编码（PE）来有效地扩展预训练 LLM 的上下文窗口。然而，现有的方法仍存在两个显著的局限性：需要对目标长度进行微调，并且难以有效利用来自上下文中间部分的信息。为了解决这些问题，本文提出了 CREAM 方法，通过操纵位置索引来生成较短序列，在保持高效的同时增强模型在处理“中间”内容时的有效性。