256K

最近提出的方法通过在短时间内微调插入位置编码（PE）来有效地扩展预训练 LLM 的上下文窗口。然而，现有的方法仍存在两个显著的局限性：需要对目标长度进行微调，并且难以有效利用来自上下文中间部分的信息。为了解决这些问题，本文提出了 CREAM 方法，通过操纵位置索引来生成较短序列，在保持高效的同时增强模型在处理“中间”内容时的有效性。