傅里叶位置编码

清华大学团队提出傅里叶位置编码（FoPE），通过鲁棒性强的位置编码克服Transformer在处理长文本时的周期性延拓限制，显著提升模型的长文本泛化能力。