预训练语言模型

字节Seed团队提出AttentionInfluence方法，利用小型预训练模型选择对大语言模型推理能力有显著提升的数据。通过屏蔽关键头部并计算损失差异来评估数据重要性，最终在多个基准测试中提高了模型性能。