C4 数据

普林斯顿大学研究团队提出了一种名为MeCo的方法，通过在大规模预训练模型中加入文档链接信息来提升下游任务性能。该方法能够减少33%的数据和计算量，并在不同规模的模型上均提升了性能，在多个数据源上也表现出了显著优势。