GPT-2

大模型训练或无需“纯净数据”！北大团队新研究：随机噪声影响有限，新方法让模型更抗噪

作者

北大团队研究发现，在训练数据中加入随机噪音并不会严重影响语言模型的性能。即使高达20%的数据被污染，模型的预测损失仅上升约1%，并提出局部梯度匹配方法进一步提升其鲁棒性。