1%

北大团队研究发现，在训练数据中加入随机噪音并不会严重影响语言模型的性能。即使高达20%的数据被污染，模型的预测损失仅上升约1%，并提出局部梯度匹配方法进一步提升其鲁棒性。