因果语言建模

MLNLP社区分享了关于RHO-1论文的解读，该论文提出了选择性语言建模(SLM)，通过分析文本中的不同token对模型学习的影响，提出只对有价值的token进行训练的方法。此方法能够显著提升效率并提高性能。