连续概念混合(Continuous Concept Mix, CoCoMix)

Meta团队提出的新方法CoCoMix超越传统的NTP范式，直接在语句级别上进行语言建模，减少21.5%的数据量。该方法通过预测和混合连续概念来提高模型性能，并且可以实现弱监督到强监督的转换，增强可解释性和可控性。