小模型指导大模型！田渊栋等爆锤蒸馏：新方法更高效、更透明、更可控
Meta团队提出的新方法CoCoMix超越传统的NTP范式，直接在语句级别上进行语言建模，减少21.5%的数据量。该方法通过预测和混合连续概念来提高模型性能，并且可以实现弱监督到强监督的转换，增强可解释性和可控性。
Meta团队
No More Next-Token Prediction？
Meta 团队提出无需 tokenizer 的 BLT 架构和大型概念模型（LCM），LCM 舍弃 Token，在语义空间中进行推理和生成，引起业内热议。