自回归机制

清华、中国人民大学与蚂蚁集团联合发布LLaDA模型，采用扩散方式打破自回归垄断，性能媲美Llama 3 8B。该模型颠覆大语言模型认知，采用掩码扩散模型训练范式，实现全局视角生成；在数学问题解答、多轮对话、代码生成等方面表现出色。相关资源包括论文和项目主页。