日期: 2025 年 1 月 30 日

大模型推理更可能是概率模式匹配？北大团队从蒙特卡洛语言树的新视角解读GPT，思维链原理也有新的理解

作者

北大课题组通过将语言数据集和GPT模型展开为蒙特卡洛语言树（Data-Tree 和 GPT-Tree），揭示了现有大模型拟合训练数据的本质是寻求一种更有效的近似方法。同时，作者提出大模型中的推理过程可能是概率模式匹配而非形式推理。

大模型训练开销还能更小！微软推出首个FP4训练框架，训练效果与BF16相当

作者

首个FP4精度的大模型训练框架发布，可使所需存储和计算资源更少。与BF16相当的训练效果下，最高可达130亿参数规模的模型。研究团队采用定制化的FP4矩阵乘法、不同粒度量化策略以及新的梯度估计方法。