Llama模型

首个FP4精度的大模型训练框架发布，可使所需存储和计算资源更少。与BF16相当的训练效果下，最高可达130亿参数规模的模型。研究团队采用定制化的FP4矩阵乘法、不同粒度量化策略以及新的梯度估计方法。