博士宿舍激情脑暴，革新了Scaling Law？Qwen和浙大联手推出新定律，直接干掉95.5%推理内存！
算缩放定律（Parallel Scaling Law，简称 ParScale），即在训练和推理期间增
ParScale
一作解读！从idea视角，聊聊Qwen推出的新Scaling Law——Parallel Scaling
MLNLP社区介绍了一个名为ParScale的新方法来扩展大语言模型的计算量，该方法可以在保持参数不变的情况下显著提升推理效率，并且适用于各种场景。通过将输入变换形式和输出聚合规则变为可学习的并增大并行计算数量，该技术展示了在推理和预训练阶段的有效性。