并行计算

MLNLP社区介绍了一个名为ParScale的新方法来扩展大语言模型的计算量，该方法可以在保持参数不变的情况下显著提升推理效率，并且适用于各种场景。通过将输入变换形式和输出聚合规则变为可学习的并增大并行计算数量，该技术展示了在推理和预训练阶段的有效性。