华为盘古风暴升级:吹哨人再发《讨贼檄文》,实锤细节公开
华为盘古模型项目负责人王云鹤被指剽窃成果、技术造假。文章指出,王云鹤调集资源将国产昇腾芯片训练体系替换为NVIDIA方案,并通过135B模型的署名问题进一步曝光人才流失情况。
华为盘古模型项目负责人王云鹤被指剽窃成果、技术造假。文章指出,王云鹤调集资源将国产昇腾芯片训练体系替换为NVIDIA方案,并通过135B模型的署名问题进一步曝光人才流失情况。
华为诺亚方舟实验室提出思维森林(Forest-of-Thought,FoT)高阶推理框架,通过多棵并行推理树和动态自我修正机制提升大模型在数学逻辑等复杂任务中的表现。该方法在多个数学推理任务中表现出色,准确率高达97.33%。
论文提出UniGRF统一生成式推荐框架,将召回和排序整合到一个自回归生成模型中,通过Ranking-Driven Enhancer和Gradient-Guided Adaptive Weighter实现高效协作与优化。实验表明其在多个公开数据集上性能显著优于现有SOTA模型。
SCoT团队提出了一种新的推理范式SCoT,它能动态调整推理链长度来适应不同复杂度的问题。AtomThink框架则是一个全过程训练和评估的系统,旨在提升多模态大模型在复杂推理任务上的表现。
华为诺亚方舟实验室提出思维森林FoT框架,通过整合多个推理树解决复杂逻辑推理任务。该方法引入稀疏激活、动态自校正和共识引导决策策略,显著提升了LLM的高阶推理能力。
华为诺亚方舟实验室提出统一多模态大模型ILLUME,仅使用约15M图文对数据实现视觉理解、生成等任务的出色表现,并采用自提升式多模态对齐策略促进理解和生成能力协同进化。
本文介绍了来自北京大学和华为的研究团队对量化技术在大语言模型中的应用及其影响进行了研究。他们发现量化会显著降低大模型的基本数学能力,尤其是在处理算术任务时表现更差。研究者提出了理论模型来解释这一现象,并通过实验验证了其结果。