华为又开源了个大的:超大规模MoE推理秘籍
华为开源Omni-Infer项目,提供超大规模MoE模型推理的框架和加速套件。支持昇腾硬件平台上的大模型推理,并实现PD分离自动化部署,简化使用环境与安装流程。
华为开源Omni-Infer项目,提供超大规模MoE模型推理的框架和加速套件。支持昇腾硬件平台上的大模型推理,并实现PD分离自动化部署,简化使用环境与安装流程。
越来越多青年开发者将参与核心技术研发。西北工业大学软件学院副教授徐韬团队与昇腾平台合作,研发多模态AI方法应用于抑郁症初筛系统和认知增强系统,并通过教学革命推动国产AI生态的发展。
算力平台崛起承载国家自主可控战略使命。华南理工大学计算机科学与工程学院教授陆璐团队深耕软件体系架构、可靠性保障及AI算力平台性能优化,并在昇腾平台合作中取得显著进展,提升了平台性能并推动了生态繁荣。他强调夯实基础算子库、高效建设算子模板库以及优化AI编译器的重要性,同时指出人才是关键所在。