摩尔线程副总裁王华：基于FP8的国产万卡集群训练

6月26日，由智猩猩、智东西共同发起主办的2025中国AI算力大会将在北京中关村东升科技园万丽酒店正式举行！本次大会也是“智领未来”北京人工智能系列活动之一。

大会设有主会场、分会场和展览区。其中，主会场将进行高峰论坛、AI推理算力专题论坛和智算中心专题论坛，分会场全天将先后进行智算集群异构混训技术研讨会、超节点技术研讨会。

王华，摩尔线程副总裁，负责AI与云计算相关业务，工作内容涵盖智算集群的软硬件栈，包括计算、存储、网络、集群管理、AI软件等方面，孵化了基于MTT GPU的智算集群产品，支持大规模分布式模型训练和推理。

《基于FP8的国产万卡集群训练》

随着计算量的不断攀升，大模型训练需要一个“大且通用”的加速计算平台来缩短训练时间，实现模型能力的快速迭代。

当前，国际科技巨头都在积极部署万卡乃至超万卡规模的计算集群，以确保其大模型产品的竞争力。随着模型参数量从千亿迈向万亿，模型能力更加泛化，大模型对底层算力的需求也在不断升级，万卡甚至超万卡集群成为这一轮大模型竞赛的基本要求。

顺应趋势，摩尔线程宣布其AI旗舰产品夸娥（KUAE）智算集群解决方案实现了重大升级，从当前的千卡级别大幅扩展至万卡规模。作为国内首家支持全计算精度的全功能GPU企业，摩尔线程率先实现FP8精度计算，其全功能GPU可高效满足DeepSeek V3/R1等大模型的FP8原生预训练计算需求。

本次演讲将分享摩尔线程万卡集群实践经验，讲述国产GPU在实际部署中的挑战与难点，以及阐述摩尔线程软硬一体的集群解决方案的优势与关键特性。