OpenInfra基金会

华为Omni-Infer项目开源，提供推理超大规模MoE的框架和加速套件。支持昇腾硬件平台的大模型推理，兼容主流开源框架，具有智能调度、负载平衡等功能。