推理、训练、数据全链条的工程挑战,谁在构建中国 AI 的底层能力?|AICon 北京
AICon 全球人工智能开发与应用大会·北京站聚焦国产 AI 基础设施建设的系统层关键议题,涵盖国产芯片推理适配、开源部署实践、大规模训练容错机制等多个方向。
AICon 全球人工智能开发与应用大会·北京站聚焦国产 AI 基础设施建设的系统层关键议题,涵盖国产芯片推理适配、开源部署实践、大规模训练容错机制等多个方向。
清华系科创企业清程极智联合清华大学团队开源大模型推理引擎”赤兔”,支持非H卡设备运行原生FP8模型,相比vLLM方案,使用GPU数量减少50%,输出速度提升3.15倍。