腾讯、华为、微软、阿里专家齐聚一堂,共谈推理优化实践 | AICon
文章介绍了大模型推理性能优化的重要性及其主要方向,并提及将在AICon大会上举办的专题论坛。嘉宾分享内容涵盖GPU推理加速、模型量化剪枝策略、混合模式优化、智能调度与并行策略等内容,旨在提供实际经验和优化思路。
文章介绍了大模型推理性能优化的重要性及其主要方向,并提及将在AICon大会上举办的专题论坛。嘉宾分享内容涵盖GPU推理加速、模型量化剪枝策略、混合模式优化、智能调度与并行策略等内容,旨在提供实际经验和优化思路。
英伟达CEO黄仁勋再次访问北京,讨论中国市场对英伟达的重要性。美国政府的芯片出口限制导致股价下跌,但黄仁勋表示将继续服务中国市场,并为中国市场开发符合监管要求的产品。
截止到今晚十点,AI春训营第一期共学人数达5422人(覆盖海内外1100所高校和1240所企业),浙大学习最积极。海外高校中悉尼大学参与最多,华为、中国电信、百度是参与学习人数排名前三的企业。
华为训练出的盘古Ultra模型参数量为135B,在数学、编程等推理任务中与DeepSeek-R1相当。该模型在预训练和指令调优阶段采用了Sandwich-Norm层归一化、TinyInit初始化策略及多并行优化技术,实现了52%以上的算力利用率,并在多个数据集上取得优异表现。
阿维塔计划在2026年后推出自研智能座舱,但该“自研”仅用于海外车型。虽然华为与阿维塔的合作加深,但仍主要依托长安汽车平台开发新车型。业界认为此举并非逆势而为,而是逐步替代现有方案的一种尝试。
量子位报道了中科大与华为合作开发的推荐大模型部署方案在国产昇腾NPU上的成功应用。该模型采用了生成式推荐范式,具备扩展性,并在多域、多行为和排序任务中取得了显著成果。