刚刚,DeepSeek开源MoE训练、推理EP通信库DeepEP,真太Open了!
DeepSeek 开源首个用于MoE模型训练和推理的EP通信库 DeepEP,优化高效通信和并行处理,支持FP8精度,并提供灵活资源调度。
DeepSeek 开源首个用于MoE模型训练和推理的EP通信库 DeepEP,优化高效通信和并行处理,支持FP8精度,并提供灵活资源调度。
DeepSeek OpenSourceWeek 发布了首个面向MoE模型的开源EP通信库 DeepEP。它提供了高性能All-to-All通信内核、集群内和集群间全面支持,以及训练和推理预填充及推理解码低延迟内核等特性。性能测试显示其在不同场景下都能提供出色的通信性能。
大摩上调阿里巴巴评级至‘超配’,目标价从100美元上调至200美元。预计阿里云收入三年内翻倍,EBITDA利润率将提高到约35%。基于乐观预期,阿里的分拆估值为每股200美元,其中云业务估值为每股60美元,使得阿里云市值达到1400亿美元。
DeepSeek本周发布的新版本DeepEP为混合专家模型提供高效的通信解决方案,支持Hopper GPU架构。通过优化的核心、低延迟操作和创新的通信-计算重叠方法提升了模型在训练和推理阶段的性能。
微软取消多个数据中心租赁协议涉及数百兆瓦。TD Cowen认为这表明微软可能面临供应过剩问题。鉴于其资本支出增长曲线最大,其他公司可能会效仿。此举引发对AI投资热潮的担忧。
近日推理大模型相关前沿回顾包括Claude 3.7的发布,Qwen的QwQ模型开源,FlashMLA的开源及PaliGemma 2 Mix模型的开源。文章还总结了大模型逻辑推理技术,并提出了一些值得思考的问题。