推理成本比MoE直降83%!字节最新大模型架构入围ICLR 2025 下午11时 2025/02/12 作者 量子位 字节推出UltraMem稀疏模型架构,相比MoE和PKM架构,可实现高达83%的推理成本降低和2-6倍的推理速度提升。
ICLR 2025 比MoE快6倍,成本暴降83%!字节发布超稀疏架构UltraMem 下午11时 2025/02/12 作者 PaperWeekly 文章介绍了字节跳动豆包大模型团队提出的新稀疏模型架构 UltraMem,该架构有效解决了 MoE 推理时高额的访存问题,推理速度提升2-6倍,成本降低83%。