MoE

字节跳动豆包团队提出UltraMem架构，通过分层动态内存结构、Tucker分解检索和隐式参数扩展三项创新突破MoE架构的瓶颈，推理成本降幅最高83%，速度提升6倍，入选ICLR 2025。