NeurIPS’24|推理计算量减小10倍!MemoryFormer:华为提出存储代替计算的Transformer新架构

本文介绍了一种名为MemoryFormer的新型Transformer模型,通过使用存储空间替代传统全连接层来降低推理时计算复杂度。MemoryFormer利用哈希算法和局部敏感哈希索引方法,在保持性能的同时大幅减少了模型的计算量,为大模型高效推理提供了新解决方案。