Transformer模型

本文介绍了一种名为MemoryFormer的新型Transformer模型，通过使用存储空间替代传统全连接层来降低推理时计算复杂度。MemoryFormer利用哈希算法和局部敏感哈希索引方法，在保持性能的同时大幅减少了模型的计算量，为大模型高效推理提供了新解决方案。