PaperWeekly

TokenFormer 是一种新的网络结构，通过在注意力机制中引入参数化键值对，实现了模型的灵活扩展和性能提升。它展示了在语言建模和视觉建模上的卓越能力，并提出了专家混合、参数高效微调、端云协同和增强可解释性等未来研究方向。