880M参数

Meta FAIR团队提出多token注意力机制（MTA），利用键-查询卷积和头混合卷积，显著提升Transformer模型的性能。通过结合不同查询和键信息，实现精准的信息处理，解决传统注意力机制在复杂信息检索中的不足。