自注意力机制

哈工大深圳、鹏城实验室和昆士兰大学合作提出了一种极性感知线性自注意力机制（Polarity-aware Linear Attention），解决了现有方法在保证注意力分数正值性时会忽视掉 Q,K 矩阵中的负值元素的问题，并在多个视觉任务上取得了精度与效率的平衡。