DyT

何恺明和LeCun团队提出替代Transformer归一化层的DyT方法，其性能达到或超过标准Transformer。通过几行PyTorch代码实现，适用于多种任务和模型架构。