OpenAI, Google

Lucas Beyer分析了微软提出的DiffTransformer论文，指出其通过两个注意力头的差值来改善Transformer模型信噪比的问题。尽管存在一些质疑，Beyer认为该方法具有简单而有效的创新点，并强调需要更多图表和实验结果以验证其潜力。