逐字生成非最优?试试逐「块」生成!Block Diffusion打通了自回归与扩散

研究提出块离散去噪扩散语言模型(BD3-LMs),结合扩散和自回归模型的优点,实现任意长度序列生成,并在多个语言建模基准上达到新的SOTA困惑度水平。

AI大佬曼宁转赞,MetaGPT团队首提「Atom of Thoughts」,原子化思考让4o-mini暴打推理模型?

AoT 是 MetaGPT 开源社区的作者团队研发的新模型,由滕枫蔚、吴承霖等人组成。AoT 核心在于利用马尔可夫过程将复杂推理分解为一系列轻量级的‘原子问题’,避免历史信息依赖,提高计算效率。

Transformer 架构重大改进:华人科学家刘壮联合何恺明,Yann LeCun整活

Meta AI华人团队联合大牛发布论文,证明Transformer模型可以不用Normalization层也能达到甚至超越现有性能。核心秘密是Dynamic Tanh (DyT)函数,相比传统方法,DyT简单有效,性能不输且速度快、成本低。