逐字生成非最优?试试逐「块」生成!Block Diffusion打通了自回归与扩散

研究提出块离散去噪扩散语言模型(BD3-LMs),结合扩散和自回归模型的优点,实现任意长度序列生成,并在多个语言建模基准上达到新的SOTA困惑度水平。