Ilya 「Scaling What」的答案会是程序性知识吗？
UCL和Cohere的研究发现，LLM从预训练数据中学到了一种通用的推理方法，这种方法依赖于程序性知识。程序性知识涉及执行特定任务或解决问题所需的步骤和方法。该工作表明，对于推理问题，模型通过综合多种文档中的程序性知识来生成答案，而非简单地检索已知事实。
Ilya Sutskever
十年再登巅峰！刚刚，Ilya和GAN之父斩获NeurIPS 2024时间检验奖
NeurIPS 2024时间检验奖公布，Ilya Sutskever的Seq2Seq和Ian Goodfellow的GAN分别获奖。Seq2Seq论文提出编码器-解码器架构，影响基础模型研究；GAN被广泛引用超过85,000次，推动了生成式建模的发展。
史无前例！Seq2Seq和GAN同获NeurIPS时间检验奖，Ilya连续2年获奖
NeurIPS颁发了两个时间检验奖，分别是GAN（引用超过85,000次）和Seq2Seq（引用超过27,000次）。GAN在生成建模中具有基础性作用；Seq2Seq启发了编码器-解码器架构的发展。