Ilya宣判：预训练即将终结！NeurIPS现场沸腾
Ilya Sutskever在NeurIPS 2024中指出预训练时代即将终结，并预测未来将是超级智能的时代，强调Agent系统和合成数据将成为突破瓶颈的关键。他认为未来的AI将发展成能够自主推理和决策的’Agent’，甚至可能具备自我意识。
Ilya Sutskever
Ilya Sutskever连续三年获NeurIPS 终身成就奖
AI界传奇人物Ilya Sutskever因发表的论文’Sequence to Sequence Learning with Neural Networks’获得NeurIPS最高荣誉。该论文展示了序列学习的革命性方法，并在自然语言处理领域影响深远。
GAN作者追忆往事：论文是DDL前一周开始写的，最初在NeurIPS大会无人问津
NeurIPS颁发时间检验奖给Ian Goodfellow的GAN论文，GAN自提出十年内引用超8.5万次。作者Sherjil Ozair回忆了GAN诞生过程及人工智能在过去十年的发展。
Ilya 「Scaling What」的答案会是程序性知识吗？
UCL和Cohere的研究发现，LLM从预训练数据中学到了一种通用的推理方法，这种方法依赖于程序性知识。程序性知识涉及执行特定任务或解决问题所需的步骤和方法。该工作表明，对于推理问题，模型通过综合多种文档中的程序性知识来生成答案，而非简单地检索已知事实。
十年再登巅峰！刚刚，Ilya和GAN之父斩获NeurIPS 2024时间检验奖
NeurIPS 2024时间检验奖公布，Ilya Sutskever的Seq2Seq和Ian Goodfellow的GAN分别获奖。Seq2Seq论文提出编码器-解码器架构，影响基础模型研究；GAN被广泛引用超过85,000次，推动了生成式建模的发展。
史无前例！Seq2Seq和GAN同获NeurIPS时间检验奖，Ilya连续2年获奖
NeurIPS颁发了两个时间检验奖，分别是GAN（引用超过85,000次）和Seq2Seq（引用超过27,000次）。GAN在生成建模中具有基础性作用；Seq2Seq启发了编码器-解码器架构的发展。