llya年终总结：预训练将到头，未来是Agentic

OpenAI 的联合创始人兼前首席科学家 Ilya Sutskever 在全球 AI 顶会上NeurIPS发表演讲并宣判：数据不再增长，预训练将到头。

接下来是：

Agent（智能体）
Synthetic data（合成数据）
Inference time compute ~ o1 （推理时计算）

未来是 Superintelligence（超级智能）：

Agentic（智能体）
Reasons（推理）
Understands （理解）
Is self aware（自我意识）

Ilya Sutskever在NeurIPS 2024上的演讲要点：

数据资源的极限：Sutskever提出，我们能获得的数据已经接近极限，不会再有更多。他将这一趋势比作化石燃料的消耗，认为互联网中由人类生成的内容是有限的。
预训练模型的终结：他预测，我们所熟悉的预训练模型，如BERT和GPT等，将会结束。这是因为数据资源的有限性将迫使行业改变当前的模型训练方式。
下一代模型的自主性：Sutskever预测下一代模型将会“以真正的方式表现出自主性”，并且具备推理能力，能够逐步解决问题，类似于“思考”。
推理与不可预测性：他强调，系统的推理能力越强，其行为就越“不可预测”。他将这种不可预测性与高级AI在国际象棋中的表现进行了比较。
AI系统的Scaling与进化生物学：Sutskever将AI系统的Scaling与进化生物学进行了比较，指出人类科的脑体比展现出与众不同的增长趋势，暗示AI可能也会超越现有的预训练方法，发现全新的扩展路径。
对深度学习核心思想的回顾：他回顾了深度学习的核心思想，即联结主义，以及如何通过大规模神经网络来模拟人类大脑的功能。
对未来AI的预测：Sutskever认为，未来的AI系统将能够从有限的数据中理解事物，并且不会感到困惑。他提到了“智能体Agent”和“合成数据”作为未来AI发展的关键方向。
对现有AI模型的批评：他提到，尽管当前的语言模型拥有令人难以置信的能力，但它们也有点不可靠，并且目前还不清楚如何调和这一点。
对AI未来的开放性：Sutskever承认，预测未来是不可能的，各种各样的事情都是可能发生的，他鼓励人们思考和反思关于AI未来的问题。