《大模型白盒子构建指南》毕业,仅需2G显存,手搓关于LLM的一切!

《大模型白盒子构建指南》旨在帮助读者从基础原理出发,独立复现一个清晰、可用的大模型系统。项目涵盖大模型架构、预训练、RAG框架、Agent系统及评估体系等内容,适合有一定深度学习和NLP经验的学习者。

RL「误人」?LeCun 在技术路线上又有何战略摇摆?

Karpathy 认为强化学习早期决策是一个错误,并认为 LeCun 对强化学习的态度一直正确。LeCun 历年推崇的关键技术有无监督学习、自监督学习、Energy-Based SSL 和 Objective-Driven AI,他认为强化学习存在局限性,不适合作为实现人类水平智能的主要方法。