预训练

AI 大神 Andrej Karpathy 比喻训练大型语言模型 (LLM) 的过程就像教育学生，以教科书的结构阐述了当前 LLM 训练现状和未来方向。他将预训练、监督式微调和强化学习分别比作背景信息、例题及解答和练习题，强调需要更多的实践来提升 LLM 能力。