预训练和微调

Andrej Karpathy提出LLM学习中缺失的环节是’系统提示词学习’。他认为人类的学习更多是通过明确的语言记住解决问题的方法，而非零散的记忆。Karpathy还分析了Claude系统的惊人提示词内容及其潜在应用价值。