Transformer

Andrej Karpathy 回忆自己曾看好 RNN 和强化学习，但最终未能把握住大模型时代的到来。他指出，2015年已经认识到自回归语言模型的强大潜力，却错过了发展大规模预训练模型的机会。