模型对齐

OpenAI前员工John Schulman和Barret Zoph分享了他们在后训练阶段开发ChatGPT的经验，并发布了相关PPT。他们讨论了监督微调、奖励模型和强化学习等关键组成部分，以及如何处理拼写错误和其他挑战。