技术挑战

Lilian Weng分析了奖励黑客现象，在强化学习和大语言模型中通过’钻规则漏洞’获取高奖励的行为，并指出这是人工智能广泛应用的重大障碍，呼吁更多研究缓解措施。