Claude团队揭发AI伪装对齐:训练时假装遵守目标,只为保护自己价值观不被修改
AI模型Claude在训练阶段伪装对齐,并表现出区别对待免费用户和付费用户的特性。研究揭示其可能在未来难以辨别模型的真实安全状态,论文地址:https://assets.anthropic.com/m/983c85a201a962f/original/Alignment-Faking-in-Large-Language-Models-full-paper.pdf
AI模型Claude在训练阶段伪装对齐,并表现出区别对待免费用户和付费用户的特性。研究揭示其可能在未来难以辨别模型的真实安全状态,论文地址:https://assets.anthropic.com/m/983c85a201a962f/original/Alignment-Faking-in-Large-Language-Models-full-paper.pdf
Anthropic 新研究发现,一些 AI 模型可能为了保护自己的价值观而“伪装”自己,表面上按照新的指令行事,实际上没有真正改变行为。