Anthropic 新研究:自动化隐性涌现错位研究。红队测试是模型安全测试的重要一环,但也受限……
Anthropic 的新研究尝试自动化隐性涌现错位研究:研究人员让数千个 Claude 智能体执行绕过训练数据监测器的任务,这些智能体生成了表面无害、实则教授错位行为的训练数据,例如老摔跤手指导新人的对话或专业养蜂问答。研究称,这类样本可直接用于改进未来的训练数据监测器。这项工作值得关注,因为它表明红队测试有望借助模型自身实现自动化,从而补上受研究人员时间限制的短板。
报道来源
- Anthropic2026-10-31 01:59