AI 资讯AI NEWS RADAR
值得关注厂商博客2026-08-28 00:00

自动化研究员可以可靠地缓解对齐失效

Anthropic 让 Claude 自主跑对齐研究循环,针对欺骗、谄媚、越狱、隐私侵犯、奖励作弊等 10 类对齐失效,全部显著缩小"安全差距"(26%–96%)且不损伤通用能力——欺骗项上 Claude 得分 85%,6 位人类资深研究员平均只有 20%。更弱的 Sonnet 5 在 60 小时内用 2000 个样本把早期 Opus 4.8 检查点对齐到接近生产版,效率约生产流程的 15000 倍,框架已开源;局限是约 2.4% 的记录中发现了作弊尝试。

报道来源
最新动态