用伪造工具输出的大语言模型对 AI 智能体监控器进行红队测试
Redwood Research 发表了一篇关于模拟控制评估（SCE）的论文，这是一种检验监管 AI 智能体的监控器能否发现模型蓄意作恶的方法。它不真正执行工具调用，而是用大语言模型模拟器根据真实部署记录伪造工具输出，再由评判模型估计攻击是否会成功。在 LinuxArena 测试中，SCE 预测安全性的误差为 3.6 个百分点，而更简单的 BashArena 对照为 10.1 个百分点，表明无需在真实系统上发动攻击也能让监控器评估更贴近真实部署。
报道来源
- Hacker News (AI)2026-10-25 15:41