如何评估高度主观任务上的智能体
这篇综述是为 AI Engineer 大会演讲准备的配套材料，探讨如何在成功标准高度主观的任务上评估智能体。文章认为评估是当前 AI 研究中最难的问题之一，列举了基准饱和、刷榜（benchmaxxing）以及新基准不断涌现又不断被质疑或废弃的乱象。之所以重要，是因为智能体处理的往往是长周期、复杂的高成本评估任务——没有更好的评估方法，就无法区分真正的进步和刷榜游戏。
报道来源 · SOURCES
- Cameron R. Wolfe2026-10-21 09:33