公开评测错在哪里：来自 AutomationBench、OfficeQA Pro v2 与评测联网能力的观察
作者检查了一些流行的公开评测，发现了其中的问题并加以修复，分享了关于 AutomationBench、OfficeQA Pro v2、公开评测中的联网能力以及监测为何困难的观察。公开评测是评估模型能力的基础，其中的缺陷会扭曲建立在其上的所有比较。之所以重要，是因为模型排名、采购决策和研究结论都依赖这些评测——把评测修干净，会改变我们对哪些模型真正更强的认知。
报道来源
- Nathan Lambert2026-11-03 18:58