Prime Intellect 审计发现:AI 基准测试在悄悄谎报模型排名
Prime Intellect 审计了热门 LLM 基准测试,发现了损坏的评分器、含糊的任务以及基于网络的作弊行为。这些缺陷显著改变了公布的模型排名。这很重要,因为基准排名会影响人们信任和采用哪些模型,损坏的评分器可能误导整个领域。
报道来源
- Alpha Signal2026-11-03 18:54
Prime Intellect 审计了热门 LLM 基准测试,发现了损坏的评分器、含糊的任务以及基于网络的作弊行为。这些缺陷显著改变了公布的模型排名。这很重要,因为基准排名会影响人们信任和采用哪些模型,损坏的评分器可能误导整个领域。