能相信大模型来判断一个研究想法是否新颖吗？
Ai2 发布了研究《Old Ideas, Novel Problems》及配套基准、数据与代码，用于检验大模型判断研究想法新颖性的可靠性，基准基于 ICLR 2026 的同行评审构建。在 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Opus 4.5 与 Opus 4.6 六个评判模型中，提示词的微小改动会大幅改变结论：GPT-5.4 在人类想法与生成想法的对比中，准确率从 93.5% 跌至 40.9%，而增加检索或推理也未能稳定改善结果。随着 AI 生成的研究想法越来越多，这种脆弱性值得警惕：一个会因措辞翻转结论的评判者，无法可靠地区分真正的新颖与旧瓶装新酒。
报道来源
- Hugging Face Blog2026-10-27 16:12