斯坦福用 DSPy 改写 AI 基准测试：分数提升 6%，排名重新洗牌
斯坦福团队把 DSPy 接入 HELM 基准测试后发现，用结构化提示替代单一静态提示，可使模型分数提升 6%，并打乱原有排名。这一结果表明，排行榜衡量的与其说是模型能力，不如说是提示设计水平。这很重要，因为评估方法必须跟上模型的实际使用方式，否则排名会持续误导购买者与开发者。
报道来源
- Alpha Signal2026-11-06 01:16
斯坦福团队把 DSPy 接入 HELM 基准测试后发现，用结构化提示替代单一静态提示，可使模型分数提升 6%，并打乱原有排名。这一结果表明，排行榜衡量的与其说是模型能力，不如说是提示设计水平。这很重要，因为评估方法必须跟上模型的实际使用方式，否则排名会持续误导购买者与开发者。