斯坦福新论文发现，没有任何指标能在所有意义上做到与分词器无关，因此比较分词器的人不应只相信单一分数，而应……
斯坦福大学的新论文指出，没有任何指标能在所有意义上做到与分词器无关，因此比较分词器的研究者不应只相信单一分数，还应检查模型是否答对。按字节而非按词元计算损失的每字节比特数（BPB）被广泛视为与分词器无关，但即使对均匀猜测的未训练模型，它仍随分词器而变化——英语文本在词表约 2.4 万时得分最好，而准确率仍停留在随机水平；在已训练模型上，它与任务分数的相关性也仅为 +0.02 至 -0.30。这件事之所以重要，是因为分词器比较是模型排名的基础，把更低的 BPB 当作模型更好的证明，可能会误导词表和模型选择。
报道来源
- Rohan Paul2026-11-05 20:40