不用英语，AI 模型用起来更贵
Rest of World 的这篇报道依据语言公平 AI 研究联盟的研究，探讨所谓“分词器税”：分词器切分文本的方式决定了非英语用户要付多少钱。在互联网上最常用的 20 种语言中，最贵语言的词元用量是最便宜语言的 1.5 至 5 倍；扩大到 200 种语言后，某一个模型中的差距达到 17 倍。文字系统与语言稀有程度同样关键：使用拉丁字母的 Asturian 相对占优，而 Burmese、Tibetan、Tifinagh、Khmer、Lao 和 Ol Chiki 处境最差；文章主张应把语言效率与准确性、速度并列为产品要求。
报道来源
- Hacker News (AI)2026-10-26 21:03