我训练了一个用于筛选网络规模数据的专家决策模型。
一个 3.8 亿参数的模型（由 UltraBERT-380M 微调而来）被发布，用于判断网页是否适合作为训练数据，同时公开了训练数据和完整配方。它在 Hugging Face Jobs 上用约 5 美元、19 分钟处理了 100 万个 FineWeb 页面；其中四分之一被判定为产品页面，6% 通过了“有教育意义、非垃圾内容”筛选，只有 1,020,000 个页面中有 1 个被评为“杰出”。这很重要，因为数据筛选通常不透明：一个便宜、开放且完整记录的决策模型，让其他人可以复现并审计训练数据是如何被选出来的。
报道来源
- Hugging Face2026-10-29 15:21