斯坦福新论文发现：给小型 AI 语言模型看再多示例，也教不会它原本注意不到的规律，比如单词的第三个字母……
斯坦福的新论文追踪了小型语言模型在不更新权重的情况下如何从示例中学习：每个标签 token 会存储其所在句子的类别，约 90 个后续注意力头再把新句子与这些已存类别做匹配。每类给 1 个示例时模型正确率约 20%，给 6 个时升至 96%，但前提是标签有重复、且模型本身已能区分这些类别。这一发现之所以重要，是因为它重塑了少样本提示的思路：示例教不会模型原本不具备的特征，因此提示应重复标签，并使用模型已经能感知到的区分方式。
报道来源
- Rohan Paul2026-11-05 02:22