甜蜜点：一个大脑加微型适配器如何拯救 OpenAI
这篇文章提出了一种让强大 AI 在本地运行的方案：一个共享的压缩基础模型，搭配数千个微型低秩适配器专家，每个仅 2–5 MB，由两级分层路由器选择——先把一万个候选缩小到二三十个，再挑出最优的两三个。该设计还结合多头潜在注意力（MLA），将上下文缓存压缩约 90%，使 5 MB 的适配器可在 1–2 毫秒内载入，而不必像 2 GB 的专家那样拖慢生成。这个想法之所以重要，是因为它提供了一条摆脱云端依赖的出路：强大的 AI 可以在人们已有的硬件上运行，而无需昂贵的多 GPU 集群一直为闲置权重供电。
报道来源
- Hacker News (AI)2026-11-05 23:03