AI 资讯AI NEWS RADAR
值得关注科技媒体2026-10-28 08:18

Polymathic AI 与普林斯顿研究人员发布 FlashMap:一种流量图起草器,LLM 解码速度提升 6.14 倍

Polymathic AI、普林斯顿大学和 USC ISI 的研究人员发布了 FlashMap,这是一种推测解码起草器,可在一次前向中联合起草 16 个 token,在 Qwen3-8B 上实现最高 6.14 倍的无损加速。在不改变输出的前提下加快解码之所以重要,是因为推理成本与延迟正是部署大模型的关键瓶颈。

报道来源
最新动态