KAUST 的 EdgeCIM 在边缘设备上运行 AI 达每秒 1000 个 token
KAUST 研究人员报告了面向小型语言模型的存算一体加速器 EdgeCIM，在边缘设备上运行 AI 的 headline 速度达每秒 1000 个 token。在 LLaMA 3.2-1B 上，它以每秒 400 个 token 运行，能效比英伟达 Jetson Orin Nano 高 49 倍。这一进展之所以重要，是因为能效大幅提升的端侧推理有望让小型模型在不依赖云端 GPU 的情况下良好运行。
报道来源
- Alpha Signal2026-10-31 01:18