面壁智能姚远：两年GPT-6级AI跑在手机上，现在点外卖订机票有点无聊
面壁智能表示，其多模态大模型 MiniCPM-V 4.7 35B-A3B（总参数 350 亿、每次推理仅激活约 30 亿）在手机上的生成速度已提升至每秒 30 Token 以上，此前在 iPhone 17 Pro Max 上的测试约为每秒 13 Token。提速来自前瞻专家调度（LES）技术：它能提前预测下一层需要调用哪些专家模块，在计算的同时从手机闪存读取权重，使端侧 MoE 推理速度提升约 5 倍、精度损失几乎可以忽略；现场演示的实时解码速度约为每秒 25 Token。如果旗舰级模型能在手机上跑得这么快，强大的 AI 助手将越来越多地直接在端侧运行，而不必依赖云端。
报道来源
- 智东西2026-11-05 12:50