ISTA-DASLab 把 DeepSeek 763B 模型塞进一张 12GB 显卡
ISTA-DASLab 将 DeepSeek-V4.1-Flash-1017 压缩到每权重不到 2 比特,使得这个 7630 亿参数的混合专家模型可以在单张 12GB 消费级显卡上本地运行。这很重要,因为它让前沿规模的开源模型走进了普通消费级硬件的射程,让更多人无需数据中心资源也能运行和试验超大模型。
报道来源
- Alpha Signal2026-10-24 12:34
ISTA-DASLab 将 DeepSeek-V4.1-Flash-1017 压缩到每权重不到 2 比特,使得这个 7630 亿参数的混合专家模型可以在单张 12GB 消费级显卡上本地运行。这很重要,因为它让前沿规模的开源模型走进了普通消费级硬件的射程,让更多人无需数据中心资源也能运行和试验超大模型。