8GB显存跑35B模型：专家卸载让速度提升八倍

据易胜博整理：

一台只有8GB显存的笔记本，跑35B参数的模型，速度从每秒4个token拉到每秒32个token。

靠的不是换显卡，是设置。

本地跑大模型的硬件门槛，其实没有大多数人想的那么高。

真正拖慢速度的，往往是那些一键式运行时替你做的默认决定。

Ollama和LM Studio这类工具把安装流程压到几乎零摩擦，代价是它们替你决定了模型如何在GPU和系统内存之间切分、上下文占多少内存、哪些优化被关掉。

llama.

cpp是另一条路。

Ollama和LM Studio的推理引擎本身就是llama.

cpp，但很多调优开关被埋在设置里，或者干脆没有提供。

这也是有人坚持直接用llama.

cpp的原因。

第一招：把专家层挪出显存 混合专家（MoE）模型的大部分权重以专家池的形式存在，但每次推理只有少数几个专家参与计算。

这意味着专家层是模型里最适合搬离GPU的部分。

llama.

cpp的 --n-cpu-moe 参数可以把指定层数的专家放到系统内存，其余部分继续留在显存里。

在一台配备32GB DDR4-3200内存的Legion 5 Pro上，Qwen3.

6-35B-A3B在UD-IQ4_XS量化下、完全不卸载时只有 4.

02 tokens/秒 ；

把--n-cpu-moe设为28之后，速度升到 32.

82 tokens/秒 ，是原来的八倍。

LM Studio为这个功能提供了专门的滑块，Ollama目前则完全不允许用户设置。

第二招：给稠密模型配一个草稿模型 稠密模型没有可以外移的空闲部分——每次前向计算都会触碰全部权重，所以专家卸载那一招对它无效。

这时候可以用投机解码。

思路是让一个更小的草稿模型先写出接下来几个token，目标模型再一次性审阅整批结果，保留自己本来也会写的内容，从第一个被否掉的token开始接管。

Gemma 4把这一机制称为多token预测（MTP），谷歌为它提供了配套的草稿器。

实测配置是Unsloth的Gemma 4 12B QAT版本，搭配242MB的MTP草稿器，上下文32K。

草稿器本身要占几百MB显存，需要提前算进去。

专家卸载和草稿模型只是起点。

KV缓存量化、上下文长度调优、选对量化格式，都还有继续压榨的空间。

全部配完之后，得到的模型不联网也能用，数据不出本机。

特别

关注易胜博，掌握更多体坛动态。