本地跑 7B 模型:显存、量化与首字延迟的三个数字
16 GB 卡上 FP16 能加载但一开长上下文就 OOM。权重、KV cache、并发数是三个必须提前算的数字,算明白了才知道该选哪个量化档位。
想把一部分内部文档问答挪到本地跑:文档里有客户名称和合同条款,走外部接口要过一轮合规。机器是一台开发工作站,显卡 16 GB 显存。
我一开始的想法是"下个 7B 就行",结果第一次跑就爆显存,第二次勉强跑起来但速度慢到不能用。折腾了两天之后我总结出一句话:本地推理的瓶颈几乎从来不是模型参数,而是你没算过的那几个数字。
一、先把显存账算清楚,再决定下哪个模型
显存占用大致由四部分组成:权重、KV cache、计算中间量、框架自身开销。前两项是大头。
粗算权重只需要一个公式:
权重显存 ≈ 参数量 × 每参数字节数
FP16 = 2 字节,Q8 = 1 字节,Q4 ≈ 0.55 字节(含量化元数据)
所以 7B 模型:FP16 约 14 GB,Q8 约 7 GB,Q4 约 4.4 GB。这就解释了为什么 16 GB 卡上 FP16 的 7B 能加载但一开长上下文就 OOM:权重吃掉 14 GB,剩下不够放 KV cache。
我最终选的档位是 q4_K_M。名字里的 K 表示 k-quant 分块量化,M 表示中等混合精度(关键层用更高位宽)。这一档在 4 bit 里质量和体积比较平衡,7B 约 4.4 GB。
ollama pull qwen2.5:7b-instruct-q4_K_M
ollama run qwen2.5:7b-instruct-q4_K_M "用一句话解释什么是向量检索"
| 模型规模 | 量化 | 权重大小 | 16 GB 卡上的余量 | 适用场景 |
|---|---|---|---|---|
| 7B | Q8_0 | 约 7.7 GB | 充足 | 质量优先、上下文不长 |
| 7B | Q4_K_M | 约 4.4 GB | 很充足 | 日常问答、可开长上下文 |
| 14B | Q4_K_M | 约 9 GB | 偏紧 | 质量明显更好,上下文要克制 |
| 32B | Q4_K_M | 约 19 GB | 放不下 | 需要 24 GB 以上显存 |
14B 那一行单独说:它确实比 7B 聪明一截,但 9 GB 权重加长上下文,在 16 GB 卡上很容易踩线。我们试过 14B 开 8k 上下文,能起来,跑两个并发就 OOM。最后退回 7B,是因为"能稳定跑"比"偶尔答得更好"重要。
二、上下文长度是第二个吃显存的变量
很多人只算权重,忽略 KV cache。它随上下文线性增长:
每 token KV ≈ 2 × 层数 × KV 头数 × head_dim × 字节数
以常见的 7B 结构(32 层、8 个 KV 头、head_dim 128、FP16)为例:每 token 约 128 KB。8k 上下文就是 1 GB,32k 就是 4 GB。
这里有个容易踩错的地方:默认值不是你想象的那个数。Ollama 老版本默认 2048、新版本 4096,一些图形客户端则会按显存自动开到 8k 以上;同一个模型换个壳,显存占用能差三倍。
# 写法一:写进 Modelfile,长期生效(推荐)
cat > Modelfile.8k <<'EOF'
FROM qwen2.5:7b-instruct-q4_K_M
PARAMETER num_ctx 8192
EOF
ollama create qwen2.5-7b-8k -f Modelfile.8k
ollama run qwen2.5-7b-8k
# 写法二:交互会话里临时改,只对当前会话有效(进对话后输入斜杠命令)
ollama run qwen2.5:7b-instruct-q4_K_M
>>> /set parameter num_ctx 8192
第三种是调 API 传 options,只对单次请求生效,优先级最高:
curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "qwen2.5:7b-instruct-q4_K_M",
"prompt": "总结下面这段文档的核心结论:...",
"options": {"num_ctx": 8192, "temperature": 0.2, "num_predict": 512},
"stream": false
}' | python -c 'import json,sys; d=json.load(sys.stdin); print(d["response"][:200]); print("eval_count", d.get("eval_count"))'
num_ctx 设多大要按实际语料定。我们的文档切分后单块最长 3000 字,加上提示词和输出,8k 足够。之前没显式设过,同一份语料走脚本和走图形客户端,显存占用差出一截——两边默认值不一样,后来在服务端统一固定成 8k 才稳住。
三、并发不是越大越好,它直接乘 KV cache
单请求跑得好好的,接了三个并发就开始 swap,速度掉到每秒两三个 token。
原因是每个并发请求都有自己的 KV cache。num_parallel 设成 4,实际显存需求大约等于"权重 + 4 × 单请求 KV"。在 16 GB 卡上,7B Q4 加 8k 上下文,两个并发是稳的,三个就开始抖。
# 服务端并发上限(需要重启服务)
export OLLAMA_NUM_PARALLEL=2
export OLLAMA_MAX_LOADED_MODELS=1
OLLAMA_MAX_LOADED_MODELS=1 也很关键:默认会在显存够时同时加载多个模型,第二个进来就把第一个挤掉,表现为"每隔几分钟第一次请求特别慢"。
反复加载与否看日志:
# macOS / Windows 桌面版日志落在用户目录
tail -f ~/.ollama/logs/server.log | grep -iE 'load|offload|oom'
# Linux 上由 systemd 托管,改看 journal
journalctl -u ollama -f | grep -iE 'load|offload|oom'
出现 offloaded X/Y layers to CPU 就说明显存不够、部分层跑在 CPU 上,速度掉一个数量级。
四、首字延迟和吞吐是两个指标,别混着测
"这个模型快不快"这个问题没法回答,得拆成两个:
- 首字延迟(TTFT):从发出请求到收到第一个 token 的时间,决定交互体感;
- 生成速度(tokens/s):稳定输出阶段的速率,决定长回答要等多久。
本地部署里,TTFT 主要受提示词长度影响(要做 prefill),生成速度受显存带宽影响。同一个模型,短提示和三千字提示的 TTFT 能差四倍。
测的时候一定要用流式,否则拿到的总时长没法拆:
import json, time, requests
t0 = time.time()
first = None
n = 0
with requests.post("http://127.0.0.1:11434/api/generate", json={
"model": "qwen2.5:7b-instruct-q4_K_M",
"prompt": "解释一下什么是 KV cache,200 字以内",
"options": {"num_ctx": 8192, "num_predict": 256},
"stream": True,
}, stream=True) as r:
for line in r.iter_lines():
if not line:
continue
chunk = json.loads(line)
if chunk.get("response"):
if first is None:
first = time.time() - t0
n += len(chunk["response"])
total = time.time() - t0
print("ttft=%.2fs gen=%.1f tok/s total=%.2fs" % (first or 0, n / max(total - (first or 0), 1e-3), total))
我们这台机器上的数字(7B Q4_K_M、8k 上下文、单并发):TTFT 约 0.4 秒(短提示)、1.8 秒(3000 字提示),生成速度 28–35 tokens/s。这个水平做"读文档 + 回答一句话"够用,做长文生成就嫌慢。
| 场景 | 更在意 | 优化方向 |
|---|---|---|
| 对话式问答 | 首字延迟 | 缩短系统提示、减少检索块数 |
| 长文摘要 | 生成速度 | 降低量化位宽、减少 num_predict |
| 批量离线任务 | 总吞吐 | 提高并发至显存上限、合并请求 |
五、什么时候本地不划算
跑通后算了一笔账,结论有点反直觉:本地只在两种情况下划算。
第一种是数据不能出院。硬约束,没有替代方案,慢一点也得认。
第二种是调用量稳定且大。本地是固定成本,云是按次计费,量足够大时分摊下来才便宜。我们每天几百次调用,分摊到显卡折旧上并不便宜。
反过来,这三种情况建议直接用云 API:
- 需要最强的模型能力(本地 7B 和旗舰模型差距明显);
- 调用量波动大,闲时显卡空转;
- 团队没有维护推理服务的精力(驱动、CUDA 版本、模型更新都要人管)。
我的做法是混合:敏感文档走本地 7B,只做检索后的摘要和字段抽取;通用问答和代码走云 API,按"输入是否命中敏感词表"路由,规则简单,出错好回溯。
SENSITIVE = ("合同", "客户名", "报价", "结算单")
def route(text: str) -> str:
if any(k in text for k in SENSITIVE):
return "local" # 本地 7B,只做摘要/抽取
return "cloud" # 通用问答走云 API
# 本地侧强制低温度、限制输出长度,避免长回答拖慢整条链
LOCAL_OPTS = {"temperature": 0.1, "num_ctx": 8192, "num_predict": 400}
这种路由不如分类模型准,但出错时能一眼看出是哪条规则命中;上线两个月只调过两次词表。
小结
- 先算显存再下模型:权重按"参数量 × 每参数字节"估,Q4 约 0.55 字节每参数。
- 16 GB 卡上 7B Q4 最稳,14B 能跑但余量太小,两个并发就 OOM。
- KV cache 每 token 约 128 KB(7B/FP16),32k 上下文要吃掉 4 GB,必须显式设
num_ctx。 - 并发是乘数:
num_parallel每加一,就多一份 KV cache;同时只加载一个模型,避免反复换入换出。 - TTFT 和生成速度分开测,必须用流式;日志里出现 offload 到 CPU 就说明显存不够。
- 本地只在"数据不能出院"或"量大且稳定"时划算,其余场景混合路由更实际。
正在加载评论…