本地跑 7B 模型:显存、量化与首字延迟的三个数字

16 GB 卡上 FP16 能加载但一开长上下文就 OOM。权重、KV cache、并发数是三个必须提前算的数字,算明白了才知道该选哪个量化档位。

想把一部分内部文档问答挪到本地跑:文档里有客户名称和合同条款,走外部接口要过一轮合规。机器是一台开发工作站,显卡 16 GB 显存。

我一开始的想法是"下个 7B 就行",结果第一次跑就爆显存,第二次勉强跑起来但速度慢到不能用。折腾了两天之后我总结出一句话:本地推理的瓶颈几乎从来不是模型参数,而是你没算过的那几个数字。

一、先把显存账算清楚,再决定下哪个模型

显存占用大致由四部分组成:权重、KV cache、计算中间量、框架自身开销。前两项是大头。

粗算权重只需要一个公式:

权重显存 ≈ 参数量 × 每参数字节数
FP16 = 2 字节,Q8 = 1 字节,Q4 ≈ 0.55 字节(含量化元数据)

所以 7B 模型:FP16 约 14 GB,Q8 约 7 GB,Q4 约 4.4 GB。这就解释了为什么 16 GB 卡上 FP16 的 7B 能加载但一开长上下文就 OOM:权重吃掉 14 GB,剩下不够放 KV cache。

我最终选的档位是 q4_K_M。名字里的 K 表示 k-quant 分块量化,M 表示中等混合精度(关键层用更高位宽)。这一档在 4 bit 里质量和体积比较平衡,7B 约 4.4 GB。

ollama pull qwen2.5:7b-instruct-q4_K_M
ollama run qwen2.5:7b-instruct-q4_K_M "用一句话解释什么是向量检索"
模型规模 量化 权重大小 16 GB 卡上的余量 适用场景
7B Q8_0 约 7.7 GB 充足 质量优先、上下文不长
7B Q4_K_M 约 4.4 GB 很充足 日常问答、可开长上下文
14B Q4_K_M 约 9 GB 偏紧 质量明显更好,上下文要克制
32B Q4_K_M 约 19 GB 放不下 需要 24 GB 以上显存

14B 那一行单独说:它确实比 7B 聪明一截,但 9 GB 权重加长上下文,在 16 GB 卡上很容易踩线。我们试过 14B 开 8k 上下文,能起来,跑两个并发就 OOM。最后退回 7B,是因为"能稳定跑"比"偶尔答得更好"重要。

二、上下文长度是第二个吃显存的变量

很多人只算权重,忽略 KV cache。它随上下文线性增长:

每 token KV ≈ 2 × 层数 × KV 头数 × head_dim × 字节数

以常见的 7B 结构(32 层、8 个 KV 头、head_dim 128、FP16)为例:每 token 约 128 KB。8k 上下文就是 1 GB,32k 就是 4 GB。

这里有个容易踩错的地方:默认值不是你想象的那个数。Ollama 老版本默认 2048、新版本 4096,一些图形客户端则会按显存自动开到 8k 以上;同一个模型换个壳,显存占用能差三倍。

# 写法一:写进 Modelfile,长期生效(推荐)
cat > Modelfile.8k <<'EOF'
FROM qwen2.5:7b-instruct-q4_K_M
PARAMETER num_ctx 8192
EOF
ollama create qwen2.5-7b-8k -f Modelfile.8k
ollama run qwen2.5-7b-8k

# 写法二:交互会话里临时改,只对当前会话有效(进对话后输入斜杠命令)
ollama run qwen2.5:7b-instruct-q4_K_M
>>> /set parameter num_ctx 8192

第三种是调 API 传 options,只对单次请求生效,优先级最高:

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "qwen2.5:7b-instruct-q4_K_M",
  "prompt": "总结下面这段文档的核心结论:...",
  "options": {"num_ctx": 8192, "temperature": 0.2, "num_predict": 512},
  "stream": false
}' | python -c 'import json,sys; d=json.load(sys.stdin); print(d["response"][:200]); print("eval_count", d.get("eval_count"))'

num_ctx 设多大要按实际语料定。我们的文档切分后单块最长 3000 字,加上提示词和输出,8k 足够。之前没显式设过,同一份语料走脚本和走图形客户端,显存占用差出一截——两边默认值不一样,后来在服务端统一固定成 8k 才稳住。

三、并发不是越大越好,它直接乘 KV cache

单请求跑得好好的,接了三个并发就开始 swap,速度掉到每秒两三个 token。

原因是每个并发请求都有自己的 KV cache。num_parallel 设成 4,实际显存需求大约等于"权重 + 4 × 单请求 KV"。在 16 GB 卡上,7B Q4 加 8k 上下文,两个并发是稳的,三个就开始抖。

# 服务端并发上限(需要重启服务)
export OLLAMA_NUM_PARALLEL=2
export OLLAMA_MAX_LOADED_MODELS=1

OLLAMA_MAX_LOADED_MODELS=1 也很关键:默认会在显存够时同时加载多个模型,第二个进来就把第一个挤掉,表现为"每隔几分钟第一次请求特别慢"。

反复加载与否看日志:

# macOS / Windows 桌面版日志落在用户目录
tail -f ~/.ollama/logs/server.log | grep -iE 'load|offload|oom'

# Linux 上由 systemd 托管,改看 journal
journalctl -u ollama -f | grep -iE 'load|offload|oom'

出现 offloaded X/Y layers to CPU 就说明显存不够、部分层跑在 CPU 上,速度掉一个数量级。

四、首字延迟和吞吐是两个指标,别混着测

"这个模型快不快"这个问题没法回答,得拆成两个:

  • 首字延迟(TTFT):从发出请求到收到第一个 token 的时间,决定交互体感;
  • 生成速度(tokens/s):稳定输出阶段的速率,决定长回答要等多久。

本地部署里,TTFT 主要受提示词长度影响(要做 prefill),生成速度受显存带宽影响。同一个模型,短提示和三千字提示的 TTFT 能差四倍。

测的时候一定要用流式,否则拿到的总时长没法拆:

import json, time, requests

t0 = time.time()
first = None
n = 0
with requests.post("http://127.0.0.1:11434/api/generate", json={
    "model": "qwen2.5:7b-instruct-q4_K_M",
    "prompt": "解释一下什么是 KV cache,200 字以内",
    "options": {"num_ctx": 8192, "num_predict": 256},
    "stream": True,
}, stream=True) as r:
    for line in r.iter_lines():
        if not line:
            continue
        chunk = json.loads(line)
        if chunk.get("response"):
            if first is None:
                first = time.time() - t0
            n += len(chunk["response"])

total = time.time() - t0
print("ttft=%.2fs  gen=%.1f tok/s  total=%.2fs" % (first or 0, n / max(total - (first or 0), 1e-3), total))

我们这台机器上的数字(7B Q4_K_M、8k 上下文、单并发):TTFT 约 0.4 秒(短提示)、1.8 秒(3000 字提示),生成速度 28–35 tokens/s。这个水平做"读文档 + 回答一句话"够用,做长文生成就嫌慢。

场景 更在意 优化方向
对话式问答 首字延迟 缩短系统提示、减少检索块数
长文摘要 生成速度 降低量化位宽、减少 num_predict
批量离线任务 总吞吐 提高并发至显存上限、合并请求

五、什么时候本地不划算

跑通后算了一笔账,结论有点反直觉:本地只在两种情况下划算。

第一种是数据不能出院。硬约束,没有替代方案,慢一点也得认。

第二种是调用量稳定且大。本地是固定成本,云是按次计费,量足够大时分摊下来才便宜。我们每天几百次调用,分摊到显卡折旧上并不便宜。

反过来,这三种情况建议直接用云 API:

  • 需要最强的模型能力(本地 7B 和旗舰模型差距明显);
  • 调用量波动大,闲时显卡空转;
  • 团队没有维护推理服务的精力(驱动、CUDA 版本、模型更新都要人管)。

我的做法是混合:敏感文档走本地 7B,只做检索后的摘要和字段抽取;通用问答和代码走云 API,按"输入是否命中敏感词表"路由,规则简单,出错好回溯。

SENSITIVE = ("合同", "客户名", "报价", "结算单")

def route(text: str) -> str:
    if any(k in text for k in SENSITIVE):
        return "local"      # 本地 7B,只做摘要/抽取
    return "cloud"          # 通用问答走云 API

# 本地侧强制低温度、限制输出长度,避免长回答拖慢整条链
LOCAL_OPTS = {"temperature": 0.1, "num_ctx": 8192, "num_predict": 400}

这种路由不如分类模型准,但出错时能一眼看出是哪条规则命中;上线两个月只调过两次词表。

小结

  • 先算显存再下模型:权重按"参数量 × 每参数字节"估,Q4 约 0.55 字节每参数。
  • 16 GB 卡上 7B Q4 最稳,14B 能跑但余量太小,两个并发就 OOM。
  • KV cache 每 token 约 128 KB(7B/FP16),32k 上下文要吃掉 4 GB,必须显式设 num_ctx。
  • 并发是乘数:num_parallel 每加一,就多一份 KV cache;同时只加载一个模型,避免反复换入换出。
  • TTFT 和生成速度分开测,必须用流式;日志里出现 offload 到 CPU 就说明显存不够。
  • 本地只在"数据不能出院"或"量大且稳定"时划算,其余场景混合路由更实际。
查看「AI 应用」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。