一个月账单翻了四倍:把 token 成本拆成三笔账

账单翻了四倍,请求量却没变,涨的全是输入。拆成固定前缀、检索内容、对话历史三笔账之后才发现:缓存要求前缀逐字节一致,而我们一直把时间戳写在系统提示的最前面。

九月底收到一张账单,比八月高了四倍。查了半天没有异常调用,请求量和八月差不多。真正涨价的是输入:我们给每个请求都带了一份六千字的产品说明、八条 few-shot 示例,再加最近十轮对话历史,算下来单次输入从 3k token 涨到 14k,输出还是那两百字。

那次之后我把账单拆开看,才发现"省 token"不是一句口号,得先知道钱花在哪一类 token 上。这篇文章是我们后来形成的记账方式和几条实际生效的改动。

一、先认清账单的三个乘数

成本大致等于"输入 token × 输入单价 + 输出 token × 输出单价",减弱后的缓存命中部分另算。三个乘数里,最容易被忽略的是输入和输出的差价:多数托管接口的输出单价是输入的 3–5 倍。这意味着输出两百字和输入两千字可能一样贵,也意味着"让它多说一点"比"多给它一点背景"更贵。

第二个乘数是缓存。主流接口对重复前缀都有折扣,命中缓存的那部分输入按原价的一小部分计费。但它有个硬要求:前缀必须逐字节一致。第三个乘数是上下文长度的阶梯定价,超长上下文单价往往更高。

成本项 常见量级 主要影响因素 可控手段
固定前缀(系统提示 + 规则 + few-shot) 每次请求都付 提示词长度 精简、稳定顺序、命中缓存
检索内容(RAG 片段) 每次请求都付 召回条数与单条长度 减少条数、重排后截断
对话历史 随轮数线性增长 会话长度 滚动摘要、只带最近 N 轮
输出 单价最高 max_tokens 与啰嗦程度 限长、结构化输出
缓存命中部分 单价最低 前缀稳定性 固定前缀、把变量放最后

二、前缀稳定,缓存才会命中

我们最早的做法是把"当前时间""用户昵称""请求 id"写在系统提示的最前面,图个方便。结果缓存命中率几乎为零——每个请求开头都不一样,后面六千字再相同也不算重复前缀。

改成"固定内容在前、变量在后"之后,命中率立刻上来了:

SYSTEM_STABLE = """你是客服工单助手。以下规则恒定有效:
1. 只输出 JSON,字段为 category / confidence / reason。
2. category 只能取 refund、logistics、invoice、account、other。
3. 无法归类时选 other,不要新造类别。
(此处是产品说明与判定口径,约 4000 字,内容不随请求变化)
"""
FEWSHOT_STABLE = """<示例组,共 6 条,顺序固定>
"""

def build_messages(user_ctx: dict, history: list, question: str):
    return [
        {"role": "system", "content": SYSTEM_STABLE + FEWSHOT_STABLE},   # 前缀,永远一样
        {"role": "user", "content": "当前会话元信息:" + json.dumps(user_ctx, ensure_ascii=False)},  # 变量
        *history,
        {"role": "user", "content": question},
    ]

顺序上有一个细节:把变量放在前缀之后,而不是塞进 system 里。一旦 system 内容有任何变化(哪怕只是末尾多一个空格),整段前缀就失效。

同样的道理,提示词版本号别写进 system。我们一度在系统提示开头写 v3.2,每次改版本都会让缓存全部失效;后来把版本号挪到日志字段里,提示词本身反而更稳定。

三、拆三笔账,才知道先改哪

只记"总 token"没有指导意义。我在调用封装里按步骤打点,记录 prompt_tokens、completion_tokens 和缓存命中数,然后按步骤聚合:

import json, time, os

def call(purpose: str, messages, **kw):
    t0 = time.time()
    resp = client.chat.completions.create(model=MODEL, messages=messages, **kw)
    u = resp.usage
    rec = {
        "ts": int(t0), "purpose": purpose, "model": MODEL,
        "in": u.prompt_tokens, "out": u.completion_tokens,
        "cached": getattr(getattr(u, "prompt_tokens_details", None), "cached_tokens", 0),
        "ms": int((time.time() - t0) * 1000),
    }
    with open("llm-usage.jsonl", "a", encoding="utf-8") as f:
        f.write(json.dumps(rec, ensure_ascii=False) + "\n")
    return resp

跑一天之后按用途聚合,问题一眼就出来:

cat llm-usage.jsonl | jq -r '[.purpose, .in, .out, .cached] | @tsv' \
  | awk '{n[$1]++; i[$1]+=$2; o[$1]+=$3; c[$1]+=$4}
         END{for (p in n) printf "%-16s calls=%5d in=%8d out=%7d cached=%6.1f%%\n",
             p, n[p], i[p], o[p], 100*c[p]/(i[p]+1)}'

我们那次的结果是:ticket_label(分类)占了 62% 的输入,但输出极少;reply_draft(起草回复)输出占大头;summary(会话摘要)调用次数最多、单次最便宜。方向一下就明确了——先砍分类的输入,再看起草的输出长度。

四、历史别全量传,滚动摘要更划算

对话类场景最典型的浪费是把十轮历史原样带上。第三轮之后,前面那些寒暄和试错对当前回答几乎没有帮助,却每一轮都要重付一次。

我们的做法是保留最近 3 轮原文,更早的压成一段结构化摘要(不超过 200 字),并且只在摘要变化时重算:

def compress(history, keep=3):
    if len(history) <= keep * 2:
        return history, None
    old, recent = history[:-keep * 2], history[-keep * 2:]
    digest = call("summary", [
        {"role": "system", "content": "把以下对话压缩成 200 字以内的要点,保留已确认的事实、用户诉求、已排除的方案。不要评论。"},
        {"role": "user", "content": "\n".join(f"{m['role']}: {m['content']}" for m in old)},
    ], max_tokens=300).choices[0].message.content
    return recent, digest

代价是丢细节:用户第三轮提到的某个订单号,压缩之后可能只剩"用户提到一笔订单"。所以我的规则是——凡是后续步骤会用到的标识符(单号、手机号后四位、时间),必须由程序从原文里抽取并单独保存,不要指望摘要保留。

五、输出侧:限长比省输入更直接

输出单价高,而且长度几乎完全由提示词和 max_tokens 决定,是最好控的一项。三个改动带来明显下降:

第一,给 max_tokens 设一个贴着实际需要的值。我们起草回复原来不设限,平均输出 420 token;设成 320 之后,被截断的比例不到 2%,因为长回复本来就在重复同一个意思。第二,要求结构化输出,把"我觉得这个客户的情绪比较负面,可能是因为……"这类铺垫去掉。第三,把"请详细说明"这类词从提示词里删掉——它会稳定地让输出变长 30% 以上。

有一个反例值得记:为了省输出,我把某个抽取任务的 max_tokens 压到 128,结果模型把 JSON 截断在数组中间,解析失败后触发重试,总成本反而更高。限长的前提是"不会导致失败",否则省下来的会被重试吃掉。

六、该换小模型的地方别硬撑

记账之后发现,分类任务占了六成输入,而这个任务的判断标准其实很固定:看关键词和诉求类型。把这一路换成更小的模型(同一个接口的小尺寸版本,或本地 7B),准确率在我们那批 300 条带标注样本上掉了不到两个点,成本降了一个量级。

判断标准不是"任务重不重要",而是"这个任务的输出空间有多大"。分类、抽取、改写这类输出空间小的任务适合小模型;需要长推理、多步规划、写长文的,换小模型会连环出问题——省下的钱会在重试和人工返工里还回去。

小结

  • 先拆账再优化:固定前缀、检索内容、对话历史、输出四类,各自的改法完全不同。
  • 输入输出有 3–5 倍差价,控输出长度往往比压缩输入更直接。
  • 缓存要求前缀逐字节一致:固定内容在前、变量在后,提示词版本号别写进 system。
  • 历史只带最近几轮,更早的压缩成摘要;但标识符必须程序侧抽取,不能依赖摘要。
  • max_tokens 要贴着实际需要设,压到会导致截断失败时,重试会吃掉省下的钱。
  • 输出空间小的任务(分类、抽取)可以换小模型;长推理任务换小模型通常得不偿失。
查看「AI 应用」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。

一个月账单翻了四倍:把 token 成本拆成三笔账 - 起航社区