提示词改了二十版还是不稳:先建评测集,再动措辞
每次改完自己试十条都觉得变好了,上线三天又开始错分。问题不在改得不够勤,而在验收标准是“我看着还行”。二十条带标注的样本,让每一版改动都能被算出来。
给工单做自动分类,是我今年花时间最多、前两周效率最低的一件事。提示词改了二十多版,每次改完自己试十条,感觉都好了,上线三天又开始错分,然后回滚、再改、再上线。
第三次回滚之后我停下来了。问题不在于我改得不够勤,而在于我一直在用"自己看几条"当验收标准。十条样本里改对了两条,我根本不知道有没有把另外八条改坏。后来做的第一件事是把"好"变成能打分的东西,之后每一版改动都有据可依。
一、先把"看着不错"换成 20 条带标注的样本
我从近三个月的工单里分层抽了 20 条:每个主类别 3–4 条,再故意塞进几条长的、带否定句的、一句话里有两件事的。每一条人工标上正确类别,作为标准答案。
20 条不多,但足够暴露"改了 A 坏了 B"。样本挑的时候有三条原则,缺一条评测集就会失真:
- 覆盖长尾而不是平均样本:正常工单模型本来就分得对,测它没意义;要测的是边界。
- 保留原始表达:不要为了好读去改写工单,用户原话里的错字、口语、括号补充恰恰是难点。
- 一条只考一件事:一句话里塞三个诉求的样本,单独放一类,不要混进普通样本里算分。
评测集存成一个 JSONL,一行一条,方便后面脚本直接读:
{"id": "t-001", "text": "登录不上了,昨天还好好的,密码没改过", "label": "账号问题"}
{"id": "t-002", "text": "能不能开个发票,另外这个月账单好像多扣了", "label": "账单问题"}
二、跑分脚本:一次跑完,输出对比而不是一句"好多了"
第一版脚本很土,但够用:读 JSONL,逐条调模型,收集结果,算准确率,把错的打成一张表。
import json, os, csv, concurrent.futures as cf
from openai import OpenAI
client = OpenAI(base_url="https://api.example.com/v1", api_key=os.environ["LLM_API_KEY"])
MODEL = "model-name"
PROMPT = open("prompt_v7.txt", encoding="utf-8").read()
LABELS = ["账号问题", "账单问题", "功能异常", "需求建议"]
def classify(row):
resp = client.chat.completions.create(
model=MODEL,
temperature=0,
messages=[
{"role": "system", "content": PROMPT},
{"role": "user", "content": row["text"]},
],
response_format={"type": "json_object"},
)
out = json.loads(resp.choices[0].message.content)
return row["id"], row["text"], row["label"], out.get("category", "")
rows = [json.loads(l) for l in open("eval.jsonl", encoding="utf-8")]
with cf.ThreadPoolExecutor(max_workers=4) as ex:
results = list(ex.map(classify, rows))
hit = sum(1 for r in results if r[2] == r[3])
print("accuracy %d/%d = %.2f" % (hit, len(results), hit / len(results)))
with open("eval_out.csv", "w", newline="", encoding="utf-8") as f:
w = csv.writer(f)
w.writerow(["id", "label", "pred", "ok", "text"])
for r in results:
w.writerow([r[0], r[2], r[3], int(r[2] == r[3]), r[1]])
并发开 4 就够了。开太大容易撞限流,报 429 之后脚本里那些"空预测"会被算成错分,反而让分数虚低。我第一版开到 16,准确率莫名其妙掉了 8 个点,查了半天才发现是限流。
三、四个杠杆,一次只动一个
提示词能改的地方很多,混在一起改就永远不知道是哪一处起了作用。我把它拆成四个杠杆,一轮只动一个:
| 杠杆 | 具体改法 | 通常带来的变化 | 副作用 |
|---|---|---|---|
| 角色与任务边界 | 明确"你只做分类,不解释、不建议" | 输出更稳定 | 边界太窄时遇到新类别会硬套 |
| 类别定义 | 每类给一句判据加一个反例 | 边界样本明显变准 | 定义写太长会挤占上下文 |
| 示例(few-shot) | 每类 1 条,专挑易混的 | 长尾提升最多 | 示例本身有偏差会被放大 |
| 输出格式 | 强制 JSON,只允许枚举值 | 解析失败归零 | 模型可能为了合规硬猜 |
第一轮我只改了输出格式:从"请输出类别"改成 JSON 加枚举约束。准确率只涨了 1 条,但解析失败从 6 条降到 0 —— 这 6 条在原脚本里被算成错分,其实是我的解析逻辑太脆。
第二轮改示例。我把"账单问题"和"功能异常"各加了一条易混样本,准确率从 15/20 到 18/20。这一版是真正有效的改动。
第三轮我同时改了角色描述和类别定义,结果掉回 16/20,而且不知道是哪一处的问题。只能拆开重跑,白花了两轮时间。这件事之后我给自己定了规矩:一次提交只动一个杠杆,改完必跑评测。
四、温度设成 0 也不等于确定
temperature=0 只是让采样更偏向高概率 token,不保证同一输入永远同一输出。换模型版本、换推理后端、甚至同一批请求里上下文长度不同,结果都可能变。
所以我做了两件事:
- 评测固定模型版本号,不用带
latest的别名。别名一升级,分数变化就分不清是提示词还是模型的锅。 - 评测集跑两遍,只把两遍不一致的样本单独看。这批"不稳定样本"往往就是提示词写得含糊的地方,比错分样本更有信息量。
# 跑两遍比对,找出不稳定的条目
python eval.py --prompt prompts/v7.txt --out run_a.csv
python eval.py --prompt prompts/v7.txt --out run_b.csv
python - <<'EOF'
import csv
a = {r["id"]: r["pred"] for r in csv.DictReader(open("run_a.csv", encoding="utf-8"))}
b = {r["id"]: r["pred"] for r in csv.DictReader(open("run_b.csv", encoding="utf-8"))}
diff = [k for k in a if a[k] != b[k]]
print("unstable:", len(diff), diff)
EOF
我们那边 20 条里稳定有 2 条会飘,都是"一句话两个诉求"的样本。把提示词里"若有多个诉求,以主要诉求为准"改成明确的优先级规则后,飘的只剩 0 条。
五、提示词要版本化,别在聊天框里改
前两周我的提示词散在三个地方:聊天记录、代码里的字符串、某个临时 txt。改到第七版已经说不清哪版是哪版。
现在固定成一个文件加一个版本号,跟代码一起提交:
# prompts/classify.yaml
version: v8
model: model-name
temperature: 0
system: |
你是工单分类器。只输出 JSON,不要解释。
类别只能取以下之一:账号问题、账单问题、功能异常、需求建议。
判据:
- 账号问题:登录、密码、验证、权限
- 账单问题:扣费、发票、退款、套餐
- 功能异常:功能报错、页面打不开、数据不对
- 需求建议:希望新增或调整功能
若一句话包含多个诉求,以最先出现的、且影响使用的那个为准。
output_schema:
type: object
required: [category, confidence]
properties:
category: {type: string, enum: [账号问题, 账单问题, 功能异常, 需求建议]}
confidence: {type: number, minimum: 0, maximum: 1}
confidence 是这一版加的。它不一定准,但可以用来排序:把置信度低于 0.6 的挑出来人工复核,比全量抽查省力得多。实测 20 条里低置信度的 4 条,有 3 条确实是错的 —— 这个排序能力比置信度本身准不准更有用。
六、上线之后还要有回归门禁
改提示词和改代码没有本质区别,都应该过门禁。我们的做法是:提示词文件变更时触发一次评测,准确率低于上一版就拦住,允许人工覆盖但要写理由。
# 简易门禁:低于基线就退出非零
base=0.90
score=$(python eval.py --prompt prompts/classify.yaml --quiet | tail -1)
python - <<EOF
import sys
base, score = $base, float("$score")
print("base=%.2f now=%.2f" % (base, score))
sys.exit(0 if score >= base else 1)
EOF
这套东西加起来不到两百行,但它把我从"凭感觉改词"里拉了出来。最直接的变化是:现在改一版提示词,五分钟内就知道行不行,而不是等上线三天看用户投诉。
小结
- 先建 20 条带标注的评测集,再动提示词;没有评测集,改词只是在赌。
- 样本要挑边界和长尾,正常样本测不出问题;一条只考一件事。
- 四个杠杆(角色边界、类别定义、示例、输出格式)一次只动一个,混改等于放弃归因。
temperature=0不保证确定性,固定模型版本号,跑两遍找"不稳定样本",那是最该修的地方。- 提示词和代码一样要版本化:文件、版本号、diff、回归门禁,缺一个都会退回"凭感觉"。
- 置信度不用很准,能排序就够:低置信度优先人工复核,比全量抽查省力。
正在加载评论…