三条 few-shot 改了两条:样例挑选与采样参数的实测
三条示例改掉两条,输出就开始系统性跑偏。示例要按类收、必带一条边界样本、顺序要固定;温度也不能拍脑袋,得拿同一批样本跑网格、每组三次、看标准差而不只是看均值。
同一个提示词、同一个模型,我给三条示例,结果稳定;同事改成五条,其中两条是同一类问题,输出开始出现一种规律性偏差——所有带"能不能便宜点"的输入,都被判成"价格咨询",而不是"议价"。他的判断是"模型不稳定",我看了提示词才发现,那两条同类示例占了位置优势,模型把"重复出现的类别"当成了默认答案。
few-shot 和采样参数是最容易被当成玄学的两块。实际上它们是可测的:样例怎么挑、放在什么位置、温度设多少、跑几次看方差,都能落在同一套流程里。
一、示例不是越多越好,同类要收
早期我按"多给点例子总没坏处"的思路,塞了八条。问题是同类示例的比例直接变成了先验:四条都是"退款",模型遇到边界情况就往退款靠。后来改成每类 1–2 条、必带 1 条边界样本,总条数控制在 5–6 条,效果反而更稳。
边界样本指的是"看起来像 A 类、实际是 B 类"的输入,它对准确率的贡献远大于再来两条典型样本:
示例(按类各一条,最后一条是边界):
输入:发票抬头写错了,能重开吗
类别:invoice
输入:快递三天没动,帮我查一下
类别:logistics
输入:我登录不上,验证码收不到
类别:account
输入:这个价格能不能再优惠点,不行我就退了
类别:refund ← 边界:表面像议价,诉求是退款威胁
最后这条非常关键。不加它的时候,模型会把"价格 + 退"这类输入判成 other 或者自造一个"议价"类别;加了之后,同类边界输入的正确率明显上升。数量上不需要多,一条就够,因为它教的是"判定优先级",不是"某个具体表达"。
二、顺序会影响结果,做个轮换就知道
示例的排列位置有系统性影响:靠近待处理输入的那几条权重更高。这在长示例列表上尤其明显。验证方法很简单——把同一组示例做几种排列,跑同一批测试集,看结果差异:
import itertools, json
from collections import Counter
EXAMPLES = [ex_refund, ex_invoice, ex_logistics, ex_account, ex_edge]
orders = [list(p) for p in itertools.permutations(EXAMPLES, 3)] # 20 种排列,各取 3 条
results = {}
for i, order in enumerate(orders):
prompt = build_prompt(order, question=PROBE_INPUT)
out = call_llm(prompt, temperature=0, seed=42)
results[i] = json.loads(out)["category"]
print(Counter(results.values()))
如果 20 种排列给出的类别高度一致,说明这个任务的示例顺序不敏感,可以随便排;如果出现两种以上结果,就必须固定顺序,并把它写进提示词版本记录——否则同事改一下示例的排列,线上表现就会变,而没人知道原因。
我们那个分类任务在这轮实验里,20 种排列出现了 3 种结果,其中 17 次一致,说明"顺序敏感但不至于失控"。结论是固定顺序、并且把关键示例(边界那条)放在末尾。
三、temperature 0 也不等于完全确定
这一点值得单独说,因为它影响所有"跑两次对不上"的判断。temperature=0 在多数实现里是贪心解码,理论上取概率最高的 token,但实际仍有微小概率不一致,原因包括:浮点累加顺序不确定、批处理时同一批里的其他请求改变了归约顺序、MoE 模型的路由在不同批次间可能不同、以及多卡推理的通信顺序。
我们实测:同一输入连跑 20 次,temperature=0 时 19 次完全一致、1 次在 reason 字段的措辞上不同(类别一致)。所以结论是——判类别可以信任 temperature 0,判文本一致性不能。做回归测试时,比较结构化字段而不是整段文本。
seed 参数能减少但不能消除这种差异,而且不是所有接口都支持。我的做法是固定 seed 只用于"可复现排查",不作为正确性保证。
四、网格实测:温度乘 top_p,每组跑三次
参数不是拍脑袋定的。拿 40 条带标注样本,对温度取 0、0.2、0.7,top_p 取 0.9、1.0,每组跑 3 次,看均值与波动:
import statistics
SAMPLES = load_labeled("eval-40.jsonl") # 每条含 input 与 gold 类别
grid = [(t, p) for t in (0.0, 0.2, 0.7) for p in (0.9, 1.0)]
for t, p in grid:
accs = []
for _ in range(3):
hits = 0
for s in SAMPLES:
out = call_llm(build_prompt(FIXED_ORDER, s["input"]),
temperature=t, top_p=p, max_tokens=200)
hits += int(parse(out)["category"] == s["gold"])
accs.append(hits / len(SAMPLES))
print(f"T={t} p={p} acc={statistics.mean(accs):.3f} sd={statistics.pstdev(accs):.3f}")
跑完之后的表大致是这样(40 条样本,我们这台机器上通过接口调用):
| 温度 | top_p | 平均准确率 | 三次标准差 | 观察 |
|---|---|---|---|---|
| 0.0 | 1.0 | 0.875 | 0.000 | 最稳,措辞略生硬 |
| 0.0 | 0.9 | 0.875 | 0.000 | 与上一行基本等价 |
| 0.2 | 1.0 | 0.900 | 0.025 | 略高,但开始有波动 |
| 0.2 | 0.9 | 0.900 | 0.018 | 本任务的最佳折中 |
| 0.7 | 1.0 | 0.825 | 0.043 | 明显抖动,不建议用于分类 |
| 0.7 | 0.9 | 0.850 | 0.031 | 可用于生成类任务 |
还有一点必须提前算清楚:40 条样本,错一条就是 2.5 个百分点。所以 0.875 和 0.900 之间的差距,只相当于一条样本的区别,不能当成"温度 0.2 更好"的证据。样本少于 100 条时,我只看两种差异:标准差差一个数量级以上,或者错误集中在某一类样本上——后者往往能指出提示词的具体缺口,比总分有信息量。
这组数字只对"分类 + 短 JSON 输出"这个任务成立,换成写文案结论完全不同。重要的是方法:同一批样本、每组多次、看标准差而不只看均值。只看一次均值,很容易把随机波动当成改进。
五、负例比正例更省 token
后来发现一个比调参更有效的动作:给一条"错误示例",明确标出为什么错。它比再加两条正确示例便宜,效果也更直接:
反例(不要这样输出):
输入:我想退掉上周买的那个
错误输出:{"category": "other", "reason": "用户想退货"}
为什么错:诉求明确是退货,应判 refund;other 只用于无法归入任何一类的情况。
正确输出:{"category": "refund", "reason": "明确表达退货诉求"}
这类反例针对的是"模型的默认倾向",比如它倾向于把模糊表达归到 other。一条反例就把这个倾向纠正过来了,而且占用的 token 比两条新示例少。
代价是要维护:反例必须来自真实失败样本,不能凭空编。我见过有人写了一堆假想的错误输出,结果模型开始模仿那些错误格式。反例的来源只能是日志里真实出现过的失败。
六、参数和示例都要进版本记录
这轮折腾完,我加了一个要求:每次上线前,把提示词、示例集合(含顺序)、温度、top_p、max_tokens 一起写进一份 prompt-release.json,跟代码一起提交。
{
"task": "ticket_label",
"prompt_version": "2026.11.17-3",
"model": "gpt-4o-mini",
"temperature": 0.2,
"top_p": 0.9,
"max_tokens": 200,
"few_shot": ["ex_invoice", "ex_logistics", "ex_account", "ex_edge"],
"eval_set": "eval-40.jsonl",
"eval_score": {"acc": 0.900, "sd": 0.018, "runs": 3}
}
没有这份记录,两周后你没法回答"为什么准确率掉了"——可能是模型版本更新,可能是某人调了温度,也可能是示例被换了顺序。有记录至少能排除两种。
小结
- few-shot 每类 1–2 条、总数 5–6 条,必带一条边界样本;同类重复会变成先验。
- 示例顺序有系统性影响,用排列实验验证;敏感就固定顺序,并写进版本记录。
temperature=0也不绝对确定,分类看字段、文本比对别指望逐字一致。- 参数靠网格实测定:固定样本、每组多次、看标准差;只看单次均值容易误判。
- 一条真实的错误反例,往往比两条正确示例更省 token 也更有效;反例只能来自真实失败。
- 提示词、示例顺序、采样参数、评测结果要一起版本化,否则出问题无法归因。
正在加载评论…