三条 few-shot 改了两条:样例挑选与采样参数的实测

三条示例改掉两条,输出就开始系统性跑偏。示例要按类收、必带一条边界样本、顺序要固定;温度也不能拍脑袋,得拿同一批样本跑网格、每组三次、看标准差而不只是看均值。

同一个提示词、同一个模型,我给三条示例,结果稳定;同事改成五条,其中两条是同一类问题,输出开始出现一种规律性偏差——所有带"能不能便宜点"的输入,都被判成"价格咨询",而不是"议价"。他的判断是"模型不稳定",我看了提示词才发现,那两条同类示例占了位置优势,模型把"重复出现的类别"当成了默认答案。

few-shot 和采样参数是最容易被当成玄学的两块。实际上它们是可测的:样例怎么挑、放在什么位置、温度设多少、跑几次看方差,都能落在同一套流程里。

一、示例不是越多越好,同类要收

早期我按"多给点例子总没坏处"的思路,塞了八条。问题是同类示例的比例直接变成了先验:四条都是"退款",模型遇到边界情况就往退款靠。后来改成每类 1–2 条、必带 1 条边界样本,总条数控制在 5–6 条,效果反而更稳。

边界样本指的是"看起来像 A 类、实际是 B 类"的输入,它对准确率的贡献远大于再来两条典型样本:

示例(按类各一条,最后一条是边界):
输入:发票抬头写错了,能重开吗
类别:invoice

输入:快递三天没动,帮我查一下
类别:logistics

输入:我登录不上,验证码收不到
类别:account

输入:这个价格能不能再优惠点,不行我就退了
类别:refund        ← 边界:表面像议价,诉求是退款威胁

最后这条非常关键。不加它的时候,模型会把"价格 + 退"这类输入判成 other 或者自造一个"议价"类别;加了之后,同类边界输入的正确率明显上升。数量上不需要多,一条就够,因为它教的是"判定优先级",不是"某个具体表达"。

二、顺序会影响结果,做个轮换就知道

示例的排列位置有系统性影响:靠近待处理输入的那几条权重更高。这在长示例列表上尤其明显。验证方法很简单——把同一组示例做几种排列,跑同一批测试集,看结果差异:

import itertools, json
from collections import Counter

EXAMPLES = [ex_refund, ex_invoice, ex_logistics, ex_account, ex_edge]
orders = [list(p) for p in itertools.permutations(EXAMPLES, 3)]  # 20 种排列,各取 3 条

results = {}
for i, order in enumerate(orders):
    prompt = build_prompt(order, question=PROBE_INPUT)
    out = call_llm(prompt, temperature=0, seed=42)
    results[i] = json.loads(out)["category"]

print(Counter(results.values()))

如果 20 种排列给出的类别高度一致,说明这个任务的示例顺序不敏感,可以随便排;如果出现两种以上结果,就必须固定顺序,并把它写进提示词版本记录——否则同事改一下示例的排列,线上表现就会变,而没人知道原因。

我们那个分类任务在这轮实验里,20 种排列出现了 3 种结果,其中 17 次一致,说明"顺序敏感但不至于失控"。结论是固定顺序、并且把关键示例(边界那条)放在末尾。

三、temperature 0 也不等于完全确定

这一点值得单独说,因为它影响所有"跑两次对不上"的判断。temperature=0 在多数实现里是贪心解码,理论上取概率最高的 token,但实际仍有微小概率不一致,原因包括:浮点累加顺序不确定、批处理时同一批里的其他请求改变了归约顺序、MoE 模型的路由在不同批次间可能不同、以及多卡推理的通信顺序。

我们实测:同一输入连跑 20 次,temperature=0 时 19 次完全一致、1 次在 reason 字段的措辞上不同(类别一致)。所以结论是——判类别可以信任 temperature 0,判文本一致性不能。做回归测试时,比较结构化字段而不是整段文本。

seed 参数能减少但不能消除这种差异,而且不是所有接口都支持。我的做法是固定 seed 只用于"可复现排查",不作为正确性保证。

四、网格实测:温度乘 top_p,每组跑三次

参数不是拍脑袋定的。拿 40 条带标注样本,对温度取 0、0.2、0.7,top_p 取 0.9、1.0,每组跑 3 次,看均值与波动:

import statistics

SAMPLES = load_labeled("eval-40.jsonl")   # 每条含 input 与 gold 类别
grid = [(t, p) for t in (0.0, 0.2, 0.7) for p in (0.9, 1.0)]

for t, p in grid:
    accs = []
    for _ in range(3):
        hits = 0
        for s in SAMPLES:
            out = call_llm(build_prompt(FIXED_ORDER, s["input"]),
                           temperature=t, top_p=p, max_tokens=200)
            hits += int(parse(out)["category"] == s["gold"])
        accs.append(hits / len(SAMPLES))
    print(f"T={t} p={p} acc={statistics.mean(accs):.3f} sd={statistics.pstdev(accs):.3f}")

跑完之后的表大致是这样(40 条样本,我们这台机器上通过接口调用):

温度 top_p 平均准确率 三次标准差 观察
0.0 1.0 0.875 0.000 最稳,措辞略生硬
0.0 0.9 0.875 0.000 与上一行基本等价
0.2 1.0 0.900 0.025 略高,但开始有波动
0.2 0.9 0.900 0.018 本任务的最佳折中
0.7 1.0 0.825 0.043 明显抖动,不建议用于分类
0.7 0.9 0.850 0.031 可用于生成类任务

还有一点必须提前算清楚:40 条样本,错一条就是 2.5 个百分点。所以 0.875 和 0.900 之间的差距,只相当于一条样本的区别,不能当成"温度 0.2 更好"的证据。样本少于 100 条时,我只看两种差异:标准差差一个数量级以上,或者错误集中在某一类样本上——后者往往能指出提示词的具体缺口,比总分有信息量。

这组数字只对"分类 + 短 JSON 输出"这个任务成立,换成写文案结论完全不同。重要的是方法:同一批样本、每组多次、看标准差而不只看均值。只看一次均值,很容易把随机波动当成改进。

五、负例比正例更省 token

后来发现一个比调参更有效的动作:给一条"错误示例",明确标出为什么错。它比再加两条正确示例便宜,效果也更直接:

反例(不要这样输出):
输入:我想退掉上周买的那个
错误输出:{"category": "other", "reason": "用户想退货"}
为什么错:诉求明确是退货,应判 refund;other 只用于无法归入任何一类的情况。
正确输出:{"category": "refund", "reason": "明确表达退货诉求"}

这类反例针对的是"模型的默认倾向",比如它倾向于把模糊表达归到 other。一条反例就把这个倾向纠正过来了,而且占用的 token 比两条新示例少。

代价是要维护:反例必须来自真实失败样本,不能凭空编。我见过有人写了一堆假想的错误输出,结果模型开始模仿那些错误格式。反例的来源只能是日志里真实出现过的失败。

六、参数和示例都要进版本记录

这轮折腾完,我加了一个要求:每次上线前,把提示词、示例集合(含顺序)、温度、top_p、max_tokens 一起写进一份 prompt-release.json,跟代码一起提交。

{
  "task": "ticket_label",
  "prompt_version": "2026.11.17-3",
  "model": "gpt-4o-mini",
  "temperature": 0.2,
  "top_p": 0.9,
  "max_tokens": 200,
  "few_shot": ["ex_invoice", "ex_logistics", "ex_account", "ex_edge"],
  "eval_set": "eval-40.jsonl",
  "eval_score": {"acc": 0.900, "sd": 0.018, "runs": 3}
}

没有这份记录,两周后你没法回答"为什么准确率掉了"——可能是模型版本更新,可能是某人调了温度,也可能是示例被换了顺序。有记录至少能排除两种。

小结

  • few-shot 每类 1–2 条、总数 5–6 条,必带一条边界样本;同类重复会变成先验。
  • 示例顺序有系统性影响,用排列实验验证;敏感就固定顺序,并写进版本记录。
  • temperature=0 也不绝对确定,分类看字段、文本比对别指望逐字一致。
  • 参数靠网格实测定:固定样本、每组多次、看标准差;只看单次均值容易误判。
  • 一条真实的错误反例,往往比两条正确示例更省 token 也更有效;反例只能来自真实失败。
  • 提示词、示例顺序、采样参数、评测结果要一起版本化,否则出问题无法归因。
查看「AI 应用」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。