让它输出 JSON,十次有三次多一句话:Schema 与一次重试
提示词里写“只返回 JSON”只是请求。换到接口层用 json_schema 约束、把校验错误喂回去重试一次、再按五类失败分别改,同一批 300 条数据的解析失败从 27 次降到 1 次。
给工单做自动分类,最开始的版本是在提示词末尾写一句"请只返回 JSON,不要解释"。前一百条跑得还行,从第一百零一条开始陆续出现三种情况:JSON 前面多一句"好的,分类结果如下";字段名从 category 变成 分类;枚举值给了个 退款咨询,而我的映射表里只有 refund。
这三种都不是模型"不听话",是格式约束从来没落到接口层。提示词里的"请只返回 JSON"是请求,不是约束。后来把任务改成接口层强制 schema,再把失败样本归类,同一批 300 条数据从 27 次解析失败降到 1 次。
一、格式约束从提示词里拿出来
一个反直觉的结论:如果 schema 能在请求参数里给,就别在提示词里描述字段。用文字描述字段,模型可能少一个字段、或者把置信度写成"高";而接口层的 response_format 在解码阶段就把不合规的 token 概率压掉,是"生成时"的限制,比"生成完再检查"强一个量级。
以兼容接口为例,客户端这样写:
from openai import OpenAI
import json, os
client = OpenAI(base_url=os.environ["BASE_URL"], api_key=os.environ["LLM_KEY"])
SCHEMA = {
"type": "object",
"additionalProperties": False,
"required": ["category", "confidence", "reason"],
"properties": {
"category": {"type": "string", "enum": ["refund", "logistics", "invoice", "account", "other"]},
"confidence": {"type": "number"},
"reason": {"type": "string"},
},
}
resp = client.chat.completions.create(
model="gpt-4o-mini",
temperature=0,
messages=[{"role": "user", "content": prompt}],
response_format={"type": "json_schema",
"json_schema": {"name": "ticket_label", "strict": True, "schema": SCHEMA}},
)
data = json.loads(resp.choices[0].message.content)
strict: True 是关键。不开 strict,response_format 只保证"是合法 JSON",不保证"符合你的字段"。
二、strict 模式只认 schema 的一个子集
这一步踩了最久。我第一版 schema 里写了 "maxLength": 40 和 "pattern": "^[a-z_]+$",请求直接 400。strict 支持的是子集:type、properties、required、additionalProperties、enum、items、anyOf、$defs,长度、正则、数值范围都不在其中。
另外两条硬规则:每个对象的所有属性都必须出现在 required 里;每个对象都必须显式写 additionalProperties: false,嵌套对象也一样。这意味着 reason 这类"有时确实没有"的字段只能把 null 放进类型:{"type": ["string", "null"]},而不是留空。
所以我在 schema 里只保留"形状",把"业务规则"全部搬到程序侧:长度上限靠切片,正则校验(单号、日期)在生成后跑一次、失败进重试,数组条数先在提示词里限制、再在代码里 [:5] 兜底。这样 schema 稳定,也不会因为换个模型就 400。
三、本地部署的两条路
线上用云接口,离线批处理和内部数据走本地。两条常见路径写法不同。vLLM 用 guided decoding,把 schema 塞进 guided_json:
# vLLM:schema 放在请求体的顶层字段 guided_json
curl -s http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"Qwen2.5-7B-Instruct","temperature":0,"max_tokens":256,
"messages":[{"role":"user","content":"分类:发票信息填错了,能重开吗"}],
"guided_json":{"type":"object","required":["category"],
"properties":{"category":{"enum":["refund","invoice","other"]}},
"additionalProperties":false}}'
# Ollama:format 字段直接吃 schema
curl -s http://127.0.0.1:11434/api/chat -d '{
"model":"qwen2.5:7b-instruct","stream":false,
"format":{"type":"object","required":["category"],
"properties":{"category":{"type":"string"}}},
"messages":[{"role":"user","content":"分类:发票信息填错了"}]}'
guided_json 在 vLLM 的 HTTP 接口里是请求体顶层字段;用 OpenAI SDK 调同一个服务时得放进 extra_body,这两个写法我一开始搞混,白调了半小时。
两边都在采样层约束候选,但都不保证业务语义:schema 只保证"形状对","分类对不对"仍然靠评测集。
四、校验失败别重问一遍,把错误喂回去
即使有 schema 仍会失败,主要来自嵌套数组被截断、以及服务端修复 JSON 时丢字段。这时别用同一句提示词再问一遍,大概率重复同一个错误;正确做法是把校验器的报错原文拼回消息里,只重试一次。
from pydantic import BaseModel, ValidationError, field_validator
class Label(BaseModel):
category: str
confidence: float
reason: str
@field_validator("category")
@classmethod
def known(cls, v):
assert v in ENUM_SET, "category 不在枚举内"
return v
def label_with_repair(prompt, retries=1):
msgs = [{"role": "user", "content": prompt}]
for attempt in range(retries + 1):
raw = call_llm(msgs, schema=SCHEMA)
try:
return Label.model_validate_json(raw)
except ValidationError as e:
if attempt == retries:
raise
msgs += [{"role": "assistant", "content": raw},
{"role": "user", "content":
"没通过校验:\n%s\n只修正这些问题,重新输出完整 JSON。" % e}]
重试时保留 temperature=0 与 schema,只多一轮"报错 → 修正"。我们这台机器上一次重试的修复率大约六成;剩下四成基本是小模型能力问题,再重试也没用,落到人工队列比无限重试划算。
五、把失败归成五类再动手
连续两周记录失败样本,300 次调用里 27 次失败,归类之后方向就清楚了:
| 失败表现 | 次数 | 根因 | 改法 |
|---|---|---|---|
| 枚举值编造(如"退款咨询") | 11 | 枚举没写全,模型自己补词义 | 枚举加 other,补判定口径 |
| JSON 前带解释文字 | 6 | 走的是不带 schema 的旧调用 | 统一入口,禁止绕过封装 |
| 字段缺失 | 5 | 嵌套对象没写 required | 补 required,加测试用例 |
| 数字写成字符串 | 3 | 小模型对类型不敏感 | 宽松转换 + 记录 |
| 数组被截断 | 2 | max_tokens 太小 |
按最长样本 ×1.5 设上限 |
还有一条规则:失败必须把原文、schema、提示词一起落盘——没有样本的失败等于没发生。
六、枚举是最大的坑,给它兜底
分类任务里 80% 的返工都来自枚举。模型遇到没见过的表达,倾向于自己造一个更贴切的类别。两个动作能压住:枚举必须有兜底项 other 并写明"无法归类时选 other";每个值给一句判定口径,而不是只给词:
类别定义(只允许从这五个里选一个):
- refund:要求退款、退货、价保,或对已支付金额有异议
- invoice:发票开具、重开、信息修改、抬头变更
- logistics:物流时效、签收异常、地址修改
- account:登录、密码、绑定手机、账号注销
- other:无法归入以上四类(含纯咨询、无明确诉求)
输出要求:category 必须是上述英文标识之一,不要输出中文类别名。
落库前还有一道兜底:category 不在集合里、或 confidence < 0.5 时直接进人工队列。上线后错分到下游的工单从每周十几条降到零,代价是人工队列多了约 8% 的量。
小结
- 格式约束尽量放接口层(
response_format/guided_json/format),提示词里写"请只返回 JSON"只是请求。 strict只支持 schema 子集:没有可选字段、没有长度和正则,这些得挪到程序侧。- 校验失败把报错原文喂回去再试一次,重试控制在 1–2 次,剩下交人工。
- 失败样本要归类落盘:枚举问题改提示词,缺字段改 schema,截断改
max_tokens。 - 枚举留
other兜底并写判定口径;低置信度直接进人工,比让错分流到下游便宜。
正在加载评论…