AI 给的引用点开是 404:把出处当成数据来校验
链接 404、页面里没有那句话、数字被改写——三种失真里只有第一种能靠状态码发现。要求模型输出 url 加逐字 quote 加 claim 的三元组,程序侧做包含性与数字校验,再抽样看否定句。
内部知识库问答上线第一周,收到最多的反馈不是"答错了",而是"它给的那条链接点开没有这句话"。有的链接 404,有的能打开但整页没有相关表述,还有的干脆指向了另一个产品的文档。
这三种情况里只有第一种是明显的工程故障,后两种更麻烦——链接是活的,用户点进去看到一篇看起来相关的文章,然后开始怀疑是我们抓错了文档,还是文档写错了。所以后来我把"引用"当成一个独立的数据结构来校验,而不是让模型在末尾附几个 URL。
一、引用失真的三种形态
把反馈里的样本收集起来看,问题分成三类。
第一类,链接失效。模型在训练数据里见过某个路径,或者从检索到的片段里拼了半个 URL,输出时补全成看起来合理的地址。第二类,链接有效但页面不含该结论:模型检索到的是页面 A,回答时用页面 B 的 URL 去凑——这种情况在多文档混检时特别常见。第三类,片段被改写:原文是"该配置项默认为 2048",回答里变成"默认 4096",链接没错,数字错了。
三类里只有第一类能靠 HTTP 状态码发现。第二、第三类必须比对页面正文和引用片段。
二、别再输出链接列表,输出引用三元组
最开始的提示词是"回答后附上参考链接"。模型就只给 URL,甚至只给域名。改成要求结构化引用之后,可校验的东西才出现:
输出 JSON,字段:
answer: 结论文本,只写能由引用支撑的内容
citations: 数组,每项包含
- url: 必须是检索结果里原样给出的 url,不要拼接、不要补全
- quote: 从该页面原文里逐字复制的、能支撑结论的句子,不超过 80 字
- claim: 这句话支撑的是 answer 里的哪个判断
规则:
1. quote 必须逐字来自页面正文,允许省略中间部分但要保留原顺序。
2. 找不到能支撑结论的原文时,answer 写"资料中未找到明确说明",citations 输出空数组。
3. 不允许引用检索结果以外的链接。
关键在 quote 和 claim 两个字段。只有 url 时,你无法判断链接是否真的支撑结论;有了逐字的 quote,程序就能做包含性校验;有了 claim,人工抽样时可以只看"哪句话支撑哪个判断",不必重读整篇。
三、第一道校验:可达性 + 逐字包含
拿到 citations 之后先跑一遍机器校验,两条规则:URL 必须能取到 200,且 quote 必须出现在页面正文里。
import hashlib, re, unicodedata, httpx
def norm(s: str) -> str:
"""统一全角半角、去掉空白与常见标点,避免排版差异造成误判。"""
s = unicodedata.normalize("NFKC", s)
s = re.sub(r"\s+", "", s)
return re.sub(r"[,。、;:()「」“”‘’·—…!?.,;:()\[\]\"']", "", s)
_cache = {}
def fetch_text(url: str) -> str:
if url in _cache:
return _cache[url]
r = httpx.get(url, timeout=8, follow_redirects=True,
headers={"User-Agent": "cite-check/1.0"})
r.raise_for_status()
txt = re.sub(r"<script[\s\S]*?</script>|<style[\s\S]*?</style>", " ", r.text)
txt = re.sub(r"<[^>]+>", " ", txt)
_cache[url] = txt
return txt
def check(citations: list) -> list:
out = []
for c in citations:
rec = {"url": c["url"], "status": "ok"}
try:
page = norm(fetch_text(c["url"]))
except Exception as e:
rec["status"] = "unreachable"
rec["detail"] = type(e).__name__
out.append(rec)
continue
if norm(c["quote"]) not in page:
rec["status"] = "quote_missing"
out.append(rec)
return out
norm() 这一步不能省。我们最初直接做子串匹配,失败率高达四成,绝大部分是因为页面里的中文用了全角标点、或者 html 标签把句子切成了两段——这不是引用失真,是比对方式太脆。
第一轮校验的实测分布(一批 120 条带引用的回答):可达且 quote 命中 74 条,不可达 9 条,quote 未命中 37 条。37 条里人工看了 20 条,其中 12 条是页面渲染问题(前端渲染、PDF 抽取失败),8 条是真失真。
四、quote 未命中时,别急着判死刑
quote 未命中不一定是模型编的,也可能是你的抓取方式看不到正文。这里的处理顺序是:
| 现象 | 可能原因 | 处理 |
|---|---|---|
| HTTP 404/410 | 链接编造或文档已迁移 | 直接判失败,重写回答或降级为"未找到" |
| 200 但正文很短(< 500 字) | 前端渲染页面,抓不到内容 | 换渲染方案,或该来源只做人工核验 |
| 200、正文正常、quote 完全不匹配 | 真失真 | 要求模型重写,只保留能核验的引用 |
| quote 首尾命中、中间差异 | 省略号截断、标点差异 | 做模糊匹配,相似度 > 0.9 视为通过 |
| quote 命中但 claim 不成立 | 引用了不支撑结论的句子 | 只能人工抽样发现,见下一节 |
模糊匹配用 difflib 就够,不必引入向量检索:
from difflib import SequenceMatcher
def fuzzy_contains(quote: str, page: str, win: int = 200, thr: float = 0.9) -> bool:
q = norm(quote)
if q in page:
return True
step = max(1, len(q) // 2)
for i in range(0, max(1, len(page) - len(q) + 1), step):
if SequenceMatcher(None, q, page[i:i + len(q)]).ratio() >= thr:
return True
return False
win 和 step 是性能折中:整页滑窗算相似度对长文档太慢,按半个 quote 长度跳跃足够覆盖。阈值 0.9 是我们调出来的,低到 0.8 会开始把"句式相似但数字不同"的句子判为通过——恰好放过最危险的那类失真。
五、数字和否定句要单独比
模糊匹配对数字不敏感:2048 和 4096 只差两个字符,相似度仍然很高。所以凡 quote 里含数字、日期、版本号的,必须再做一次精确提取比对。
import re
def numbers(text: str) -> list:
return re.findall(r"\d+(?:\.\d+)?", norm(text))
def number_mismatch(quote: str, page: str) -> bool:
q = numbers(quote)
if not q:
return False
p = set(numbers(page))
return any(n not in p for n in q)
同理,否定句("不支持""不能""不推荐")也要标记出来人工看。模型最容易在否定上出错——把"不建议在生产环境开启"概括成"可以开启",链接和 quote 都还在,结论反了。这类错误机器校验基本发现不了,只能靠抽样。
我的抽样规则是:每条回答抽 1 条引用人工核验,优先抽"含数字""含否定词""来自新入库文档"的。一批 120 条里抽 120 条不现实,按优先级抽 30 条,能覆盖住大部分风险。
六、"没找到"必须是合法输出
最后一件事和校验无关,但影响最大:如果提示词里没有明确允许"资料里没有",模型就会为了给出答案而去找一个勉强相关的链接。我们把这条写成了硬规则,并且在接口层做兜底——citations 为空时,回答只能是不超过 60 字的"未找到"说明,不能带任何推断。
上线后"未找到"的比例从 3% 上升到 11%,同期"链接点开没内容"的投诉从每周十几条降到一条。多出来的 8% 里,有一部分确实是知识库没覆盖,产品侧据此补了十几篇文档——这反而是最有价值的副产品。
小结
- 引用要当数据结构校验,不能只在末尾附几个 URL;至少要有
url、quote、claim三个字段。 - quote 永远要求逐字复制,程序侧做包含性校验;比对前必须统一全角半角和标点,否则误判率极高。
- 404 直接判失败;200 但正文为空多是渲染问题,不要当成模型编造。
- 模糊匹配阈值别低于 0.9,否则"句式像但数字不同"这种最危险的失真会被放过。
- 数字、日期、否定句单独校验或强制人工抽样,模糊匹配对它们不敏感。
- 允许输出"资料中未找到",并把它作为默认的兜底行为,比让模型硬凑一条引用安全得多。
正在加载评论…