AI 给的引用点开是 404:把出处当成数据来校验

链接 404、页面里没有那句话、数字被改写——三种失真里只有第一种能靠状态码发现。要求模型输出 url 加逐字 quote 加 claim 的三元组,程序侧做包含性与数字校验,再抽样看否定句。

内部知识库问答上线第一周,收到最多的反馈不是"答错了",而是"它给的那条链接点开没有这句话"。有的链接 404,有的能打开但整页没有相关表述,还有的干脆指向了另一个产品的文档。

这三种情况里只有第一种是明显的工程故障,后两种更麻烦——链接是活的,用户点进去看到一篇看起来相关的文章,然后开始怀疑是我们抓错了文档,还是文档写错了。所以后来我把"引用"当成一个独立的数据结构来校验,而不是让模型在末尾附几个 URL。

一、引用失真的三种形态

把反馈里的样本收集起来看,问题分成三类。

第一类,链接失效。模型在训练数据里见过某个路径,或者从检索到的片段里拼了半个 URL,输出时补全成看起来合理的地址。第二类,链接有效但页面不含该结论:模型检索到的是页面 A,回答时用页面 B 的 URL 去凑——这种情况在多文档混检时特别常见。第三类,片段被改写:原文是"该配置项默认为 2048",回答里变成"默认 4096",链接没错,数字错了。

三类里只有第一类能靠 HTTP 状态码发现。第二、第三类必须比对页面正文和引用片段。

二、别再输出链接列表,输出引用三元组

最开始的提示词是"回答后附上参考链接"。模型就只给 URL,甚至只给域名。改成要求结构化引用之后,可校验的东西才出现:

输出 JSON,字段:
answer: 结论文本,只写能由引用支撑的内容
citations: 数组,每项包含
  - url: 必须是检索结果里原样给出的 url,不要拼接、不要补全
  - quote: 从该页面原文里逐字复制的、能支撑结论的句子,不超过 80 字
  - claim: 这句话支撑的是 answer 里的哪个判断

规则:
1. quote 必须逐字来自页面正文,允许省略中间部分但要保留原顺序。
2. 找不到能支撑结论的原文时,answer 写"资料中未找到明确说明",citations 输出空数组。
3. 不允许引用检索结果以外的链接。

关键在 quote 和 claim 两个字段。只有 url 时,你无法判断链接是否真的支撑结论;有了逐字的 quote,程序就能做包含性校验;有了 claim,人工抽样时可以只看"哪句话支撑哪个判断",不必重读整篇。

三、第一道校验:可达性 + 逐字包含

拿到 citations 之后先跑一遍机器校验,两条规则:URL 必须能取到 200,且 quote 必须出现在页面正文里。

import hashlib, re, unicodedata, httpx

def norm(s: str) -> str:
    """统一全角半角、去掉空白与常见标点,避免排版差异造成误判。"""
    s = unicodedata.normalize("NFKC", s)
    s = re.sub(r"\s+", "", s)
    return re.sub(r"[,。、;:()「」“”‘’·—…!?.,;:()\[\]\"']", "", s)

_cache = {}

def fetch_text(url: str) -> str:
    if url in _cache:
        return _cache[url]
    r = httpx.get(url, timeout=8, follow_redirects=True,
                  headers={"User-Agent": "cite-check/1.0"})
    r.raise_for_status()
    txt = re.sub(r"<script[\s\S]*?</script>|<style[\s\S]*?</style>", " ", r.text)
    txt = re.sub(r"<[^>]+>", " ", txt)
    _cache[url] = txt
    return txt

def check(citations: list) -> list:
    out = []
    for c in citations:
        rec = {"url": c["url"], "status": "ok"}
        try:
            page = norm(fetch_text(c["url"]))
        except Exception as e:
            rec["status"] = "unreachable"
            rec["detail"] = type(e).__name__
            out.append(rec)
            continue
        if norm(c["quote"]) not in page:
            rec["status"] = "quote_missing"
        out.append(rec)
    return out

norm() 这一步不能省。我们最初直接做子串匹配,失败率高达四成,绝大部分是因为页面里的中文用了全角标点、或者 html 标签把句子切成了两段——这不是引用失真,是比对方式太脆。

第一轮校验的实测分布(一批 120 条带引用的回答):可达且 quote 命中 74 条,不可达 9 条,quote 未命中 37 条。37 条里人工看了 20 条,其中 12 条是页面渲染问题(前端渲染、PDF 抽取失败),8 条是真失真。

四、quote 未命中时,别急着判死刑

quote 未命中不一定是模型编的,也可能是你的抓取方式看不到正文。这里的处理顺序是:

现象 可能原因 处理
HTTP 404/410 链接编造或文档已迁移 直接判失败,重写回答或降级为"未找到"
200 但正文很短(< 500 字) 前端渲染页面,抓不到内容 换渲染方案,或该来源只做人工核验
200、正文正常、quote 完全不匹配 真失真 要求模型重写,只保留能核验的引用
quote 首尾命中、中间差异 省略号截断、标点差异 做模糊匹配,相似度 > 0.9 视为通过
quote 命中但 claim 不成立 引用了不支撑结论的句子 只能人工抽样发现,见下一节

模糊匹配用 difflib 就够,不必引入向量检索:

from difflib import SequenceMatcher

def fuzzy_contains(quote: str, page: str, win: int = 200, thr: float = 0.9) -> bool:
    q = norm(quote)
    if q in page:
        return True
    step = max(1, len(q) // 2)
    for i in range(0, max(1, len(page) - len(q) + 1), step):
        if SequenceMatcher(None, q, page[i:i + len(q)]).ratio() >= thr:
            return True
    return False

win 和 step 是性能折中:整页滑窗算相似度对长文档太慢,按半个 quote 长度跳跃足够覆盖。阈值 0.9 是我们调出来的,低到 0.8 会开始把"句式相似但数字不同"的句子判为通过——恰好放过最危险的那类失真。

五、数字和否定句要单独比

模糊匹配对数字不敏感:2048 和 4096 只差两个字符,相似度仍然很高。所以凡 quote 里含数字、日期、版本号的,必须再做一次精确提取比对。

import re

def numbers(text: str) -> list:
    return re.findall(r"\d+(?:\.\d+)?", norm(text))

def number_mismatch(quote: str, page: str) -> bool:
    q = numbers(quote)
    if not q:
        return False
    p = set(numbers(page))
    return any(n not in p for n in q)

同理,否定句("不支持""不能""不推荐")也要标记出来人工看。模型最容易在否定上出错——把"不建议在生产环境开启"概括成"可以开启",链接和 quote 都还在,结论反了。这类错误机器校验基本发现不了,只能靠抽样。

我的抽样规则是:每条回答抽 1 条引用人工核验,优先抽"含数字""含否定词""来自新入库文档"的。一批 120 条里抽 120 条不现实,按优先级抽 30 条,能覆盖住大部分风险。

六、"没找到"必须是合法输出

最后一件事和校验无关,但影响最大:如果提示词里没有明确允许"资料里没有",模型就会为了给出答案而去找一个勉强相关的链接。我们把这条写成了硬规则,并且在接口层做兜底——citations 为空时,回答只能是不超过 60 字的"未找到"说明,不能带任何推断。

上线后"未找到"的比例从 3% 上升到 11%,同期"链接点开没内容"的投诉从每周十几条降到一条。多出来的 8% 里,有一部分确实是知识库没覆盖,产品侧据此补了十几篇文档——这反而是最有价值的副产品。

小结

  • 引用要当数据结构校验,不能只在末尾附几个 URL;至少要有 url、quote、claim 三个字段。
  • quote 永远要求逐字复制,程序侧做包含性校验;比对前必须统一全角半角和标点,否则误判率极高。
  • 404 直接判失败;200 但正文为空多是渲染问题,不要当成模型编造。
  • 模糊匹配阈值别低于 0.9,否则"句式像但数字不同"这种最危险的失真会被放过。
  • 数字、日期、否定句单独校验或强制人工抽样,模糊匹配对它们不敏感。
  • 允许输出"资料中未找到",并把它作为默认的兜底行为,比让模型硬凑一条引用安全得多。
查看「AI 应用」全部文章 →

同分类文章

查看 0 评论 0

评论

正在加载评论…

留言提交后自动审核:正常内容立即显示,含敏感信息的会转人工复核。

AI 给的引用点开是 404:把出处当成数据来校验 - 起航社区