知识库回答答非所问:切分、召回、重排的三处偏差
答得流畅但答的不是问的。抽查三十条差评后发现,只有五条是生成的问题,十七条款压根没被检索到。改切分和混合检索比调提示词有效得多。
内部知识库问答上线第一周,反馈集中在同一句话上:"它答得挺流畅,就是答的不是我问的。"
我先按"模型能力不行"处理,换了一个更强的模型,情况只好了两天;又按"提示词不行"处理,加了一堆"只能依据资料回答"的约束,回答变保守了,答非所问依旧。
真正的转折是把整条链路拆开看:检索给了什么块、这些块里有没有答案、答案有没有被用上。拆开之后发现,问题九成在前两步,跟生成模型关系不大。
一、先分清三种失败,再动手改
同一个"答错"背后至少有三种完全不同的原因,混在一起就会乱改:
- 资料里根本没有答案 —— 这是知识覆盖问题;
- 资料里有,但没被检索到 —— 召回问题;
- 检索到了,但模型没用上或者用错 —— 生成或提示词问题。
判断方法很土但有效:把检索到的前五块原文打出来,人眼看一遍。
hits = retriever.search(question, top_k=5)
for i, h in enumerate(hits, 1):
print(f"--- #{i} score={h.score:.3f} source={h.source}")
print(h.text[:300].replace("\n", " "))
我们抽查了 30 条差评,结果是:8 条属于第一种(那部分制度文档压根没入库),17 条属于第二种,只有 5 条是生成阶段的问题。所以在切分和召回上花的力气,回报远高于调提示词。
二、切分:按标题层级切,不按固定字数切
第一版用的是最省事的做法:每 500 字切一块,重叠 50 字。问题很快就出来了。
一份《报销制度》里,"交通费"和"住宿费"的报销上限分别在两个小节。固定字数切分把第二小节的开头切到了上一块末尾,于是检索"住宿费能报多少"时,召回的块里只有半句标准,模型只能猜。
改成按文档结构切:先按二级标题分节,节内超过 800 字再按段落切,段内超过 800 字才硬切。
import re
def split_by_heading(text, max_len=800):
# 先按二级标题切,保留标题作为块的前缀
sections = re.split(r"\n(?=## )", text)
chunks = []
for sec in sections:
title = sec.splitlines()[0].lstrip("# ").strip() if sec.startswith("## ") else ""
if len(sec) <= max_len:
chunks.append({"title": title, "text": sec.strip()})
continue
buf = ""
for para in sec.split("\n\n"):
if len(buf) + len(para) > max_len and buf:
chunks.append({"title": title, "text": buf.strip()})
buf = ""
buf += para + "\n\n"
if buf.strip():
chunks.append({"title": title, "text": buf.strip()})
return chunks
两个细节很关键:
- 每块都带标题前缀。检索时这块的语义是"住宿费标准 + 具体数额",标题是语义的一部分,去掉它,向量就丢了上下文。
- 表格单独成块。表格被切断后基本无法理解,宁可让它单独一块、甚至略大一点。
| 切分方式 | 块数 | 命中率(30 条人工标注) | 主要问题 |
|---|---|---|---|
| 固定 500 字 / 重叠 50 | 1840 | 52% | 跨小节被切断,答案只剩半句 |
| 固定 1000 字 / 重叠 100 | 960 | 58% | 块太大,噪声稀释 |
| 按标题切 + 段内 800 字 | 1120 | 79% | 标题过长的文档块偏大 |
| 再加表格独立成块 | 1186 | 83% | 块数增加,检索稍慢 |
三、召回:只用向量一路,专有名词必漏
向量检索擅长语义相近,但对付专有名词很吃力。"HT-2024 型号的保修期"这种查询,向量会把"保修期"相关的块都召回来,而真正提到 HT-2024 的那块可能排在第八位。
所以我们改成了混合检索:关键词一路,向量一路,各取前 20,合并去重后送重排。
-- pgvector + 全文检索的混合查询(示意)
WITH kw AS (
SELECT id, content,
ts_rank(to_tsvector('simple', content), plainto_tsquery('simple', $1)) AS rank
FROM kb_chunks
WHERE to_tsvector('simple', content) @@ plainto_tsquery('simple', $1)
ORDER BY rank DESC
LIMIT 20
), vec AS (
SELECT id, content, 1 - (embedding <=> $2) AS score
FROM kb_chunks
ORDER BY embedding <=> $2
LIMIT 20
)
SELECT id, content, COALESCE(rank, 0) AS kw_score, COALESCE(score, 0) AS vec_score,
0.4 * COALESCE(rank, 0) + 0.6 * COALESCE(score, 0) AS final
FROM kw FULL OUTER JOIN vec USING (id)
ORDER BY final DESC
LIMIT 30;
两个坑要说清楚:
to_tsvector('simple', ...)对中文是按字切的,效果很差。要么装分词扩展(pg_jieba、zhparser),要么改用二元组分词自己建索引。我们一开始没注意,关键词那一路几乎全是噪声,白占了 40% 的权重。- 权重 0.4 / 0.6 不是普适值。文档里型号、编号多的场景,关键词权重调高;口语化问答多的场景,向量权重调高。这个值必须用评测集试出来。
向量索引也要选对。数据量在百万级以内,hnsw 的召回和延迟比 ivfflat 稳定,代价是建索引慢、占内存多:
CREATE EXTENSION IF NOT EXISTS vector;
CREATE INDEX idx_kb_embedding ON kb_chunks
USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);
-- 查询时临时提高搜索宽度,牺牲一点延迟换召回
SET hnsw.ef_search = 100;
四、重排:延迟翻倍,但值得
混合检索的前 30 块里,正确答案通常在里面,只是排得靠后。重排模型(cross-encoder)就是把"问题 + 块"一起送进模型打分,比纯向量相似度准得多。
代价是延迟。我们实测:30 个候选重排,在 GPU 上约 120 ms,在 CPU 上 800 ms 以上。CPU 那个数字直接决定了要不要上 GPU。
def rerank(question, candidates, top_n=5):
pairs = [(question, c["text"]) for c in candidates]
scores = reranker.predict(pairs) # 返回与 pairs 等长的分数
ranked = sorted(zip(candidates, scores), key=lambda x: x[1], reverse=True)
return [{"chunk": c, "score": float(s)} for c, s in ranked[:top_n]]
重排之后只把前 5 块送进提示词。块数不是越多越好:从 5 增到 10,答案正确率基本没变,token 成本翻倍,而且模型更容易被无关块带偏 —— 它有时会拿第八块里的内容回答第一块的问题。
五、评测:命中率和答案正确率分开算
这两个指标必须分开,否则永远不知道问题在哪一步。
- 命中率:正确的那块有没有进前 5,只考检索;
- 答案正确率:最终回答对不对,考整条链路。
我们维护了一份 50 条问题的评测集,每条标了"答案在哪一块文档"。跑一次脚本就能同时得到两个数:
hit = sum(1 for r in results if r["gold_chunk"] in r["retrieved_ids"])
correct = sum(1 for r in results if r["judged_correct"])
print("recall@5 %.2f answer_acc %.2f" % (hit / len(results), correct / len(results)))
如果命中率高、答案正确率低,去改提示词;如果命中率低,改切分和召回,别碰提示词。这条分工让我们少走了很多弯路 —— 之前一遇到答错就调提示词,实际上三分之二的问题在检索层。
六、四个反复出现的具体坑
- 同一份文档重复入库:版本更新时没删旧块,新旧两版同时被召回,回答自相矛盾。现在按文档 ID 先删后插,并且记录内容哈希做去重。
- 块里没有出处的标题:回答里说"根据规定",但说不出是哪份文件。每块都带
source和heading,提示词要求引用时一并给出。 - 召回为空也硬答:检索结果为空时模型会编。现在空结果直接返回"知识库里没有相关内容",不给模型发挥空间。
- 问题里的指代没处理:多轮对话里"那它呢"这种问题,向量化之后毫无信息。我们做了一步改写,把上一轮的实体补进当前问题再检索。
小结
- 先分类失败原因:资料缺失、召回失败、生成失败,三者改法完全不同,别一上来调提示词。
- 切分按标题层级,每块带标题前缀,表格独立成块;固定字数切分会把答案切成半句。
- 中文全文检索需要分词扩展,
simple配置按字切,关键词那一路基本是噪声。 - 混合检索的权重和向量索引参数都要用评测集试,不要照抄别人的数字。
- 重排值得上,但要看延迟预算;只把前 5 块送进提示词,多了反而带偏。
- 命中率和答案正确率分开算,据此决定改检索还是改生成。
- 空召回不要硬答,重复入库和指代不清是最高频的两个隐性坑。
正在加载评论…