RAG(检索增强生成)在企业知识库场景中已成为标配。但用户在使用时的第一反应往往不是"回答得好",而是"我怎么知道这是对的"。
这个信任问题不解决,再高的准确率也没有意义。
可信度的三根支柱
一、强制溯源引用
这是最基础、也最重要的机制。企业 RAG 不能像通用 AI 那样直接给出自然语言回答就结束,而必须在回答的每一个关键信息点后面附带:
- 原文切片 ID:用户能定位到知识库中的原始文档
- 相似度评分:被召回的切片与 Query 的匹配程度,低于阈值时显眼提示"低置信度"
- 返回时直接链接:点击即可跳转查看原文
用户能看到"这个回答是从哪里来的",就能做出自己的判断。即使 AI 出错,用户也能从引用中发现并纠正。
关键点在于:溯源引用必须是强制性的,不能是可选项。RAG 系统应该主动告诉用户"我的回答基于什么",而不是等用户问了才给。
二、置信评估体系
仅靠溯源不够,系统还需要对自己的回答做"自查"。推荐使用 RAGAS 框架中的关键指标:
- Faithfulness(忠实度):回答中的事实是否都有上下文支撑?任何一条无法从检索内容中推导出来的信息,都是潜在的幻觉。
- Relevance(相关性):检索到的切片是否真的回答了用户的问题?如果上下文相关度低,即使答案本身正确,也是"答非所问"。
这两个指标应当在每次回答后自动计算,并在回答的元数据中呈现。当 Faithfulness 低于阈值时,系统应当主动提示"该回答的部分信息可能缺乏文献支撑"。
三、人机校对闭环
对于高价值、高风险的决策场景(如合同审查、政策解读、医疗建议),AI 的定位应当是"证据索引助手"而非"最终定论者"。
推荐建立三级人机协作流程:
AI 生成回答 → 自动标注置信度 → 低置信度:直接转人工
→ 高置信度:推送专家复核(可跳过式)
→ 极高置信度:自动放行 + 留痕
这个闭环有双重价值:既保证了准确性,又不断收集专家的修正反馈,用于后续模型微调和 RAG Pipeline 优化。
总结
RAG 可信度不是技术指标,而是系统设计哲学。它要求我们在追求"回答得好"的同时,时刻回答"凭什么信这个回答"。
溯源是底线,评估是能力,人机闭环是保障。三根支柱缺一不可。