行业新闻
及时了解智能客服、企业数字化行业的最新动态、技术突破、市场趋势、政策法规、企业并购融资及创新应用案例等信息。
首页> 行业新闻>
AI客服“胡说八道”怎么治?RAG召回、置信度阈值与兜底话术
AI客服“胡说八道”怎么治?RAG召回、置信度阈值与兜底话术
2026-11-05 来源:华云天下 作者:张鑫

AI客服“胡说八道”怎么治?RAG召回、置信度阈值与兜底话术

AI客服最贵的错误不是答不上来,而是答得很像那么回事,但答案是错的。

答不上来,客户会追问、会转人工,损失一次交互;答错了,客户会照着错误信息去办事——跑错网点、带错材料、错过期限,损失的是信任,还要企业来兜底。

“幻觉”这个词被用得太泛,导致很多团队一上来就想换模型。但实际项目里,大部分错误答案不是模型笨,而是检索没给到对的材料,或者系统不知道该说“我不知道”。这篇按工程链路拆,从病根到药方。

一、先分清三种“胡说”,病根完全不同

第一种:知识缺失型。知识库里根本没有这条业务规则,模型只能用通用常识补。比如客户问“我们这个城市的退费要几个工作日”,知识库只写了“按流程办理”,模型就会自己编一个“3到5个工作日”。

这类错误的特征是:答案通顺、合理、但没有出处。药方是补知识、而不是调模型。

第二种:召回错误型。知识库里有正确材料,但检索没召回来,或者召回的是另一条相似但条件不同的规则。比如“新客首单立减”和“复购满减”两条政策,语义接近,检索把复购那条给了新客场景。

这类错误的特征是:答案有依据,但依据错了。药方在检索链路,不在生成端。

第三种:生成过度型。材料给对了,模型却做了超出材料的推断、合并、承诺。比如材料写“可申请延期”,模型答成“一定可以延期,不会影响征信”。

这类错误的特征是:答案沾边,但越界了。药方在提示词约束、输出校验和兜底策略。

不分清这三类,就会陷入“不停换模型、问题依旧”的循环。

二、RAG链路上的五个高频失效点1793860799645.png

RAG不是“把文档丢进去就能答”,它是一条链,每一环都可能漏。

第一环:文档解析。PDF两栏排版被读成一行、表格被读成流水文字、扫描件没做OCR、附件图片里的规则没被提取——这些在解析阶段就丢了。后面检索再准,也是在残缺的材料里找。

第二环:切分粒度。切得太碎,一条规则被拆成三段,每段都不完整;切得太粗,一个chunk里混了三个主题,向量被平均掉,检索时反而不命中。业务规则类文档建议按条款/问答对切分,而不是按固定字数机械切。

第三环:召回方式单一。纯向量检索擅长语义相近,但对编号、产品名、专有名词、缩写不敏感。客户问“B23套餐”,向量可能召回一堆“套餐”相关内容,却漏掉真正那条。工程上通常要做混合检索:向量召回+关键词/BM25召回,再合并去重。

第四环:没有重排。召回Top20直接丢给模型,噪声比例很高。加一层rerank(重排)把真正相关的排到前面,是性价比最高的一步优化——成本远低于换模型。

第五环:上下文拼装。把召回的十条材料不加区分地拼进prompt,模型会串用不同条款的条件。正确做法是:带来源、带生效条件、带适用范围拼装,并明确告诉模型“只能依据以下材料回答”。

这五环里,前四环决定“材料对不对”,第五环决定“模型会不会用错”。

三、置信度阈值:不能只看一个相似度分数

image.png

很多系统判断“能不能答”,只看检索相似度分数,超过0.8就答。这个做法在真实业务里很不稳。

更可用的判断应该由多个信号合成:

几个信号同时偏低,就应该进入“不确定”分支,而不是硬答。实操上不必追求复杂模型,先用规则组合把明显不该答的场景拦下来,效果比调参更直接。

关键认知是:允许系统说“我不确定”,是降低错误率最有效的手段之一。很多项目错答率高,不是因为答不准,而是因为系统被要求“必须答”。

三、兜底话术:三级降级,而不是一句“抱歉没听懂”

兜底不是一句万能话术,而是一条降级路径。

第一级:澄清追问。当问题缺条件(没说城市、没说订单号),不要猜,反问补齐。“您是在哪个城市办理”比编一个答案安全得多。

第二级:知识外转人工。当召回为空或分数过低,直接给转人工入口,并把已收集的信息带过去,避免客户重复描述。这里体验差距很大:带上下文转接和从零转接,客户感受完全不同。

第三级:明确不确定+给确定路径。当业务必须给答复但不能瞎猜时,给“目前无法确认,建议您通过XX渠道核实”的明确表述,而不是模糊承诺。

三级兜底要写进知识库和对话流程配置里,而不是塞在提示词里靠模型自觉。

五、评测与运营:没有badcase集,就没有治理

RAG治理不是一次性调优,是持续运营。

建议上线前就建三样东西:

一是badcase集。把历史错答、客户投诉、人工纠正的对话整理成测试集,每次知识库更新、模型调整、切分策略变更,都跑一遍回归。没有回归集,优化就是盲改。

二是按类型归因。每条错答标注属于“知识缺失/召回错误/生成过度”哪一类,按月看分布。分布变化会告诉你下一步该补知识、改检索还是收紧生成。

三是线上监控。盯四个指标:转人工率、重复提问率、答案被追问率、差评关键词命中率。这四个指标异常,通常比准确率下降更早暴露问题。

六、华云天下在这条链上的解法

华云天下的企业知识中台(智库)和客效(全渠道智能客服)把这条链拆开做工程化:

解析层支持多格式文档解析与结构化抽取,表格、条款、附件内容按结构入库,而不是拍平成一段文字;检索层做向量+关键词混合召回,并加重排,业务编号、产品名这类强匹配需求不会漏;生成层限定在授权知识范围内作答,超出范围走降级路径;运营层提供知识命中率、未命中问题、转人工原因的日常报表,badcase可以反哺知识库。

部署上支持SaaS、专属云、全栈信创私有化,模型可以本地部署,对话数据不出企业边界——这对金融、政务、医疗是硬要求。信创侧适配飞腾、鲲鹏、龙芯、海光、兆芯与麒麟、统信、欧拉、达梦、人大金仓。

更实际的一点是:知识库不是交付即完成。华云天下的运营陪跑里包含知识库代搭建、话术代调优和定期的知识健康度复盘,解决的是“上线三个月后知识过期”这个最常见的失效场景。

七、给团队的一份落地清单

如果现在错答率高,按这个顺序排查,比换模型有效:

1.先看解析:抽20份核心文档,检查表格、条款、附件有没有被正确提取。

2.再看切分:随机取20个chunk,看是否一条chunk一个完整意思。

3.加混合检索:向量之外补关键词召回,专有名词类问题会立刻改善。

4.加重排:Top20重排到Top5,噪声下降明显。

5.改阈值逻辑:从单分数改为多信号组合,把“不该答”的场景拦住。

6.配三级兜底:澄清、转人工、明确不确定,三条路径都要有。

7.建badcase集:从今天开始积累,一个月后你会有明显感觉。

AI客服的准确率,从来不是模型榜单上的分数决定的,而是知识、检索、阈值、兜底、运营这五件事一起决定的。模型只负责最后一句话,前面四件事才是企业自己能控的部分。

上一篇:
AI外呼接通率上不去?先别改话术,问题多半在线路和号码上
下一篇:
信创替换路径:客服系统怎么平滑迁到国产化环境
热门文章
更多资源
扫码获取更多咨询
企业微信:华云天下小助理
免费试用
行业新闻
免费试用

公众号

视频号

售前咨询:400-040-9002转1
售后咨询:400-040-9002转2
投诉建议:400-040-9002转3
北京
南京
太原
郑州
成都
上海
广州
深圳
福州
版权所有©华云天下(南京)科技有限公司 苏ICP备2022025259号-1

售前咨询: 400-040-9002

售后电话: 400-040-9002

版权所有©华云天下(南京)科技有限公司 苏ICP备2022025259号-1
免费试用
免费试用华云天下全产品 联系专员一对一服务
免费试用

免费试用
×
全产品列表体验
为了帮助您更好的了解和试用全系列产品,我们特为您提供了产品体验活动。你可以在此提交申请,申请成功后,将由我们专属服务人员为您安排预约服务
可试用产品
文本机器人
语音机器人
智能质检
全媒体客服
数据标注
智能坐席助手
云总机
语音通信能力平台
智能客服
智能营销
数字办公
CRM系统
AI数字员工
大模型
知识图谱
多个产品用“、”分隔开 {{loading?'提交中':'提交'}}
您的专属客服将于1个工作日内与您取得联系。
扫码添加客户经理微信,为您提供专业的一对一解答!
商务经理:张先生
×