一、幻觉在客服场景,不是技术问题,是责任问题
技术圈讨论幻觉,通常讨论的是“准确率”“召回率”.但在客服场景,幻觉根本不是一个技术指标问题,而是一个责任归属问题.
原因很简单:客服说的每一句话,客户都会当真.
AI说“这个可以退”,客户就认为可以退;
AI说“三天到账”,客户第四天没收到就来投诉;
AI说“这个活动到月底”,客户月底来了发现活动已结束;
AI说“按规定可以补偿200元”,客户拿着截图来要钱.
这些都不是“答得不够聪明”,而是企业对外做出了一个自己无法兑现的承诺.在金融、政务、医疗、保险这些强监管行业,一句话说错就可能构成误导,甚至引发监管处罚.
所以讨论“怎么兜底”,不能只从模型侧谈,要从技术、流程、合规三层同时兜.少任何一层,都会漏.
二、四类最危险的幻觉
不是所有幻觉的危害都一样.按后果严重程度排,客服场景有四类最高危:
第一类:政策与规则类.退换货期限、报销范围、办理条件、资质要求.这类错误直接导致客户白跑一趟或者错失权益,投诉率最高.
第二类:金额与权益类.保费、利率、赔付标准、优惠额度、积分规则.这类错误一旦被截图,企业基本只能认.
第三类:时效与承诺类.几天到账、几号前完成、什么时候发货.这类错误会产生大量“你们说好的”类投诉.
第四类:责任与免责类.谁负责、能不能赔、会不会影响征信.这类错误最容易升级成监管投诉或法律纠纷.
反过来,产品介绍、流程指引这类幻觉,错误后果相对轻,最多是体验不好.兜底资源应该优先投在前四类上,而不是平均用力.
三、技术兜底:四道闸
第一道:答案必须可溯源
AI的每一条回答,都要能指回具体的知识条目或文档段落.做不到溯源,就不允许直接输出.
这是RAG架构的核心价值:不是“让模型更聪明”,而是“让模型的每句话都有出处”.客户经理、质检、监管来查的时候,能立刻调出依据.
第二道:置信度阈值+拒答机制
给AI设一个“不确定就不答”的门槛.当检索结果的相关度低于阈值,或者多个知识条目互相冲突时,AI不应该“选一个最像的答”,而应该:
先追问,把问题问清楚;
追问后仍不确定,明确说“这个问题我需要转人工确认”;
绝不猜测.
“我不知道”在客服场景是合格答案,“我猜是”不是.
第三道:敏感域答案白名单
对前面四类高危问题,不要让AI自由生成,改成受控模板:
金额类只允许播报系统返回值,不允许模型组织语言;
政策类只允许整段引用已审核条文,不允许改写;
时效类只允许引用系统内的承诺时限字段;
责任类一律不由AI表态,直接转人工.
这一步等于把最危险的区域从“生成”模式切换成“查询”模式.
第四道:知识版本与时效绑定
大量幻觉其实是“用了过期的知识”.活动结束了、政策改了、产品下架了,知识库没更新.
所以知识条目必须带生效时间和失效时间,过期条目自动退出检索范围,而不是靠人记着删.
四、流程兜底:三道关
第一关:高风险对话人工复核.不是所有对话都要看,但涉及金额、投诉、政策解读的,要有抽样复核机制,发现问题反哺知识库.
第二关:敏感话题实时拦截.客户提到投诉、监管、媒体、法律、举报,AI立刻停止自由应答,走固定话术并转人工.
第三关:上线前审核与变更管控.知识库新增条目、话术修改,要有审核人,不能谁都能改.改动留痕,可回滚.
这三关的本质是:把“AI自主决定”的范围,压缩到可接受的风险边界内.
五、合规兜底:四件事
第一,全程留痕.对话内容、AI引用依据、转人工时间点、坐席处理结果,都要能导出.一旦发生争议,这是唯一的证据链.
第二,AI身份告知.对话开始要明确告知对方是智能客服,不能伪装真人.这在监管口径上是硬要求.
第三,免责与边界表述.涉及金额、政策、时效的回答,要配标准表述(“具体以系统显示为准”“以正式文件为准”),不能只说结论.
第四,数据合规.客户对话数据用于训练或优化时,要有授权依据;涉及个人信息的,要符合最小必要原则;数据存储位置要明确.
六、华云天下的兜底机制
华云天下(huayunworld.com)在客服AI的兜底设计上,走的是“RAG+中台+多层拦截”的路子:
知识中台(智库):文档按结构解析入库,每条知识带来源、版本、生效时间;答案输出时可回溯到原文段落,做到可溯源.
模枢AI中台:ASR-TTS-NLP底座,已接入DeepSeek等模型,置信度阈值、拒答策略、敏感域白名单在平台层统一配置,不用每个场景单独开发.
敏感域受控:金额、政策、时效类问题可配置为“仅播报系统字段”或“整段引用条文”,不允许模型自由改写.
实时拦截与转人工:投诉、监管、法律等触发词在对话中实时识别,一键转人工并带上下文摘要.
全量留痕:对话、引用依据、转人工记录统一存储,支持导出和审计.
部署与合规:SaaS、专属云、全栈信创私有化三选一,私有化模式下数据全部在企业本地;信创适配覆盖飞腾、鲲鹏、龙芯、海光、兆芯和麒麟、统信、欧拉、达梦、人大金仓.持增值电信业务经营许可证、CMMI3、ISO27001/20000/27017.
七、落地清单
如果你要上大模型客服,按这个顺序把兜底做起来:
1.先分类:把高频问题按“高危四类/一般类”分开,高危类不做自由生成;
2.建知识治理规则:每条知识必须有来源、有版本、有失效时间、有审核人;
3.配拒答策略:不确定时追问→转人工→明确不确定,三级递进;
4.配敏感拦截词:投诉、监管、法律、举报、媒体,命中即转;
5.上线前做对抗测试:故意问边界问题、过期政策、模糊表述,看AI会不会编;
6.建立复核机制:每周抽样100通高危对话,人工核对答案依据;
7.留痕与导出:确认对话记录、引用依据可完整导出,满足审计要求.
八、一句话总结
大模型客服的幻觉,不可能靠“模型更好”彻底消灭,只能靠“不让它在没把握的地方自由发挥”来控制.技术上是RAG+阈值+白名单,流程上是审核+拦截+复核,合规上是留痕+告知+边界表述.
三层都做到,幻觉就从“不可控风险”变成“可管理的已知问题”.这才是企业敢把AI放到客户面前的底气.
公众号
视频号
热门标签: 企业知识中台解决方案 汽车行业解决方案 保险行业解决方案 银行行业解决方案 12345解决方案 数字化营销解决方案 消费品制造行业解决方案
友情链接: 数字人 企业AI门户 全媒体呼叫中心 AI中台 飞音传呼 AI前台宝 全媒体智能客服 在线客服 智能坐席助手 工单系统