前两天瞅见一份数据提到AI客服的市场渗透率都已经过了半数了，我愣了一下，回想起自己两年前扎进这个坑里的情形。那会儿我在一家消费品牌开展产品工作，老板开会说咱们客服实在扛不住了，你来看看能不能凭借AI来开展一下处理工作。我当时心里琢磨这有什么难的呢，对接一个大模型API不就搞定了嘛。结果弄到最后这一弄就是两年多，从零开始推进做到72%的接管率，日均开展处理工作三千多条咨询，新客户成交额还涨了8%。回过头来看体会只有一个，技术反而是里面相对比较好搞定的环节，真正让人觉得头疼的是那些产品决策，要是每一个岔路口选错了后面全跟着走偏。
刚接手的时候我导出了三个月的对话日志，看完之后血压直接就上来了。我们客服同时要负责开展管理工作五六个渠道，微信私域抖音小店天猫京东全都包含在内，用户问的都是大白话，这个茶泡几次就没味了，上次说的那个888的套餐还有吗。结果弄到最后当时的系统是凭借关键词匹配来开展工作的，用户说得口语化一点它就懵圈了，答非所问的。有购买意向的人问完没得到答案直接流失了，私域里的人开始生气，投诉往上走，店铺评分往下掉。我翻阅日志发现大量咨询在AI回复完之后用户就流失了，答案不满意是一方面，压根没听懂人家在问什么才是根本性的问题。这个窟窿不引入AI进来只会越撕越大，但怎么引入，这里面学问可大了去了。
头一个坑就是从零自研还是选用现成平台。立项那会儿我针对三条路开展了对比工作，维持现状继续挨骂，选用低代码平台先运转起来，或者从零开始组建团队自研。从零自研肯定灵活度高，但核算核算成本，既要组建算法团队又要组建工程团队，我们那个业务规模根本撑不起这个投入成本。后来我选用了低代码平台先跑起来，Coze和Dify这类工具上线快，能迅速验证需求到底成不成立。很多人推进开展AI项目有个执念，觉得一定要有自己的技术才算正经，但对于中小品牌来说先验证需求再谈技术自主权才是现实的路。先跑起来拿到真实数据，比什么都强。
运转起来之后第二个坑来了，推进覆盖多少场景。一开始我也想要全覆盖，六大场景一把梭。但把日志逐条进行归类之后发现高频的就那么几个，剩下全是长尾，什么奇葩问题都有。要是头一版就铺开全场景，效果肯定拉胯，用户体验差，项目直接被砍掉的概率很高。所以我把MVP缩减到只覆盖高频场景，核心就验证三件事，AI能不能听懂用户意图，能不能给出正确答案，用户愿不愿意接受AI的回答。先在单渠道进行验证，跑通了拿到数据了再往其他渠道铺开。这个阶段我花了将近两个月反复翻阅badcase，把AI答错的对话一通一通地过，对Prompt进行调整对知识库进行调整对检索策略进行调整，有时候一天调整十几轮，调整到后面整个人都麻了但效果确实在往上走。
接着是成本这个坑，也是很多人容易栽的地方。项目运转起来之后我把用户提问进行了分类统计，发现大概八成的表述是明确的，发票怎么开，礼盒有几种规格，这种问题选用规则引擎关键词加模板来进行回答就够了，又快又准还便宜。剩下两成是模糊的，那个上次说的活动还有没有，那个茶喝了睡不着怎么办，这种才需要大模型去理解语义。所以我搭建了个双层架构，头一层规则引擎处理明确表述，第二层大模型处理模糊语义。大部分问题不调用大模型API，成本直接压下来。很多人推进开展AI项目的误区就是把所有问题都塞给大模型，成本爆炸效果还不一定好，产品经理得会计算这笔账，能省一块是一块，省下来的钱拿去开展别的优化工作不香吗，我当时做这个决策的时候跟技术团队扯了好几天才定下来。
知识库这块折腾的时间可不短。RAG搭建完毕一开始效果很差，用户问刚才那个888元的套餐，向量检索检索回来的是888元礼盒，语义很像但用户问的是活动套餐跟礼盒完全两码事。问题出在纯向量检索只看语义相似度不看关键词精确匹配。后来我进行了两项调整，一个是知识库按场景拆分成子库而不是一个大库涵盖所有内容，用户问售后就去售后库进行查找不会混到售前咨询里。另一个是混合检索，向量负责语义匹配加上一路关键词负责精确匹配，两路结果进行合并然后取Top K。调整完之后口语化问题的召回效果好了很多。这个事给我的启发就是RAG效果不好先别急着更换模型，先看看知识库怎么进行切分的检索策略对不对，很多时候跟模型没关系，是你投喂的东西就不对。
Prompt设计我也踩了不少坑。一开始就是一段指令编写到底，进行调整的时候牵一发动全身，调整一个地方另一个地方就出问题。后来我把它拆分成了五个独立模块，角色设定回答规则知识内容对话历史用户问题，每个模块职责清晰可以单独进行调整。控制幻觉主要凭借三个手段，角色约束在Prompt里写死只针对公司相关的问题进行回答其他一律转人工，知识隔离问什么场景只进行提供那个场景的知识，兜底转人工AI不确定的时候主动说帮您转人工而不是硬答。凭借Prompt指令让AI不要胡说效果比较有限，从产品设计上将能胡说的空间框死才是靠谱的。
末了讲一个我完全没预料到的坑，用户心理。项目刚上线的时候接受度很低，用户一看是AI客服头一个反应就是我要找人工。试了好几种方案都不行，末了增加了一个设计，在AI回答旁边进行放置一个一键转人工的按钮以便用户操作。用户看完AI的回答不满意点一下就转人工了，就这么一个小设计接受度就上来了。后来我想明白了，用户怕的其实跟AI本身没关系，是怕被AI困住出不来。你告诉他随时可以转人工，他反而愿意先看看AI说什么。AI产品落地的阻力很多时候不在技术在用户心理，技术做得再好用户心理上不接受就是白搭。我们后来还在AI回答前面增加了一句，您好我是AI助手，如果回答不满意随时可以转人工，就这一句话让用户耐心明显好了不少。
运转了两年多数据是这样的，AI接管率从0推进到72%，日均开展处理咨询三千多条，新客户成交额比前一年增长8%。72%并不是终点，剩下转人工的我每周都开展badcase分析工作，能优化的逐步吃掉。接管率也不是一开始就这么高的，是慢慢调整上来的，每个月涨两三个百分点，到了70%以上就特别慢了，最后这几个点花的时间比前面五十个点还长。
复盘这个项目有三件事要是重来我会进行调整。知识库的切分策略应该更早地开展实验工作，一开始拍脑袋切分的后来才发现影响这么大，应该项目一开始就选用测试集对比不同切分策略。badcase分析应该早点自动化，一开始人工抽检每周花好几个小时翻阅聊天记录效率太低。用户接受度的问题应该在MVP阶段就测试，我一开始默认用户能接受AI客服上线之后才发现抵触很大，应该早点小范围测试。
推进开展AI产品这两年多给我感触深的一点就是，AI产品的核心不在技术层面在产品决策层面。技术方案摆在那里，RAG也好规则引擎也好SaaS也好，怎么进行选用怎么进行组合怎么进行兜底这些才是产品经理要推进的事。技术当然重要，但作为产品经理你的价值跟编写代码没关系，是知道什么场景该选用什么方案成本怎么计算效果怎么评估用户怎么接受。这些事情没有标准答案，只能一个项目一个项目地踩坑。这是我的头一个AI客服项目，踩了一些坑也攒了一些经验，希望对正在推进开展AI产品的同行有一点参考。
以上，既然看到这里了，如果觉得有意思，随手转发给也在推进开展AI产品的朋友吧，踩坑这件事，少踩一个是一个。
阅读全文
请
登录后发表观点
