作者：见过最快的上线流程：周二部署完，周三老板拿手机问了两句，AI对答如流，周四全量上线。周五下午，客户问了个退换货的边界情况，AI答错了还态度笃定，截图进了五百人的客户群。AI客服评测存在的意义，就是把这类事故拦在上线路径里——老板随手问的两个问题不叫测试，叫抽签，而且抽的是客户的体验签。
评测集：两三百条真实问题打底
评测集从哪来？历史会话记录是最好的矿：把过去三个月的真实客户问题拉出来，按主题分类抽样。再让一线客服贡献一批“高频加刁钻”的题——他们天天被问，最知道哪里有坑。收集他们题目的会上别空问“有什么刁钻问题”，直接放十条真实会话让他们当场标“这条AI肯定答不好”，命中率惊人。规模上两三百条起步，构成大致是：高频业务题六成、边界和组合题三成、故意捣乱加闲聊一成。每一题都要配标准答案或标准处理方式（比如“这类该转人工”），否则评的时候没有裁判依据。别用编出来的“完美问题”，真实用户的问题里全是错别字和上下文残缺，评测集越贴近真实，测出来的分数越有用。边界题举几个例子就有感觉了：过保三天想退货的、发票抬头开错要求重开的、买了A型号来问B型号配件的——这些题最考验AI的分寸感。构成比例不用迷信，往真实分布上靠就对了：你们客服每天被问什么，评测集就该主要是什么。
四个指标，各看各的病
命中率：答对的题占比，整体成绩单。答非所问率：答了但没答到点上的比例，这项高通常是检索侧的病。转人工合理率：该转人工的问题里，AI真的转了多少——这项经常被忽略，但它决定客户被惹毛的概率。兜底触发率：AI说“我不确定”的比例，过高说明知识库覆盖不够，过低说明它什么都敢答，两头都不健康。四个指标合起来看，才能分清问题出在知识库、检索还是策略层，单看一个都会误诊。目标线因行业而异，给个起步参考：命中率八成、答非所问率一成以下、该转的转到位九成、兜底触发率在百分之五到十五之间，达不到就别急着全量。这四个数都能从评测集直接算出来，不需要额外埋点，所以上线前的评测别省——它是唯一能把账算清的场合。
怎么评：机器初评，人工复核
全量跑一遍评测集，用大模型辅助打分，标出答案与标准答案不一致的条目，人工只复核这些不一致项——几百条题里人工通常只需要细看几十条，半天能评完一轮。评分标准先对齐再开评：什么叫“答对”，结论对但啰嗦算不算，引了过期政策算不算，标准答案里写清楚，两个人评同一批题的结果才不会打架。另外同一个问题建议跑三遍再看——AI回答有随机性，三遍全对的才算稳，忽对忽错的题单独记出来，往往藏着切分或检索的问题。评完改，改完再跑，指标稳定在目标线以上再上线。一般要迭代两三轮，一轮比一轮快。偷懒跳过复评环节的团队，后来都在真实客户那里补考了。
上线不是终点，评测要长跑
上线后的bad case是最珍贵的评测题来源：每答错一次，就把它加工成一道新题放进评测集，每周固定回流。另外，任何动系统的大动作——换模型、改切分策略、大批量更新知识库——上线前都要拿完整评测集回归一遍，防止修好一处、弄坏三处——回归测试听着重，其实评测集跑一遍是机器干活，一两个小时的事，省这几个小时，代价往往是线上返工。bad case记录别只存文本，把当时的检索结果一起存下来：三个月后回看，能分清是知识库没这条，还是有这条但没检出来，两种病用药完全不同。评测集本身也要换血：某类题连续几轮全对，说明这块稳了，新业务上线后补新题进去，别让评测集变成考古题库。这套机制运转起来，AI客服的能力曲线才是往上走的，答非所问的治理方法也是在bad case回流里一轮轮改准的。
评测集从零建确实费劲。打 18616880101，我们把自己用的评测集构成表和四个指标的统计方法发你参考，照着搭能省下大半摸索时间。