客服AI软件:实用评估指南
客服 AI 软件可以起草回复、回答常规问题、分派工作,或帮助客户查找信息,而无需等待人工处理。这些能力在产品演示中听起来很相似。真正重要的差异,只有在使用你自己的支持问题、知识内容和团队工作流程测试软件时才会显现。
本指南为你提供一种实用的方法,用于评估 AI 客服平台。重点关注源材料的质量、人类控制的程度、从 AI 回答转交人工的路径,以及上线后所需的运营工作。
从你想要改变的客服工作开始
不要从功能列表开始,而要从一小组支持场景开始。按照风险和重复程度对它们进行区分,这样你就能决定 AI 应该在哪些地方提供辅助,以及在哪些地方直接执行操作。
- 高频、低风险问题:营业时间、账户导航、配送政策,以及批准的文档中已经涵盖的其他答案。
- 需要上下文的问题:需要订单详情、文件、对话历史,或来自多个来源的知识才能处理的情况。
- 需要判断的情况:投诉、例外情况、退款、安全问题,以及语气或政策解释十分重要的情形。
- 运营工作:分配工单、设置优先级、添加标签,或将对话转给正确的团队。
针对每种场景,确定 AI 所需扮演的角色。它可以为用户提供一份待审核的回复建议,发送基于已批准内容的答案,在转交人工前收集信息,或者在不向客户发送消息的情况下分派工单。这种区分可以避免一个常见的评估错误:把所有自动化都视为具有相同风险。
检查每个答案的依据
答案是否可靠,取决于其背后的信息。要求每家供应商展示软件可以使用哪些来源、这些来源如何更新,以及用户能否确认答案的来源。
对知识工作流程的审查应当和对答案本身的审查一样仔细。了解谁可以添加或批准内容、相互冲突的文档如何处理,以及软件找不到足够依据来支持答案时会发生什么。一个有用的系统应当让不确定性显现出来,而不是用流畅的语言掩盖它。
根据团队已经解决过的真实问题创建测试集。纳入清晰的问题、含糊的措辞、拼写错误、过时的假设,以及应该升级处理的请求。针对事实依据、完整性、语气,以及系统是否选择了正确操作,对每个结果进行评分。
评估每个自动化级别下的人为控制
AI 辅助和自主回复是不同的工作流程。草稿允许用户在答案发送给客户之前进行检查和编辑。自动回复则需要更严格的知识控制、明确的排除范围,以及可靠的备用方案。
评估期间,要求供应商演示以下路径:
- 用户审核并发送准确的草稿。
- 用户修改草稿并继续对话。
- 由于缺少已批准的信息,AI 拒绝回答。
- 自助服务对话在保留上下文的情况下转变为工单。
- 自动操作在工单历史记录中清晰可见。
同时决定上线后由谁负责系统。应有人负责审查知识、检查失败的答案、批准更改,并跟踪自动化究竟是在转移工作,还是只是在掩盖工作。
测试完整的支持工作流程,而不是单独的 AI 窗口
客户支持仍然需要负责人、状态、优先级、内部讨论和报告。测试 AI 是否能在团队已经处理对话的地方融入这些活动。
连接一个真实的客服邮箱或安全的测试邮箱。确认收到的消息会变成可跟踪的工单,回复使用预期的发件地址,并且多名用户可以看到下一步操作由谁负责。如果附件或账户数据对你的工作流程很重要,就应将它们纳入测试,而不是依赖准备好的演示内容。
接着测试交接流程。自助服务失败后,客户不应需要重复说明整个问题。用户应能够看到原始问题、之前的答案,以及在交接前收集的任何相关详情。
使用能够反映日常工作的评分表
简短的评分表可以减少产品比较中的主观性。使用相同的问题和相同的示例对话,对每款产品进行评分。
- 答案质量:回复是否符合已批准的信息,并且回答了实际问题?
- 控制能力:你能否在审核后的草稿、自动回复、分派和完全由人工处理之间进行选择?
- 备用方案:软件无法回答时,是否能提供清晰的人工转接路径?
- 知识运营:团队能否审查、批准、更新和停用源内容?
- 邮箱工作流程:负责人、状态、备注、通知和对话历史是否清晰?
- 衡量能力:能否跟踪数量、响应时间、重复出现的主题,以及自动操作的结果?
- 采用情况:用户能否理解建议为何出现,并且无需离开工单就能进行修正?
在评估产品之前先确定各类别的权重。主要通过电子邮件工作的团队,可能会比长长的渠道列表更看重邮箱适配性和快速采用。处理敏感或复杂案例的团队,可能会更加重视审核后的草稿、知识审批和人工备用方案。
在扩大自动化之前先进行有限范围的上线
先从一个邮箱、一组用户,或一个范围较窄的问题类别开始。为工单数量、首次响应时间、解决时间、重新打开率和升级率建立基线。然后将这些指标与试点期间的数据进行比较。
审查具体样本,而不只是平均值。如果客户收到的信息不完整,或者用户需要花更多时间修复草稿,那么更快的响应并不代表有所改善。记录失败模式,并决定每种模式是需要改进知识、调整工作流程,还是应当将其排除在自动化之外。
只有当团队能够解释软件会回答什么、会起草什么、会分派什么,以及哪些情况始终会交给人工处理之后,才能扩大范围。这种共同理解比激进的自动化目标更有价值。
Deskhero 如何符合这一评估框架
Deskhero 将共享团队收件箱与 AI 建议回复草稿结合起来。草稿可以使用工作区知识,例如常见问题内容、内部知识、抓取的网站页面、以往工单和受支持的附件。用户会审核并发送这些草稿。你可以在AI 回复草稿页面查看这一工作流程。
对于更受控的自动化,Deskhero 提供可选择启用的电子邮件自动回复,并且仅以已批准的公开常见问题为依据。其 AI 聊天机器人同样根据已批准的公开常见问题进行回答,并能将未解决的问题作为工单转交。两项功能都可以在批准 100 条常见问题答案后启用。共享收件箱包括分配、团队、状态、优先级、标签、内部备注、提及、通知、转发和合并工单等功能。
如果这种方式符合你的评估标准,客服 AI 软件概览将展示邮箱、知识、审核后的草稿、自动化和人工备用方案如何协同工作。在制定试点评分表之前,你还可以查看工单自动化工作流程和支持统计数据。
选择之前需要回答的问题
- 哪些客户问题可以收到自动回答?
- 哪些对话必须始终由用户审核?
- 哪些来源已获批准,可用于面向客户的答案?
- 谁负责维护这些来源并解决冲突?
- AI 无法回答时,客户会经历什么?
- 交接时,用户能够获得哪些上下文?
- 哪些基线指标可以表明此次上线是否带来了帮助?
- 团队能够多快暂停或缩小某项自动化的范围?
合适的客服 AI 软件并不只是最会写回复的产品,而是能够适配你的支持工作流程、使用你信任的知识、提供恰当控制能力,并为客户提供清晰人工服务路径的产品。