Deskhero
中文
免费试用

← Back to articles

支持团队的 AI 工单分类：实用指南

支持团队的 AI 工单分类：实用指南

AI 工单分类会读取收到的支持工单，并预测类别、优先级或目标位置等标签。它可以减少重复性的分拣工作，但不确定的预测仍需要人工审核。一个实用的试点项目应使用具有代表性的工单文本、明确定义的标签集，以及根据验证结果选择的置信度阈值。诸如2025 年比较研究这样的研究可以帮助你选择基准方案，而这篇准确率、精确率、召回率和 F1 指标入门则解释了核心评估指标。

在投入预算使用模型之前，请先确认以下基础条件：

  • 你拥有一组具有代表性的历史工单，其中包含可用的文本和可靠的标签
  • 你的初始分类体系足够精简，以便审核人员能够一致地应用
  • 你可以将低置信度的预测发送到人工审核队列
  • 团队中有人负责上线后的监控和修正工作

要点总结

当 AI 工单分类结合带标签的示例、可衡量的验收标准、置信度阈值和人工审核时，效果最佳，而不是从第一天起就完全自动化。

要点 详情
从有限的试点开始 在扩大分类器范围之前，先测试一个队列或一小组类别。
让模型匹配任务 2025 年的研究发现，在多个工单分类场景中，经典机器学习的表现达到或超过了受测的深度学习模型。
使用置信度阈值 将不确定的结果转交人工审核，而不是强行分配标签。
上线后持续监控 按类别跟踪错误，并监控置信度分布的变化，以便及时发现数据漂移。
将分类与回复生成分开 工单路由和 AI 草拟回复解决的是不同问题，应分别进行评估。

目录

什么是 AI 工单分类？

AI 工单分类是指根据支持工单的文本，以及在某些系统中选定的元数据或附件，自动为工单分配预定义标签。这些标签可以用于触发路由规则、优先级队列、报告或建议的下一步操作。分类器只能对符合你的验收标准的预测减少人工分诊工作。它不应在不提示的情况下，将不确定的工单强行放入某个队列。

其潜在优势包括更快地完成初始分拣，以及让标签更加一致，但改进幅度取决于你的分类体系、训练数据、工作流和流量。请将结果与当前流程进行比较，而不是依赖供应商宣传中的醒目准确率。

常见用途包括将 IT 请求分为访问权限、硬件和软件类别；将电商问题分为账单、配送和退货；以及根据语言分配工单。分类也不同于回复生成。例如，帮助台可以根据知识来源草拟回复，同时由另一个独立的规则或模型处理路由。

AI 工单系统如何处理工单？

典型的工单分类器包含五个阶段。具体细节会因模型和集成方式而异，但这些阶段可以在出现问题时为你提供有用的检查点。

逐阶段了解处理流程：

  1. 数据摄取。 系统从帮助台接收工单文本和相关元数据。
  2. 预处理。 系统移除无关的标记或签名，并对输入进行标准化。一些实现还会从受支持的附件中提取文本。
  3. 特征提取。 经典模型可能使用 TF-IDF 向量，而神经网络模型可能使用嵌入或词元。
  4. 模型推理。 分类器会预测一个或多个标签，并在支持的情况下给出置信度分数。
  5. 后处理与路由。 规则会在更新工单之前接受、拒绝或要求审核该预测。

多语言工单可以在分类前进行翻译，也可以由多语言模型处理。请在自己的语言组合上测试这两种方法，因为翻译可能会改变重要术语。开源的 aiticketclassifier 项目展示了一个 TF-IDF 分类流程，其中包含类别预测、置信度分数、仪表板、建议和 Slack 提醒。实时处理适用于标签必须影响活跃队列的工作流。批处理则适合用于历史数据补录和评估。

哪种模型方法适合你的工单量？

大致可以考虑三个层级。正确的选择取决于标签的歧义程度、数据的数量和质量、延迟要求以及运营成本。

基于规则和模式的系统会将关键词、地址、域名或正则表达式匹配到相应操作。它们速度快且易于解释，但不断增加的规则集可能变得难以维护。对于已知账单地址或产品代码等范围狭窄、要求高精度的场景，这类系统效果很好。

AI 工单分类模型对比图

经典机器学习方法（如 Logistic Regression、SVM 和 XGBoost）会使用带标签的示例进行训练。2025 年的比较研究在公共数据集和企业数据集上评估了八种算法。研究发现，在所有测试场景中结合工单标题和描述都能改善性能，并且在多个场景中，经典模型的表现达到或超过了受测的深度学习模型。

Transformer 和 LLM 方法在工单含义模糊、多语言或依赖更广泛上下文时可能很有用。不过，它们也可能增加成本、延迟和评估复杂度。请将其与更简单的基准方案进行比较，不要想当然地认为更大的模型一定表现更好。

专业提示： 从满足验收标准的最低复杂度方案开始。2025 年的研究报告称，在其测试场景中，优先级分类的准确率和 F1 均高于 0.95，而企业数据上的类别分类难度更高。

如何将分类器集成到工单工作流中？

当每个预测都有明确且可逆的操作时，集成才能成功。请按以下步骤依次进行：

  1. 审查数据。 抽取一段具有代表性的时期，检查工单标签的一致性。
  2. 设计分类体系。 从审核人员能够可靠区分的类别开始。
  3. 标注种子数据集。 使用了解该队列的支持专家，并记录分歧。
  4. 建立基准方案。 将简单的规则集或经典模型与当前人工流程进行比较。
  5. 测试完整集成。 在沙盒环境中确认预测、错误、重试和字段更新的行为。
  6. 分阶段推出。 从一个队列或一小组高置信度标签开始。

外部分类器通常通过帮助台支持的集成方式读取新工单，并将接受的标签写回群组、优先级或标签等字段。请确认帮助台是否支持出站事件，还是需要轮询。Deskhero 的 REST API 支持工单列表查询和更新，但不提供出站 webhook，因此外部分类器必须轮询 API。有关邮箱设置和工单创建，请参阅 Deskhero 的邮件转工单工作流。

哪些指标可以证明你的分类器已准备就绪？

有四项指标尤其有用：精确率（预测标签中有多少是正确的）、召回率（找出了多少真实实例）、F1（精确率和召回率的调和平均值），以及置信度校准（预测概率是否与实际观察结果相匹配）。

对于多分类问题，请同时查看宏平均 F1（为每个类别赋予相同权重）和微平均 F1（主要受高流量类别影响）。还要检查混淆矩阵，以及每个类别的精确率和召回率。单一的汇总分数可能会掩盖罕见但重要类别中的严重错误。

请在能够反映生产流量的真实工单留出集上进行评估。根据每种错误的成本定义验收标准。错误地标记为紧急会浪费处理能力，而漏掉紧急工单则可能违反 SLA。

专业提示： 置信度阈值是一项决策规则，而不是通用的百分比。请根据验证数据选择阈值，然后将低于阈值的预测转交人工审核。

如何让分类器在上线后保持准确？

部署并不是终点。请按类别跟踪预测量、按类别统计错误、监控置信度分布、审核队列量，以及错误路由工单带来的运营影响。

  • 将修正结果作为带标签的反馈收集，并检查其一致性
  • 在新模型版本能够更改工单之前，先以影子模式运行
  • 逐个队列推出更新，并保留回滚路径
  • 对低于所选阈值的预测保留人工审核

重新训练的频率应根据观察到的数据漂移来决定，而不是遵循任意的日历安排。产品发布、分类体系变更或新客户群体的出现，都可能意味着需要提前重新训练。Deskhero 的客户支持仪表板指南提供了选择支持指标的更广泛框架，但分类器专属的指标仍需要单独监控。

哪些环节可能出错？如何修复？

标签不一致是常见的失败模式。如果支持专家为相似工单分配了不同类别，模型就会学习这种分歧。请编写标注指南，审核存在争议的示例，并在扩大规模之前衡量一致性。类别不平衡会带来另一项风险，因为汇总分数可能看起来很高，但低流量类别的表现却很差。请使用每个类别的指标，并在需要时收集更多具有代表性的示例。

手持指南册和笔记本电脑

对于含义模糊的工单，需要明确的备用方案。将不确定的预测发送到审核队列，保留原始模型输出以供分析，并让修正结果进入下一轮评估集。对于基于 LLM 的系统，请先验证输出是否属于允许的标签之一，再执行任何工作流操作。

隐私问题应单独列出。除非满足法律和安全要求（包括在需要时签署适当的数据处理协议），否则不要将包含个人数据的工单发送给第三方模型。

专业提示： 尽量减少发送给分类器的字段。如果模型只需要主题和消息，就不要包含无关的客户数据。

为期 4 周的 AI 分类试点是什么样的？

四周时间表可以作为规划模板，但实际进度应由数据量和审核时间决定：

  1. 第 0 周，确定范围。 选择一个队列，定义分类体系，确定基准指标，并记录不可接受的错误。
  2. 第 1 周，标注和建立基准。 标注具有代表性的样本，解决分歧，并训练或配置最简单且可行的基准方案。
  3. 第 2 周，集成和影子测试。 对实时工单运行预测，但不更改工单字段。
  4. 第 3 至第 4 周，有限推出和评估。 仅对经过验证的高置信度案例启用操作，然后衡量模型质量、审核负载、路由修正情况和支持结果。

不要将四周视为保证期限。如果缺少罕见类别、标签质量不一致，或集成无法安全失败，请延长影子测试时间。

为什么 Deskhero 适合开展 AI 分类试点的团队？

Deskhero 可以将 Gmail、Google Workspace 或 Microsoft 365 邮箱转变为帮助台，同时无需更改面向客户的电子邮件地址。新工单还可以通过嵌入式表单和 AI 聊天机器人进入。这能让试点项目拥有一致的工单记录，同时用户继续在共享收件箱中工作。

Deskhero 的新工单自动化功能可以评估自然语言 AI 条件，并设置受理人、群组、状态、优先级、标签或下拉字段。这支持实用的 AI 辅助分诊，而无需构建自定义模型。对于单独的分类器，REST API 可以列出和更新工单，但由于 Deskhero 没有出站 webhook，集成必须通过轮询完成。AI 建议回复是另一项基于工作区知识的独立功能，而面向客户的 AI 自动回复和聊天机器人只会根据已批准的公开 FAQ 作答。Deskhero 还支持多语言工单。

实施说明

让初始分类体系保持精简，记录每一次修正，并区分模型评估和工作流评估。如果分类器将工单分配给错误的群组，或覆盖用户需要的字段，即使 F1 分数很高，也可能造成运营问题。请先从影子预测开始，然后仅为最明确的案例启用可逆操作。

无需等待迁移即可开始试点

Deskhero 可以连接现有的 Gmail、Google Workspace 或 Microsoft 365 邮箱，包括 Microsoft 共享邮箱。你可以先测试内置的新工单自动化功能，根据明确条件或 AI 评估条件设置路由字段。如果需要单独训练的分类器，可以使用 REST API 轮询工单并更新已接受的标签。

Deskhero

请将分类、路由和回复生成作为独立控制项。Deskhero 的建议回复使用工作区知识，并允许用户接受、编辑或忽略。其 AI 自动回复和聊天机器人只使用已批准的公开 FAQ 条目，而聊天机器人在启用前至少需要 100 条已批准的 FAQ。Deskhero 提供 30 天免费试用，无需信用卡。

来源

以下资源提供了研究比较、可运行的参考实现，以及主要评估指标的定义：

常见问题

什么是 AI 工单系统？

AI 工单系统是使用机器学习或语言模型来执行分类、确定优先级、路由、草拟回复或自动回答等任务的帮助台或连接的服务。具体功能因产品而异。

AI 中的分类模型是什么？

分类模型会根据从带标签示例中学习到的规则或模式，为新的输入分配一个或多个预定义标签。在工单系统中，标签可能代表类别、优先级、语言或目标群组。

什么是 AI 工单方法？

“AI 工单方法”并不是一个标准化术语。典型流程会读取工单文本、准备输入、预测标签、根据规则和置信度标准验证结果，然后更新工单或将其放入队列。

AI 如何准确地对支持工单进行分类？

准确性取决于一致的标签、具有代表性的示例、合适的输入字段，以及在留出工单上的测试。2025 年的比较研究发现，在其所有测试场景中，结合标题和描述都能改善结果。

像 Deskhero 这样的帮助台能否在没有数据科学团队的情况下处理工单分类？

Deskhero 可以通过带有自然语言 AI 条件的自动化规则执行 AI 辅助的新工单分诊。这些规则可以设置群组、优先级、受理人、状态和标签等字段。单独训练的统计分类器则需要通过外部集成轮询 Deskhero 的 REST API。