人在回路 AI：工作原理与适用场景
人机协同 AI（HITL）是一种设计模式，在 AI 系统的训练、决策或执行过程中预先定义的节点引入人的判断。当自动化操作可能影响人员或系统、错误难以逆转且代价高昂，或组织需要明确的人类责任归属时，这种模式尤其有用。
本文将介绍 HITL 的工作方式、适用场景，以及团队在将其用于生产环境之前需要设计的内容。
目录
- 人机协同 AI 究竟如何工作？
- HITL 为什么重要：准确性、安全性与信任
- HITL 的应用场景：真实世界示例
- 如何设计生产级 HITL 系统？
- HITL、人机在环与人机监管的区别
- 大规模运行 HITL 面临哪些实际挑战？
- 部署 HITL 系统的实用检查清单
- 当前研究如何看待 HITL 的未来？
- 关键要点
- 大多数团队对 HITL 的误区
- Deskhero 将人工监管置于 AI 支持的核心
- 实用来源
- 常见问题
人机协同 AI 究竟如何工作？
这一闭环由一系列检查点组成，人员可以在这些节点提供信息、审核输出或授权操作。系统可以等待人工输入，也可以先收集这些输入，供之后进行评估和模型改进。
人员通常在两个阶段参与：
训练阶段的 HITL包括标注原始数据、评估模型输出以及提供偏好信号。基于人类反馈的强化学习就是一个广为人知的例子。人员对模型回答进行排序或评估，这些判断会在训练过程中作为信号使用。主动学习是另一种模式：模型会识别不确定的样本，让人工标注员专注于可能提供最有价值信息的案例。
运行时 HITL则是在已部署系统运行期间加入审核。系统可以在执行敏感操作前暂停，例如发送消息或修改记录，并请求人员批准、编辑或拒绝拟议操作。LangChain HITL 文档介绍了一种中间件，可以中断选定的工具调用、保留状态，并在审核人员决定后恢复执行。
实用的运行时关卡应向审核人员展示系统计划执行的操作，提供结构化选项，记录决策，并从持久化状态恢复执行。
一个实际流程可以包括：
- 标注数据或模型输出，添加人工标签
- 训练或评估模型，使用经过审核的样本
- 部署模型或 AI 工作流
- 在选定的高风险操作前中断流程
- 决定批准、编辑、拒绝或以其他方式响应
- 将决策记录为结构化运营反馈
同步关卡会暂停受影响的工作流，直到审核人员采取行动。异步设计则可以让无关工作在等待决策期间继续进行。无论采用哪种方式，长时间运行的工作流都需要持久化状态。inference.sh 运行时文档就是一个相关示例，其中介绍了用于此目的的审批关卡和持久化执行。
审批规则可以是广泛适用的，也可以是选择性的。团队可以要求每次使用敏感工具时都进行审核，也可以仅在金额、收件人、置信度分数或其他条件超过阈值时审核。选择性路由可以减少不必要的审核，同时不会取消对需要监管的操作进行监督。
HITL 为什么重要：准确性、安全性与信任
人工监管可以通过三种实际方式改进 AI 工作流。
更好地处理边缘案例。模型可能难以应对异常输入或不断变化的条件。审核人员可以识别例外情况，并修正拟议结果。如果修正被妥善记录并纳入治理，之后可以用于评估或模型改进。但修正不会自动改进模型；团队仍需要有规划的反馈流程。
更安全的操作。能够发送消息、更新记录或处理交易的 AI 系统，在误读输入时可能造成损害。审核关卡可以在选定操作发生前将其拦截，从而降低风险。Databricks 讨论了高影响决策中的人工审核，以及将反馈重新导回系统的价值。
更强的责任追踪。经过完善监控的 HITL 工作流可以记录谁审核了某项操作、作出了什么决定，以及之后发生了什么。这些记录有助于事故复盘、质量控制和合规管理。仅仅设置一个表面上的审批步骤是不够的。审核人员需要拥有足够的上下文、时间和权限，才能改变结果。
当人工反馈被视为受治理的运营数据时，其价值最大。团队应明确决策如何存储、谁可以访问、保留多长时间，以及这些数据将用于评估、重新训练，还是两者都不用。
HITL 的应用场景：真实世界示例
这种模式出现在许多行业，但审核人员的职责会随领域不同而变化。
医学影像。临床医生可能会在将 AI 标记的图像结果用于诊断或治疗前进行审核。适当的监管程度取决于设备、预期用途以及适用的临床和监管要求。不应将 AI 输出描述为合格医疗判断的替代品。
内容审核。分类器可以标记可能违规的内容，并将不确定或敏感的案例发送给人工审核人员。人员负责处理上下文和申诉，而自动化则帮助管理规模。统一的指南和审核人员校准非常重要，因为审核决策之后可能会被用作训练或评估数据。
客户支持。AI 可以起草回复，供 User 审核。拥有发送消息或更改账户数据权限的系统，需要针对这些操作设置额外控制。团队可以根据操作类型、影响程度和可逆性来要求审批。有关更多背景信息，请参阅 Deskhero 关于客户服务中的 AI的文章。
欺诈调查。模型可以为交易评分，并将选定案例路由给分析师。分析师会考虑模型输入中可能未体现的上下文，并根据组织政策作出所需决策。
数据标注流程。人工标注员或领域专家会为监督式训练和评估标注图像、文本或音频。质量检查、清晰的说明和一致性指标都很重要，因为带有噪声的标签可能降低模型质量。
专家提示： 在选择审核策略之前，先梳理系统能够执行的操作。将强制审核集中在影响大、难以逆转或受特定责任要求约束的操作上。
如何设计生产级 HITL 系统？
生产级 HITL 设计不只是添加一个审核按钮，还必须考虑持久化状态、审核人员路由、超时、访问控制和反馈质量。
持久化执行与状态保存
可中断的工作流应保留足够的状态，以便在决策后安全恢复。内存存储可能足以支持本地测试，但当审核可能耗时数小时，或服务可能重启时，它就很脆弱。请为所使用的运行时选择受支持的持久化存储，并在上线前测试故障恢复能力。
审批关卡模式
| 关卡类型 | 适用场景 | 权衡 |
|---|---|---|
| 按工具审批 | 选定的敏感操作 | 控制精准；配置更多 |
| 全局审批 | 严格受控工作流中的每项操作 | 策略简单；可能造成庞大的审核队列 |
| 条件审批 | 根据金额、收件人或风险信号决定是否审核 | 选择性强；需要经过测试的规则逻辑 |
| 有序审核队列 | 一次运行中存在多个相互依赖的决策 | 保持顺序；可能增加延迟 |
路由与升级
明确每类决策由谁审核。有些案例需要领域专家处理，其他案例则可以交给受过培训的通用审核人员。设定目标响应时间，并为错过审核的情况制定安全的兜底方案。根据风险程度，工作流可以保持暂停、升级给另一名审核人员，或在不执行该操作的情况下终止。
审计日志与审核界面
界面应帮助审核人员作出知情决策。展示拟议操作、相关来源信息、已知不确定性以及批准后果。结构化选项可以让后续分析更容易，但当编辑或拒绝的背景很重要时，也应为审核人员提供解释原因的方式。
专家提示： 将审核界面同时视为安全控制和数据质量工具。只收集那些你有明确用途的数据。
对于聊天机器人人工转接，应保留对话上下文，记录自动化停止的原因，并将生成的请求路由给合适的 User 或队列。
HITL、人机在环与人机监管的区别
这些术语在不同领域中的用法并不一致。以下区分是一套实用框架，并非普遍适用的定义。
| 术语 | 典型时机 | 人的角色 | 通常会阻止执行吗？ | 常见用途 |
|---|---|---|---|---|
| 人机协同（HITL） | 选定决策之前或期间 | 提供输入、审批或修正 | 通常会 | 高风险决策和训练反馈 |
| 人机在环（HOTL） | 运行期间 | 进行监控并可以干预 | 通常不会 | 规模较大且更易逆转的活动 |
| 人机监管 | 贯穿系统生命周期 | 制定政策并审计结果 | 不会 | 治理和系统级监督 |
被动监控与要求在操作前获得批准的关卡不同。许多系统会结合多个监管层级：对敏感写入操作要求直接审批，监控低风险输出，并通过定期治理审核检查政策和系统性能。
Stanford HAI 描述了一种“人类负责”的视角，强调有意义的人类控制。这一框架将注意力从单纯统计人员介入流程的频率，转向权限、可审计性和可用的审核工作流。
以下问题有助于选择合适的方法：
- 该操作是否可能伤害某人，或造成难以逆转的变化？考虑采用阻断式人工决策。
- 结果是否可以被监控并快速纠正？带有升级路径的监控可能已经足够。
- 是否涉及受监管或需要承担责任的决策？将控制措施对应到实际要求，并记录负责人。
- 活动是否低风险且容易理解？经过测试后，带监控的自动化可能是合适的选择。
大规模运行 HITL 面临哪些实际挑战？
HITL 会引入成本和故障模式，应在设计期间加以处理。
可扩展性。阻断式审批会增加延迟，并需要足够的人工处理能力。如果每项操作都进入同一个队列，审核就可能成为瓶颈。基于风险的路由可以将最密集的审核留给不确定或影响重大的案例。
偏见与相关错误。使用人工修正训练的模型可能继承人的偏见。审核人员也可能过于轻易地遵从看起来很有信心的模型。关于人机团队中的对齐与互补性的研究探讨了模型何时应符合人的偏好，以及何时不同的优势可能提升团队表现。多样化审核、校准和一致性检查有助于发现系统性差异。
隐私与数据治理。审核人员可能会看到个人、财务、健康或机密信息。应将访问范围限制在审核人员所需的信息，保护传输中和静态存储中的数据，并在收集审核记录前明确保留和再利用政策。
人的疲劳与不一致性。重复性审核可能导致仓促决策和不断变化的标准。有用的控制措施包括：
- 根据任务复杂度设置合理的工作量
- 使用相同的样本案例开展校准练习
- 当任务具有合理可靠的参考标准时，衡量一致性
- 在不会降低领域专业能力的情况下轮换工作
- 监控审批、编辑或拒绝模式中的异常变化
成本。人工审核会消耗时间和专业人员的精力。应将其成本与该控制措施旨在防止的错误的预期成本和发生概率进行比较。审核所有内容的关卡可能成本更高，却只能提供很少的保护。
部署 HITL 系统的实用检查清单
在部署 HITL 工作流之前，请按顺序思考以下问题。
- 风险评估。列出系统可以执行的操作，并根据影响、可逆性和责任要求进行分类。
- 定义审核人员。确定谁可以审核每项操作，以及他们需要哪些信息和权限。
- 界面设计。展示足以支持真实决策的上下文，并在适用时定义批准、编辑、拒绝和升级路径。
- 持久化策略。存储安全恢复所需的状态，并测试重启和重复决策。
- 反馈计划。确定审核记录是用于审计、评估、重新训练，还是多种用途的组合。不要假设它们适用于所有目的。
- 治理。为审核质量、访问权限、数据保留、路由规则和控制变更指定负责人。
有用的指标可能包括：
- 审核率：被发送审核的符合条件操作所占的比例
- 决策耗时：从中断到完成审核之间的延迟
- 决策构成：获批、编辑、拒绝或升级的比例
- 错误结果：审核发现的问题，以及尽管经过审核仍未发现的问题
- 审核人员一致性：在适合进行比较的抽样案例中，审核结果的一致程度
只有在分析真实结果后，才应减少审核。如果某个类别始终获批，可以在监控下测试更窄的策略。如果某个类别始终被拒绝，应改进模型或阻止该操作，而不是增加更多审核人员。
当前研究如何看待 HITL 的未来？
当前研究越来越关注如何让人的参与更有价值，而不仅仅是如何增加审核次数。
关于对齐模型和互补模型的研究表明，强大的人机团队可能需要两者兼具。能够反映个人判断的模型可能更具可预测性，而拥有不同优势的模型则可能发现个人遗漏的问题。正确的设计取决于任务、可用证据以及解决分歧的方式。
“人类负责”的框架也促使团队思考人员是否拥有真正有意义的权限。即使工作流记录了批准，如果审核人员缺乏上下文、时间或阻止操作的权力，他们也无法成为有效的安全控制。
值得评估的模式包括：
- 针对选定操作、结合持久化执行的基于中断的审批
- 能够记录决策及有用原因的结构化审核表单
- 结合模型信号与操作后果的基于风险的路由
- 衡量人员与模型协作后是否优于任一方单独工作的互补性测试
一项有用的实验是按操作类型和风险区间对审核结果分组，观察批准、编辑、拒绝、事故和延迟率。结果可以显示审核在哪些地方发现了有意义的问题，以及在哪些地方只是增加了延迟。
专家提示： 不要只针对批准率进行优化。高批准率可能意味着某个类别可靠、审查不严格，或关卡针对的是错误的工作。请将批准结果与错误和后续结果进行比较。
关键要点
当人工决策与明确风险相绑定、由有用的上下文支持，并为了明确目的而被记录时，人机协同 AI 最具价值。
| 要点 | 详情 |
|---|---|
| HITL 可支持训练和运行时控制 | 人工输入可以标注数据、评估输出或控制选定操作的执行。 |
| 基于风险的路由有助于控制成本 | 将阻断式审核集中在其影响足以证明延迟和投入合理的操作上。 |
| 持久化状态支持可靠的中断 | 生产工作流应能够经受重启和长时间的审核延迟。 |
| 有意义的权限很重要 | 审核人员需要上下文、时间，以及改变或停止结果的能力。 |
| Deskhero 让自动支持功能受到控制 | 其聊天机器人和 AI 自动回复使用经过批准的公开 FAQ 内容，采用选择加入方式，并将未回答的问题转交给人工处理。 |
大多数团队对 HITL 的误区
审核步骤看起来可能很负责，却几乎没有增加保护。如果审核人员缺少上下文、习惯性批准，或无法质疑系统，那么组织建立的只是一个队列，而不是有意义的监管机制。
关卡应当与具体目的相连。如果目的是防止有害操作，就要衡量它发现了哪些问题，以及哪些问题仍然漏过。如果审核数据将用于模型改进，就要记录输出为何被编辑，并评估这些标签是否足够一致，能够用于该目的。
团队还应区分减少不必要的审核与削弱人的权限。成熟的系统可以自动处理已充分理解的低风险类别，同时为人员提供更好的工具和更清晰的升级权限，以处理仍需人工决策的事项。
因此，HITL 不仅是技术功能，也是组织能力。人员配置、政策、培训、界面设计和数据治理共同决定了这一闭环能否有效运行。
Deskhero 将人工监管置于 AI 支持的核心
Deskhero 将多项人工监管原则应用于客户支持。它可以起草回复，供 User 审核。面向客户的聊天机器人和 AI 自动回复只会依据工作区批准的公开 FAQ 作答。这两项自动功能都采用选择加入方式，自动操作也都会被标记并记录。
Deskhero 会根据已解决工单和抓取的网站页面提出 FAQ 条目建议。每条建议在公开发布前，都需要由 User 审核、编辑、批准或拒绝。聊天机器人至少需要 100 条已批准的公开 FAQ。如果无法回答，它会转为表单，以便人员通过电子邮件继续对话。
对于电商团队，Shopify 集成使用只读访问权限，将客户和订单信息显示在工单中。Deskhero 还提供 Gmail、Google Workspace 和 Microsoft 365 的双向邮箱连接，因此团队可以继续使用现有电子邮件地址。
无需信用卡即可开始30 天免费试用。
实用来源
这些来源提供实施指导和研究背景。请查阅所使用框架对应版本的文档，以获取确切信息。
| 来源 | 涵盖内容 |
|---|---|
| LangChain HITL 文档 | 中断、审核决策、持久化以及针对工具的审批配置 |
| inference.sh HITL 文档 | 审批关卡和持久化运行时执行 |
| Databricks：人机协同系统 | 人工反馈、路由和运营设计 |
| IBM：什么是人机协同？ | 定义、常见用途和企业考量 |
| Stanford HAI：什么是人机协同？ | 人工监管和“人类负责”框架 |
| Stanford HAI：人机协同——交互式 AI 系统设计 | 交互式 AI 设计与人机协作 |
| AAAI：在对方希望时对齐，在对方需要时互补 | 对齐、互补性和人机团队表现 |
| 《哈佛数据科学评论》：人机协同的数据科学与工程 | 数据科学、工程和监管中的人的角色 |
| PMC：临床 AI 中的人机协同方法 | 临床应用和人工监管 |
常见问题
AI 中的人机协同是什么意思？
AI 中的人机协同，是指在 AI 流程的明确定义节点引入人工输入。人员可以标注数据、评估输出、修正结果，或在操作发生前批准该操作。
人机协同与人机在环有什么区别？
在通常用法中，HITL 要求人员参与选定决策，并且经常会暂停受影响的工作流。人机在环通常描述这样一种系统：系统运行时由人员进行监控，并且人员可以进行干预。术语用法有所不同，因此系统描述应说明实际控制方式，而不能只依赖标签。
AI 智能体中的人机协同是什么？
对于能够执行操作的 AI 系统，HITL 通常意味着在选定操作前暂停，向审核人员展示拟议操作和相关上下文，并且只有在作出允许的决策后才恢复执行。工作流应保留状态，并记录审核人员的选择。
AI 中的人机在环是什么？
人机在环通常意味着 AI 系统在运行的同时，由人员监控结果，并可以停止、修正或覆盖系统行为。它通常不要求在每项操作前都获得批准。
Deskhero 如何为支持团队实施人机协同 AI？
Deskhero 会起草回复，供 User 审核。其聊天机器人和 AI 自动回复采用选择加入方式，并且只依据批准的公开 FAQ 作答。自动操作会被标记并记录，未回答的聊天问题则会转为表单，由人员通过电子邮件跟进。