业务与 Agent / RESEARCH REPORT
Agent 出错时谁接管?异常处理与人工介入的三种模式
Agent 出错只靠重试不够。本文按风险分级给出三种人工接管模式——检查点审批、异常升级、事后审计,附对比表与落地顺序,证据口径来自 Anthropic 与 OpenAI 的官方工程指南。
摘要
Agent 出错不能只靠重试,应按风险分级设置检查点审批、异常升级、事后审计三种人工接管模式,这是 Agent 进入生产的前提。
- 体裁
- 研究报告
- 适用对象
- 业务负责人、AI 项目负责人、Agent 落地工程师
- 参考来源
- 3 项 · 详见文末
答案先行
Agent 出错时只靠"重试"是偷懒。成熟的做法是按风险分级,设置三种人工接管模式:高风险动作走检查点审批、异常自动升级给人、常规操作事后审计可回滚。接管机制不是给 Agent"加保险",它是 Agent 能进生产的前提。
一、为什么"重试三次"不够
Anthropic 在《Building Effective Agents》里把 Agent 定义为"LLM 在环境反馈的循环里用工具",并专门留了一句:Agent 应该在检查点或遇到阻碍时停下来等人类反馈。同一篇文章还建议设置停止条件,比如最大迭代次数——循环必须有刹车。
重试解决的是偶发失败(网络抖动、接口超时),解决不了三类真问题:Agent 走错了方向(重试只会错得更远)、Agent 缺少决策依据(比如需要业务判断)、Agent 的动作不可逆(发了退款、删了数据,重试就是灾难)。这三类问题有一个共同点:机器自己不知道"我不知道"。
OpenAI 的 Agent 构建指南也持同样立场:先上最简单的确定性方案,只有任务真的需要自主决策才加自主性。每加一分自主,就要配一分可控。
二、三种接管模式
| 模式 | 人在什么时候介入 | 触发条件 | 适用场景 | 代表实现 |
|---|---|---|---|---|
| 检查点审批 | 动作执行前 | 高风险、不可逆操作(付款、删库、对外发送) | 金融、客服退款、生产变更 | OpenAI Agents SDK 的审批中断、LangGraph 的 interrupt |
| 异常升级 | 失败或卡住时 | 连续失败 N 次、置信度低于阈值、遇到未覆盖的分支 | 长流程自动化、运维 Agent | Copilot Studio 的升级门、Anthropic 说的"遇到阻碍时暂停" |
| 事后审计 | 动作执行后 | 常规低风险操作,抽查加全量日志 | 内容生成、数据标注、内部助手 | 完整轨迹记录加回滚能力、定期人工抽检 |
检查点审批最容易被低估价值:它看起来拖慢了自动化,实际上是它让自动化敢上线。没有审批门的 Agent,业务方不敢给它生产权限;有了审批门,80% 的低风险步骤可以全自动,只有 20% 停下来等人。
异常升级的关键是"升级包"里有什么:Agent 做到哪一步、卡在哪一个决策点、它已经试过什么、它建议人怎么接。只抛一句"出错了请处理"的升级,等于把排查成本全甩给人。
事后审计常被当成"有了就行",但审计要能回答三个问题才算数:当时 Agent 看到了什么、为什么选了这个动作、能不能一键撤销。答不上来,审计就是摆设。
三、落地顺序:先分级,再配模式
- 先给 Agent 的动作分级:不可逆操作列出来,这是检查点审批的清单;可逆但影响大的,走异常升级;其余的走审计。
- 审批门宁多勿少地起步,跑两周看数据再放宽。一开始就想"全自动",最后往往是"全不敢用"。
- 每次人工接管都记一条结构化日志:触发原因、人的决策、Agent 原本想做什么。这些日志是下一轮评估用例的最好来源——昨天的接管,就是明天的测试集。