AI 自动化办公代理上线前怎么验收？
把 AI 代理接到表格、文档或工单前，应先用样本包、权限边界、失败回退和人工复核清单验收，避免上线后批量出错。
真实问题
AI 自动化办公代理看起来最容易上线：接一批表格、文档或工单，让它分类、提取、汇总、生成回复。但真正风险也在这里，因为一次错误可能不是一条，而是一百条。常见事故包括字段错位、日期口径不一致、附件漏读、权限越界、失败后重复写入，以及看似通顺但事实不对的总结。永沃云枢在 https://ai.jn83.com 的办公流程里，会把上线前验收拆成样本、权限、失败和复核四个层面。
适用场景
适用于客服工单分派、Excel 清洗、周报汇总、合同摘要、会议纪要转待办、运营素材整理和 Codex 协助批量改文档。只要代理会读取用户资料、调用 AI 模型接口、写回业务系统或生成对外内容，就不应该直接全量运行。这里的重点不是炫技，而是让 AI API 接入、开发者 AI 调用和人工验收形成闭环。
准备样本包
样本包要覆盖正常、边界和错误三类数据。正常样本用于确认代理能跑完整流程；边界样本包含空字段、超长文本、多附件、重复客户、跨月日期和口径冲突；错误样本包含缺权限文件、损坏附件、无法识别格式和故意矛盾的信息。每条样本都要写预期结果，不能只写“让 AI 判断”。如果没有预期结果，后面就无法判断模型调用管理是否有效。
操作步骤
- 先用只读模式运行代理，让它生成计划和字段映射，不允许写回系统。
- 人工检查字段映射，确认客户名、金额、时间、负责人和状态没有错位。
- 开放小批量写入，例如只处理十条样本，并保留原始文件和写入前快照。
- 故意加入失败样本，观察代理是否停止、跳过、标记待人工处理，而不是强行补内容。
- 检查 AI API 调用日志，确认每条结果都能追溯到输入、模型、提示词版本和输出。
- 设定上线阈值，例如关键字段准确率、人工退回率、失败重试次数和最大处理量。
排错路径
如果字段错位，先查输入解析和表头映射，不要急着改提示词；如果总结事实不对，检查引用片段和上下文裁剪；如果重复写入，检查幂等键和任务状态；如果不同人跑出不同结果，检查 CCSwitch 配置、模型名和权限范围是否一致。使用 Codex 接入办公流程时，还要让它先说明将修改哪些文件或记录，并在执行后列出变更清单。与 周报漏数据排查 一起看，可以减少上线后返工。
常见问题 / 避坑
问：代理回答看起来合理就能上线吗？不能，办公流程要看字段、来源和可追溯性。问：是否要追求全自动？多数场景应先半自动，把异常样本交给人工。问：失败后自动重试越多越好吗？不一定，重复写入和重复扣费都可能扩大损失。问：能不能把所有附件一次性塞给模型？要看上下文预算和隐私要求，必要时分段提取并保留引用。
检查清单
- 样本包是否覆盖正常、边界和错误数据。
- 只读计划、字段映射和写入快照是否保留。
- AI API 接入日志是否记录输入、模型、提示词版本和输出。
- 失败样本是否进入人工复核队列，而不是被静默吞掉。
- 批量写入是否有幂等键和回滚方案。
- 上线阈值是否包含准确率、退回率、重试次数和最大处理量。
验收标准
上线前至少跑完二十条样本，其中必须包含三条错误样本和五条边界样本。关键字段不能只看平均准确率，还要看是否存在不可接受错误，例如金额、客户、日期和负责人错位。所有异常都应能在任务日志里找到输入和输出，不允许出现“模型这么说”的孤立结论。只有当代理能主动暴露不确定、拒绝越权写入、保留回滚证据，并把异常交给人工，才适合进入真实办公流程。
上线当天也不要直接放开全量任务。比较稳妥的节奏是先跑一个部门或一个低风险队列，保留人工抽检比例，并设置每日最大处理量。第一天重点看异常队列是否有人处理，第二天看重复问题是否减少，第三天再决定是否扩大范围。AI 自动化办公真正节省时间，通常不是因为第一次就全自动，而是把重复、可验证、可回滚的部分先稳定下来。