AI API 试运行只看成功率为什么不够？
AI API 新功能试运行时，成功率只能说明请求没炸，应同时抽样日志、比对输出质量、成本和人工复核结果。
真实问题：成功率高，不代表业务能用
很多团队把 AI API 接入上线前的试运行做成一张成功率表：请求发出、接口返回、状态码正常，就算通过。这个指标必要，但远远不够。模型可能每次都返回 200，却把客户名称写错、把表格金额漏掉、把客服语气写得过硬，或者在长文本里偶尔丢掉关键约束。更麻烦的是，试运行初期样本少，平均成功率很好看，到了真实流量才暴露成本飙升、响应变慢和人工返工增加。永沃云枢在 https://ai.jn83.com 做模型调用管理时，会把“接口成功”和“业务可接受”分成两张表。前者看状态码、延迟、重试、超时；后者看抽样质量、人工复核结论、拒绝原因和是否需要回滚。
适用场景
适用于客服摘要、合同条款提取、AI 自动化办公周报、图片理解、知识库问答、批量标题生成和 Codex 辅助维护静态页。凡是 AI 模型接口输出会被用户看到、会写入业务系统或会影响人工决策，都不应只看成功率。使用 CCSwitch 配置多模型时，还要分 profile 记录样本，不然无法判断是模型差异、提示词问题还是接口层参数不一致。
操作步骤：建立试运行抽样表
第一步，定义影子运行范围：只旁路生成结果，不直接覆盖人工结果，或者只对低风险用户开放。第二步，日志里增加 task_type、model、profile、prompt_version、input_size、latency_ms、retry_count、cost_bucket 和 reviewer_result。第三步，每天抽样固定数量结果，至少包含成功、超时、重试、人工否决和用户投诉样本。第四步，把抽样结果分成“可直接用、轻微修改、必须重做、禁止上线”四类。第五步，让 Codex 根据抽样表生成复盘摘要，但不要让它只用平均数下结论。开发者 AI 调用需要保留原始输入摘要和脱敏后的输出片段，避免质量问题无法追溯。
排错路径：从质量样本反推接口配置
如果成功率高但人工否决多，先看提示词和字段约束，而不是先换模型。如果延迟高但质量稳定，先看上下文长度、文件大小和并发限速。如果成本高，检查是否把低风险任务误发给高成本模型，或者重试没有幂等键。如果某个 CCSwitch profile 的输出明显偏短，检查模型名、temperature、max token 和 base_url 是否被旧配置覆盖。若 Codex 参与排查，让它先列字段缺失和样本差异，再建议改动，不要直接让它重写整套提示词。
常见问题 / 避坑
问：抽样多少才够？低风险功能可以每天几十条，高风险功能要按场景覆盖，不只看数量。问：是否必须保存完整输入？含隐私或商业资料时不建议，保存脱敏摘要和可复现样本即可。问：用户没投诉是不是就可以上线？不一定，很多错误会被人工悄悄修掉，应看返工记录。问：成功率和质量指标冲突怎么办？先保护业务质量，再优化接口层。问：“GPT 中转”类搜索词怎么处理？可以解释为 AI 模型接口接入和调用管理，不把它写成承诺。
检查清单
试运行是否旁路或灰度；日志是否包含模型、profile、提示词版本和成本区间；抽样是否覆盖失败与人工否决；输出质量是否按四类记录；是否有回滚条件；是否检查重试幂等和超时层级；是否把相关经验链接到 AI API 接入、Codex 接入、CCSwitch 配置和 AI 自动化办公专题。
验收建议：给试运行设置退出条件
试运行不能无限拖着，也不能凭感觉宣布上线。建议提前写四个退出条件：连续几天没有禁止上线样本，人工重做比例低于阈值，单次平均成本在预算内，超时和重试不会影响主流程。若任一条件不满足，就继续停留在影子运行或小流量灰度。对于 AI 自动化办公和客服回复这类对外场景，还要看人工修改原因是否集中在同一类事实错误。若错误集中，优先修资料源或提示词；若错误分散，说明还需要扩大样本。Codex 可以整理这些统计口径，但最终上线判断应由业务负责人和技术负责人一起确认。补充一点容易忽略的细节：抽样表最好固定字段顺序，并保留每天同一时间段的样本，避免只挑表现好的请求复盘。若业务有节假日高峰，也要单独标记。
补充做法：保留试运行决策记录
试运行结束时，建议单独保存一份决策记录，而不是只留下仪表盘截图。记录里写清楚本次样本覆盖了哪些任务、哪些模型 profile 参与、哪些失败被接受、哪些失败必须修复，以及为什么暂时不上某些高风险场景。比如客服摘要可以先开放给内部坐席，但合同要点提取仍保持人工复核；短文本生成通过，长文件输入还要继续观察。永沃云枢处理这类 AI 模型接口评估时，会把决策记录和 prompt_version、CCSwitch 配置快照放在一起，方便一个月后回看为什么当时选择灰度、降级或回滚。没有这份记录，后续成本上涨或质量波动时很难判断是模型变化，还是上线前本来就没有覆盖到。