AI API 突然限流怎么办？
AI API 接入业务系统后，最常见的线上压力不是完全不可用，而是高峰期突然出现 429、排队变慢、前端重复提交。限流不是只靠重试解决，关键是把并发、队列、预算和降级写清楚，让用户知道任务在哪里，也让后台知道什么时候该停。
适用场景：429 变多，任务开始堆积
这篇适合客服摘要、批量内容改写、商品审核、知识库问答、AI 自动化办公报表和开发者 AI 调用等场景。你可能看到接口返回 429、网关等待变长、任务队列越积越多，或者用户连续点击“重新生成”。如果问题是偶发失败后是否重试，先看 AI API 调用失败后要不要自动重试；如果还不知道谁在消耗额度，先看 AI API 接入后怎么知道谁在消耗额度。
先分三类：限流、排队慢、预算触顶
限流治理的第一步是分类。真正的 429 表示请求频率或配额触发限制；排队慢可能是本地 worker 太少、上游响应变慢或长文本任务占满通道；预算触顶则是业务规则限制，比如单用户当天额度、单功能每分钟次数或团队总余额。三类问题在前端都可能显示“生成失败”，但处理方式完全不同。
操作步骤：从入口就控制节奏
1. 给每个功能设置并发上限
不要让所有功能共用一个无限队列。客服分流、长文摘要、图片提示词改写、Codex 接入辅助脚本应有独立并发和优先级。高价值的人工触发任务可以优先，批量离线任务可以延后。日志里记录功能名、用户、模型、输入长度、排队时间、调用耗时和状态码，后续才知道瓶颈在哪里。
queue: customer_summary concurrency: 3 timeout: 60s
queue: batch_rewrite concurrency: 1 timeout: 180s
queue: dev_assistant concurrency: 2 timeout: 90s2. 对 429 做退避，不做立即洪峰重试
429 后立刻重试，往往会把限流推得更严重。可以设置 5 秒、20 秒、60 秒退避，并限制每个任务最大尝试次数。和幂等一样，任务必须有业务编号，防止用户刷新页面后生成多个排队项。涉及 AI 模型接口备用时，参考 AI 模型接口要不要做多模型备用，把“切换模型”作为明确降级动作，而不是随机尝试。
3. 前端提示要说清任务状态
不要只给“网络异常”。更好的提示是“任务已进入队列，预计稍后完成”“当前高峰，已降低并发保护额度”“本次任务超出长度预算，请拆分”。AI 自动化办公场景里，用户往往愿意等，但不愿意不知道任务是否丢失。后台也要提供取消、重试和查看历史结果入口。
4. 给批量任务设置暂停开关
批量任务最容易在限流时放大问题。可以给运营批量改写、客服历史摘要、知识库重建这类任务单独设置暂停开关和批次大小。遇到连续 429、平均等待时间超过阈值或余额接近预警线时，先暂停新批次，只保留人工触发的少量任务。恢复后再从失败批次继续，而不是整批重跑。
常见问题/避坑：限流不是越多模型越好
第一个坑是看到 429 就立刻加备用模型，却没有统一输出格式和质量标准。模型换了，JSON 字段、摘要风格、拒答边界都可能变。结构化输出场景要先看 开发者调用 AI 模型时怎么约定 JSON 输出。第二个坑是把失败任务重新塞回队列顶部，导致新任务一直饿死。第三个坑是没有区分测试流量和正式流量，调试脚本在高峰期消耗了生产预算。
成本也是限流治理的一部分。长文本、批量改写和多轮修复最容易放大额度消耗，可以结合 AI API 接入后怎么控成本 做长度预算和批次开关。CCSwitch 配置多模型时，也要标注哪些模型适合高峰降级，哪些只能用于人工确认任务。
排查时不要只盯接口返回体，还要看本地应用有没有把失败写成成功。比如队列任务已经超时，但前端轮询接口仍返回处理中；或者模型已经返回结果，写库步骤失败，用户只能重新提交。限流期间尤其要把调用状态和业务状态分开记录，避免后来无法判断到底是模型没响应，还是自己的系统没有保存结果。
检查清单：限流恢复后必须复盘
- 429、超时、业务预算触顶是否分成不同错误类型记录。
- 每个功能是否有独立并发、队列长度、超时和最大重试次数。
- 用户重复点击时，是否复用同一个任务编号而不是新增任务。
- 降级模型的输出格式、成本和质量边界是否提前验证。
- 后台是否能按用户、功能、模型和时间段查看限流峰值。
- 前端提示是否说明排队、失败、取消和稍后查看的路径。
验收标准：系统慢下来，但不能乱起来
一次合格的限流处理，不是保证永远没有 429，而是在高峰时让系统可解释、可恢复、可复盘。压测时可以模拟 20 个并发摘要任务，检查队列长度、任务状态、用户提示和日志。若任务失败，应该能知道是上游限流、本地队列慢、预算策略触发，还是模型调用管理配置错误。永沃云枢建议把这些指标放进日常看板，让 https://ai.jn83.com 上的 AI API 接入不只关注调通，也关注长期运行。