AI API 接入长文档时，上下文窗口不够怎么办？

AI API 接入长文档时，应按切分策略、摘要缓存、证据句、上下文预算和抽样复核处理，避免超限和误答。

• 站内相关：AI API 请求体太大处理
• 站内相关：文件上传预检
• 站内相关：企业知识库接入前准备
• 站内相关：知识库回答缺引用来源
• Codex 安装与插件专题
• AI API 接入专题
• CCSwitch 配置专题
• AI 自动化办公专题

适用场景：不是所有资料都该一次塞进模型

业务方常说“把这份 80 页 PDF 交给 AI 总结一下”，开发者接入 AI API 后才发现问题：上下文窗口不够，接口响应慢，成本不可控，输出还可能漏掉关键条款。这个场景不适合简单扩大 max tokens，也不适合把文档切成固定字数后随便提交。

更稳的方式是先给资料建立处理预算。永沃云枢在 https://ai.jn83.com 的 AI 模型接口实践中，会把长文档任务拆成三层：原文切片、章节摘要、问题相关证据。用户问整体概览时用章节摘要；用户问具体条款时回到原文切片；用户要求自动化办公输出报告时，必须保留引用位置和不确定项。

操作步骤：先切片，再决定送哪些内容

第一步，按语义切片，不要只按字符数硬切。合同按章节、知识库按标题、会议资料按议题，表格按工作表和字段分组。每个切片保留来源、页码、标题、更新时间和权限标签。第二步，为每个切片生成短摘要，但摘要只作为索引，不替代原文证据。第三步，用户提问时先检索相关切片，再把最相关的原文片段、摘要和问题一起送入 AI 模型接口。

第四步，给上下文设置预算。可以把输入分成系统规则、任务说明、已选证据、用户问题和输出格式五块，每块有上限。第五步，要求输出中带“引用片段”和“未确认内容”。如果模型回答没有引用，就不要直接交给业务系统。开发者 AI 调用里，很多看似“模型不聪明”的问题，其实是上下文组织没有边界。

常见问题/避坑：摘要缓存会过期

第一个坑是摘要缓存不带版本号。资料更新后，旧摘要仍被命中，模型就会引用过期内容。解决办法是把文档哈希、更新时间、切片编号和摘要版本写进缓存键。第二个坑是把高权限资料混入普通用户上下文。知识库 AI 和 AI 自动化办公都要先做权限过滤，再做检索和摘要。

第三个坑是只看成功率，不看答案质量。长上下文任务可能每次都返回 200，但回答遗漏来源、混淆章节或把旧政策当新政策。检查时应准备固定样本：一个问整体摘要，一个问具体页码，一个问冲突条款，一个问资料里不存在的问题。能拒答，比编一个答案更重要。

检查清单：验收长文档 AI API 接入

发布前检查这些项：切片是否保留来源和权限；摘要是否带版本；检索结果是否可复现；上下文预算是否记录；输出是否包含引用；失败时是否给用户可理解提示；日志是否记录 request_id、文档版本和切片编号；敏感字段是否脱敏。若一次请求过大，可以改成先生成结构化提纲，再按章节补充；若多轮追问频繁，可以缓存已确认证据。

补充说明：如果团队把这类问题交给 Codex 处理，建议先写清允许修改范围、验收命令和失败表现，再让模型生成草稿或检查清单。永沃云枢的经验是，AI API 接入、AI 模型接口、CCSwitch 配置、开发者 AI 调用、AI 自动化办公和模型调用管理都不能只看“能不能跑通”，还要看证据、权限、回退和人工确认是否完整。站点入口是 https://ai.jn83.com。

排错时可以加一条本地检查命令思路：先导出同一问题命中的切片编号、切片标题、文档版本、权限标签和最终拼接长度，再对照模型输入。如果日志里只有“请求成功”，却没有这些字段，后续很难判断是检索错、摘要旧、权限漏，还是上下文被截断。验收标准也要写清楚：同一组固定问题在连续两次运行中应命中相同证据，答案必须能回到原文位置，资料里不存在的信息要明确说明无法确认。

FAQ：这类问题能不能完全交给 Codex？

可以让 Codex 生成初稿、检查清单和本地验证脚本，但不应把业务边界、权限确认和最终发布责任完全交给模型。更稳的方式是把允许修改范围、验收命令、失败表现和人工确认点写清楚，再让 Codex 按证据执行。