OpenAI 升级 GPT-6 提示词缓存：Token 成本最高省 90%

GPT-6 让持久运行的 AI 智能体能够连续数小时处理复杂任务，如重构代码库、生成深度研究报告等。在长流程任务中，API 会频繁发出相互承接的请求，通常沿用上一轮的系统指令、工具定义和上下文。

OpenAI 针对 GPT-6 推出了全新升级的提示词缓存（Prompt Caching）系统。新系统默认具备更高的缓存命中率，符合条件且在 30 分钟内复用的共享前缀可享受最高 90% 的输入 Token 费用折扣，同时大幅缩短响应时间。

监控缓存与诊断未命中

新上线的提示词缓存控制面板支持实时监控缓存命中率随时间的变化，并提供输入构成图表，直观对比已缓存与未缓存的 Token 消耗，帮助开发者快速发现缓存命中率下跌并评估代码变更的影响。

针对意外的缓存未命中，OpenAI 提供了提示词缓存诊断工具。该工具可将当前请求与近期响应进行对比，准确定位阻碍复用的变更点（如工具定义、模型或设置微调），并输出受影响的 Token 估算值，方便针对性优化：

{
  "prompt_cache_diagnostics": {
    "type": "cache_miss",
    "reason": "tools_changed",
    "comparison_reusable_tokens": 5629,
    "cache_missed_tokens": 5629
  }
}

应用级缓存优化控制

除了底层默认优化外，OpenAI 还开放了一系列面向工作负载的细粒度控制功能：

显式缓存断点：开发者可参考提示词缓存指南，手动设置缓存断点以选择需要持久复用的提示词前缀范围。
动态调整推理强度：使用 GPT-6 模型时，开发者可在对话轮次之间调整推理强度而无需打断已有缓存。只需追加 configuration_update 保持请求级强度一致，即可让简单追问低消耗、复杂任务深推理，同时完整保留上下文。
平滑管理工具与指令变更：根据工具变更管理指南，保持工具定义、架构及顺序稳定。当暂不调用某些工具时，使用 allowed_tools 过滤或将 tool_choice 设为 none，而不是直接删除工具定义；新指令则建议以追加方式放在上下文末尾。
缓存预热降低首字延迟：利用预热机制，应用可以在启动时或用户发出首个提问前，提前加载共享指令、工具定义和知识库资料，在用户等待前完成底层计算，显著削减响应首包延迟。