01 发生了什么

OpenAI 为 GPT-6 模型系列推出了改进的提示词缓存系统。该更新旨在提高默认缓存命中率,优化重复上下文处理过程中的计算效率。

02 关键细节

  • 开发者在 30 分钟窗口内重复使用共享前缀时,可享受高达 90% 的缓存输入令牌折扣。
  • GPT-6 模型现在支持在请求间调整推理强度,同时保持缓存状态,无需重新计算。
  • 系统引入了预热功能,可提前准备上下文数据,从而缩短请求响应的延迟。

03 为什么重要

该功能显著降低了长文本及 Agent 任务的运行成本与响应时间。允许调整推理参数而不破坏缓存,为开发者提供了更强的模型控制能力。

04 适合谁

AI开发人员、人工智能代理开发人员、企业AI平台开发人员及人工智能集成专家。

原始来源OpenAI