OpenAI обновила систему кеширования промптов для GPT-6

01 Что произошло

OpenAI представила улучшенную систему кеширования для моделей семейства GPT-6. Обновление направлено на оптимизацию повторного использования контекста и повышение производительности при обработке запросов.

02 Ключевые детали

• Разработчики получают скидки до 90% на кешированные входные токены при повторном использовании общих префиксов в течение 30 минут.
• Архитектура GPT-6 позволяет изменять уровень «рассуждений» модели между запросами без сброса кеша.
• Функция предварительного прогрева позволяет заранее подготовить контекст для сокращения времени отклика при выполнении запросов.

03 Почему это важно

Эти изменения оптимизируют стоимость и скорость работы систем, обрабатывающих длинные или повторяющиеся данные. Гибкость настройки параметров рассуждений упрощает работу с агентными сценариями.

04 Кому полезно

ИИ-разработчики, разработчики AI-агентов, разработчики корпоративных ИИ-платформ и специалисты по интеграции ИИ.