OpenAI améliore la mise en cache des prompts pour GPT-6

01 Ce qui s’est passé

OpenAI a déployé un système de mise en cache optimisé pour la famille de modèles GPT-6. Cette mise à jour vise à accroître par défaut les taux de réussite du cache pour améliorer la performance globale des requêtes.

02 Les points essentiels

• OpenAI propose des réductions allant jusqu'à 90 % sur les tokens d'entrée mis en cache pour les préfixes partagés réutilisés dans un délai de 30 minutes.
• Il est désormais possible de modifier l'effort de raisonnement du modèle entre deux réponses sans entraîner l'invalidation du cache.
• La fonctionnalité de préchauffage permet de préparer le contexte en avance pour réduire la latence lors de la réception d'une requête.

03 Pourquoi c’est important

Ces améliorations réduisent les coûts opérationnels et accélèrent le temps de réponse pour les agents persistants. La modulation des paramètres tout en conservant le cache offre davantage de souplesse aux développeurs.

04 Pour qui c’est utile

Développeurs en IA, développeurs d'agents IA, développeurs de plateformes d'IA d'entreprise et spécialistes de l'intégration de l'IA.