01 Ce qui s’est passé
Dans sa documentation, OpenAI décrit Ultrafast comme le niveau de service le plus rapide de l’API OpenAI. Il est actuellement accessible à tous les utilisateurs de l’API pour GPT-6 Astra et GPT-6.1 Sol, sous réserve de limites basses.
02 Les points essentiels
- Les limites par défaut de GPT-6 Astra sont de 500 000 jetons par minute pour le niveau Build, de 1 000 000 pour Launch et de 5 000 000 pour Grow.
- Dans chaque événement response.create, définissez model sur gpt-6-astra et service_tier sur ultrafast. OpenAI recommande vivement les WebSockets pour les applications qui enchaînent fréquemment des appels d’outils : sans connexion persistante, les surcoûts du réseau peuvent réduire les gains de latence.
- Ultrafast prend aussi en charge les requêtes HTTP via le SDK. OpenAI recommande ce niveau lorsque la vitesse justifie le coût supérieur.
- Le mode Ultrafast pour GPT-6.1 Sol prend en charge la résidence des données aux États-Unis et dans l'UE ainsi que le traitement mondial. GPT-6 Astra Ultrafast ne prend en charge que la résidence des données aux États-Unis et le traitement mondial.
- Les organisations qui travaillent avec une équipe de compte OpenAI peuvent la contacter pour demander des limites plus élevées.
03 Pourquoi c’est important
Les développeurs peuvent choisir le niveau de service API le plus rapide d’OpenAI pour GPT-6 Astra, tout en tenant compte du coût supérieur, des limites basses et des restrictions de traitement régional.
04 Pour qui c’est utile
Développeurs de logiciels.
Source originale