01 Was passiert ist

In der Dokumentation bezeichnet OpenAI Ultrafast als die schnellste Service-Stufe der OpenAI API. Für GPT-6 Astra und GPT-6.1 Sol ist sie derzeit allen API-Nutzern zugänglich, jedoch mit niedrigen Limits.

02 Die wichtigsten Details

  • Die Standardlimits für GPT-6 Astra liegen bei 500.000 Token pro Minute für die Build-Stufe, bei 1.000.000 für Launch und bei 5.000.000 für Grow.
  • In jedem response.create-Ereignis müssen Entwickler model auf gpt-6-astra und service_tier auf ultrafast setzen. OpenAI empfiehlt WebSockets nachdrücklich für Anwendungen mit häufigen, unmittelbar aufeinanderfolgenden Tool-Aufrufen: Ohne dauerhafte Verbindung können Netzwerk-Overheads die Latenzgewinne verringern.
  • Ultrafast unterstützt außerdem HTTP-Anfragen über das SDK. OpenAI empfiehlt die Stufe, wenn die Geschwindigkeit die höheren Kosten rechtfertigt.
  • Ultrafast unterstützt für GPT-6.1 Sol US- und EU-Datenresidenz und globale Verarbeitung. GPT-6 Astra Ultrafast unterstützt nur US-Datenresidenz und globale Verarbeitung.
  • Organisationen, die mit einem OpenAI-Account-Team zusammenarbeiten, können dort höhere Rate-Limits beantragen.

03 Warum das wichtig ist

Entwicklungsteams können für GPT-6 Astra OpenAIs schnellste API-Service-Stufe auswählen und dabei höhere Kosten, niedrige Limits und Einschränkungen bei der regionalen Verarbeitung berücksichtigen.

04 Für wen es relevant ist

Softwareentwickler.

Originalquelle
OpenAI Developers