01 Was passiert ist
Google hat seine TPU-Palette der achten Generation um zwei Systeme erweitert, die speziell für agentische Arbeitslasten entwickelt wurden.
02 Die wichtigsten Details
- TPU 8tx bietet hardwarebasierte Sicherheit für sensible Daten und ist für vertrauliche Inferenz optimiert.
- TPU 8i Max kombiniert zwei TPU 8i-Chips und bietet die doppelte Rechenleistung sowie die doppelte HBM-Bandbreite des TPU 8i.
- Mit dem Open-Source-Projekt TorchTPU können PyTorch-Code und Hugging Face-Modelle nativ auf TPUs ausgeführt werden.
- TPU Sync wurde als Open-Source-Modellzustandsschicht veröffentlicht, um die TTFT-Latenz um über 90 % zu senken.
03 Warum das wichtig ist
Die neuen Chips decken den Bedarf an Datensicherheit in regulierten Branchen und lösen Speicherprobleme bei extrem großen Kontextfenstern.
04 Für wen es relevant ist
KI-Entwickler, KI-Infrastruktur-Ingenieure, Unternehmenskunden von KI-Diensten und Spezialisten für Hochleistungsrechnen.
Originalquelle