01 Что произошло
Google расширила портфель восьмого поколения тензорных процессоров (TPU), добавив конфигурации для обеспечения аппаратной безопасности данных и работы с масштабным контекстом.
02 Ключевые детали
- TPU 8tx оптимизирован для защищенного инференса и малого обучения, обеспечивая аппаратный уровень безопасности данных.
- TPU 8i Max объединяет два чипа TPU 8i, удваивая вычислительную мощность, объем SRAM и пропускную способность HBM.
- Google открыла исходный код TPU Sync, что позволяет снизить задержку первого токена (TTFT) более чем на 90%.
- Проект TorchTPU позволяет запускать код PyTorch и модели Hugging Face на TPU без переписывания кода.
03 Почему это важно
Новые системы решают задачи защиты конфиденциальных данных и преодоления ограничений памяти при работе с многомиллионными контекстными окнами.
04 Кому полезно
ИИ-разработчики, инженеры ИИ-инфраструктуры, корпоративные клиенты AI-сервисов и специалисты по высокопроизводительным вычислениям.
Первоисточник