01 发生了什么
Google 扩展了其第八代 TPU 产品组合,新增了针对安全性和大规模上下文设计的两个新系统。
02 关键细节
- TPU 8tx 针对安全且机密的推理进行优化,并提供硬件级的数据安全保障。
- TPU 8i Max 通过结合两个 TPU 8i 芯片,提供双倍于 TPU 8i 的计算能力、SRAM 和 HBM 带宽。
- Google 开源了 TPU Sync,该模型状态层可将首字延迟 (TTFT) 降低 90% 以上。
- TorchTPU 开源项目支持 PyTorch 代码和 Hugging Face 模型在 TPU 上原生运行,无需重写代码。
03 为什么重要
这些硬件旨在解决受监管行业对数据安全的需求,以及 AI 智能体处理大规模上下文时的内存瓶颈。
04 适合谁
AI开发人员、AI基础设施工程师、企业AI服务客户及高性能计算专家。
原始来源