01 发生了什么
本文介绍一个内部系统，利用闲置推理容量改进广告推荐，并配备两个弹性杠杆：RMA 与 SBM。
02 关键细节
- 系统通过利用闲置容量扩展广告推荐工作，同时保护基线性能。
- RMA 在容量可用时增加排序阶段评估的候选数。
- SBM 将更多请求路由到更强大的模型，利用加速器冗余资源。
- SBM 的隔离是物理的，基线与更强模型使用不同的路由目标来保护基线服务。
03 为什么重要
该方法解决全球受限的舰队中出现的容量悖论，原因包括峰值供给、模型交付时序、区域资源配比和加速器类型差异。
04 适合谁
机器学习工程师、基础设施工程师、高性能计算专家及devOps专家。
原始来源