01 Что произошло
Статья описывает внутреннюю систему, которая превращает простаивающую вычислительную мощность в улучшенные рекламные рекомендации.
02 Ключевые детали
- Meta построила внутреннюю систему, которая использует простаивающие мощности вывода в флоте для улучшения рекламных рекомендаций.
- RMA увеличивает число кандидатов на этапах ранжирования, когда доступна дополнительная мощность.
- SBM направляет больше запросов к более мощной модели, используя избыточную мощность ускорителей.
- Изоляция SBM физическая: базовая и более мощная модели используют отдельные маршрутизаторы, чтобы защитить базовую службу.
03 Почему это важно
Это решение адресует парадокс пропускной способности: глобальная ограниченность флотилий сочетается с локальными простоями из-за пиковой мощности, задержек разработки моделей и различий в ресурсах.
04 Кому полезно
Инженеры по машинному обучению, инженеры инфраструктуры, специалисты по высокопроизводительным вычислениям и devOps-специалисты.
Первоисточник