01 Что произошло

Hugging Face заменила собственный маршрутизатор инференса для языковых моделей системой OpenRouter. OpenRouter динамически выбирает лучшего провайдера для каждого запроса на основе актуальных данных о цене, скорости и надежности, и при неудаче перезапускает запрос на другом провайдере. Изменение вступило в силу 16 ноября 2026 года.

02 Ключевые детали

  • В сервисе Inference Providers запросы к языковым моделям идут через OpenRouter. Он выбирает провайдера с учётом цены, скорости и надёжности. При сбое запрос повторяется у другого провайдера.
  • Доля токенов, обработанных моделями с открытыми весами на OpenRouter, выросла с 26,8% в октябре 2025 года до 71,7% к концу сентября 2026 года. В недельном рейтинге, приведённом Hugging Face, лидировала DeepSeek V4.1 Flash 1017 с 59,2 трлн токенов.
  • По измерениям OpenRouter, обновлённый маршрутизатор сократил число ошибок из-за нехватки ресурсов на 46% и время ожидания первого токена на 16,9%, а также повысил пропускную способность на 16,3%.
  • Цены не изменились, Hugging Face не добавляет наценки. Поддержка пользовательских ключей API для языковых моделей прекращена; ключи для изображений и видео продолжают работать.

03 Почему это важно

Автоматический выбор провайдера и повтор запроса при сбое упрощают работу с моделями с открытыми весами. Цены сервиса не изменились. Для запросов к языковым моделям используется токен Hugging Face.

04 Кому полезно

ИИ-разработчики и корпоративные клиенты AI-сервисов.

Первоисточник
Hugging Face