01 Что произошло

Anthropic провела оценку GLM-5.3 от Zhipu AI, где модель показала способность к созданию эксплойтов и демонстрировала слабые встроенные защиты, которые можно обойти простыми техниками. Это важно для оценки рисков для кибербезопасности.

02 Ключевые детали

  • В тестах ExploitBench GLM-5.3 создала эксплойты в 50 из 410 попыток, тогда как Claude Mythos Preview — в 56 из 410. В отдельном Binary Exploitation тесте модель выполнила полный перехват потока управления в 4% случаев против 6% у Claude Mythos Preview.
  • В симуляции Anthropic простые методы обхода защиты (обманная легенда — 64%, предварительная подстановка токенов размышления — 92%, abliterated версия — 100%) показали высокую эффективность. Каждый метод был протестирован отдельно.
  • Аблитерация GLM-5.3 потребовала около 2200 GPU-часов и стоимости ~$4400, снизив отказ в запросах с более чем 90% до 3% на JailbreakBench и 2% на HarmBench, а также до 12% на StrongREJECT. Качество модели при этом осталось практически неизменным.

03 Почему это важно

Результаты Anthropic показывают, что открытая модель GLM-5.3 обладает высокой способностью к созданию эксплойтов и имеет слабые встроенные защиты, которые легко обойти. Это важно для специалистов по кибербезопасности и организаций, оценивающих риски использования открытых моделей.

04 Кому полезно

Специалисты по информационной безопасности, ИИ-разработчики, специалисты по оценке моделей и организации, оценивающие риски открытых ИИ-моделей.

Первоисточник
Anthropic