01 Что произошло
Согласно исследованию Cohere, команда из мощного лидера Sol и 16 дешёвых планировщиков Luna достигает показателя 61,8% на бенчмарке ProgramBench против 63,2% у команды только из моделей Sol, снижая затраты с $510 до $155 — на 70%.
02 Ключевые детали
- Лидер Sol с 16 дешёвыми планировщиками Luna достигает 61,8% награды на ProgramBench (против 63,2% у команды из всех Sol) при снижении затрат с $510 до $155.
- Делегирование только исследования и планирования даёт ту же производительность, что и делегирование всех трёх этапов, при вдвое меньших затратах.
- Планирование примерно вдвое эффективнее по затратам, чем реализация: 3,4 балла награды на $100 против 1,7.
- Масштабирование числа планировщиков с 2 до 16 повышает награду с 59,6% до 61,8%, тогда как работники реализации и верификации улучшают результат лишь до 4 человек, после чего он снижается.
03 Почему это важно
Это важно, поскольку результаты Cohere на ProgramBench показывают, что лидер Sol с 16 дешёвыми планировщиками Luna достигает 61,8% награды (против 63,2% у команды из всех Sol) при снижении затрат на 70% ($155 против $510), хотя точечная оценка немного ниже. Организациям следует оценивать соотношение затрат и качества на своих задачах; выгода наиболее очевидна, когда узким местом является выявление спецификации.
04 Кому полезно
Инженерные команды и разработчики AI-агентов.
Первоисточник