01 Ce qui s’est passé
Cohere démontre qu'un lead Sol avec 16 workers de planification Luna obtient un reward de 61,8 % sur ProgramBench, contre 63,2 % pour une équipe entièrement Sol, tout en réduisant le coût de 70 % (de 510 $ à 155 $).
02 Les points essentiels
- Un lead Sol avec 16 workers de planification Luna atteint 61,8 % de reward sur ProgramBench (contre 63,2 % pour une équipe tout Sol) à un coût réduit de 70 % (155 $ vs 510 $).
- Déléguer uniquement l'exploration et la planification donne les mêmes performances que déléguer les trois étapes, pour la moitié du coût.
- La planification est environ deux fois plus rentable que l'implémentation : 3,4 points de reward par 100 $ contre 1,7.
- Passer de 2 à 16 planificateurs améliore le reward de 59,6 % à 61,8 %, alors que les workers d'implémentation et de vérification ne progressent qu'avec 4 collaborateurs avant de décliner.
03 Pourquoi c’est important
Ce résultat est important car les résultats de Cohere sur ProgramBench montrent qu'un lead Sol avec 16 workers de planification Luna atteint un reward de 61,8 % (contre 63,2 % pour une équipe tout Sol) à un coût réduit de 70 % (155 $ vs 510 $), bien que l'estimation ponctuelle soit légèrement inférieure. Les organisations doivent évaluer le compromis coût-qualité sur leurs propres tâches ; l'avantage est le plus clair lorsque le goulot d'étranglement est la découverte de la spécification.
04 Pour qui c’est utile
Équipes d'ingénierie et développeurs d'agents IA.