01 Was passiert ist
Cohere belegt, dass ein Sol-Lead mit 16 günstigen Luna-Planern auf ProgramBench 61,8 % Reward erzielt – nahe an den 63,2 % eines reinen Sol-Teams – bei einer Kostenreduktion von 70 % (von $510 auf $155).
02 Die wichtigsten Details
- Ein Sol-Lead mit 16 Luna-Planern erreicht 61,8 % Reward auf ProgramBench gegenüber 63,2 % eines reinen Sol-Teams bei 70 % geringeren Kosten ($155 vs. $510).
- Die Delegation nur von Exploration und Planung liefert dieselbe Leistung wie die Delegation aller drei Phasen, bei halben Kosten.
- Planung ist etwa doppelt so kosteneffizient wie Implementierung: 3,4 Reward-Punkte pro $100 gegenüber 1,7.
- Eine Skalierung der Planer von 2 auf 16 verbessert den Reward von 59,6 % auf 61,8 %, während Implementierungs- und Verifikationsarbeiter nur bis zu 4 profitieren und danach abfallen.
03 Warum das wichtig ist
Das ist relevant, weil Coheres ProgramBench-Ergebnisse zeigen, dass ein Sol-Lead mit 16 günstigen Luna-Planern einen Reward von 61,8 % erreicht (vs. 63,2 % für ein reines Sol-Team) bei 70 % geringeren Kosten ($155 vs. $510), jedoch mit einer etwas niedrigeren Punktschätzung. Unternehmen sollten den Kosten-Nutzen-Kompromiss an ihren eigenen Aufgaben prüfen; der Vorteil ist am deutlichsten, wenn der Engpass in der Spezifikationsermittlung liegt.
04 Für wen es relevant ist
Ingenieurteams und Entwickler von KI-Agenten.
Originalquelle