01 发生了什么
Cohere 研究证明,使用一个 Sol 主导模型和16个廉价的 Luna 规划工作单元,在 ProgramBench 基准上达到61.8%的奖励,接近全 Sol 团队的63.2%,同时推理成本从510美元降至155美元,降低70%。
02 关键细节
- Sol 主导搭配16个 Luna 规划工作单元在 ProgramBench 上获得61.8%奖励(全 Sol 团队为63.2%),成本降低70%($155 vs $510)。
- 仅委托探索和规划步骤即可达到委托全部三个步骤相同的性能,而成本减半。
- 规划的成本效率大约是实施阶段的2倍:每增加$100成本获得3.4奖励点数,实施阶段仅为1.7。
- 将规划工作单元数从2扩大到16使奖励从59.6%提升至61.8%,而实施和验证工作单元仅在增加到4个时有所提升,随后下降。
03 为什么重要
这很重要,因为Cohere在ProgramBench上的结果显示,一个Sol主导搭配16个Luna规划工作单元达到61.8%奖励(全Sol团队为63.2%),成本降低70%($155 vs $510),但点估计值略低。组织应在其自身任务上评估成本与质量的权衡;当瓶颈是规范发现时,收益最为明显。
04 适合谁
工程团队及人工智能代理开发人员。
原始来源