01 发生了什么

Cohere 研究证明,使用一个 Sol 主导模型和16个廉价的 Luna 规划工作单元,在 ProgramBench 基准上达到61.8%的奖励,接近全 Sol 团队的63.2%,同时推理成本从510美元降至155美元,降低70%。

02 关键细节

  • Sol 主导搭配16个 Luna 规划工作单元在 ProgramBench 上获得61.8%奖励(全 Sol 团队为63.2%),成本降低70%($155 vs $510)。
  • 仅委托探索和规划步骤即可达到委托全部三个步骤相同的性能,而成本减半。
  • 规划的成本效率大约是实施阶段的2倍:每增加$100成本获得3.4奖励点数,实施阶段仅为1.7。
  • 将规划工作单元数从2扩大到16使奖励从59.6%提升至61.8%,而实施和验证工作单元仅在增加到4个时有所提升,随后下降。

03 为什么重要

这很重要,因为Cohere在ProgramBench上的结果显示,一个Sol主导搭配16个Luna规划工作单元达到61.8%奖励(全Sol团队为63.2%),成本降低70%($155 vs $510),但点估计值略低。组织应在其自身任务上评估成本与质量的权衡;当瓶颈是规范发现时,收益最为明显。

04 适合谁

工程团队及人工智能代理开发人员。

原始来源
Cohere