01 发生了什么
Cohere 推出了 CALIBER，该方法训练推理模型在推理前后分别估计其置信度。这提高了置信度估计的可靠性，但尚未实现基于这些更新的决策能力。
02 关键细节
- CALIBER 训练推理模型输出两个置信度估计——推理前和答案后——并在一次回复中报告这两个值。
- 在 BigMathDigits 上，7B 模型将预期校准误差降低 52.5% 至 0.028，优于最佳单置信度基线。
- 无需额外训练，7B 模型在 GPQA (−26.8%)、TriviaQA (−32.2%) 和 SimpleQA (−36.2%) 上均降低了校准误差。
- Cohere 尚未测试置信度更新是否有助于模型决定何时验证或弃权；CALIBER 仅提供估计值。
03 为什么重要
可靠的置信度估计能帮助用户决定是信任模型输出还是进行验证，这对于在高风险场景中部署人工智能至关重要。
04 适合谁
AI开发人员、研究人员及机器学习工程师。
原始来源