01 Что произошло
Cohere представила CALIBER — метод, который обучает модели рассуждений оценивать свою уверенность как до, так и после рассуждений. Это повышает надёжность оценок, но пока не позволяет принимать решения на основе этих обновлений.
02 Ключевые детали
- CALIBER обучает модель рассуждений выдавать две оценки уверенности — до рассуждений и после ответа — и сообщает обе в одном ответе.
- На BigMathDigits 7B-модель снижает ожидаемую ошибку калибровки на 52,5% до 0,028, превосходя лучший базовый метод с одной оценкой.
- Без дополнительного обучения 7B-модель снижает ошибку калибровки на GPQA (−26,8%), TriviaQA (−32,2%) и SimpleQA (−36,2%).
- Cohere не тестировала, помогают ли обновления уверенности модели решать, когда проверять или воздерживаться; CALIBER предоставляет только оценки.
03 Почему это важно
Надёжные оценки уверенности помогают пользователям решать, доверять ли выводу модели или проверять его, что критически важно для внедрения ИИ в ответственных сценариях.
04 Кому полезно
ИИ-разработчики, исследователи и инженеры по машинному обучению.
Первоисточник