01 Что произошло
Microsoft Research представила StudentSim — систему, моделирующую ответы отдельных учащихся и их изменения после подсказок тьютора. Она помогает исследовать ИИ-тьюторов до испытаний с реальными учащимися.
02 Ключевые детали
- Для обучения используют общедоступные обезличенные записи учащихся, опубликованные для исследовательских целей; для каждого человека адаптируют отдельный симулятор.
- StudentSimEval оценивает сходство ответов с ответами конкретного учащегося и реакцию симулятора на подсказки. Проверки охватывают шахматы, письмо на английском как втором языке и математику.
- В шахматах StudentSim набрал 0,5150 по поведенческому сходству и 0,9067 по реакции на подсказки; показатели GPT-5.4 — 0,2316 и 0,7186 соответственно.
- В исследовании шахматного ИИ-тьютора эксперты вслепую оценивали ответы: точность модели с вознаграждением StudentSim составила 90,5%, без RL — 75,7%, с вознаграждением GPT-5.4 — 71,6%.
03 Почему это важно
Симуляторы могут дать раннюю обратную связь при разработке ИИ-тьюторов, но не заменяют исследования с реальными учащимися.
04 Кому полезно
Исследователи в области искусственного интеллекта.
Первоисточник