Фреймворк AICG из NC State на 50,3% снизил MAE при проверке математических ответов

Команда из отделения компьютерных наук Университета штата Северная Каролина предложила AICG — фреймворк для автоматической оценки коротких математических ответов. Обычные модели оценки (ASAG) на базе трансформеров учатся предсказывать балл и ничего больше. AICG добавляет к этому оценку навыков студента и поправку на вероятную помощь генеративного ИИ. На 49 402 ответах, которые преподаватели проверили за 19 семестров, средняя абсолютная ошибка (MAE) снизилась на 50,3% относительно регрессии на RoBERTa. Квадратичная взвешенная каппа (QWK, согласованность модели с преподавателем с учётом тяжести расхождений) выросла с 0,798 до 0,927.

Почему одного балла мало

Математический ответ — это смесь текста, формул и незаконченных выкладок. Частичный балл ставят за показанный ход рассуждений, а не только за итог. Авторы приводят пример: студент дважды верно применяет условную независимость, но останавливается перед правилом Байеса и пишет, что не знает, как продолжить. Балл фиксирует заработанные очки, но не говорит, какой навык не сработал. Два ответа с одинаковой оценкой могут скрывать разный уровень понимания, и модель, обученная только на скалярной метке, хуже обобщается на незнакомые схемы решения.

Для этого в AICG две ветви с общим энкодером RoBERTa. Первая оценивает отдельный ответ тремя головами: регрессия даёт непрерывный балл, ординальная — упорядоченную оценку, классификационная — одну из пяти категорий. Итоговую оценку берут из ординальной головы. Вторая ветвь использует Q-матрицу, составленную экспертами: она связывает каждое задание с проверяемыми навыками (их десять). По ней модель предсказывает мастерство по навыкам до и после курса и прирост знаний. Целевые значения считает G-DINA, модель когнитивной диагностики, которая выводит владение навыками из паттернов ответов. Предсказанные оценки в когнитивную ветвь не подаются, поэтому она служит отдельным источником сигнала для общего энкодера.

Абляции показывают, что основной выигрыш даёт именно когнитивный сигнал на основе Q-матрицы.

Как фреймворк учитывает помощь ИИ

Беглый и правильный ответ сегодня может быть чужим решением. Он получит высокую оценку, но завысит оценку независимого мастерства. Поэтому авторы обучили отдельный детектор ИИ-помощи на RoBERTa: сначала контрастивное предобучение, потом линейный классификатор и калибровка температуры.

Обучающие данные строили так. Часть текста настоящего студенческого ответа (30–50%) маскировали, и офлайн-модель DeepSeek дописывала пропуски, так что 50–70% исходного текста сохранялись. Полностью сгенерированные верные ответы тоже попали в класс «ИИ-помощь». Из 26 039 настоящих ответов взяли 14 044 и построили по одной ИИ-версии для каждого, получилось 28 088 сбалансированных примеров. Проверку на других генераторах проводили схемой leave-one-generator-out, а на семестрах F14–S17 — на 11 458 размеченных примерах.

Вероятность помощи превращается в мягкий вес надёжности с нижней границей, жёсткого порога нет. Подозрительный ответ слабее влияет на оценку мастерства и целевые значения G-DINA, но не выбрасывается. На оценку самого ответа этот вес не действует. При пороге 0,5 детектор пометил 2 896 из 13 874 ответов семестров F22–F24 (20,87%). Взвешивание снизило общую MAE ещё на 4,2% относительно когнитивной модели без весов и стабильно улучшало MAE и QWK в четырёх последних семестрах эпохи генеративного ИИ.

Что остаётся под вопросом

AICG сравнивали с пятью сильными базовыми моделями в схеме с расширяющимся окном: каждый семестр оценивали только по предыдущим. Это ближе к реальному развёртыванию, чем случайное разбиение. Но у результата есть ограничения. Все данные взяты из одного университета и одной предметной области. Список из десяти навыков и Q-матрицу составляли эксперты вручную, и в другом курсе эту работу придётся повторять. Детектор обучен на синтетической помощи (DeepSeek дописывает маскированные ответы), а не на настоящих случаях использования ChatGPT студентами. Доля 20,87% поэтому остаётся оценкой модели, а не подтверждённым фактом списывания. Кроме того, приведённый в материале фрагмент обрывается до описания остальных базовых моделей и полных таблиц, так что сравнение с каждой из них нужно проверять по полной версии статьи.

Практический вывод для разработчиков образовательных продуктов такой. Чтобы улучшить автоматическую проверку, можно добавить структурированный сигнал о навыках как дополнительную задачу, а не только увеличивать модель. Надёжность данных при этом стоит снижать мягко, весами, а не удалять подозрительные ответы целиком.