В рамках совместного с Фондом содействия инновациям научно-исследовательского проекта мы проводим эксперимент по использованию нейросети для проверки заданий ЕГЭ с развёрнутым ответом. Перед тем, как технология будет функциональной, искусственный интеллект необходимо обучить. В нашем материале рассказываем о роли и задачах методистов образовательного онлайн-сервиса «Облака знаний» в этом проекте.
Что такое задания с развернутым ответом в ЕГЭ?
Задание с развернутым ответом — открытые, они требуют от учащегося подробного и осмысленного ответа на поставленный вопрос или проблему. В отличие от заданий с выбором вариантов ответа, заданий на установление соответствия или последовательности, задания с развернутым ответом предоставляют ученику свободу формулирования и выражения своей мысли.
Ввод развернутого ответа используется в диагностических измерениях, так как в целом позволяет более точно измерить знания, чем краткий или закрытый ответ, где форма подачи вопроса и ввода ответа, как правило, служит подсказкой. В частности, задания с развернутым ответом используются в экзаменах ЕГЭ и ОГЭ: например, на экзамене по биологии в 2024 г. будет семь таких заданий.
Задания с развернутым ответом проверяют вручную два(!) квалифицированных эксперта. В редких случаях, когда есть существенные расхождения в оценке, привлекается третий. При масштабных тестированиях проверка ответов требует тысяч экспертов и занимает много времени. Смогут ли технологии искусственного интеллекта заменить ручную проверку заданий и каков масштаб работ по привлечению нейросети к этой задаче? Это и предстоит выяснить в рамках инновационного проекта.
Как в «Облаке знаний» учитель проверяет развернутые ответы учеников?
Сейчас проверка развёрнутых ответов заданий ЕГЭ в «Облаке знаний» происходит следующим образом: ученик выполняет задание и вносит ответ в поле ввода ответа или прикладывает файл с решением.
Вот так выглядит задание с развернутым ответом в сервисе «Облако знаний» по биологии, линия №27.
Учитель получает ответ ученика и проверяет его в соответствии с критериями оценки. Критерии оценки каждого ответа соответствуют актуальной спецификации КИМ ЕГЭ и доступны учителю в «Облаке знаний».
Задавая работу, учитель может установить опцию – показывать или нет правильный ответ ученику. Если демонстрация правильного ответа включена, то и ученик может ознакомиться с критериями оценки ответа.
Зачем для обучения нейросети нужен методист по предмету?
Если совсем коротко – методист выполняет широкий круг задач по созданию базы заданий, ответов и критериев оценки ответов школьников для последующего обучения нейросети. Эта база необходима, ведь нейросеть будет проверять развернутый ответ, анализируя его смысл: это не проверка вхождения ключевых словоформ, а сравнение ответа с требуемым «по смыслу». Недостаточно знать только правильные ответы. Реальная ситуация такова, что ученики могут давать неверные ответы, содержащие ошибки (в т.ч. орфографические или пунктуационные), в таких ответах тоже могут встречаться ключевые слова. Поэтому необходимо учесть самые распространённые ошибочные суждения, которые могут привести ученики. Нейросеть должна не просто распознать наличие отдельных ключевых слов, но и исключить ошибочные ответы, верно интерпретировать смысл написанного, чтобы выставить правильное количество баллов за ответ. Но обо всем по порядку.
Методист разрабатывает более мелкие (чем сейчас в сервисе) критерии ответа, содержащие только одно смысловое утверждение, ответ на которое может быть «да» или «нет» (0 или 1). В заданиях, как правило, дается несколько вопросов, поэтому правильный ответ — это сложная конструкция, включающая в себя много элементов. Разбивая ее на составляющие, мы облегчаем восприятие ответа и можем его верно оценить. Да и процесс обучения у нейросети происходит так же, как у людей, продвигается от простого к сложному.
Методист составляет формулу перевода оценок, полученных по каждому элементарному критерию, в итоговый балл за ответ. Это отдельная объемная задача: для каждого задания требуется своя формула. В ней указывается, наличие каких элементов ответа и в каком количестве позволит ученику получить 1, 2 или 3 балла. В дальнейшем алгоритм онлайн-сервиса будет проверять наличие указанных элементов ответа и, исходя из этого, выставлять рекомендуемую оценку.
Методист проверяет ответы пользователей и выставляет оценку. Методист проверяет выполнение элементарных критериев (да/нет) в зависимости от наличия в ответе пользователя требуемых элементов содержания. На основе проверенных методистами формулировок ответа и оценок за ответ мы далее обучаем нейросеть действовать аналогично при проверке реальных ответов.
Приведем пример задания по биологии – одного из четырех школьных предметов, выбранных для обучения нейросети.
Вот так выглядит задание, решение и критерии оценивания. Это инструкция для эксперта (или учителя), проверяющего задание.
Для получения трёх баллов ученик должен привести все три суждения, указанные в решении. За наличие любых двух верных элементов ответа ученик получит два балла, за один – соответственно, один балл. Поскольку вопрос относится к заданию открытого типа, допускаются другие формулировки, не искажающие смысла ответа. При этом в ответе не должно быть содержательных ошибок.
Инструкция же к заданию для нейросети содержит уже 11 элементарных критериев для проверки ответа. Нейросеть должна найти в ответе школьника заданные методистом элементы, а затем выставить оценку по каждому элементарному критерию. Например, ответы, содержащие слова: «двустворчатые», «Двухстворчатые», «двухстворчатые моллюски» и даже «пластинчатожаберные» (это другое название данного класса) получат от методиста оценку «Да» по второму критерию, который звучит, как «Двустворчатые». Далее методами комбинаторики перебираются возможные сочетания элементарных ответов и выставляется итоговая оценка.
Обучение нейросети происходит на теоретическом материале и ответах, полученных естественным путем от наших пользователей. Как показали предварительные эксперименты, нужно минимум 500 ответов на одно задание, чтобы качество проверки ответов нейросетью было на уровне 70–80% (в зависимости от модели).
Это короткое описание задач, которые стоят перед методистами по гуманитарным предметам. Мы привлекаем в проект сотрудников, которые обладают высокими предметными знаниями и аналитическими навыками, умеют разрабатывать цифровые задания, похожие на задания ЕГЭ или ОГЭ в соответствии с Кодификатором и Спецификациями экзамена, знают наиболее распространённые ошибки и ошибочные суждения реальных учеников. Как вы могли заметить – прежде, чем технологии заработают, людям необходимо создать достаточно объемную основу для их запуска.
Проект по внедрению искусственного интеллекта в онлайн-сервис «Облако знаний» реализуется при грантовой поддержке Фонда содействия инновациям.
