ИИ-помощник учителя

Сможет ли искусственный интеллект проверять школьные сочинения

В 2023 году в России стартует пилотный проект по проверке сочинений учеников с помощью технологий искусственного интеллекта, разработанный в Национальной технологической инициативе (НТИ). На что способен ИИ-ассистент учителя – подсвечивать ошибки в текстах или интерпретировать художественные образы, можно ли ему доверить оценку творчества школьника – в материале RSpectr.

НЕЙРОСЕТЬ-АССИСТЕНТ

В декабре нынешнего года завершился конкурс ПРО//ЧТЕНИЕ на создание программного комплекса для выявления фактических и смысловых ошибок в творческих заданиях ЕГЭ, рассказали RSpectr в пресс-службе НТИ.

Там отметили, что

на разбор каждого из 500 эссе у программы было по минуте, в то время как преподавателю-эксперту требуется в среднем 15 минут на проверку

НТИ, пресс-служба:

– ИИ-ассистент школьного учителя за время не более 30 секунд выявлял все типы смысловых ошибок (фактические, логические, речевые) в соответствии с критериями ЕГЭ и давал пояснения.

В конкурсе победила разработка компании «Антиплагиат», показавшая уровень преодоления технологического барьера в 100% и точность в 138% на родном языке для русского языка, истории, обществознания и литературы.

«Антиплагиат» в феврале 2023 года планирует пилотное внедрение ИИ-решения в формате общедоступного веб-сервиса

Поначалу новинка станет помощником учителей русского языка и литературы, истории и обществознания, уточнили в пресс-службе НТИ.

Согласно Стратегии цифровой трансформации образования, подготовленной Минпросвещения РФ, к 2030 году с помощью различных нейросетей будет проверяться до половины домашних заданий школьников.

За рубежом нейросети активно применяются в различных сегментах образования, отмечают эксперты. В Стэндфордском университете создана система оценки работ студентов по программированию. Она оценивает качество решения и в онлайн-режиме подсказывает, на что следует обратить внимание, рассказал RSpectr эксперт по data science компании Axenix (экс-Accenture) Дмитрий Назаренко.

ИИ в сфере образования весьма успешен в решении административных вопросов, отметила в беседе с RSpectr директор Центра искусственного интеллекта МГИМО Анна Абрамова. По ее словам, студенты профильной магистратуры МГИМО разрабатывают интеллектуальные рекомендательные системы, а Центр ИИ МГИМО проводит международные исследования в этой сфере.

ПРОВЕРКА НА ОШИБКИ

В пилотном проекте НТИ речь идет о российском аналоге систем типа Grammarly или орфографической подсистемы Google, предположил в разговоре с RSpectr директор технологической компании «НТР» Николай Михайловский. При этом, пояснил он RSpectr,

идея проекта не в том, чтобы заменить учителя, а сократить его трудозатраты на 20%

По его словам, последнее сделать достаточно просто – подсветить орфографические и синтаксические ошибки и дать учителю поразмышлять, зачем нейросеть это выделила.

Николай Михайловский, «НТР»:

– Можно и не согласиться с ИИ. Но уровень массового российского педагога таков, что помощь ему не будет лишней. Работы учеников будут проверены, скорее всего, более квалифицированно, да и сами учителя, возможно, станут грамотнее, поднабравшись ума от нейросетки.

По мнению Дмитрия Назаренко,

как минимум в рамках эксперимента создание ИИ-ассистента учителя – это вполне осуществимая инициатива

Дмитрий Назаренко, Axenix:

– Учитывая, что одна правильно обученная нейросеть потенциально способна проверять миллионы сочинений – такой подход с точки зрения экономии времени учителей может быть вполне оправдан. Но ИИ-помощник должен быть сконструирован так, чтобы генерировать четкую и обоснованную аргументацию каждой оценки.

Недавно опубликованные исследования в части нейросети ChatGPT, показывают, что нейросеть способна на подобную объективность. При должном подходе программа все равно будет реже ошибаться, чем человек, обратил внимание эксперт.

Инициатива НТИ будет иметь положительный эффект – за счет оптимизации численности экзаменаторов, пояснил RSpectr декан факультета «Цифровая экономика и массовые коммуникации» МТУСИ Сергей Гатауллин.

Дмитрий Назаренко согласен, что

выделить ресурсы на создание, контроль качества и улучшение одной нейросети гораздо проще, чем контролировать качество работы десятков тысяч человек

Тем не менее новая система требует обширного тестирования, уверена Анна Абрамова. По ее словам,

широкое применение технологий ИИ в сфере образования только начинается, поэтому важно оставить за человеком выставление итоговой оценки

Анна Абрамова, Центр ИИ МГИМО:

– Начинать использовать такой подход, вероятно, стоит на образовательных онлайн-платформах. В этом случае, по сравнению со школой, цена ошибки будет не так велика.

Полностью исключить человека из системы принятия юридически значимых решений невозможно, согласился с ней заведующий кафедрой теории и истории государства и права СПбГУ, советник Nextons Владислав Архипов. Это необязательно означает, что учитель должен принимать участие на каждом из возможных этапов принятия решения. Но как минимум должна быть возможность его пересмотра с участием человека, отметил он в разговоре с RSpectr.

ОЦЕНИТЬ ГЛУБИНУ МЫСЛИ

Если проверять грамотность, подчиняющуюся строгим правилам, и умение выстроить по заданному шаблону текст-рассуждение, а именно таковым является ЕГЭ по русскому языку или итоговое сочинение, то ИИ легко справляется, считает доцент школы филологических наук факультета гуманитарных наук Национального исследовательского университета «Высшая школа экономики» Михаил Павловец. Но там, где требуется предложить свою интерпретацию, которая, к примеру, в случае с литературой не может быть единственной, ведь мы имеем дело с художественным образом, то здесь нейросеть пока бесполезна, подчеркнул он в разговоре с RSpectr.

Михаил Павловец, ВШЭ:

– ИИ может разметить для проверяющего текст, высветить проблемные места в нем – но не в состоянии оценить глубину мысли, а не точность приведенного факта.

По словам Сергея Гатауллина,

существующие нейросети отлично смогут справиться с оценкой некоторого соответствия формальным признакам, однако говорить о переходе от цифры к смыслу пока рано

Сергей Гатауллин, МТУСИ:

– Сегодня мы говорим о системах слабого ИИ, которые могут быстро и качественно решать задачи по алгоритмам, созданным человеком.

Михаил Павловец рассказал, что столкнулся с пониманием этого факта в эксперименте: нейросеть с легкостью сгенерировала текст, соответствующий критериям итогового сочинения. Но создать его по более высоким критериям – чемпионата «Своими словами» – она не смогла: текст вышел связным, но невысокого качества – на 45-48 баллов из 100, что соответствует слабой тройке. Коллеги потом повторили эксперимент и подтвердили полученные результаты, уточнил эксперт.

Владислав Архипов согласен, что на данном этапе нельзя говорить о том, что ИИ может что-то понять, в том числе и мысль автора.

Владислав Архипов, СПбГУ, Nextons:

– За термином «ИИ» стоит компьютерная программа – очень сложный, но тем не менее технический инструмент, который лишен возможности именно понимать в смысле определенной способности субъекта с точки зрения философии и психологии.

При этом задача школы по-прежнему – учить создавать тексты с высокой степенью оригинальности, субъектной проявленности, то есть такие, какие нейросеть в обозримой перспективе придумать не в состоянии, заключил Михаил Павловец. По его словам, именно такие компетенции будут востребованы экономикой будущего.

Наталия Черкасова