Летом 2023 года руководитель направления «Программная инженерия» Государственного университета «Дубна» Мария Ушанкова, проверяя дипломные работы студентов в системе «Антиплагиат», вдруг отметила, что оригинальность их резко выросла по сравнению с предыдущими годами. А одна дипломная работа оказалась помечена системой как сгенерированная нейросетью почти полностью. Через полгода, когда Мария Ушанкова проверяла на «Антиплагиат» дипломы студентов-заочников, работ, в которых присутствует текст, сгенерированный нейросетью, было уже 15 из 25.
На международной научной конференции «Математика. Компьютер. Образование», которая прошла в Университете «Дубна» в начале 2024 года, Мария Ушанкова выступила с докладом «Влияние нейронных сетей на процесс написания дипломных работ студентами». И ее доклад на круглом столе «Цифровые платформы, искусственный интеллект и анализ данных» вызвал большой интерес.
– Мария, расскажите, пожалуйста, как для вас началась история выявления студенческих работ, сгенерированных нейросетью?
– Я работаю в Институте системного анализа и управления, подразделении, которое занимается подготовкой ИТ-специалистов. Я преподаю дисциплины, связанные с программированием. Как ученый секретарь государственной экзаменационной комиссии и обладатель расширенной учетной записи на сервисе «Антиплагиат», помогаю студентам проверять их работы на оригинальность. По нашему регламенту, чтобы дипломная работа была допущена к защите, процент ее оригинальности должен быть не меньше 70%.
И раньше, когда ChatGPT еще был недоступен широкой общественности, многие работы на первой проверке не дотягивали до 70 %, я начинала переписку со студентами и их руководителями на тему переработки текста. Летом 2023 года я заметила, что подобных переписок я веду исчезающе мало. Более того, оригинальность студенческих работ стала заметно выше!
В какой-то момент пришла работа, которую сервис «Антиплагиат» пометил как подозрительную. Раньше «подозрительной» этот сервис называл работу, в которой, например, русские буквы «а» и «о» меняют на английские, или мелким белым шрифтом между строк пишут какой-то параллельный текст – глазу такие вещи не видны. «Антиплагиат» ловит такие способы повысить оригинальность очень хорошо.
Однако в мае 2023 года сервис «Антиплагиат» запустил бета-версию проверки текстов на присутствие текста, сгенерированного нейросетями. Именно такая работа попалась мне летом.
Студенты уже используют нейросети для написания дипломов, просто сейчас появился механизм, который может это выявить. Пока этом механизм не лишен недостатков, но он развивается.
ChatGPT – это продвинутый «Т9» из мобильных телефонов
– Скажите, пожалуйста, а по содержанию сгенерированный текст можно отличить от текста, написанного человеком?
– Человеку это определить сложно. Должен быть очень насмотренный глаз. Просмотрев кучу таких текстов, имея личный опыт генерации текстов, я уже могу определять, что с большой вероятностью писала нейронка, а что с большой вероятностью писал человек.
Вообще, нам всем надо понимать, по какому принципу работает ChatGPT. Если сильно упростить, то это продвинутый «Т9» из мобильных телефонов. Он «придумывает» наиболее вероятные слова, которые будут следующими в сообщении. Но в отличие от модели «Т9», которая не умела хранить длинный контекст фразы, модель СhatGPT научилась это делать очень хорошо. Поэтому она «придумывает» следующее слово уже с большей долей вероятности.
Но пока что нейросетям сложно дается конкретика. Налить воды в текст – это пожалуйста. Но написать что-то осмысленное по конкретной теме, да еще и с подробностями, им пока удается плохо. Рецензент той самой дипломной работы, которую мы отловили как сгенерированную, говорила об этой работе: «Такое ощущение, что написана какая-то ерунда, как будто у человека в голове вата». Она не знала, что работа сгенерирована. Конечно, студенту пришлось еще поработать над своим дипломом.
– Как еще студенты используют нейросети, помимо написания дипломных работ?
– Нейросети отлично справляются с тестами. Студенты копируют вопрос и варианты ответов. И нейросеть не просто пишет, какой вариант правильный, она еще и объясняет почему. По крайней мере, это работает с тестами по английскому языку и по программированию. Думаю, что с другими тестами ситуация будет похожая.
Нейронные сети правильно отвечают на экзаменационные билеты по программированию и отлично генерят программный код программисту в ответ на подавляющее большинство простых задач.
Уже есть много сервисов, которые пишут курсовые и дипломы для студентов. Подобные услуги были всегда. Но раньше эту работу выполняли люди, а теперь нейросети. Более того, появляются нейросети, которые редактируют сгенерированные студенческие работы, так чтобы они были похожи на написанные человеком.
ChatGPT не обладает сознанием, но галлюцинации у него бывают