Specifics of Using Neural Network Texts in Media and Education

ChatGPT активно используется в современных медиа и образовании, как бы ни оценивали этот факт исследователи и работники медийного рынка. Искусственный интеллект, в частности нейросети, становится частью нашей жизни и оказывает влияние на всех участников коммуникативного процесса

Во-первых, алгоритмы могут создавать недопустимый контент: нейросеть не человек, она не понимает, что слова могут передавать экстремистский, оскорбительный характер и т.п. То есть важно понять, что и как контролировать в текстах нейросетей, чтобы не допустить риски (от смысловых погрешностей в тексте до дезинформации и создания потенциально опасного контента). Во-вторых, может ли вообще нейросеть создавать текст, равный тексту человека? Может ли она действительно заменить человека, полностью или частично, в информационном пространстве. Способна ли нейросеть на творчество, следует ли считать ее продукт творческим? В-третьих, как поступать с текстами нейросетей в образовательной среде? Следует ли и как именно корректировать процедуру оценки студенческих работ, созданных с помощью ChatGPT? Кто автор курсовой работы, которую студент поручил написать ChatGPT? Всегда ли учебная или научная работа, созданная нейросетью, недобросовестная? Следует ли корректировать процесс обучения студентов и вписать в него участие ИИ? Насколько велик риск распространения антинаучных данных, которые может сгенерировать нейросеть? и т.п.

Очевидно, что вопросов много, и мы не готовы точно ответить на них. Цель нашего исследования – выделить языковые, структурные, стилистические признаки текстов, созданных с помощью нейросетей. Материалом исследования стали медиатексты и студенческие работы, выполненные с помощью ChatGPT. Всего 8 студенческих работ, авторы которых признали, что использовали нейросеть; 15 медиатекстов, у 6 из которых в качестве автора была указана нейросеть, и 9 текстов имели признаки, на наш взгляд, говорящие, о работе ИИ. И при работе с материалом мы пользовались одними методами: интервью с экспертами, опрос студентов, структурно-стилистический анализ текстов. Опишем результаты исследования.

В интервью приняли участие Игорь Сергеев, журналист РИА «Европейско-Азиатские Новости», Анатолий Ефремов, руководитель по развитию спецпроектов в городских порталах, Сергей Грудинин, Digital-директор Городских порталов Shkulev Media Holding. Эксперты рассказали, что медиа используют нейросети в следующих целях: конвертация аудиозаписей в текст; поиск ссылок на упомянутые в тексте журналиста имена, факты, названия и т.д.; подбор заголовка на основании big data и предпочтений пользователей; подбор изображений и видео под содержание журналистского текста; корректура и проверка текста на оригинальность, SEO, штампы. Оба эксперта убеждены, что нейросети никогда не заменят человека, так как могут только собрать сведения по заданной теме, сделать обзор, но не создать качественный журналистский текст, отличающийся новизной.

Проведенный анализ медиатекстов от ChatGPT позволил выделить следующие особенности. Нейросеть создает текст с типовой, узнаваемой структурой: тема (чаще всего событие, мероприятие, дата и т.п.), исторический экскурс и нейтральный вывод. Тексты нейросетей отличаются отстраненностью, низкой выразительностью, отсутствием авторского стиля, повторяемостью синтаксических конструкций. Заголовочные комплексы текстов ИИ отличаются заметной одинаковостью, даже клишированностью («Россию предлагают переименовать в Московию. Что это еще за название?», «Меня призывают на военные сборы. Что я там буду делать?», «Советский инженер бесплатно отдал миру хит видеоигр. Подлинная история «Тетриса» и его создателя», «Life in plastic, it's fantastic!» Подлинная история куклы Барби»). Одинаковые заголовки, следующие друг за другом на одной новостной ленте, сложно назвать признаком исключительно нейросетевого текста. Однако во многих информационных агентствах («URA.RU», например) авторов просят изменить формулировки, если между заголовками на ленте есть что-то общее (синтаксический параллелизм, повтор слова, личного имени, указание места и т.п.).

К серьезным недостаткам нейросетевых текстов можно отнести нарушение закона тождества: увлекаясь рассказом об истории какого-либо явления, события, нейросеть может дать такой большой объем сведений, что в итоге создает в тексте второй предмет речи, вторую главную мысль. Кроме того, нейросеть делает некачественный рерайт из открытых источников (уникальность текста от ChatGPT составляет 5-10%, по данным сервиса text.ru). Перевод текстов с иностранного языка содержит массу лексических, грамматических, синтаксических ошибок («Невериятная история как мужчина потратил все свои сбережения, чтобы спасти своего питомца с тяжелым недугом», «Аллу Пугачеву в редкий раз засняли папарацци в Лимассоле, и это наводит на мысли. Пенсионерка выглядит достаточно сухо, хотя старается быть якобы молодой»). 

Исследование студенческих работ, созданных с помощью нейросетей, привело к следующим выводам. Опросив студентов (82 человека; гуманитарных (91,5%) и технических (8,5%) специальностей), мы выяснили, что 78,8% из них используют нейросети для учебы. Так с помощью нейросетей 25% писали курсовую работу; 48.8% выполняли домашние задания; 25% писали сочинения; 37.5% собирали фактуру; 10% переводили иностранные тексты; 6.3% заполняли документы; 11.3% создавали презентации; 2.6% генерировали изображения; 2.6% искали идеи; 1.3% писали планы, главы, параграфы работ; 5% опрошенных не указали, с какой целью пользуются нейросетями. Важно, что по мнению студентов, 65% преподавателей не видят разницы между работой, выполненной нейросетью и человеком. И только 10% преподавателей чувствуют разницу.

Анализ студенческих работ показал, что студенты некритично оценивают тексты нейросетей, чрезмерно доверяют ИИ, редко обрабатывают его тексты. В письменных работах, созданных с помощью нейросетей, отмечены следующие признаки.

Во-первых, шаблонность формулировок, бессодержательность, повторы частей текста. В двух работах на одну тему были использованы абсолютно идентичные формулировки, повтор предложений встречается и в одной работе на разных страницах, если нейросеть проводит параллели между описываемыми явлениями.

Во-вторых, упоминание ложных фактов, несуществующих личностей (особенно при обзоре научной литературы). Очень часто в студенческих работах упоминались цитаты, которые отсутствуют в указанных источниках, назывались научные работы, не существующие вовсе, были придуманы эксперименты, которые не проводились указанными авторами и т.п. галлюцинации нейросетей

В-третьих, в студенческих работах, созданных нейросетью, встречается обобщенность там, где требуется детальный анализ по разработанной методике («Сторож на маяке» – метафора, создающая образ героя»). ChatGPT плохо справляется с практической частью студенческих курсовых работ, поскольку не дает развернутый анализ эмпирического материала по требуемой методике анализа. В результате в студенческих работах ярко видна разница между теоретической и практической частью. Здесь же можно указать такой признак, как отсутствие рассуждений по заявленной проблеме («Журналистам стоит помнить, что фразеологизмы могут иметь негативные последствия» – объяснение сути высказанного замечания отсутствует, хотя именно это требуется в курсовой работе).

В-четвертых, редко встречающийся у студентов уровень грамотности. Для наглядности приведем пример.

Начало курсовой работы, написанной студенткой, курсивом и подчеркиванием мы выделили речевые погрешности: «В 21 веке человек окружён всевозможными средствами для быта. Количество услуг, продуктов потребления возрастает, компании придумывают своеобразные товары, чтобы удивить покупателя и завладеть вниманием, но этого не всегда бывает достаточно для того, чтобы человек заинтересовался и решился на покупку продукции. В этом случае каждому производителю очень важна реклама. Это подтверждает исследование Д. Стронгома и Л. Зидлингера в 2003 году, где дети, просмотревшие рекламный ролик, были подвергнуты воздействию на покупку игрушки, в отличии о тех, кто не смотрел его и равнодушно отнёсся к товару».

Начало той же курсовой, созданной нейросетью: «Языковая игра в рекламе используется для стимулирования интереса к рекламируемому продукту или услуге.

В 2003 году американские психологи Д. Стронгом и Л. Зилдингер провели исследование, целью которого было изучение влияния рекламы на продвижение товаров, детских игрушек. Исследователи разделили игрушки на две группы: те, на упаковке которых была размещена реклама, и те, упаковка которых не содержала рекламы. Затем они предложили игрушки детям. Результаты исследования показали, что игрушки с рекламой привлекали внимание детей больше, чем игрушки без рекламы. Это говорит о том, что реклама стимулирует интерес к товару, играет важную роль в продвижении товаров и увеличении продаж».

Среди языковых особенностей текстов нейросетей (в медиа и студенческих работах) мы увидели: несоответствие времени глаголов текущему моменту («эксперимент должен показать…» – об эксперименте, проведенном в 2020 году); смену рода говорящего субъекта («Томпсон отмечала», хотя 6 абзацев выше Томпсон был мужского рода); обибльный синтаксический параллелизм; повтор однотипных фраз, шаблонность формулировок; и многозначные слова, путающие адресата («скелет смысловой структуры текста образует его тело» – метафору «смысловая структура – это скелет текста нейросеть не смогла подать правильно); отсутствие логических связей между абзацами (нейросеть может «прыгать» в рассуждениях: красивый рассказ о видах фразеологизмах внезапно сменяется абзацем об этимологии одного конкретного фразеологизма).

Проведенное исследование еще раз убеждает, что ИИ нельзя исключать из работы медиа и процесса образования. Всем нам еще предстоит научиться пользоваться ИИ грамотно и безопасно. Возможно, общество в скором времени выработает некий свод правил использования нейросетей в профессиональной и личностной коммуникации.