<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.2 20120330//EN"
        "http://jats.nlm.nih.gov/publishing/1.2/JATS-journalpublishing1.dtd">
<!--<?xml-stylesheet type="text/xsl" href="article.xsl"?>-->
<article article-type="research-article" dtd-version="1.2" xml:lang="en" xmlns:mml="http://www.w3.org/1998/Math/MathML"
         xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
    <front>
        <journal-meta>
            <journal-id journal-id-type="issn">2313-0288</journal-id>
            <journal-id journal-id-type="eissn">2411-2968</journal-id>
            <journal-title-group>
                <journal-title>Russian Linguistic Bulletin</journal-title>
            </journal-title-group>
            <issn pub-type="epub">2313-0288</issn>
            <publisher>
                <publisher-name>ООО Цифра</publisher-name>
            </publisher>
        </journal-meta>
        <article-meta>
            <article-id pub-id-type="doi">10.60797/RULB.2024.56.16</article-id>
            <article-categories>
                <subj-group>
                    <subject>Brief communication</subject>
                </subj-group>
            </article-categories>
            <title-group>
                <article-title>Проблема распознавания научных текстов, созданных с использованием ИИ чат-ботов в современных исследованиях
                </article-title>
            </title-group>
            <contrib-group>
                <contrib contrib-type="author" corresp="yes">
                    
                    <name>
                        <surname>Костиникова</surname>
                        <given-names>Ольга Алексеевна</given-names>
                    </name>
                    <email>olk2004@mail.ru</email>
                    <xref ref-type="aff" rid="aff-1">1</xref>

                </contrib>
            </contrib-group>
            <aff id="aff-1"><label>1</label>Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации</aff>
            
        <pub-date publication-format="electronic" date-type="pub" iso-8601-date="2024-08-09">
            <day>09</day>
            <month>08</month>
            <year>2024</year>
        </pub-date>
        
            
        <pub-date pub-type="collection">
            <year>2024</year>
        </pub-date>
        
            <volume>3</volume>
            <issue>56</issue>
            <fpage>1</fpage>
            <lpage>3</lpage>
            <history>
                
        <date date-type="received" iso-8601-date="2024-07-03">
            <day>03</day>
            <month>07</month>
            <year>2024</year>
        </date>
        
                
        <date date-type="accepted" iso-8601-date="2024-07-22">
            <day>22</day>
            <month>07</month>
            <year>2024</year>
        </date>
        
            </history>
            <permissions>
                <copyright-statement>Copyright: &#x00A9; 2022 The Author(s)</copyright-statement>
                <copyright-year>2022</copyright-year>
                <license license-type="open-access" xlink:href="http://creativecommons.org/licenses/by/4.0/">
                    <license-p>This is an open-access article distributed under the terms of the Creative Commons
                        Attribution 4.0 International License (CC-BY 4.0), which permits unrestricted use, distribution,
                        and reproduction in any medium, provided the original author and source are credited. See <uri
                                xlink:href="http://creativecommons.org/licenses/by/4.0/">
                            http://creativecommons.org/licenses/by/4.0/</uri>.
                    </license-p>
                </license>
            </permissions>
            <self-uri xlink:href="https://rulb.org/archive/8-56-2024-august/10.60797/RULB.2024.56.16"/>
            <abstract>
                <p>Данная статья посвящена анализу публикаций, раскрывающих возрастающий вклад в тексты людей ИИ чат-ботов, которые на основе больших языковых моделей активно используются для написания и редакторский правок научных текстов, опубликованных в 2003-2004 годах и уже написали примерно 10% аннотаций научных статей. В обзоре раскрываются выявленные современными исследователями на основе различных алгоритмов стилистические особенности текстов, созданных или отредактированных ИИ чат-ботами (определенные группы прилагательных и наречий, длина параграфов и слов в предложении, особенности использования грамматических времен и залогов и некоторые другие) и описываются предложения по  поведению научного сообщества в условиях растущего использования БЯМ.</p>
            </abstract>
            <kwd-group>
                <kwd>ИИ чат-боты</kwd>
<kwd> научные публикации</kwd>
<kwd> письменные тексты</kwd>
<kwd> БЯМ</kwd>
</kwd-group>
        </article-meta>
    </front>
    <body> 
        
 
        
<sec>
	<title>HTML-content</title>
	<p>1. Введение</p>
	<p>Понимание и использование современных чат-ботов с искусственным интеллектом может существенно повлиять на различные аспекты жизни и работы. Эти чат-боты, созданные на основе передовых технологий ИИ, таких как обработка естественного языка и машинное обучение, предлагают ряд преимуществ, которые могут повысить производительность, улучшить обслуживание клиентов и способствовать личностному развитию.</p>
	<p>Язык отражает все изменения, происходящие в обществе, меняется словарный состав, меняется частота использования слов в корпусах текстов. Большая языковая модель (БЯМ, LLM) – языковая модель, состоящая из нейронной сети со множеством параметров, самообученная на большом количестве неразмеченного текста появилась примерно в 2018 году, но именно выпуск ChatGPT в ноябре 2022 года привел к тому, человеческое письмо претерпело значимые изменения. Впервые БЯМ, способная создавать и редактировать тексты «как человек» стала доступна большому количеству пользователей [9]. Появились статьи, раскрывающие положительные перспективы использования модели и других ИИ чат-ботов [2], статьи, описывающие реальные результаты использования в профессиональной деятельности, например при оформлении заявок на гранты [3]. В других исследованиях авторы были обеспокоены проблемами честности исследований и возможных фактических ошибках в текстах, созданных моделями [10], легкими способами создания публикаций-фальшивок [6].</p>
	<p>В настоящее время многие исследователи ставят перед собой задачу создания механизмов отслеживания письма с помощью ИИ чат-ботов.</p>
	<p>Для анализа нами было отобраны доступные статьи за 2023–2024 гг., описывающие различные способы обнаружения текстов, созданных БЯМ: модели originality.ai [1], дистрибуция частотности употребления [4], на основе списка слов-маркеров [5], излишнее словоупотребление [7].</p>
	<p>2. Основные результаты</p>
	<p>В 2023 году появилась статья «Do Artificial Intelligence Chatbots Have a Writing Style? An Investigation into the Stylistic Features of ChatGPT-4» [2] описывающая стилистические особенности текстов, созданных не человеком. К ним исследователи отнесли:</p>
	<p>– параграфы из 3-4 предложений, каждое длиной 16–19 слов;</p>
	<p>– предложения в основном написаны в изъявительном наклонении, в простом настоящем и простом прошедшем времени, а также в два совершенных времени: настоящее совершенное для общих утверждений, почти всегда с наречием always и совершенное длительное – для описания того, что началось в прошлом того, что все еще совершается;</p>
	<p>– используются в основном предложения действительного залога, предложения в страдательном залоге всегда безличные, подлежащее чаще всего &quot;they&quot;;</p>
	<p>– широкое использование аббревиатур и технических терминов без их объяснения;</p>
	<p>– лексический состав отличается плотностью использования ключевых слов и низким разнообразием словарного состава.</p>
	<p>3. Обсуждение</p>
	<p>Пакистанский исследователь Арслан Акрам [1] во введении к работе говорит, что основной задачей после выпуска ИИ чат-ботов становится модерация содержания любого письменного произведения для удаления вредной или недостоверной информации и автоматического спама, например. Автор начинает статью с приведения данных, показывающих резкий рост статей, опубликованных на ресурсе arxiv.org в трех областях (компьютерные науки, физика, математика) и делится предположением, что это может быть связано с новыми возможностями использования ChatGPT Далее автор описывает результаты работы  системыoriginality.ai, версии модели BERT (Bidirectional Encoder Representations from Transformers – это языковая модель, в которой, в отличие от традиционных алгоритмов, которые проверяют последовательность слов в предложении только в одном направлении (слева направо или справа налево), анализируется всё содержимое предложения – и до, и после слова, включая предлоги и взаимосвязи между словами. По результатам работы представлены данные о росте числа публикаций, созданных ИИ, особенно в сфере компьютерных наук. При этом основная, на наш взгляд, мысль представлена в заключении статьи и состоит она в том, что такое увеличение может влиять на уникальность и достоверность исследований, поэтому стоит задача сохранения прозрачности научных результатов при увеличении риска того, что ИИ может существенно понизить творческий потенциал исследований и привести к повторению исследовательских стилей и идей.</p>
	<p>В статье &quot;If ChatGPT transforming Academics’ Writing Style&quot; [4] авторы используют для анализа как опубликованные на ресурсе arXiv  статьи с 2019 по 2024 год, так и Google Ngram, включающий данные о частотности употребления слов. Авторы разработали формулу изменения частотности и описывают результаты анализа выявленных изменений. Авторы не только проанализировали слова с наивысшим показателем изменения частотности употребления слова, но и отредактировали контрольные тексты, созданные до внедрения ChatGPT с помощью этой БЯМ, и пришли в выводу, что около 35% проанализированных ими публикаций были созданы или отредактированы с помощью ИИ.</p>
	<p>Эндрю Грей [5] в своей работеChatGPT “contamination”: estimating the prevalence of LLMs in the scholarly literature&quot; также стремится дать ответ на вопрос о том, что показывает, что научные публикации были созданы или отредактированы с помощью ИИ чат-ботов. В своем исследовании как источник научных текстов он использовал Dimensions – наукометрическую поисково-аналитическую платформу, которая содержит информацию о научных публикациях, клинических исследованиях, грантах и патентах в их взаимосвязи. В статьях анализировалось изменение частотности употребления в период 2019–2023 слов, признанных «визитной карточкой» ChatGPT – 12 прилагательных, выявленных в более ранних исследованиях (commendable, innovative, meticulous, intricate, notable, versatile, noteworthy, invaluable, pivotal, potent, fresh, ingenious), а также 12 наречий, соотносящихся с прилагательными по смыслу (например, lucidly, methodically) и 12 контрольных слов (conclusion, technical, after, early). Исследования показали, что именно в 2023 году происходит значительное увеличение использований отобранных прилагательных и наречий, например, примерно на 50% возросла частотность употребления intricate, meticulously, commendable, meticulous, хотя частотность употребления других слов  увеличилась не так заметно. И это увеличение, по мнению автора, доказывает увеличение числа письменных текстов научных работ, созданных или отредактированных с помощью инструментов БЯМ. Автор видит опасность унификации результатов исследований, даже если ИИ чат-боты будут использоваться только для стилистической редактуры текстов.</p>
	<p>Проблема распознавания сгенерированных текстов на основе выявления «излишне употребляемых слов» по разработанной авторами формуле легла в основу исследования, результаты которого описаны в статье &quot;Delving into ChatGPT usage in academic writing through excess vocabulary&quot; [7]. На основе полученных данных авторы приходят к выводу о том, что около 4% проанализированных публикаций прошли через ИИ чат-боты. Интересно, что авторы проводили анализы не только всей отобранной базы публикаций, но и по нескольким подгруппам (по странам, по области знания статей, по половой принадлежности авторов). В данной работе представлен прогноз роста подобных научных текстов и предлагается использование авторского подхода для некоторых сфер деятельности, где необходимо сдерживать такой рост.</p>
	<p>4. Заключение</p>
	<p>Анализ публикаций позволяет сказать, что использование ИИ чат-ботов уже представляет проблему в предоставлении научных исследований. Существуют как положительные оценки процесса и предложения использования БЯМ в некоторых сферах науки при использовании только проверенных источников и доказанных фактов, так и предложения по ограничению использования текстов, сгенерированных или отредактированных ИИ (например, некоторые издательства уже наложили ограничения на использование подобных научных текстов). Проблема использования ИИ чат-ботов в письменных научных публикациях будет требовать от научного сообщества решения в ближайшее время.</p>
	<p>В заключение следует отметить, что научиться извлекать пользу из современных чат-ботов с искусственным интеллектом и понимать их стиль крайне важно в современную цифровую эпоху. Это не только повышает эффективность и производительность, но и открывает возможности для личностного и профессионального роста. Принятие этих технологий и их стилей может привести к более эффективному взаимодействию и конкурентному преимуществу в постоянно меняющемся мире.</p>
</sec>
        <sec sec-type="supplementary-material">
            <title>Additional File</title>
            <p>The additional file for this article can be found as follows:</p>
            <supplementary-material id="S1" xmlns:xlink="http://www.w3.org/1999/xlink"
                                    xlink:href="https://doi.org/10.5334/cpsy.78.s1">
                <!--[<inline-supplementary-material xlink:title="local_file" xlink:href="https://rulb.org/media/articles/14249.docx">14249.docx</inline-supplementary-material>]-->
                <!--[<inline-supplementary-material xlink:title="local_file" xlink:href="https://rulb.org/media/articles/14249.pdf">14249.pdf</inline-supplementary-material>]-->
                <label>Online Supplementary Material</label>
                <caption>
                    <p>Further description of analytic pipeline and patient demographic information. DOI:
                        <italic>
                            <uri>https://doi.org/10.60797/RULB.2024.56.16</uri>
                        </italic>
                    </p>
                </caption>
            </supplementary-material>
        </sec>
    </body>
    <back>
        <ack>
            <title>Acknowledgements</title>
            <p>None</p>
        </ack>
        <sec>
            <title>Competing Interests</title>
            <p>None</p>
        </sec>
        <ref-list>
            <ref id="B1">
                    <label>1</label>
                    <mixed-citation publication-type="confproc">
                        Akram A. Quantitative Analysis of AI-Generated Texts in Academic Research: A Study of AI Presence in Arxiv Submissions using AI Detection Tool / A. Akram // Astrophysics of Galaxies. — URL: https://arxiv.org/abs/2403.12683  (accessed: 12.02.2024).
                    </mixed-citation>
                </ref><ref id="B2">
                    <label>2</label>
                    <mixed-citation publication-type="confproc">
                        AlAfnan M. A. Do artificial intelligence chatbots have a writing style? An investigation into the stylistic features of ChatGPT-4 / M. A. AlAfnan, S. F.  MohdZuki // Journal of Artificial intelligence and technology. — 2023. — № 3(3). — P. 85–94. DOI: 10.37965/jait.2023.0267  
                    </mixed-citation>
                </ref><ref id="B3">
                    <label>3</label>
                    <mixed-citation publication-type="confproc">
                        Berdejo-Espinola V. AI tools can improve equity in science / V. Berdejo-Espinola, T. Amano // Science. — 2023. — № 379(6636). — P. 991–991. DOI: 10.1126/science.adg9714
                    </mixed-citation>
                </ref><ref id="B4">
                    <label>4</label>
                    <mixed-citation publication-type="confproc">
                        Geng M. If ChatGPT transforming Academics’ Writing Style / M. Geng, R. Trotta // Computation and Language. — URL: https://arxiv.org/abs/2404.08627 (accessed: 12.04.2024).
                    </mixed-citation>
                </ref><ref id="B5">
                    <label>5</label>
                    <mixed-citation publication-type="confproc">
                        Gray A. ChatGPT “contamination”: estimating the prevalence of LLMs in the scholarly literature / A. Gray // Digital Libraries. — URL: https://arxiv.org/abs/2403.16887 (accessed: 25.03.2024).
                    </mixed-citation>
                </ref><ref id="B6">
                    <label>6</label>
                    <mixed-citation publication-type="confproc">
                        Kendall G. Risks of abuse of large language models, like ChatGPT, in scientific publishing: Authorship, predatory publishing, and paper mills / G. Kendall, J. A. Teixeria da Silva // Learned Publishing. — 2024. — № 37(1). — P. 55–62. DOI: 10.1002/leap.1578
                    </mixed-citation>
                </ref><ref id="B7">
                    <label>7</label>
                    <mixed-citation publication-type="confproc">
                        Kobak D. Delving into ChatGPT usage in academic writing through excess vocabulary / D. Kobak, R. Gonzalez-Marquez, E-A. Horvat et al. // Computation and Language. — URL: https://arxiv.org/abs/2406.07016v1 (accessed: 03.07.2024).
                    </mixed-citation>
                </ref><ref id="B8">
                    <label>8</label>
                    <mixed-citation publication-type="confproc">
                        Weixin L. Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews / L. Weixin et al. // Computation and Language. — URL: https://arxiv.org/abs/2403.07183 (accessed: 03.06.2024).
                    </mixed-citation>
                </ref><ref id="B9">
                    <label>9</label>
                    <mixed-citation publication-type="confproc">
                        Navigli R. Biases in large language models: origins, inventory, and discussion / R. Navigli, S. Simone, B. Ross // ACM Journal of Data and Information Quality. — 2023. — № 15(2). — P. 1–21. DOI: 10.1145/3597307
                    </mixed-citation>
                </ref><ref id="B10">
                    <label>10</label>
                    <mixed-citation publication-type="confproc">
                        Zheng H. ChatGPT in scientific writing: a cautionary tale / H. Zheng, H. Zhan // The American Journal of Medicine. — 2023. — № 136(8). — P. 725–726. DOI: 10.1016/j.amjmed.2023.02.011
                    </mixed-citation>
                </ref>
        </ref-list>
    </back>
    <fundings>
        
    </fundings>
</article>