ОЦЕНКА ЭФФЕКТИВНОСТИ ОНЛАЙН-СЕРВИСОВ И СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ПЕРЕВОДЕ МОДАЛЬНЫХ КОНСТРУКЦИЙ С РУССКОГО ЯЗЫКА НА АНГЛИЙСКИЙ

Применение машинного перевода (МП) в современных реалиях переводческой и учебной деятельности давно уже стало не только возможным, разрешенным, но и неизбежным. Особенно с тех пор, как онлайн сервисы перевода получили мощную поддержку в виде всевозможных функций на основе искусственного интеллекта (ИИ). Но использование подобных программ предоставляет не только значительные возможности, но и не менее значительные вызовы, в частности, в плане качества перевода и достоверности сгенерированной информации. Исследователи, переводчики и преподаватели постоянно проверяют, что может и что еще не в состоянии сделать машинный и ИИ перевод, и в каких видах перевода и аспектах языка необходим особо пристальный надзор человека-редактора. Подобный интерес уже вышел за рамки занимательной опции для переводчика, так как в современных реалиях «процесс перекодирования текста представляет собой коллаборативную работу человека и машины, а в фокусе процесса находится не сам перевод, а его последующий этап постредактирования»

В данной статье мы рассматриваем языковую категорию, с передачей которой у онлайн-переводчиков постоянно возникают трудности, — это категория модальности. Постоянный интерес к модальности как языковому явлению и как переводческой проблеме подтверждается результатом запроса на платформе Киберленинка о публикациях на эту тему, который показал, что с 2022 года различным аспектам перевода модальности (в зависимости от видовой дифференциации, языковых и жанровых различий и т.п.) было посвящено около 3,000 публикаций

Говоря о контроле качества МП и оценке его эффективности, нельзя не отметить огромный прогресс в автоматизации и этого процесса. В настоящее время благодаря разработчикам автоматических метрик для оценки качества МП, переводчики получили такие инструменты как BLEU (Bilingual Evaluation Understudy)

Для решения поставленных задач был сформирован корпус параллельных текстов, включающий 160 русскоязычных предложений и их эталонные переводы на английский язык. Корпус создавался вручную на основе эмпирического анализа типичных модальных конструкций, устойчиво воспроизводимых в устной и письменной речи. При отборе материала учитывались следующие принципы:

1) отсутствие контекстуальной двусмысленности;

2) стилистическое разнообразие (представленность разговорного, нейтрального и официально-делового регистров);

3) грамматическая полнота (каждое предложение содержит модальный предикат в позиции, требующей передачи именно модальности, а не временных / залоговых значений).

Предложения были либо взяты из оригинальных русскоязычных художественных и публицистических произведений, либо сконструированы автором по модели речевых образцов. Эталонные переводы искусственно созданных предложений предварительно проверялись на аутентичность и контекстное соответствие двумя носителями языка (британского и американского варианта). Корпус стратифицирован по четырем основным видам модальности — по 40 примеров на каждый из четырех рассматриваемых видов модальности — алетической, эпистемической, деонтической, динамической.

В качестве тестируемых систем были задействованы Yandex Translate, Google Translate, Microsoft Bing Translator и ChatGPT. Все переводы осуществлялись в синхронном режиме — с 10.01.2026 по 19.02.2026. Для каждой системы анализировались: первый стандартный вариант перевода (по умолчанию), вариант после применения опции улучшения перевода (для Yandex — кнопка «Улучшить перевод», для Google — «Показать альтернативный перевод», для Microsoft Bing — «Тон: стандартный / неформальный / официальный», для ChatGPT — второй запрос с уточнением «более формально / неформально». Каждый переводной вариант оценивался по пяти критериям: передача модального значения, грамматическая корректность, адекватность перевода, стилистическое соответствие и сохранение вида модальности. Для каждого критерия применялась двухбалльная шкала (0 — полное или частичное нарушение, 2 — полное соответствие). Сумма полученных баллов каждым онлайн-переводчиком переводилась в процентное выражение. Для верификации оценок автора привлекались эксперты — носители английского языка.

Давая общую оценку результатов исследования, хотелось бы отметить достаточно высокий уровень перевода, которого на сегодняшний день достигли онлайн и ИИ переводчики, в том числе и в передаче модальных значений. Предложенные четырём популярным онлайн-переводчикам — Yandex, Google, Microsoft Bing и ChatGPT — задания на перевод, содержащие разнообразные виды и оттенки модальности, с разной степенью точности, но, тем не менее, успешно решались. Сравнительный статистический анализ эффективности передачи модальности показал, что наиболее точные переводы предлагал ChatGPT — 86,3% правильных переводов. За ним следуют Google переводчик с 80% и Microsoft Bing Translator с 75% точных переводов. Наименьший результат показал Yandex переводчик — 69% безошибочных вариантов перевода.

Наибольшую сложность для всех систем представляла передача эпистемической модальности с её сложной системой тонов и полутонов, а также безграничным разнообразием выражения индивидуального мнения, особенно в условиях разговорного дискурса. Также много ошибок было зафиксировано у всех переводчиков при передаче предложений с деонтической модальностью, а наименее сложным для передачи с русского языка на английский стал динамический вид модальности.

Анализируя ошибки в машинном и ИИ переводе модальности с русского языка на английский, мы принимали во внимание принцип таргетированности

1) интерференция, то есть калькирование морфологической и синтаксической формы;

2) неиспользование модальных форм, существующих и активно использующихся в английском языке для выражения данного вида модальности;

3) подмена одного типа модальности другим;

4) игнорирование стилистического контекста;

5) грамматическая / синтаксическая ошибка (неправильная глагольная форма, нарушение правил согласования времён);

6) непереданная модальность, то есть перевод без модального значения.

Как любая категория, являющаяся порождением человеческой логики и психики, отраженных в языковых формулах, модальность представляет собой весьма непростое понятие для точного определения. Поэтому в истории изучения этого вопроса мы наблюдаем такое огромное разнообразие определений, подходов, мнений и классификаций. В качестве базового определения модальности в нашем исследовании мы будем использовать трактовку, предложенную О.С. Ахмановой, которая гласит, что «модальность — понятийная категория со значением отношения говорящего к содержанию высказывания и отношения содержания высказывания к действительности (отношения сообщаемого к его реальному осуществлению), выражаемая различными грамматическими и лексическими средствами, такими как формы наклонения, модальные глаголы, интонация и т.п.»

Если мы сравним модальные операторы этих видов модальности в русском и английском языках, то обнаружим существенные различия на всех языковых уровнях: лексическом, грамматическом, синтаксическом. Рассмотрим основные отличия, которые представляют важность для перевода.

В английском языке все виды модальности чаще реализуются при помощи обширного корпуса модальных глаголов (can / could, must, have (got) to, may / might, shall / should, will / would, ought to, to be to, need). Дополнительным отличием от русского языка является существование в английском языке в рамках деонтической и эпистемической модальностей реверсивных модальных конструкций и конструкций с прогрессивным аспектом.

В русском языке модальные глаголы представлены в более ограниченном количестве (мочь, надо, нужно, можно, хотеть, должен), но зато они берут на себя передачу практически любого вида модальности. Также очевидным отличием в модальных глаголах в русском и английском языках является их морфологические характеристики: английские модальные глаголы в большинстве своем дефектны, за исключением наличия форм настоящего и прошедшего времени у ряда глаголов, в то время как большинство русских глаголов имеет полную парадигму (изменение по времени, числу, роду).

Другим средством передачи модальности является форма наклонения глагола (изъявительное, сослагательное, повелительное в русском языке и в английском добавляется еще условное и предположительное наклонения). Примечательно, что в русском языке повелительное наклонение обладает гораздо более широким модальным потенциалом, особенно в формах устойчивых конструкций. На это в свое время указывал В.В. Виноградов, подчеркивая необходимость «различать модальные функции глагольных форм наклонения в свободном и синтаксически обусловленном, связанном употреблении»

Но все же преобладающими средствами выражения модальности в русском языке являются многочисленные вводно-модальные слова и конструкции (пожалуй, видимо, возможно, вероятно, кажется, очевидно, может быть, к счастью, и т.д.).

Также в русском языке для передачи той или иной модальности нередко используются частицы: разве, неужели, ли, авось, небось, чай, никак, поди, так, ведь, мол, дескать и др. Давая подробный анализ класса модальных слов и частиц русского языка, В.В. Виноградов подчеркивал, что «он очень пёстр по своему лексическому составу, по этимологической природе относящихся и тяготеющих к нему элементов»

Анализ переводческих решений передачи модальности с русского языка на английский выявил ряд закономерностей в передаче модальности онлайн-переводчиками, которые приводили если не к явным ошибкам в переводе, то к недостаткам стилистического и/или грамматического плана.

Прежде всего, у всех переводчиков, кроме ChatGPT, просматривается выраженная тяга к морфологической симметрии. Например, если модальность в русском языке выражена модальными словами (наверняка, возможно, очевидно, вероятно и т.п.), то в переводе это тоже будут модальные слова (surely, perhaps, probably, apparently). Поэтому в переводе предложения «Наверняка, наш непоседа сейчас готовит очередную шалость» все переводчики выбрали именно вводные модальные слова: surely (Yandex, Microsoft Bing, ChatGPT) probably (Google), no doubt / undoubtedly / definitely, (ChatGPT), как например, в переводе Yandex — Surely, our fidget is now preparing another prank.

Вариант перевода исходного предложения с модальным глаголом must и продолженным инфинитивом «Our little mischief-maker must be pulling another prank right now» не был предложен ни одним из проверяемых переводчиков.

Копирование синтаксической структуры оригинала может приводить к явным ошибкам, как, например, в случае передачи алетической модальности, которая нередко передается безмодальными конструкциями. Так, в предложении «Рак не излечивается за год» алетическая модальность выражена формой страдательного залога. Переводы Microsoft Bing и ChatGPT передали модальность (Cancer cannot be cured in a year), а Yandex и Google устранили алетический компонент, превратив высказывание в фактическую констатацию сложившейся практики (Cancer is not cured in a year).

Другая тенденция, которая проявляется достаточно явно и регулярно в передаче модальных значений – это предпочтение полноценных смысловых глаголов модальным глаголам. Так предложение «Я не потерплю, чтобы ты диктовал здесь свои условия» все переводчики перевели, используя глагол tolerate — I won't tolerate you dictating terms here. ChatGPT как варианты предлагает синонимические конструкции: I’m not going to let you call the shots here / I won’t stand for you setting the rules around here.

Более идиоматичный вариант, передающий эмоциональный, категорический отказ мириться с каким-либо действием другого человека посредством конструкции have smbd do smth (I won’t have you dictate terms here) не был предложен даже по запросу более формального варианта (т.к., по оценке экспертов, данное выражение характерно для возвышенно-книжного дискурса).

Также переводчики были единодушны в предпочтении упрощённых универсальных конструкций. Например, когда в русском предложении модальность передаётся посредством глагола «нужно» / «не нужно» то в подавляющем количестве рассмотренных случаев для перевода выбирается либо глагол need, либо именная конструкция there is a need / there is no need. Приходится признать, что в современном английском языке с его тенденцией к упрощению грамматики эти конструкции действительно очень часто используются, обслуживая практически любой случай, где есть значение «нуждаться в чем-либо», «отсутствовать как необходимость». Однако подобный упрощенный перевод можно расценить как недостаточно точный, когда онлайн-переводчики не распознают эмоциональную коннотацию в русскоязычной фразе и не задействуют для её перевода существующий в английском языке модальный арсенал. Именно это мы видим в онлайн-переводе следующего предложения, контекст которого явственно сигнализирует о наличии укоризненного тона по поводу неразумности уже совершенного действия: Незачем вам было приносить столько продуктов. Кто есть всё это будет? Все переводчики предложили варианты с конструкцией there was no need — There was no need for you to bring so many groceries / much food)? Who is going to eat all this?

В данном случае ожидаемый перевод предполагает использование конструкции с модальным глаголом should c перфектным инфинитивом, которая более уместна для передачи эмоции раздражения — You shouldn’t have brought so much food.

Еще одна зона, которая для онлайн и ИИ переводчиков остаётся пока не вполне освоенной, — это распознавание стилистических контекстов и передача коннотативных оттенков в значении модальных операторов. Наглядным примером может служить передача значения долженствования. В подавляющем большинстве случае переводчики ориентируются на словесную форму, а не на анализ контекста. Если модальность выражена лексемой «должен», то она передается глаголом must в настоящем времени и глаголом had to в прошедшем времени, если долженствование представлено глаголом «нужно», то задействуется глагол «need». Интересно, что переводчики не используют конструкцию to be to, которая нередко встречается в официальном стиле, и далеко не всегда корректно заменять её глаголом must. Must имеет значение обязательства, абсолютной необходимости в рамках морального или профессионального долга, в то время как модальная конструкция to be to обладает более сдержанным эмоциональным значением обязанности в силу предварительной договоренности. Чаще всего в онлайн-переводе с русского языка на английский для передачи значения обязательства используется глагол must с интенсификацией моральной облигаторности даже там, где это контекстуально не нужно. Но так как такой перевод адекватно передает вид модальности, то единственная претензия к онлайн-переводчикам в этом случае — ограниченность модального репертуара. Тем не менее, иногда различие между глаголами must и to be to становится существенным, например, в отрицательных предложениях, в которых mustn’t означает «(строго) запрещено», а are / is not to — «не должны / не должен делать (согласно правилам)». Нижеследующие примеры показывают, как изменяют оттенок модальности онлайн-переводчики, переводя предложение «По правилам игры участники не должны покидать территорию лагеря до конца месяца»:

Ожидаемый перевод: According to the rules of the game, participants are not to leave the campgrounds until the end of the month / According to the rules of the game, participants are not allowed to leave the campgrounds until the end of the month).

В данном случае контекст предложения даёт достаточную информацию, что это долженствование вытекает не из эмоционального запрета, а из оговоренных условий. Но Google, Microsoft Bing и ChatGPT представили запрет именно как категорический приказ: According to the rules of the game, participants must not leave the camp grounds (camp premisis) until the end of the month. Yandex переводчик ослабил неуместную категоричность, используя модальный глагол should, но изменил оттенок деонтической необходимости — запрет заменил на совет: According to the rules of the game, participants should not leave the camp until the end of the month.

Если вышеописанные случаи иллюстрировали ограниченность онлайн-перевода в выборе средств передачи модальности, при этом не нарушая базового модального значения, то следующий пример демонстрирует серьёзную ошибку в распознавании вида модальности и искажения всего контекста ситуации в переводе. Предложенная переводчикам фраза «Вам не нужно было трогать голову ребёнка. Здесь это не принято» содержит прямую критику уже совершённого действия, нарушившего социальные и религиозные табу, принятые в данном обществе. Но переводчики Yandex и Microsoft Bing этого не распознали и заменили при переводе модальность «нельзя было это делать» на «не было необходимости этого делать»: You didn't have to touch the baby's head. It's not accepted here (Yandex); You didn't need to touch the child's head. It's not customary here (Microsoft Bing). Google и ChatGPT адекватно передали это значение, применив модальный глагол should с перфектным инфинитивом: You shouldn't have touched the baby's head. It's not customary here (Google, ChatGPT).

Как было ранее отмечено, русский язык содержит большее количество частиц, служащих для передачи тончайших модальных оттенков. За последнее время современные онлайн-системы достигли высокого уровня точности в распознавании и передаче модальных конструкций, включая устойчивые разговорные обороты с частицами. Показательным примером может служить фраза, растиражированная в медиа пространстве как эталон трудности русского языка для иностранцев — «Да ну нет, наверное». Все онлайн-переводчики предложили семантически и грамматически верные варианты перевода: Well, probably not (Yandex), Well, I guess not (Google), Ah, no, probably not (Microsoft Bing), Eh, I don’t think so, probably not (ChatGPT).

Но, тем не менее, ещё многому предстоит обучить онлайн-переводчиков, например, распознавать контекстные маркеры для выбора одного из многочисленных модальных значений частицы. Для иллюстрации возьмём предложение «Он, вишь, не хочет!», которое благодаря частице вишь приобретает не только разговорный (или имитирующий разговорность) стиль, но и выраженный пренебрежительно-ироничный тон. Онлайн-переводчики предложили следующие варианты: He doesn't want to! / (редакция «разговорный стиль») He just doesn't want to, that's all (Yandex); He doesn't want to, you see! (Google); You see, he just doesn't want to! (Microsoft Bing); See, he doesn't want to! (ChatGPT).

Как видим, Yandex переводчик в стандартном варианте вообще никак (кроме предполагаемого интонационного оформления) не намекнул на эмоциональное значение оригинала, а остальные переводчики передали значение частицы при помощи вводного предложения You see (See). Подобное решение лишь отчасти передаёт коннотацию оригинала, так как для полнооформленности здесь необходима соответствующая интонация, передающая саркастическое отношение говорящего. В письменной речи для этой цели разумнее было бы задействовать лексические средства, например: Fancy that / Just fancy — he doesn't want to go. Если условия перевода позволяют, то можно использовать более длинную, но более точную по разговорному и эмоциональному значению фразу Now he’s all like, I don’t wonna go.

Предлагая для проверки онлайн-переводчикам различные устойчивые модальные фразы, мы столкнулись со случаями полного непонимания глубинного модального смысла и, как следствие, создания буквальных бессмысленных переводов. Одним из таких трудных оборотов стало предложение, начинающее со слова «Поди». Само слово может быть как модальной частицей со значением допущения или предположения (Поди, сам знаешь, что неправ), так и глаголом в императивной форме как часть предиката. В первом случае переводчики находят разные способы передачи модального значения. Yandex переводчик отказался от лексической модальной индикации (You know you're wrong). Google переводчик предложил адекватное соответствие в виде модального слова probably (You probably know yourself that you're wrong). Microsoft Bing определил поди как маркер разговорности и передал регистр при помощи вводного слова well, которое дополнительно передает оттенок некоторого сомнения (Well, you know yourself that you're wrong). ChatGPT также использовал все возможные средства для передачи разговорности высказывания, включая вводную конструкцию I bet, усилительное наречие perfectly well и неформальную идиому to be in the wrong (I bet you know perfectly well you’re in the wrong).

Гораздо труднее оказалось для онлайн-переводчиков правильно передать модальный смысл, выраженный глаголом поди как составной частью предиката в повелительном наклонении (Поди сделай…, Поди узнай, Поди пойми… и т.п.). Все переводчики определили в данном случае только модальность императива и перевели буквально тестовое предложение «Поди разберись, кто здесь прав, а кто виноват»: Go figure out who's right and who's to blame here (Yandex), Try to figure out who is right and who is wrong here (Google, Microsoft Bing); Just try and figure out who’s right here and who’s to blame (ChatGPT).

Как видим, переводы полностью утратили смысл оригинала, который не призывает к конкретным действиям, а выражает сомнение в возможности совершения этих действий. Также, помимо эпистемического оттенка невозможности, присутствует эмоционально-оценочный компонент, который в зависимости от конкретного контекста варьируется от отчаяния до иронии. В данном случае более уместным переводом была бы отрицательная конструкция, подчеркивающая невозможность: You just can’t figure out who’s right, who’s wrong here.

Похожие трудности иногда возникали и при передаче динамической модальности, которую, в целом, онлайн-переводчики переводили точно, с учетом мельчайших контекстуальных нюансов способности / возможности субъекта совершать какое-либо действие. Ошибки возникали в случае имплицитного выражения модального значения. Например, в следующем диалоге первая реплика — вежливый вопрос о возможности дать информацию, вторая реплика — разговорная риторическая конструкция с отрицанием, передающая динамическую модальность уверенности или желания: «Не скажете, у кого можно переночевать?» — обратился я к ней. — «Ну, как не скажу — скажу», — с готовностью откликнулась она. (Н. Кокухин «Веруня»)

Yandex дал прагматически точный перевод, но с потерей идиоматичности в ответе девушки: «Can you tell me where I can stay the night?» I asked her. — «Well, I'll tell you», she replied readily. Google предложил буквальный, но бессмысленный перевод: «Could you tell me where I can spend the night?» I asked her. — «Well, if I don't tell you, I'll tell you», she responded readily. Перевод Microsoft Bing вполне адекватный: «Could you tell me if there's anywhere I could spend the night?» I asked her.— «Well, how could I not tell you — I'll tell you», she responded readily. Он передаёт риторическую невозможность не сказать, но, по замечанию носителя языка, этот перевод стилистически менее естественен для устной речи и был бы уместнее там, где нужен более возвышенный или ироничный тон. ChatGPT предложил наиболее аутентичный перевод с точки зрения модального значения и регистра общения: «Could you tell me who I could stay the night with I asked her?» I asked her. — «Well, it's not that I can't tell you — I can», she responded readily.

В данном исследовании мы использовали только устойчивые и часто воспроизводимые конструкции и видели, что не все они легко и правильно переводились онлайн-переводчиками. Поэтому нетрудно предвидеть, что гораздо больше трудностей возникает у онлайн-переводчиков при переводе живой спонтанной речи с индивидуальными языковыми характеристиками. В русском языке часто субъективная модальность выражается посредством конструкций с междометиями, частицами, лексическими повторами. Например, эмоция отчаяния, порицания, сожаления в разговорной речи может быть описана при помощи оборота «надо же + инфинитив». Предложенное проверочное предложение для перевода «Надо же было именно сегодня заболеть! Как раз перед новым годом!» смогли правильно перевести Google и Microsoft Bing переводчики (Of all days, I had to get sick today! Just before the New Year!), а Yandex переводчик заменил эпистемическую модальность на деонтическую, полностью исказив смысл фразы (It was necessary to get sick today! Just before the New Year!). То, что спонтанная речь пока представляет для онлайн-переводчиков серьёзную проблему, наглядно продемонстрировал анализ ошибок онлайн-перевода интервью В.В. Путина, данное Т. Карлсону. Авторы исследования В.И. Озюменко и Т.В. Ларина в частности привели пример, как ИИ переводчик в сравнении с переводчиком–человеком передавал частицы в разговорно-эмоциональных ответах российского президента: «Вы же нас обманули» — You tricked us (чел. перев). You deceived us (ИИ)»

В ходе анализа полученных результатов мы установили, что причинами ошибок перевода предложений, передающих тот или иной вид модальности, являются:

1) различия систем выражения модальности в русском и английском языках (в русском языке модальные значения актуализируются языковыми средствами лексического, грамматического, синтаксического уровней, в то время как в английском языке основная роль передачи модальности отведена глагольной «группировке» из девяти модальных глаголов и глагольных идиоматических конструкций);

2) грамматические различия, когда в английском языке изменение формы инфинитива (перфектный или продолженный вид), стоящего после модального глагола влечет за собой изменения вида модальности;

3) полисемия русских модальных глаголов / слов;

4) кросс-языковые стилистические различия в средствах выражения модальности;

5) игнорирование прагмакоммуникативных и культурных характеристик высказывания.

Также наше заключение в отношении задействованных онлайн-переводчиками языковых средств для передачи модальности русскоязычных высказываний на английском языке подтверждает выводы других исследователей о том, что «ИИ, в отличие от переводчика-человека, пользуется не всем многообразием языка, а лишь его поверхностным срезом»