Применение локального корпусного поиска для верификации метафор, сгенерированных системами искусственного интеллекта

В преподавательской практике часто возникает необходимость использовать списки фразеологизмов, например терминов или метафор в определенной языковой сфере для обучения специалистов в этой области знания переводу в этой сфере. Такие списки можно использовать для создания упражнений и дальнейшего закрепления на примерах предложений с этой лексикой. Готовые списки есть не для всех областей знания, а существующие не во всех случаях охватывают достаточный объем лексики. При этом поиск тропов, например метафор, в тексте невозможно осуществить обычными поисковыми системами, а поиск вручную требует больших усилий и временных затрат.

В данной статье рассматривается механизм поиска и верификации метафор. Существуют алгоритмы идентификации метафор (как и для других типов лексических единиц), например методика П. Терни и методика Мэйсона, однако эти алгоритмы могут приводить к ошибкам в определении метафор

Методика определения метафор MIPVU (Metaphor Identification Procedure VU University Amsterdam)

1. Чтение текста для получения общего представления о его значении.

2. Определение лексических единиц.

3а. Определение контекстуального значения каждой лексической единицы текста.

3б. Определение, имеет ли она более общее значение; контрастирует ли контекстуальное значение с основным значением, при этом можно ли понять контекстуальное значение при сопоставлении с основным?

4. Если да, то лексическую единицу можно считать метафорической

Как видно из этого описания, методика требует ручного анализа текста, что затрудняет ее использование для больших объемов текста.

Поэтому представляется целесообразным для составления таких списков метафор использовать одну из систем искусственного интеллекта (ИИ). При этом необходимо проверять не только являются ли созданные ИИ словосочетания метафорами, но и используются ли эти метафоры в речи и если используются, то определить частотность употребления в изучаемой языковой сфере.

Современная лингвистика рассматривает метафору не только в качестве стилистического приема, но и как инструмент концептуализации. Так, согласно Джорджу Лакофу и Марку Джонсону, обыденная концептуальная система человека носит фундаментально метафорический характер

Это позволяет оценивать, можно ли считать словосочетание метафорой или нет не только учитывая формальные критерии семантического переноса, но и факт существования метафоры в реальном дискурсе. Как отмечает Джонатан Чартерис-Блэк, «для выявления метафоры необходимы данные, полученные из аутентичной речи»

Корпусные методы позволяют выявить закономерности употребления метафор, недоступные интуитивному анализу согласно Елена Семино

Для проведения исследования были отобраны четыре системы ИИ: GPT-4o, Claude 4 Sonnet, Google AI Gemini и Elicit. Для обеспечения сопоставимости результатов, каждой модели было дан один и тот же промпт (указание) — создать список из 200 англоязычных метафор, используемых в официальной политической речи. Таким образом, различия в результатах будут обусловлены различиями в работе самих систем ИИ — структуре программной среды, данных, использованных для обучения и методах генерации текста. Точная формулировка промпта: «Создай список из 200 метафор, используемых в официальной общественно-политической речи». Такая формулировка, а не «Найди 200 метафор в официальных общественно-политических текстах» была использована поскольку предварительное тестирование показало, что ИИ не во всех случаях осуществляет поиск метафор в текстах, а вместо этого генерирует их на основе своей языковой модели. Например, GPT-4o отвечает на запрос о поиске метафор в общественно-политических текстах: «Я не могу достоверно найти 200 метафор в англоязычных общественно-политических текстах без доступа к конкретному корпусу текстов, поскольку это потребовало бы анализа реальных источников, но я могу сгенерировать список из 200 общественно-политических метафорических выражений, характерных для политического дискурса.»

Полученные списки предполагаемых метафор были вручную предварительно проверены автором исследования используя принципы процедуры MIPVU. При этом решение о признании словосочетания метафорическим принималось на основании наличия признаков семантического переноса, отклонения от буквального значения и образного сопоставления, выявляемых посредством анализа базового и контекстуального значений лексических единиц в соответствии с принципами MIPVU

В результате проверки по этим критериям из списка предполагаемых метафор (200 в каждом списке) было вручную удалено в GPT-4o — 58, в Claude 4 Sonnet — 43, в Elicit — 44, в Google AI Gemini — 34 словосочетания. Результаты приведены в таблице 1.

Результаты генерации системами ИИ показывают достаточно высокий процент успешной генерации словосочетаний, соответствующих критериям метафоры — от 71 до 83 процентов, с лучшим результатом у Google AI Gemini.

Однако, соответствие критериям не означает, что сгенерированные ИИ метафоры действительно существуют в речи и используются в политическом дискурсе. Например, словосочетания «market tapestry» и «hope anchor», сгенерированные чатом GPT-4o соответствуют всем критериям метафоры, но не были найдены в исследуемом корпусе.

Для определения частоты встречаемости метафор в политической речи была использована англоязычная версия параллельного корпуса Организации Объединенных Наций

Учитывая объем корпуса, а также исходя из необходимости не только убедиться в том, что словосочетания из списков сгенерированных ИИ метафор встречаются в корпусе, но и подсчитать количество вхождений, для выполнения этой работы была написана программа на языке программирования «Python».

При разработке программы было решено отказаться от лемматизации

Поэтому было принято компромиссное решение использовать более простой, но эффективный по параметру производительности алгоритм поиска. Алгоритм при осуществлении поиска не изменяет части речи, а только добавляет окончания «s, es, ed, ing» для создания регулярных форм глаголов, множественного числа и притяжательных форм. При таком подходе не учитываются метафоры если в их состав входят неправильные глаголы, и форма глагола в списке метафор и корпусе различается. Например, если в списке метафора «building bridges», а в корпусе «built bridges» или «bridges built» алгоритм поиска не зафиксирует их как совпадающие словосочетания — в первом случае измененная форма неправильного глагола, во втором измененная форма неправильного глагола и перестановка слов местами. Алгоритм определит как совпадающие только формы «build bridges», «builds bridges» и «building bridges». Это серьезное ограничение механизма поиска по сравнению с известными онлайн поисковыми системами, однако для данного исследования, учитывая объем корпуса, этим ограничением можно пренебречь. Другими ограничениями исследования являются особенности использованного корпуса: узкий жанр — официальная дипломатическая речь, формализованный специфический стиль, временные рамки (до 2014 года) — с тех пор могли войти в употребление новые метафоры. Тем не менее, при отсутствии совпадений (нулевая встречаемость) можно предположить, что либо такая метафора используется крайне редко, либо она не используется в официальном политическом дискурсе, либо система ИИ, использующая большие языковые модели, предложила не используемую в речи форму метафоры.

Программа доступна в репозитории с открытым доступом

Результаты проведенного исследования приведены в таблице 2. Google AI Gemini дает лучший результат по генерации метафор, действительно используемых в политической речи как по количеству ненулевой встречаемости в корпусе, так и по суммарной встречаемости метафор в тексте корпуса. Claude 4 Sonnet и Elicit превосходят GPT-4o по проценту ненулевой встречаемости, но уступают по суммарной встречаемости.

Также была предпринята попытка провести сравнительный анализ алгоритмов генерации метафор системами ИИ, использующими большие языковые модели. Для этого с помощью описанной выше методики было проведено попарное сравнение списков метафор сгенерированных четырьмя моделями ИИ с ненулевой встречаемостью в корпусе ООН. Ограничение метода заключается в небольшом количестве метафор, оставшихся в списках после сверки с корпусом ООН и в том, что это количество различается между списками, однако дает общие представления о сходстве работы генеративных систем моделей ИИ. Процент совпадения метафор в паре моделей ИИ рассчитывался с использованием коэффициента перекрытия (Overlap coefficient), то есть по количеству совпадающих метафор от количества метафор в списке с меньшим числом метафор. Использование данной методики обусловлено стремлением снизить влияние абсолютных значений количеств метафор в разных по размеру списках на процент совпадающих метафор.

Результаты исследования приведены в таблице 3. Наибольший процент совпадения найденных системами ИИ метафор зарегистрирован между Claude 4 Sonnet и Elicit — 13,5 процентов, наименьший процент совпадений — между GPT-4 и Google AI Gemini — 3 процента, что может указывать на различия в работе генеративной модели и / или материалов, использованных для обучения модели. В среднем процент совпадения составил 9,6, что свидетельствует о значительных различиях в генерации, что соответственно позволяет предположить целесообразность использования нескольких моделей ИИ для генерации более полных списков метафор.

С методической точки зрения результаты проверки метафор по корпусу дали возможность не только отобрать действительно используемые в политической речи метафоры, но и распределить их по уровням сложности основываясь на их встречаемости в корпусе, а соответственно в речи. В таблице 4 приведены примеры полученных результатов определения встречаемости метафор, сгенерированных четырьмя системами ИИ, в корпусе Организации Объединенных Наций с разной встречаемостью. Чем выше встречаемость метафоры, тем на более ранней стадии обучения ее рационально использовать при создании методических материалов и, наоборот, редко встречающиеся метафоры лучше использовать в работе над материалами для студентов более продвинутых уровней изучения языка.

Таким образом, достоверность выявления метафоры в тексте в рамках данного исследования определяется по совокупности ее соответствия семантическим критериям и употребления этой метафоры в корпусе аутентичных текстов.

Проведенное исследование показало, что все четыре системы ИИ применимы для генерации списков даже такой сложной формы как литературные тропы — процент генерации найденных в корпусе ООН искомых конструкций составляет от 34 до 49 для четырех исследованных моделей ИИ. Однако созданные ИИ списки лексики требуют обязательной верификации вследствие особенностей работы генеративных моделей ИИ. Для верификации результатов применимы средства корпусного поиска, в том числе локального, если корпус представлен файлами на локальном компьютере.

Процент совпадения метафор между системами ИИ в среднем составляет 9,6, что может свидетельствовать о различиях в работе систем ИИ, использующих большие языковые модели, и позволяет рекомендовать использовать несколько систем ИИ для генерации более полных списков словосочетаний.

Предложенный метод, при наличии локальных файлов с корпусом, содержащим нужную тематику, применим для создания списков словосочетаний любых типов, использующихся в данной языковой сфере. Кроме того, данный метод дает возможность распределить словосочетания по уровню сложности при создании методических материалов основываясь на частоте встречаемости словосочетаний в корпусе. Результаты могут быть использованы в дальнейших исследованиях по совместному применению методов корпусной лингвистики и технологий ИИ.