1. Введение

Изучение взаимодействия различных знаковых систем в современной коммуникации приобретает особую актуальность в условиях цифровизации и глобализации медиапространства, где тексты всё чаще представляют собой сложные поликодовые образования. Актуальность исследования обусловлена растущим количеством мультимодальных текстов в современном информационном пространстве и отсутствием чётких критериев разграничения указанных терминов в отечественной и зарубежной науке.

2. Основная часть

Термин мультимодальность впервые ввел австралийским лингвистом М. Халлидей [1], которого считают основателем системно-функциональной лингвистики. С точки зрения человеческого познания, мультимодальность является способностью человека совмещать несколько путей познания мира и общения — вербальный, визуальный, кинетический и некоторые другие. Г. Кресс определяет мультимодальность как процесс общения с привлечением различных модусов (письма, устной речи, жестов, визуальных образов и т.д.), где каждый модус выступает культурно узнаваемым каналом передачи информации [2]. Э. Гиббонс уточняет, что в узком смысле мультимодальность — это сосуществование более одного семиотического модуса в одном контексте, а в широком — это ежедневная реальность человеческого познания, основанная на зрении, звуке и движении [3, С. 8]. По мнению О.Ф. Кривенко, под мультимодальным текстом понимается «текст, который передает информацию с помощью нескольких модальностей (письменный текст, изображение, звук, анимированные элементы) и понимание которого зависит от умения извлекать смысл из каждой модальности и от распознавания взаимосвязей между ними» [4, С. 4].

Основное различие между интерсемиотичностью и мультимодальностью заключается в том, что первая представляет собой трансформационный процесс перехода контента между знаковыми системами (например, экранизация романа), тогда как вторая предполагает параллельное функционирование различных модальностей в едином коммуникативном акте без их взаимного преобразования (например, фильм с синхронным сочетанием изображения, звука и речи) [5, С. 89].

На практике разделение интерсемиотичности и мультимодальности может осложняться частичным наложением этих явлений. Например, мультимодальные тексты нередко содержат элементы интерсемиотического перевода, когда отдельные компоненты выражают содержание разными средствами (например, субтитры в фильме, сопровождающие диалог героев). Анализ таких текстов требует учёта как интерсемиотических, так и мультимодальных аспектов.

Сегодня лингвисты активно используют термин «мультимодальный» для обозначения семиотически сложных текстов, где под модусом понимается «социально и культурно обусловленный семиотический ресурс для создания значений» [2, С. 50], [8]. Модус — это система знаков, включающая:

1) изображения;

2) письменные знаки;

3) устные знаки;

4) жесты;

5) звуки;

6) музыку;

7) запахи;

8) вкусы;

9) осязание, интерпретируемые через определенный процесс восприятия.

Мультимодальные тексты становятся едва ли не самым распространенным источником информации в современном коммуникативном пространстве, поскольку обладают сложным и разнородным семиотическим характером, позволяющим их поливекторное декодирование. Мультимодальный текст требует синхронного учета всех модальностей при адаптации для иностранной аудитории. Например, перевод субтитров или дублирования должен учитывать иконографический компонент (то, что отображено на экране) и звуковое сопровождение. В случае интерсемиотического перевода (экранизация литературного произведения) задача заключается в адаптации вербального содержания для визуально-аудиального восприятия с сохранением художественного замысла автора.

Одним из сложных текстовых образований является кинематографический текст, который можно классифицировать как мультимодальный текст ввиду его характеристик и специфики кинематографии в целом [9], [10].

Согласно Д. Борделлу и К. Томпсону, киноконтекст — это структурированное сочетание изображений, звука и нарративных элементов, которые вместе создают значение. Авторы подчёркивают, что фильмы используют отдельные, но взаимозависимые компоненты, такие как композиция кадра, монтаж, звуковой дизайн и диалоги, для формирования восприятия и вовлечения зрителя в историю [6].

К. Метц трактует киноконтекст как «сложную семиотическую систему», которая общается с помощью множества кодов, наряду с визуальными, аудиальными и нарративными элементами. Он подчеркивает, что каждый из этих кодов может быть проанализирован для выявления слоев значений, делая фильм «полисемантическим» или многозначным текстом [7].

Г. Кресс и Т. ван Левен предлагают рассматривать киноконтекст как «мультимодальный ансамбль» (multimodal ensemble), в котором каждый режим (например, изображение, звук, письменная речь) обеспечивает общий коммуникативный эффект [2].

Исходя из указанных подходов, киноконтекст вполне обоснованно считается чуть ли не самым сложным семиотическим образованием, ведь значение в таком тексте реализуется путем интеграции различных кодов и форм коммуникации, которые зритель считывает через разные модусы. Учитывая это, можно говорить о мультимодальной природе киноконтекста, поскольку мультимодальность предполагает объединение нескольких путей познания мира и общения (вербального, визуального, кинетического и т.д.), а произведение кинематографа должно интерпретироваться не как однокодовое, а как поликодовое образование, что характерно для мультимодальных текстов, поскольку фильм объединяет различные художественные формы и технические процессы, придающие киноконтексту уникальный эстетический облик.

Мультимодальный текст требует синхронного учета всех модальностей при адаптации для иностранной аудитории. Например, визуальные элементы, такие как цветовая палитра или композиция кадра, могут нести эмоциональную нагрузку, которая не всегда может быть передана словами. Звуковое сопровождение, будь то музыка или звуковые эффекты, также играет ключевую роль в создании атмосферы и настроения. Поэтому при адаптации фильма для другой языковой аудитории необходимо учитывать не только текст, но и все визуальные и аудиальные элементы, которые могут повлиять на восприятие. В конечном итоге, успешная адаптация киноконтекста для иностранной аудитории возможна лишь при условии комплексного подхода, который учитывает все аспекты мультимодальности и их влияние на восприятие.

3. Заключение

Проведённый анализ позволяет сделать вывод о принципиальном различии между интерсемиотичностью и мультимодальностью как концептами, описывающими разные аспекты взаимодействия знаковых систем. Интерсемиотичность представляет собой процесс трансформации содержания между семиотическими системами с сохранением смыслового ядра, тогда как мультимодальность характеризуется одновременным использованием нескольких модусов в рамках единой коммуникативной структуры без их взаимного преобразования.

Перспективы дальнейших исследований связаны с изучением трансформации мультимодальных текстов в цифровой среде, анализом кросс-культурных особенностей восприятия мультимодальных сообщений и разработкой методик обучения переводчиков работе с комплексными знаковыми системами.

The additional file for this article can be found as follows: