SEMANTICS OF MULTIMODAL TEXT: BETWEEN VERBAL AND VISUAL (based on digital multimodal texts)
SEMANTICS OF MULTIMODAL TEXT: BETWEEN VERBAL AND VISUAL (based on digital multimodal texts)
Abstract
The aim of this article is to describe the main semantic connections between the modes of verbal text and static images on the example of discourse on organ donation in Germany and to show how various intersemiotic relations between text and image reinforce the intention of the text. The analysis is based on C.W. Morris' semiotic model, which is based on the triple structure of semiosis at the levels of semantics, syntax and pragmatics. To describe the semantic relations between the two modes, H. Stöckl's typology of connections between language and image is used, which relies on rhetorical figures such as metonymy, metaphor and symbol to establish a reference between language and image at the level of content (semantics). In semantic semiotics, the term "modus" is understood as a semiotic resource, since both words in the text and individual objects in the images have meaning. The scientific novelty of this study lies in the development of an approach that establishes a semantic connection between the sign system of language and the image, thus allowing the image to be integrated into verbal text structures. The results of the analysis show that the differences between semantic relations are based on the semiotic traits of images and that linking text and images requires various cognitive operations from the interpreter.
1. Введение
Благодаря своему мультимодальному характеру цифровые тексты обладают высокой степенью семиотичности, обусловленной практикой их публикации в Интернете. Они характеризуются специфическим взаимодействием различных систем знаков, таких как язык и изображение. Эта особенность цифровых текстов требует применения специальных методов анализа, позволяющих выявить особенности их мультимодальной организации и межсемиотических связей. Понимание того, как системы знаков языка и изображения взаимодействуют для создания смысла и разработки стратегий дискурса в цифровой среде, достигается за счет использования сложных семиотических подходов, таких как модель семиозиса Ч.У. Морриса, типология межсемиотических связей Х. Штёкля, включающая метонимию, метафору и символические отношения, а также классификация В. Нёта избыточных, доминирующих и дополняющих связей между текстом и изображением.
2. Методы и принципы исследования
Прежде, чем мы перейдем к описанию основных семантических связей между вербальным текстом и статичным изображением, кратко рассмотрим сходства и различия этих модусов с точки зрения их семантических отношений (связей между обозначаемым и обозначающим), выразительного потенциала, синтаксических отношений (внутренней структуры) и прагматических отношений (восприятия и обработки реципиентом) . Это необходимо для более точной классификации и понимания семантических отношений между этими модусами в рамках семиотической модели Ч.У. Морриса.
Методической основой анализа является семиотическая модель Ч. Морриса, в которой семиозис (процесс образования и развития знака) представлен на уровнях семантики (содержание), синтаксиса (форма) и прагматики (функция). По Ч.У. Моррису, семантика — это наука об обозначениях. Она исследует, как знаки применимы к предметам. Согласно Ч.У. Моррису, семантика — это не семантика значения, как в лингвистике, а семантика референции, которая исследует вопрос о соотношении между обозначающим и обозначенным .
Что касается языковых знаков текста, то они, согласно семиотической семантике, являются символическими, поскольку означающее и означаемое имеют произвольные отношения друг с другом. В этом и заключается высокий выразительный потенциал языка: из ограниченного числа графем можно создать бесконечное количество морфем и слов. Однако язык менее приспособен для отображения пространственно-визуальных образов .
Изображения, напротив, создаются по принципу аналогии, то есть сходства между обозначающим и обозначаемым, в результате чего изображения являются типичными иконическими знаками (в смысле классификации знаков по Ч. Пирсу и Ч.У. Моррису) . Поскольку изображения, как правило, представляют только конкретные объекты, их выразительные возможности ограничены.
В отличие от лингвистического синтаксиса, система синтаксиса Ч.У. Морриса не касается системы синтаксических правил языка, а имеет более широкий смысл и исследует восприятие и комбинацию знаков. Синтаксическое измерение приобретает особое значение в семиотической модели Ч.У. Морриса, поскольку он исходит из того, что носитель знака всегда выступает в сочетании с другим носителем знака или носителями знаков. Следует подчеркнуть, что семиотический синтаксис не касается конкретного значения или отношения знака к поведению интерпретатора .
На синтаксическом уровне вербальный текст и статичное изображение воспринимаются визуально. Изображения — это знаки, приближенные к восприятию, которые, в отличие от языка, всегда воспринимаются целостно и одновременно. Кроме того, множество объектов способствует восприятию и облегчает запоминание. Языковые знаки в вербальном тексте также воспринимаются визуально. Однако для языка характерна двойная кодировка: слова как единицы, несущие значение, состоят из минимальных единиц, не имеющих значения, в вербальном тексте — из графем . С синтаксической точки зрения существуют различные типологии, которые исследуют и классифицируют пространственные связи между текстом и изображением , .
Для Ч.У. Морриса прагматика — это наука о взаимосвязи знаков и их интерпретаторов . По сравнению с лингвистической прагматикой, которая исследует значение языковых высказываний в конкретных ситуациях, область исследования семиотической прагматики более широка и включает в себя психологические, биологические и социологические явления, возникающие в процессе интерпретации знаков. Другими словами, прагматика Ч.У. Морриса касается способов ментальной обработки и функций знаков в их использовании . В конце мы представим когнитивные операции, необходимые для понимания значения намерения, которое создается совместно языком и изображением. В связи с растущей значимостью мультимодальных текстов в современном коммуникационном пространстве растет и интерес к их когнитивному восприятию и обработке .
На прагматическом уровне изображение имеет большое преимущество перед вербальным текстом. Его ментальная обработка происходит быстрее и эффективнее, а благодаря непосредственности визуальных впечатлений их содержание лучше запоминается. Язык требует много времени для восприятия, его обработка абстрактна и произвольна. С точки зрения восприятия и познания язык является трудоемким способом коммуникации из-за его обязательной линейности. Поскольку языковые знаки абстрактны, произвольны и далеки от восприятия, сенсорные впечатления играют второстепенную роль в ментальной обработке, в результате чего содержание запоминается с большим трудом. Кроме того, комбинации звуков и букв приобретают смысл только благодаря перекодированию со стороны реципиента. Это перекодирование является сложным ментальным процессом, поскольку реципиент должен придать значение знакам, которые не похожи на объекты его окружения , .
Подводя итог, можно сказать, что прагматическое измерение знакового процесса касается отношений между знаком и интерпретатором. На данном этапе необходимо четко разграничить синтаксическое и семантическое измерение. В то время как синтаксис, согласно Ч.У. Моррису, занимается тем, как знаки разных классов формально комбинируются по определенным правилам и образуют составные знаки, семантика исследует, что означают эти комбинации.
Поскольку в мультимодальном тексте вербальный текст и статичное изображение как два различных модуса закрепили за собой твердые правила их сочетания, мы в этой статье рассматриваем оба модуса как составной знак в смысле Ч.У. Морриса. Из цифрового дискурсивного фрагмента о донорстве органов в Германии мы хотим проанализировать сочетания языка и изображения в отношении их выразительных форм, то есть их возможностей передавать мысли и факты в связке друг с другом. Соответственно, мы ограничиваемся семантическими связями между двумя носителями знаков, то есть вкладом одного модуса в другой в рамках общего смысла. В. Нёт классифицирует отношения между текстом и изображением как избыточные, доминирующие и дополняющие .
Если изображение дублирует информацию, содержащуюся в тексте, то отношение между ними является избыточным. Такие изображения не способствуют лучшему пониманию текста и не добавляют нового значения. Если изображение информативнее текста, то наблюдается доминирующее отношение между изображением и текстом. Доминирование изображения, например, встречается в рекламе. Молитор, Бальстэдт и Мандл считают, что существует комплементарное отношение, когда и текст, и изображение необходимы как источники информации для понимания общего смысла , .
В мультимодальных текстах встречаются все указанные связи между вербальным текстом и статичным изображением. В этой статье мы сосредоточимся только на комплементарности текста и изображения, поскольку нас интересует, как оба модуса используют свой различный семиотический потенциал для достижения расширения значения.
3. Основные результаты
В данной статье различаются важные семантические связи между модусами вербального текста и статического изображения и объясняются их характеристики и принципы действия на основе выбранных фрагментов цифровых текстов из онлайн-журналов и интернет-сайтов о донорстве органов в Германии. Методологической основой послужит сопоставление важных семиотических свойств знаковых систем текста и изображения. Основное внимание в анализе уделено тому, как оба модуса устанавливают связь с содержанием знака. Дополнительным основанием послужит типология отношений между языком и изображением Х. Штёкля, которая использует риторические фигуры — метонимию, символ и метафору — для разграничения семантических отношений. Выделенные Х. Штёклем мультимодальные текстовые шаблоны иллюстрируют семиотические особенности изображений и создают семантический мост между текстом и изображением, что, в свою очередь, позволяет интегрировать изображения в вербальные текстовые структуры.
В случае метафоры изображение обозначает вербальный объект текста, когнитивная операция представляет собой ассоциацию значений. Символические отношения характеризуются тем, что в изображении символизируется сложное содержание текста, что на когнитивном уровне проявляется в интерпретации символа, изображенного на картинке, и его связи со сложным текстовым высказыванием. Наиболее тесная семантическая связь — метафорическая, поскольку в этих случаях картинка литераризирует языковую метафору. Для понимания этих связей необходимо знание языковых метафор, при этом когнитивная операция заключается в распознавании языковой метафоры в изображении.
Следует подчеркнуть, что в центре семантических отношений между текстом и изображением находятся метонимии и метафоры. Важная роль риторического стилистического средства метонимии объясняется тем, что вербальный и визуальный контент текста могут быть связаны семантически посредством различных ассоциативных шагов. Метафорические отношения встречаются особенно часто и имеют особое значение, поскольку благодаря им две знаковые системы естественным и гармоничным образом становятся параллельными.
4. Обсуждение
Для анализа мы используем журналистские онлайн-тексты из немецких региональных ежедневных и еженедельных газет «Die Zeit», «Frankfurter Allgemeine Zeitung», а также из онлайн-домена «Organspende-info.de» и «Bayrischer Rundfunk», поскольку в этих жанрах связи между текстом и изображением наиболее профессионально развиты. Кроме того, именно в журналистике наблюдается наибольшее разнообразие таких связей. Как значение создается и расширяется на основе межсемиотических взаимодействий, мы хотим исследовать на примере темы трансплантации органов в Германии, поскольку в связи с «нехваткой органов» активно ведутся дискуссии о законе о трансплантации.
Для описания семантических отношений между текстом и изображением мы опираемся на мультимодальные текстовые шаблоны, разработанные Х. Штёкл, которые он описывает с помощью риторических фигур .
4.1. Метонимические отношения
Во многих текстах рассматриваются темы, включающие абстрактные явления или объекты, которые нелегко визуализировать . По этой причине между текстом и изображением возникают метонимические связи. Донорство органов также следует рассматривать как абстрактное явление, если анализировать его в этическом, религиозном или юридическом контексте. В этом случае донорство является не просто конкретным действием, а символом ценностей, норм и общественных принципов, что проявляется во множестве семиотических способах его объективации, в том числе мультимодельных.
Рассмотрим пример. В статье еженедельной газеты «Die ZEIT» от 2024 года рассматривается тема донорства органов на фоне существующей нехватки донорских органов . Для иллюстрации используется изображение, на котором показана операционная с несколькими хирургами, работающими над открытой грудной клеткой (рис. 1). Это изображение — удаление или трансплантация органов — частный случай концепции донорства органов, а именно донорства органов от живых и посмертных доноров. Изображение визуализирует основную тему текста и символически резюмирует его содержание, одновременно доминируя над всей структурой текста. Само по себе изображение является многозначным и зависит от смысла текста.
Заголовок и подзаголовок статьи: «Так можно урегулировать вопрос о донорстве органов. В Германии ежегодно умирают сотни людей из-за нехватки доноров органов. Межфракционная инициатива предлагает идеи по решению проблемы с согласием» (перевод от автора).
Рисунок 1 - Концепция донорства органов: донорство органов от живых и посмертных доноров
Примечание: визуально активированная метонимия
Связь между текстом и изображением является избыточной: изображение повторяет то, что сказано в тексте. Следует подчеркнуть, что создание и распознавание метонимической связи следует понимать как когнитивный процесс, основанный на ассоциациях значений . На этом примере (рис. 1) становится ясно, что изображения в мультимодальных текстах могут обозначать абстрактные концепции.
Второй пример метонимической связи между текстом и изображением взят из газеты Frankfurter Allgemeine Zeitung за 2024 год . Текст посвящен актуальной политической дискуссии в немецком Бундестаге, касающейся так называемой системы возражения при донорстве органов. С запланированным введением закона о решении по возражению в будущем будет установлено, что каждый человек в принципе может быть донором органов, если он не выразил явного несогласия при жизни. В настоящее время в Германии действует система согласия, которая регулирует, что донорство органов может осуществляться только в том случае, если человек дал на это свое согласие при жизни. С введением нового закона надеются, что количество доступных донорских органов увеличится. Однако закон о системе возражения пока еще не принят.
На изображении виден портрет немецкого писателя Давида Вагнера, жизнь которого была спасена благодаря пересадке печени (рис. 2). В этом примере иллюстрация является метонимией для системы возражения, поскольку он является примером нового рекламируемого закона, благодаря которому больше людей, таких как он, могут быть спасены благодаря донорству органов. Как общественный деятель, он обладает определенной степенью известности, что и делает возможным метонимический перенос. В данном случае и изображение, и текст взаимодополняют друг друга.
Заголовок и подзаголовок статьи: «Без донорского органа я бы сегодня был мертв. В Бундестаге вновь обсуждается система возражений. Решение по этому вопросу должно было быть принято уже давно. Ведь я хочу, чтобы было больше историй выживания, подобных моей» (перевод от автора).
Рисунок 2 - Поддержка системы возражений
Примечание: визуально активированная метонимия
4.2. Символические отношения
При символических связях между двумя модусами отношение к вербальному тексту выходит за рамки концепции, вызванной изображением. Чтобы ограничить интерпретативный потенциал изображений, следует обращать внимание на типичные формы и цвета, которые подкрепляют значение. Многие символы являются условными. На интернет-сайте «Organspende-info.de» увядший цветок, символизирующий конец жизни, используется для однозначного обозначения диагностики смерти в медицине .
В Германии, как и во многих других странах, смерть потенциального донора устанавливается исключительно на основании диагностики смерти мозга, которая определяет отказ всех функций мозга и, следовательно, смерть человека. Символ увядшего цветка, который не зацветет снова, даже если поставить его в воду, подтверждает достоверность диагностики смерти мозга (рис. 3).
С помощью символического изображения содержание языкового текста обобщается и в то же время скрывается тот факт, что существуют позиции, которые рассматривают однозначно диагностированную смерть мозга в смысле необратимого и полного отказа всех функций мозга как решающий момент в процессе умирания человека, но не принимают его как конечную точку человеческой жизни .
Заголовок и подзаголовок статьи: «Мозг и тело: смерть в медицине: Многие органы и ткани могут быть пожертвованы в рамках донорства органов от живых доноров. Однако большая часть трансплантируемых органов в Германии происходит от посмертного донорства, то есть донорства органов после смерти. Основным условием для посмертного донорства органов является медицинское подтверждение смерти донора. Прежде чем можно будет извлечь органы и ткани, необходимо бесспорно установить смерть донора» (перевод от автора).
Рисунок 3 - Смерть в медицине
Примечание: визуально активированный символ
4.3. Метафорические отношения
Многие связи между текстом и изображением в дискурсе о донорстве органов являются метафорическими. Это означает, что изображение устанавливает связь с текстом на основе конвенциональной метафоры. Метафоричность языка создает условия для переноса языковых репрезентаций на изображения, поэтому семантическая связь между языковыми и материальными изображениями более тесная, чем в случае метонимических и символических связей. Как правило, на изображениях представлено буквальное значение метафоры, или, по мнению Х. Штёкля, языковая метафора на таких изображениях литераризируется .
Первый пример взят из онлайн-домена «Organspende-info.de» и заимствован из метафорического поля «Жизнь — это путешествие» („Das Leben ist eine Reise“), распространенного в немецком языке . В тексте к изображению описывается, что трансплантация органов знаменует начало нового этапа жизни, который связан как с возможностями, так и с рисками (рис. 4). Визуальный ряд представляет старика и ребенка, смотрящих на море, при этом мальчик указывает на другой берег, что активирует метафору «Новый этап жизни подобен путешествию к новым берегам» („Eine neue Lebensetappe ist wie eine Reise zu neuen Ufern“) или идиоматическое выражение «К новым берегам» („Zu neuen Ufern“). Метафора, одновременно выражающая прощание с привычным местом или состоянием и переход к неизвестной и рискованной ситуации, усиливается двумя символами: морем, которое означает переход, и изображением молодого и старого человека рядом, что символизирует вечные перемены.
Изображение отражает буквальное значение метафоры, содержащейся в тексте. При этом указательный палец мальчика выполняет функцию закрепления . Под закреплением Р. Барт понимает форму индексальной связи между текстом и изображением. Привлекая внимание зрителя к определенным элементам изображения, выделяются или выбираются отдельные языковые выражения: словосочетание «новый этап жизни» обозначает название ситуации, показанной на изображении.
Индексальная ссылка, как она была разработана Р. Бартом в его эссе «Риторика изображения», также представляет собой комплементарную связь между текстом и изображением, поскольку оба они неразрывно связаны друг с другом и обусловливают друг друга.
Заголовок статьи: «Новый этап жизни для пациентов, перенесших трансплантацию (перевод от автора).
Рисунок 4 - Жизнь – это путешествие
Примечание: визуально активированная метафора
Вторая иллюстрация взята с веб-сайта «Bayrischer Rundfunk» и датирована 2020 годом . В статье читателю сообщается, что в начале того же года система возражений в немецком Бундестаге вновь была отклонена большинством голосов и что для донорства органов по-прежнему требуется согласие при жизни.
На изображении представлена новая интерпретация фрески Микеланджело «Сотворение Адама» (рис. 5). Знаменитая фреска на потолке Сикстинской капеллы сама по себе является прототипической метафорой сотворения жизни. Это изображение представляет собой интересный пример метафорической связи между текстом и изображением, поскольку показывает, как формируются когнитивные сходства между языком и изображением. Изображение буквально визуализирует значение языковой метафоры «дарить жизнь» („Leben schenken“), показывая Бога, создающего Адама. Буквальный перевод выражения «дарить жизнь» в картине объясняется в тексте тем, что для спасения жизни других людей после своей смерти необходимо дать согласие на донорство органов при жизни.
Метафорическая связь усиливается тем, что рука Бога держит сердце — самый сильный символ любви. Изображение сердца в руке Бога, в свою очередь, вызывает в немецкоязычном пространстве ассоциации с часто используемой в контексте донорства органов метафорой «донорство органов — это дар жизни» („die Organspende ist ein Geschenk des Lebens“) или «донорство органов – это дар из любви к жизни» („die Organspende ist ein Geschenk aus Liebe zum Leben“). Мотив сердца в знаменитой картине побуждает читателя продолжить чтение текста и получить информацию. Кроме того, заголовок и визуальное воплощение метафоры предвосхищают содержание текста, поскольку эта метафора является примером системы возражений.
Заголовок и подзаголовок статьи: «8 вещей, которые каждый должен знать о донорстве органов. Остается в силе: только тот, кто явно решил стать донором, может спасти чью-то жизнь. Но для этого все должны чаще сталкиваться с этой темой. Здесь вы найдете все, что нужно знать об этом вопросе» (перевод от автора).
Рисунок 5 - Донорство органов — это дар из любви к жизни
Примечание: визуально активированная метафора
5. Заключение
Благодаря проведенному семиотическому анализу цифрового дискурсивного фрагмента о донорстве органов в Германии удалось выявить основные типы интерсемиотических отношений между вербальным текстом и статичным изображением. Использование модели Ч. Морриса и типологии связей Х. Штёкля показало, как метонимия, метафора и символические отношения способствуют расширению и углублению смыслового содержания мультимодальных текстов. Особое значение имеет выявление когнитивных операций, необходимых для интерпретации этих связей, что подчеркивает важность понимания психологических и культурных факторов в процессе восприятия. Исследование подтверждает, что интеграция изображений в вербальные структуры является сложным семиотическим процессом, в котором различные типы отношений играют важную роль, усиливая и дополняя смысловые сообщения.