ВОЗМОЖНОСТЬ КОРПУСА: ОТПРАВНЫЕ ТОЧКИ И ОПЫТ СОЗДАНИЯ КОРПУСОВ МУЛЬТИМОДАЛЬНЫХ ТЕКСТОВ 
Большинство текстов, представленных в привычной визуальной коммуникации, задействуют сразу несколько систем выразительных средств, которые также называют модусами в рамках развивающейся в зарубежной лингвистике концепции мультимодальности [Kress 2010]. Это касается как более традиционных печатных текстов, так и цифровых. Тем не менее, представляется, что взаимоотношения между различными системами выразительных средств в пределах одного текста привлекали сравнительно мало внимания и находились скорее на периферии лингвистики, в области семиотики, на границе с психологией, социологией, культурологией.
Хотя концепция мультимодальности применялась для исследования самых разных знаковых систем и их сочетаний (музыки, изобразительного искусства, кино [Van Leeuwen 1999; Bateman, Schmidt 2011]) и даже изучения коммуникации обезьян [Waller et al. 2013], 
в данной работе нас интересует, как в рамках мультимодальности разрабатывается процедура анализа сложных (креолизованных) визуальных текстов, одновременно задействующих вербальные, графические и иные средства и системы для передачи информации. В современной лингвистике выделяется кластер англоязычных работ, посвященных этой проблематике, рассмотренной с позиции мультимодальности. Его ядро представлено работами британского лингвиста Джона Бейтмана, ученого и практика Роберта Воллара и их коллег и соавторов, например, [Bateman 2008; Bateman et al. 2018; Waller 2017].
Большая часть этих работ нацелена на практические результаты. В основе лежит положение о том, что взаимоотношение выразительных систем в конкретных текстах напрямую влияет на их эффективность (т. е. успешность выполнения коммуникативной задачи) для намеченного адресата или группы адресатов. Предполагается, что исследования в этой области необходимы как для оценки эффективности самих текстов в коммуникации, так и для оценки конкретных решений, принятых во время создания, оформления и «производства» текстов. Для разработки этого положения Джон Бейтман предлагает, во-первых, использовать понятие жанра как синтетическое, объединяющее разные способы выражения значений в текстах, и, во-вторых, проводить корпусные исследованиия таких текстов [Bateman 2008: 50–65]. Создание корпусов мультимодальных текстов было бы полезно не только для анализа способов представления информации, но и для изучения их восприятия и понимания, что является актуальной прикладной задачей и привлекает внимание академических исследователей коммуникации и практических специалистов из самых разных областей.
Согласно подходу Бейтмана [Bateman 2015: 221–222], в рамках концепции мультимодальности исследуется совместное использование выразительных средств разной природы (визуальных, аудиальных, вербальных, графических и пр.) и их взаимодействие в формировании сообщений. Первоисточником идеи анализа мультимодальных текстов признаются работы Г. Кресса и Т. ван Левена (в частности, [Kress, Van Leeuwen 2001]), в свою очередь обращавшихся к концепции социальной семиотики М. Хэллидея [Halliday 1978]. В изложении Бейтмана, эти авторы положили начало изучению текстов в широком понимании, не входивших в число канонических объектов исследования лингвистики и включавших фильмы, живопись, веб-сайты и пр. В основе анализа Г. Кресса и Т. ван Левена лежало представление о грамматике как системе выбора выразительных средств и их сочетания для передачи смысла и достижения нужного эффекта в коммуникации.
Представление о жанре в работах Бейтмана и других рассматриваемых авторов, которое используется в разработке метода анализа мультимодальных текстов, в явном виде заимствует два критерия из теории речевых жанров. Первый — общность структуры текстов — прямо соответствует одному из трех критериев выделения жанра в работах М. М. Бахтина (общность темы, стилистики и композиции), второй — коммуникативная задача — выработан в работах А. Вежбицкой (см. также [Гиндин 2015]). В неявном виде применяется также критерий общности стилистических средств. Кроме названных, важнейшим критерием выделения жанра признается воспроизводимость и узнаваемость типов текстов в некотором сообществе. Этот критерий выходит на первый план при оценке эффективности: привычный жанр формирует у адресата ожидания как относительно содержания текста, так и модели взаимодействия с ним.
Гипотезу о применимости понятия жанра к мультимодальным текстам (и как таковую возможность их жанровой классификации) предполагалось проверить на специально отобранном материале, включающем печатные и цифровые тексты. В качестве ограничительного критерия для технического удобства была выбрана условно страничная организация текстов (page-based texts). Для систематизации и анализа на основе собранного материала предполагалось создание тестового исследовательского корпуса, что подразумевало разработку системы аннотирования сложных, нелинейно организованных мультимодальных текстов.
При разработке схемы представления материала было решено использовать анализ структуры текстов, методы качественного контентанализа, изучение их риторической организации и связности. Мультимодальный текст представляли состоящим из нескольких слоев, каждый из которых соответствовал уровню анализа со своим методическим аппаратом и формой представления:
1. На первом уровне (base layer) происходило выделение базовых, визуально отделимых друг от друга текстовых (предложения, абзацы, заголовки, подписи и т. д.) и графических элементов (изображения, рисунки, иконки и т. д.) — минимальных составляющих (base units). 
2. На следующем уровне — композиционном (layout layer) — составлялось описание выделенных составляющих в соответствии с их расположением относительно других элементов (группировка по близости) и на странице (расположение в пространстве). Результат анализа представляли в виде древовидной структуры. Также на этом уровне описывались особенности оформления составляющих. 
3. Далее происходило определение смысловых (риторических) отношений между элементами в терминах теории риторической структуры [Mann, Thompson 1988] и составлялась их схема (rhetorical layer). 
4. Наконец, на последнем, «навигационном» уровне (navigation layer) отмечались особые элементы, поддерживающие структуру целого текста и создающие интертекстуальные связи (нумерация, отсылки и т. д.) внутри целого текста или некоторого гипертекста.
Кроме подтверждения гипотезы о жанровой классификации мультимодальных текстов, с помощью такой схемы описания материала предполагалось проверить, насколько композиционная и риторическая структуры соответствуют друг другу и как это влияет на успешное понимание текстов. Иными словами, насколько важна поддержка смысловой структуры пространственным расположением и оформлением текстовых и графических элементов для правильной интерпретации целого текста адресатом. Забегая вперед, скажем, что в процессе анализа материала действительно были выявлены случаи несоответствия, которые потенциально могут привести к ошибкам при восприятии и понимании текстов, а также при усвоении информации, содержащейся в них, что показывает возможность использования такого рода корпусного материала в прикладных исследованиях эффективности обучающих материалов и информирования в широком понимании [Bateman 2017].
Сейчас известно не менее десяти исследований на основе локальных корпусов разноформатных мультимодальных материалов: туристических брошюр, постеров, веб-страниц и пр. (краткий обзор см. [Hiippala 2017]). В большинстве случаев тексты размечались вручную, что представляло известную сложность в масштабировании подхода и создания одного общего корпуса мультимодальных текстов. Для ряда современных исследований разметка корпусов также проводится вручную. Тем не менее, благодаря накопленному опыту работы с такими текстами, а также развитию технологий и возможностей коллективных исследований (например, совместная разработка открытого кода программного обеспечения, краудсорсинг и пр.), стали появляться попытки автоматизации системы аннотирования текстов. В частности, они включают использование технологии компьютерного зрения для разметки базовых элементов текстов и их группировки, алгоритмов распознавания текстовых фрагментов и возможностей совместной работы с результатами анализа на каждом уровне (например, [Hiippala 2016]). Тем не менее, даже при такой локальной автоматизации каждый этап работы пока предполагает настройку и верификацию исследователем и определенный объем ручной разметки.
Несмотря на сложность быстрого набора и обработки материала для мультимодальных корпусов, уже известны примеры их применения для позитивного решения исследовательских задач разного рода: разработка упомянутой выше проблемы классификации жанров печатных и цифровых сложных текстов; сравнения применения выразительных средств для решения коммуникативных задач — как синхронно, так и в диахронии; изучения соотношения текста и изображения; проблемы перевода и культурной адаптации мультимодальных текстов; оценки эффективности текстов в коммуникации и др. В перспективе потенциал и качество корпусов такого рода можно значительно усовершенствовать при обогащении современных наработок богатым теоретическим и практическим научным аппаратом, а также, как представляется, опытом отечественной теории текста и корпусной лингвистики.