Статья

Название: Мультимодальная коммуникация в фокусе исследовательской рефлексии: проблемно-ориентированный подход

Авторы: Анна Викторовна Белоедова, Евгений Александрович Кожемякин

Белгородский государственный национальный исследовательский университет, Белгород, Россия

Аннотация: Представлен обзор проблемно-ориентированного подхода к анализу мультимодальной коммуникации, разработанного Джоном Бейтманом, Яниной Вильдфойер и Туомо Хиппала. Авторы обосновывают продуктивность этого подхода к анализу современной информационно-коммуникационной системы в связи с появлением новых устойчивых автономных медиа – смартфонов, компьютерных игр, 3D-кинематографа, технологий дополненной и виртуальной реальности. К базовым концептам, ассоциируемым с мультимодальностью, авторы относят модус, коммуникативную ситуацию, эргодический текст с его свойствами мутабельности и темпоральности. Важнейшими характеристиками коммуникативной ситуации, которая выступает единицей мультимодального анализа, являются источник информации, реципиент, обстоятельства коммуникации и ее длительность. В свою очередь, коммуникативные ситуации, взаимодействуя друг с другом, порождают линейные, микроэргодические, немутабельные эргодические и мутабельные эргодические типы в зависимости от того, какой способ восприятия информации реципиентом превалирует. Наиболее репрезентативные результаты при изучении мультимодальных объектов, «зыбких» и непредсказуемых, дает сочетание квалитативных и квантитативных методов, применение корпусных методов, видеоокулографических техник и вычислительных методов.

Ключевые слова: мультимодальность, мультимодальные исследования, проблемно-ориентиро- ванный подход, базовые принципы мультимодальности, коммуникативная ситуация, методы мультимодальных исследований

Список литературы:

Дёгтева И. С. Дж. Бейтман, Дж. Уилдфер, Т. Хиппала. Мультимодальность. Базовые принципы, способы исследования и методы анализа. Проблемно-ориентированное введение. (Реферат) // МЕТОД: Московский ежегодник трудов из обществоведческих дисциплин: Сб. науч. тр. / РАН. ИНИОН. Центр перспективных методологий соц. и гуманит. исслед.; ред.: М. В. Ильин (гл. ред.) и др. М., 2019. Вып. 9: Методологические аспекты трансдисциплинарного трансфера знаний / Ред.-сост. вып. М. В. Ильин. С. 92–97.

Кибрик А. А. Мультимодальная лингвистика // Когнитивные исследования. 2010. Т. 4. С. 134–152.

Bateman J., Wildfeuer J., Hiippala T. Multimodality. Berlin; Boston: De Gruyter Mouton, 2017.

Bateman J., Wildfeuer J., Hiippala T. Book Review: A question of definitions: foundations for multimodality: A response to Charles Forceville’s review // Visual Communication. 2020. No. 19 (2). P. 317–320.

Featherman C. Book review: John Bateman, Janina Wildfeuer and Tuomo Hiippala. Multimodality: Foundations, Research and Analysis: A Problem-Oriented Introduction // Discourse Studies. 2018. No. 20 (3). P. 443–445.

Forceville C. Book Review: Multimodality: Foundations, Research and Analysis – A Problem-Oriented Introduction // Visual Communication. 2020. No. 19 (1). P. 157–160.

Hockings P. (ed.). Principles of visual anthropology. Berlin: Walter de Gruyter, 2003.

Kress G. R., Leeuwen T. van. Multimodal discourse: the modes and media of contemporary communication. London: Arnold, 2001.

Matsumoto D., Frank M. G., Hwang H. S. (eds.). Nonverbal communication: Science and applications. London: Sage Publ., 2012.

Moriarty S. Visual semiotics theory // Handbook of visual communication: Theory, methods, and media. 2005. No. 8. P. 227–241.

Nöth W. Visual semiotics: Key features and an application to picture ads // The Sage handbook of visual research methods. 2011. P. 298–316.

Poyatos F. (ed.). Advances in nonverbal communication: sociocultural, clinical, esthetic and literary perspectives. London: John Benjamins Publ., 1992.

Zagar I. Against Visual Argumentation: Multimodality as Composite Meaning and Composite Utterances // Mohammed D., Lewinski M. (eds.). Argumentation and Reasoned Action. College Publications, 2016. P. 829–852.