Мультимода́льный ана́лиз (англ. multimodal analysis), современное направление конверсационного анализа, в котором основным объектом изучения является не речь как ресурс для реализации практических целей взаимодействующих, а мультимодальность как специфическая черта человеческого действия, которая предполагает одновременное использование множества коммуникативных ресурсов (Bateman. 2017; Goodwin. 2000; Mondada. 2016; Stivers. 2005). Помимо речевых действий участников такими ресурсами являются их воплощённые (англ. embodied) действия: жесты, направления взгляда, движения тела, расположение в пространстве и т. д. Мультимодальный анализ расширяет объяснительные возможности конверсационного анализа, его активное развитие ныне связано с распространением методологии видеоанализа (Heath. 2010).

Мультимодальный анализ основан на утверждении конверс-аналитиков, что люди используют различные ресурсы для придания смысла собственным действиям и для понимания действий других. Основатель конверс-анализа Х. Сакс считал, что не только речь, но абсолютно все социальные практики являются упорядоченными. Это отражено в его известном принципе «порядок во всех точках» (Sacks. 1992. Vol. 1. P. 484). Смысл действий становится доступным другим в самом их осуществлении (не требуется говорить: «Я задаю вопрос», чтобы задать вопрос, поскольку само действие вопрошания одновременно передаёт информацию о том, что вопрос задаётся).

Хотя в социальных науках вплоть до недавнего времени не существовало традиции использовать видео для анализа естественно протекающих взаимодействий (Heath. 2010. P. 2–5), уже с 1980-х гг. некоторые учёные уделяли внимание неречевым феноменам взаимодействия и использовали для этого видеоданные (Goodwin. 1981; Heath. 1986). Причина такого интереса была вызвана тем, что организация взаимодействия не определяется исключительно речью. Если не рассматривать другие ресурсы, доступные участникам во время разговора, то некоторые феномены интеракционного порядка просто не поддаются объяснению. Например, даже короткая пауза в разговоре является интеракционно релевантной, т. е. воспринимается участниками как значимое отсутствие ожидаемого ответа. Если после приглашения следует пауза, приглашающий может ожидать, что за ней последует непредпочтительный ответ – отказ. К. Хит приводит пример взаимодействия врача и пациента, в котором пациент отвечает на вопрос врача «Что случилось?» после паузы 4,7 секунды (Heath. 1986). Эта огромная задержка с ответом обусловлена тем, что пациент ожидал, пока врач, занятый чтением медицинской карты, переведёт на него взгляд. В данном случае направление взгляда является релевантным для взаимодействующих ресурсом, а не только речевые феномены (вопрос-ответ, интонация и пауза).

В 2000-х гг. в современных исследованиях в области антропологии, лингвистики и социологии происходит т. н. мультимодальный, или воплощённый, поворот (Deppermann. 2013; Goodwin. 2000; Mondada. 2016; Nevile, 2015; Embodied interaction ... 2011). Интерес к мультимодальности оказался обусловлен (1) теоретическим переосмыслением роли языка в социальном взаимодействии, (2) развитием методологии видеоанализа и (3) появлением новых коммуникативных технологий. В результате указанных процессов возросло исследовательское внимание к роли тела в социальном взаимодействии.

Мультимодальный анализ рассматривает комбинации различных модальностей в производстве социального действия. Невербальные элементы взаимодействия не просто составляют контекст для речи, а выполняют самостоятельные функции. Ч. Гудвин приводит пример игры в классики: одна из играющих девочек перепутала квадрат, на который должна была прыгнуть; другая указывает на ошибку, одновременно произнося номера квадратов и показывая соответствующие цифры на пальцах (Goodwin. 2000). Жестикуляция не просто дублирует речь, а обеспечивает ориентацию на говорящего, поскольку жесты производятся непосредственно перед лицом адресата. Смысл действия создаётся из сочетания различных модальностей, а не содержится отдельно в каждой из них. Взаимодействие мультимодально по своей сути, поэтому выделение отдельных модальностей – аналитическая процедура. Между модальностями нет априорной иерархии: использование тех или иных ресурсов для взаимодействия ситуативно. Например, если мы сидим, мы «теряем» ноги как средство указания или управления статусом участия в разговоре.

В настоящий момент можно выделить два теоретических направления в мультимодальном анализе:

1) Переход от мультимодальности к мультисенсориальности, изучению невизуальных ресурсов коммуникации, таких как осязание и обоняние (Mondada. 2019). Мультисенсориальность расширяет идеи мультимодального анализа, это переход от изучения взаимодействия к исследованию воплощённых практик чувственного восприятия мира, которые также интерсубъективны;

2) Рассмотрение роли мультимодальности в более широком контексте семиозиса – возникновения знаков и знаковых систем. В этом подходе различные модальности рассматриваются как семиотические поля, переплетение которых во взаимодействии создаёт сообщества и культуры (Goodwin. 2019), т. е. предлагается микросоциологическое объяснение макропроцессов.