Когнитивные механизмы понимания вербальных и иконических текстов

Условия жизни современного человека требуют от него умения работать с большим объемом разнородных текстовых материалов: учебными пособиями, рабочими документами, художественной литературой, рекламными объявлениями, сообщениями СМИ, развлекательными статьями и пр. При этом в связи с активным развитием печатных и мультимедийных технологий содержание современных текстов претерпевает значительные качественные трансформации. Можно предполагать, что эти тенденции требуют соответствующих изменений в способах смысловой работы читателей с текстом.

Проблема содержательных модификаций текста активно разрабатывается специалистами в области лингвистики (для обзора см. [8]), предлагающими разнообразные термины для описания текстов новых форматов. В частности, в литературе встречаются такие понятия, как «креолизованные тексты» [11], «контаминированные тексты» [1], «поликодовые тексты» [2], «тексты новой природы» [6] и пр. Все перечисленные термины объединяет идея о том, что современные тексты являются семиотически осложненными, т.е. включающими в себя элементы более чем одной семиотической системы. При этом для того, чтобы материал подобного рода мог быть назван текстом, он должен отвечать требованиям связности и цельности, описанным А.Н. Леонтьевым [7].

В настоящей статье будут проанализированы когнитивные механизмы, актуализирующиеся при работе читателей с определенным типом современных текстов — иконическими текстами¹ (репрезентативным примером текстов данной категории является инфографика). Материал такого формата включает в себя элементы двух семиотических систем: вербальной (представленной в виде письменной речи) и иконической (представленной в виде иллюстраций). Элементы обеих групп выполняют смыслообразующую функцию, а для успешного понимания прочитанного читателю необходимо усвоить семантику всех содержащихся в тексте знаков и связей между ними.

Иконические тексты оказались в фокусе нашего внимания, так как используемые в них типы символьных систем соответствуют двум формам репрезентации знания, представленным в когнитивной системе человека. Несмотря на продолжительную дискуссию о роли вербальных и образных компонентов в процессах мышления, на сегодняшний день имеется достаточное количество эмпирических свидетельств в пользу необходимости их скоординированного взаимодействия для успешной реализации интеллектуальной деятельности [3; 4; 12; 21–23].

Одной из наиболее влиятельных зарубежных теорий, описывающих механизмы взаимодействия образных и вербальных компонентов мышления человека, является теория двойного кодирования А. Пайвио (Paivio) [21]. Она предполагает наличие у человека двух относительно независимых психических систем, оперирующих разными типами информационных единиц: «логогенами» в вербальной системе и «имагенами» в невербальной. Экспериментальные исследования автора показали, что вербальные стимулы обладают «образным потенциалом», а установление связей между элементами обеих психических систем является фактором, повышающим успешность когнитивной деятельности [22; 23].

Одним из первых отечественных ученых, разрабатывавших данную проблему, являлся Л.М. Веккер. Мышление человека характеризуется им как «двуязычное», оперирующее симультанно-пространственными образными структурами и знаковыми компонентами одновременно, что позволяет выстроить полную и точную интеллектуальную репрезентацию объекта мысли [3]. Схожим образом о роли образных составляющих мышления высказывался А.А. Гостев, указывавший на то, что они представляют собой «мостики» к хранилищу опыта человека и в таком виде опосредуют процессы познания и регуляции поведения [4].

Таким образом, понимание, представляющее собой желаемый результат познавательной деятельности, может быть определено как процесс перевода внешней информации в формат внутренней репрезентации с сохранением основных структурных элементов и возможностью оперировать ими на ментальном плане [12]. В.В. Знаков отмечает конструктивный характер данного процесса, подчеркивая, что «понимание опосредует процесс получения знания, наделяя его смыслом» [5, с. 20]. При этом в случае чтения вербальных текстов человек сталкивается с необходимостью одностороннего перевода материала с вербального языка на язык образных структур. Материал иконического формата включает в свой состав готовые образные компоненты, что ставит вопрос об их вкладе в процесс формирования у читателя ментальной репрезентации текста.

Идеи А. Пайвио легли в основу двух наиболее известных моделей усвоения читателями смысла иллюстрированных текстов. Предложенная Р. Майером (Mayer) когнитивная теория мультимедийного обучения (Cognitive Theory of Multimedia Learning, CTML) базируется на предположении о том, что при восприятии сенсорных стимулов вербального и образного характера у человека формируются независимые репрезентации, представленные в виде соответственно вербальных и образных моделей материала [18]. Схожим образом функционирует интегративная модель понимания текста и иллюстраций (Integrated Model of Text and Picture Comprehension, ITPC), предложенная В. Шнотцем (Schnotz) [28]. Однако ключевое отличие последней состоит в том, что она предполагает формирование целостного представления текста, включающего его пропозиционную структуру (словесно оформленную схему) и ментальную модель (ее образное наполнение). При этом названные составляющие не находятся в прямой зависимости от типа воспринимаемого материала и включают в себя информацию, представленную как в вербальной, так и в образной форме.

Авторы обеих моделей указывают на то, что включение иллюстраций в текст призвано облегчить его понимание читателями. Но для достижения этой цели важно учитывать два фактора, способных нивелировать проявление ожидаемых эффектов: ограничения рабочей памяти и необходимость наличия в долговременной памяти релевантных схем, фасилитирующих освоение материала. Эмпирические исследования подтверждают неоднозначность влияния иллюстраций на успешность усвоения читателями смысла иллюстрированных текстов. Так, многократно было показано, что сочетание в тексте вербальной и графической составляющих способствует его лучшей когнитивной обработке. В частности, включение иллюстративных элементов может приводить к лучшему запоминанию [19; 24], построению грамотной ментальной репрезентации текста [29] и повышению продуктивности решения дедуктивных задач на основе прочитанного [14].

Однако существует и большое количество работ, отражающих наличие специфических затруднений, возникающих у читателей при работе с иконическими текстами. Это исследования, показывающие, что иллюстрации способствуют построению адекватной ментальной модели текста только при определенной организации графических элементов [15] — и преимущественно у участников с низким уровнем базовых знаний по теме материала [20]. Важно отметить, что на сегодняшний день известно крайне мало работ по теме, выполненных на русскоязычных выборках. К их числу относится исследование Т.Е. Петровой и Е.И. Риехакайнен, в котором также было показано, что при работе с иконическими текстами читатели лучше выполняют задания, направленные на диагностику запоминания отдельных элементов, но хуже понимают общий смысл прочитанного [26]. При этом среди иллюстрированных текстов наиболее доступными для понимания являются линейно организованные материалы с привычной системой навигации (например, делением на блоки, наличием стрелок) [25].

Помимо собственно когнитивных эффектов, обусловленных включением иллюстраций в текст, важно учитывать и мотивационную функцию последних [17]. Экспериментальные исследования показывают, что люди чаще отдают предпочтение работе с иллюстрированными текстами, чем с вербальными, не содержащими иллюстраций [16; 27]. Особенно ярко этот эффект проявляется в случае дефицитов в развитии навыка чтения [27].

Российские исследователи также отмечают, что иконические тексты получают более высокие эмоциональные оценки читателей [6] и воспринимаются как более простые для понимания в сравнении с классическими вербальными материалами [26].

Таким образом, специфика чтения иконических текстов изучена недостаточно. Несмотря на то, что накоплен большой массив данных, свидетельствующих о положительном влиянии иллюстраций на понимание смысла текста, данная проблема требует более детальной проработки. В частности, есть основания полагать, что иконические тексты предъявляют высокие требования к когнитивной работе человека и его метакогнитивным навыкам. При этом сам формат таких текстов может вызывать у читателей позитивные эмоции и, предположительно, приводить к завышенным ожиданиям в отношении успешности собственной интеллектуальной работы с материалом.

Целью нашей работы стал анализ когнитивных механизмов, опосредующих понимание текстов разного формата (вербальных и иконических).

В исследовании проверялись следующие гипотезы:

1. существуют значимые различия в успешности понимания текстов разного формата — вербальные тексты понимаются респондентами лучше, чем иконические;
2. существуют значимые различия в уровне самооценки понимания текстов разного формата — самооценка понимания вербальных текстов респондентами ниже, чем самооценка понимания иконических текстов.

Для проверки сформулированных гипотез нами было проведено экспериментальное исследование.

Методика

Эксперимент был реализован в два последовательных этапа.

Основной задачей подготовительного этапа стала разработка стимульного материала² — текстов разного формата, эквивалентных по своему содержанию. Для ее решения нами были отобраны три текста иконического формата, представленных в открытом доступе на сайте электронного журнала «Инфографика» [13]. Тематическое содержание текстов было различным и ни в одном из случаев не требовало предварительных знаний для их успешного понимания. Разнообразие тематического содержания текстов стало фактором, призванным снизить риски возникновения смысловых артефактов, обусловленных спецификой отобранных стимулов, а особенности их графической структуры — условием, требующим актуализации широкого спектра интересующих нас когнитивных действий, совершаемых респондентами в процессе чтения. Пример стимульного текста иконического формата представлен на рис. 1; с более полным описанием отобранных стимулов можно ознакомиться в сопроводительных материалах к статье (pdf).

Далее к каждому из отобранных текстов были составлены вербальные аналоги. Их основой послужили вербальные фрагменты, представленные в исходном иконическом материале. Они были последовательно организованы и объединены связующими элементами (служебными частями речи, вводными и переходными фразами) для обеспечения цельности итоговых вербальных аналогов иконических текстов. Для проверки смысловой эквивалентности полученных стимульных пар был использован метод сравнения наборов ключевых слов (НКС) [9]. НКС принято считать текстом-«примитивом», отражающим основные смысловые элементы исходного материала, полученные путем его предельного свертывания. Таким образом, тексты, НКС которых являются сходными, могут быть оценены как близкие по семантическому составу.

Выборка данного этапа исследования состояла из 67 человек в возрасте от 18 до 33 лет, имевших полное среднее образование, т.е. владевших навыком чтения на достаточном уровне. С помощью электронной анкеты каждому из респондентов были предложены для ознакомления три текста разного содержания и формата и поставлена задача выделить 15 ключевых слов для каждого них. Формат предъявляемых текстов варьировался между участниками. Так как осмысленное чтение текстов представляет собой сложную когнитивную задачу, респонденты имели возможность проработать комфортный для себя объем материала, т.е. завершить заполнение анкеты после прочтения любого из текстов, сохранив результат. Сбор данных был завершен после того, как было получено по 20 наборов ключевых слов для каждого из текстов разработанных стимульных пар, что являлось достаточным количеством для выполнения выбранной технологии анализа [9]. Выделенные участниками перечни ключевых слов для каждого из текстов были сведены к словарной форме и объединены в общий список, после чего была подсчитана частота встречаемости каждого выделенного респондентами слова.

Следующим шагом стало сопоставление полученных наборов ключевых слов для каждой из пар текстов. Совпадение первых 10 слов наборов (что отражает условие сильной компрессии текста [10]) для каждой из пар составило от 70 до 80%. Это позволило оценить разработанные пары стимульных текстов как эквивалентные по смысловому составу и использовать их в дальнейшей работе.

Целями основного этапа исследования стали сбор, обработка и анализ экспериментальных данных для проверки сформулированных гипотез. Выполнение этих задач было организовано в соответствии с логикой комбинированной методологии, сочетающей элементы количественного и качественного исследовательских подходов.

Основным методом сбора данных на этом этапе стало глубинное полуструктурированное интервью. Выбор такого инструментария был обусловлен особенностями цели исследования. Нам было важно не ограничиваться оценкой результативных показателей интеллектуальной работы читателей с текстами, традиционно оцениваемых с помощью тестовых заданий. Не менее важным для нас являлся анализ целостных ментальных репрезентаций текстов, формирующихся у респондентов в процессе чтения, и качественного своеобразия когнитивных действий, обусловливающих специфику этих репрезентаций. Полуструктированный характер интервью предполагал наличие гида, содержавшего ряд ключевых вопросов, необходимых для последующей оценки полноты понимания текста участником. Однако частные особенности интервью (порядок основных вопросов, количество и содержание дополнительных вопросов и пр.) варьировались в соответствии с логикой обсуждения, комфортной для каждого из респондентов.

На основном этапе в сборе данных приняли участие 40 человек (77,5% — женщины) в возрасте от 18 до 37 лет (Мe = 22, mad = 3): жителей г. Санкт-Петербурга, обучающихся в высших учебных заведениях или имевших высшее образование на момент участия в исследовании.

Исследовательская процедура была организована следующим образом. Перед началом каждый респондент был проинформирован о целях исследования и подтвердил готовность своего участия в нем на добровольной основе. Далее в ходе интервью участник знакомился с двумя текстами: одним вербальным и одним иконическим. Время работы с текстом не ограничивалось, по окончании чтения респондент сообщал интервьюеру о своей готовности перейти к следующему этапу. Вербальные тексты были представлены в печатной форме на листах формата А4 (шрифт Times New Roman, кегль 12), иконические тексты были представлены в печатной форме на листах формата A3.

После чтения текстов респондент самостоятельно заполнял анкету, включавшую:

• шкалу самооценки понимания прочитанного текста (от 0 до 100%);
• набор тестовых заданий, составленных к каждой из пар текстов. Тестовые задания состояли из 7 вопросов, среди которых 5 предполагали возможность выбора из предложенных вариантов ответа, а 2 были открытыми и допускали произвольную форму ответа. Кроме того, один из закрытых вопросов включал в себя иллюстрацию (не представленную в исходном тексте), а один из открытых требовал аналитического обобщения прочитанного материала.

Далее с участником проводилось интервью, направленное на уточнение особенностей сформированной ментальной репрезентации текста, а также обсуждение когнитивных механизмов, актуализирующихся в процессе чтения предложенного материала. Порядок предъявления текстов разного содержания и формата определялся с помощью процедуры псевдорандомизации. Продолжительность каждого интервью составила от 70 до 120 минут. Все интервью фиксировались с помощью диктофона, общая продолжительность полученного аудиоматериала составила 55 часов.

Обработка полученных данных выполнялась с использованием двух групп методов: количественного и качественного анализа. Подготовительным шагом стал перевод аудиозаписей интервью в формат письменных протоколов путем дословного транскрибирования.

Далее протоколы интервью оценивались независимо двумя экспертами-психологами на основе предварительно разработанной шкалы для оценки полноты понимания прочитанного респондентами³. Полное описание использованных критериев оценки представлено в приложении.

Таким образом, на основе полученных в ходе исследования данных были выделены следующие переменные: полнота понимания прочитанного, оцененная экспертами; успешность выполнения тестовых заданий к текстам; самооценка понимания прочитанного респондентами. Затем все численные показатели были проанализированы с использованием методов математической статистики. Согласованность экспертных оценок проверялась с помощью критерия конкордации W Кендалла; для сравнения показателей успешности выполнения тестовых заданий, полноты и самооценки понимания прочитанного респондентами использовались критерии χ² Пирсона (размер эффекта оценивался с помощью критерия V Крамера) и U Манна — Уитни (размер эффекта оценивался с помощью рангово-бисериального коэффициента корреляции). Для коррекции уровня значимости статистических выводов при выполнении множественной проверки гипотез была использована поправка Бенджамини — Хохберга. Расчеты были выполнены в программной среде R с помощью базовых операторов и функций пакетов psych и DescTools.

Для проверки и уточнения интерпретаций полученных статистических выводов также был осуществлен качественный анализ протоколов интервью.

Результаты

Для проверки согласованности экспертных оценок был использован коэффициент конкордации W Кендалла. Его значения оказались достаточно высокими как для вербальных (W = 0.762; df = 39; χ² = 59.443; p = 0.019), так и для иконических текстов (W = 0.778; df = 39; χ² = 60.704; p = 0.014).

В табл. 1 представлены распределение экспертных оценок полноты понимания текстов респондентами, а также описательные статистики количественных шкал. При анализе экспертных оценок нами было обнаружено, что случаи псевдопонимания (0 баллов) текстов встречались в выборке крайне редко (менее 4% случаев), поэтому в целях реализации наиболее адекватных процедур последующего анализа они были объединены с группой оценок, выставляемых при нарушении понимания как содержания, так и цели текста (1 балл).

Данная информация позволяет в общем виде оценить успешность работы респондентов с предъявленными текстами. Можно отметить, что чаще всего участники получали оценку 2a по критерию полноты понимания прочитанного текста (55%). Несмотря на то что наиболее полное понимание (3 балла) было обнаружено в небольшом количестве случаев (19%), крайне низкий уровень понимания (1 балл) также встречался в выборке достаточно редко (14%).

Результаты выполнения тестовых заданий свидетельствуют о том, что разработанные нами наборы тестовых вопросов позволили дифференцировать респондентов по уровню усвоения смысла текстов вне зависимости от их формата. Как показывают данные, представленные в табл. 1, разброс получаемых участниками оценок оказался достаточно широким (Rng = 7). При этом максимальной оценки по тесту (11 баллов) не получил ни один из участников.

Описательные статистики показателей самооценки уровня понимания респондентами являются не столь однородными. Особое внимание обращает на себя различие в минимальном значении самооценки понимания: в случае работы с вербальными текстами данный показатель равняется 50%, в случае работы с иконическими — 1%.

Значение критерия Шапиро — Уилка при проверке нормальности распределений переменных составило: W = 0.932, p = 0.018 для показателей успешности выполнения тестовых заданий к вербальным и W = 0.946, p = 0.056 к иконическим текстам; W = 0.900, p = 0.002 для показателей самооценки понимания вербальных и W = 0.887, p меньше 0.001 иконических текстов. Таким образом, обнаруженные отклонения полученных распределений от нормального обусловили выбор непараметрических критериев для последующего анализа данных.

Для сравнения успешности понимания прочитанных текстов нами были проанализированы два показателя: полнота понимания текстов (по результатам экспертных оценок) и успешность выполнения тестовых заданий к текстам.

Для сравнения уровня полноты понимания при работе респондентов с вербальными и иконическими текстами был использован критерий χ² Пирсона. Результаты его применения (χ² = 5.836; df = 3; p = 0.179; r_effect = 0.270) не позволили выявить значимых различий, связанных с форматом предъявляемых текстов. На рис. 2 представлено распределение оценок, демонстрирующее, что вне зависимости от формата предъявленных стимульных текстов респонденты чаще всего получали оценку 2а, свидетельствующую о наличии затруднений в полном воспроизведении содержащихся в тексте смыслообразующих элементов или связей между ними.

Для сравнения успешности выполнения тестовых заданий к текстам разных форматов был использован критерий U Манна — Уитни. Результаты его применения (U = 618.5; p = 0.139; r_effect = 0.139; n = 80) также не позволяют судить о наличии статистически достоверных различий. Однако ожидаемая тенденция была обнаружена для одной из пар стимульного набора текстов. При работе респондентов с текстом «Счастье по заказу» успешность выполнения тестовых заданий оказалась выше на статистически достоверном уровне в том случае, когда текст предъявлялся в вербальном формате (U = 21.5; p = 0.005; r_effect = 0.764; n = 27). На рис. 3 представлены распределения показателей результатов тестирования при чтении участниками текстов разного содержания и формата.

При сравнении показателей самооценки был обнаружен эффект, обратный ожидаемому в соответствии с гипотезой исследования. Респонденты выше оценивали собственную успешность в понимании вербальных, а не иконических текстов (U = 455.00; p = 0.004; r_effect = 0.431; n = 80).

Данная закономерность проявилась для всех стимульных пар, достигая уровня статистической достоверности или тенденции в двух случаях из трех. В частности, участники значительно выше оценивали собственную успешность понимания текстов «Счастье по заказу» (U = 32; p = 0.012; r_effect = 0.648; n = 27) и «Они уже здесь» (U = 48; p = 0.077; r_effect = 0.473; n = 27), представленных в вербальном формате. В наглядной форме обнаруженные тенденции представлены на рис. 4.

Таким образом, результаты статистического анализа данных позволили сделать ряд выводов в отношении сформулированных нами гипотез.

Первая гипотеза исследования нашла частичное подтверждение. В целом показатели успешности понимания текстов оказались независимы от формата их предъявления. Однако более успешное выполнение тестовых заданий к вербальным текстам в сравнении с их иконическими аналогами было обнаружено в одном случае из трех. Более детально причины избирательного проявления данного эффекта будут обсуждаться далее.

Самооценка понимания прочитанного респондентами оказалась выше в случае работы с вербальными, а не иконическими текстами. Обнаруженная закономерность является обратной тому, что мы ожидали в соответствии со второй гипотезой исследования. Можно сделать вывод о том, что последняя не нашла своего подтверждения.

Обсуждение результатов

Высокие показатели согласованности экспертных оценок свидетельствуют о надежности процедуры, использованной для оценки полноты понимания текстов респондентами. В частности, они позволяют судить о том, что сформулированные нами критерии схожим образом интерпретировались экспертами, а материал, представленный в протоколах интервью, не вызывал затруднений с точки зрения оценки интересующих нас характеристик.

Полученные распределения оценок полноты понимания текстов респондентами показывают, что осмысленное чтение представляет собой сложную когнитивную деятельность, полноценное осуществление которой не является тривиальной задачей даже для взрослых людей, получивших, как минимум, среднее образование. Участники исследования чаще сталкивались с затруднениями в понимании отдельных смысловых элементов текста или связей между ними, нежели в усвоении его общего смысла. Можно предполагать, что данная тенденция обусловлена содержанием текстов, которое в широком смысле можно охарактеризовать как научно-популярное. Трудности в понимании цели подобных текстов, как правило, возникали только в случае влияния ярких аффективных реакций на когнитивную деятельность (например, когда тема воздействия наркотических веществ на нервную систему человека провоцировала у участника возникновение нерелевантных психических проекций). Описанные тенденции проявлялись вне зависимости от формата предъявленного респонденту текста.

В отличие от предыдущих исследований [19; 24; 26; 29], в настоящей работе не было обнаружено значимых различий в успешности понимания респондентами текстов разного формата: они не проявились ни в случае сравнения экспертных оценок полноты понимания, ни в случае сравнения баллов по тестовым заданиям к текстам.

Только в одном случае из трех участники лучше выполняли тестовые задания к тексту вербального, а не иконического формата. Мы предполагаем, что данный результат может быть обусловлен следующими причинами. Текст «Счастье по заказу» (см. рис. 1) оказался наиболее сложным по субъективным оценкам респондентов. Показатели самооценки его понимания (М = 71.78 ± 26.86) не только оказались ниже, но и обладали гораздо более широким разбросом, чем в случае чтения респондентами текстов «AirPod» (М = 78.15 ± 15.66) и «Они уже здесь» (М = 80.93 ± 13.47). Качественный анализ протоколов интервью позволил более детально рассмотреть природу возникающих трудностей.

Комментируя данный текст, респонденты часто указывали на свою малую осведомленность в вопросе биологических основ функционирования нервной системы, субъективную новизну прочитанного материала, большое количество малознакомых понятий и отсутствие сформированного представления о связях между ними. При этом в случае чтения текста вербального формата участники сами выстраивали индивидуальный образный эквивалент описанного процесса, т.е. выполняли процедуру перевода текста с внешнего вербального языка на внутренний язык ментальных репрезентаций. Можно судить о том, что описанные когнитивные действия являются необходимым условием полноценного понимания текста, что согласуется с исследовательскими результатами, полученными на другом типе стимульного материала [12].

При работе с иконической версией данного текста образное сопровождение оказывалось заданным извне; кроме того, сама графическая структура текста требовала выполнения ряда дополнительных когнитивных действий. В частности, читателям было необходимо работать с непривычной структурной организацией текста (отличное от линейного циклическое отражение процесса), наличием непривычных средств навигации по тексту (выделение различных смысловых фрагментов с помощью цвета), необходимостью самостоятельного выстраивания многочисленных связей между графическими и вербальными элементами. Результаты упомянутого ранее исследования Т.Е. Петровой с соавторами указывают на то, что читатели лучше осваивают смысл иконических текстов простой структуры [25]. Обнаруженные нами закономерности позволяют интерпретировать данную тенденцию как следствие того, что задача анализа графической организации иконических текстов значительно повышает когнитивную сложность чтения, оказывая влияние на общую успешность понимания текста читателем.

Мы склонны полагать, что в случае работы со сложными по содержанию текстами последовательное и самостоятельное выстраивание их ментальной репрезентации может оказываться приемом, облегчающим процесс их понимания. При этом включение в текст иллюстративных элементов, отражающих структуру сложных закономерностей, и введение непривычных графических средств навигации по тексту могут затруднять понимание текстов иконического формата, несмотря на наличие изображений объектов, ранее незнакомых читателю.

Таким образом, можно заключить, что при отсутствии значимых различий в результирующих показателях полноты понимания текстов разного формата успешное усвоение их смысла требует актуализации различных когнитивных механизмов. К числу таковых для вербальных текстов могут быть отнесены: анализ общей структуры текста (выделение отдельных смысловых блоков и связей между ними); анализ вербальных формулировок и образных языковых средств (метафор, эпитетов и пр.); выстраивание ментальной репрезентации прочитанного (выделение в вербальном материале ключевых смысловых единиц и их перевод на индивидуальный язык внутренних образов с сохранением структуры связей между элементами). Понимание иконических текстов, напротив, задействует механизмы, требующие проработки образной информации, предоставленной извне. К ним относятся действия по анализу графической структуры текста и содержащихся в его составе культурных кодов; координация смыслообразующих элементов вербального и графического наполнения текста; обратный перевод образной репрезентации в вербальную форму для составления субъективного отчета о смысле прочитанного. В случае работы со сложным по содержанию материалом актуализация описанных механизмов может провоцировать избыточную когнитивную нагрузку, что приводит к снижению успешности понимания иконических текстов в сравнении с их вербальными аналогами.

При сопоставлении показателей самооценки понимания текстов респондентами мы обнаружили тенденцию, обратную той, что ожидалась в соответствии с нашей гипотезой. Участники выше оценивали собственную успешность в понимании вербальных, а не иконических текстов. Особенно ярко данный эффект проявился в случае чтения текста «Счастье по заказу», трудности в понимании иконической формы которого были описаны ранее. Мы полагаем, что обнаруженные нами статистические закономерности обусловлены рефлексивным отношением респондентов к собственной когнитивной деятельности и адекватной оценкой ее успешности. Данная интерпретация подкрепляется результатами анализа протоколов интервью, обнаружившими многочисленные высказывания участников, которые отражают актуализацию в процессе чтения следующих механизмов метакогнитивного контроля: анализ цели чтения; дифференциация оценки эффективности чтения от собственных впечатлений от процесса; оценка себя как субъекта интеллектуальной работы с материалом определенного типа.

В частности, участниками выполнялись действия по проверке субъективного соответствия формата материала актуальной когнитивной задаче. При этом наиболее распространенным оказалось представление том, что вербальный текст обладает преимуществом в случае необходимости усвоения нового знания, в то время как иконический успешнее выполняет досугово-развлекательную функцию.

Дифференциация оценки эффективности чтения от эмоциональных реакций на текст проявилась в том, что респонденты фиксировали собственные затруднения в работе с материалом, несмотря на его внешнюю привлекательность. Как и в более ранних работах по проблеме [6; 16; 26], иконические тексты часто вызывали у участников позитивные эмоции (описывались как «красивые», «приятные» и «интересные»). Однако это не препятствовало обнаружению сложностей в работе с ними. В частности, респонденты указывали на то, что не сразу могли найти начало текста «Счастье по заказу»; пробегали глазами, не стараясь детально изучить, описание устройства двигателя в тексте «AirPod»; с трудом обнаруживали обе части классификации, представленной в тексте «Они уже здесь» в двух разных областях — справа и слева от центрального элемента текста, и пр.

Кроме того, в ряде случаев участники не только обнаруживали возникающие затруднения, но и объясняли их индивидуальными особенностями интеллектуального взаимодействия с материалом определенного формата (например, субъективной «хаотичностью дайджестовых текстов»). Это говорит о наличии у некоторых читателей сформированных метакогнитивных представлений в отношении собственного потенциала в понимании иконических текстов.

Таким образом, обнаруженные нами расхождения с результатами предыдущих исследований [6; 16; 26], вероятно, объясняются тем, что эмоциональное восприятие текстов иконического формата и мотивация к работе с ними могут быть не связаны с оценкой собственной успешности в понимании их смысла. При выраженном рефлексивном отношении к своей интеллектуальной деятельности читатели оказываются способны фиксировать возникающие при работе с иконическими текстами затруднения и учитывать их при оценке собственного понимания прочитанного.

Выводы

Проведенное нами экспериментальное исследование позволило сделать следующие выводы в отношении когнитивных механизмов, опосредующих понимание вербальных и иконических текстов.

1. Успешность понимания текста в большей мере зависит от его содержания, чем от формата. В случае работы со сложными по содержанию текстами вербальный формат оказывается более эффективен: это может быть обусловлено наличием специфических трудностей, возникающих при параллельной обработке вербальной и графической составляющих иконических текстов, а также вмешательством внешних, заданных извне наглядных образов в процесс построения внутренней ментальной репрезентации материала.

2. При рефлексивном отношении к собственной интеллектуальной деятельности читатели оказываются способны самостоятельно обнаруживать трудности, возникающие при работе с иконическими текстами, и учитывать их потенциальное влияние на собственную успешность в понимании прочитанного.

3. Понимание смысла вербальных и иконических текстов требует выполнения ряда как схожих (считывание основных смысловых элементов, анализ структуры текста и пр.), так и специфичных (анализ языковых средств, использованных в вербальных текстах, и графической структуры материала иконического формата) когнитивных действий. Продуктивным шагом в дальнейшем изучении проблемы может стать качественный анализ стратегий работы читателей с текстами вербального и иконического форматов.

Исследование выполнено при поддержке гранта Правительства Российской Федерации № 14.W03.31.0010.

Примечания

¹ На наш взгляд, термин «иконические тексты» является наиболее точным для описания материала, использованного в исследовании. Семиотически осложненные («креолизованные», «поликодовые») тексты могут включать в свой состав многообразные информационные единицы различного типа, в то время как «иконические тексты» содержат элементы только двух систем: иконической и вербальной. Таким образом, данный вид текстов представляет собой частный случай реализации семиотически осложненных текстов и характеризуется определенной содержательной спецификой.

² Сопроводительные материалы, включающие полные стимульные тексты, бланки анкет и гид интервью могут быть предоставлены первым автором по запросу.

³ Здесь и далее термин «полнота понимания» используется для указания на экспертную оценку понимания текстов респондентами. Данная шкала является одной из составляющих общей оценки успешности понимания текстов, наряду с баллами, полученными участниками за выполнение тестовых заданий к текстам.

Литература

1. Бельчиков Ю.А. Взаимодействие функциональных разновидностей языка (Контаминированные тексты) // Культура русской речи и эффективность общения / Под ред. Л.К. Граудиной, Е.Н. Ширяева. М.: Наука, 1996. С. 335–357.
2. Бернацкая А.А. К проблеме «креолизации» текста: история и современное состояние // Речевое общение: Специализированный вестник / Под ред. А.П. Сковородникова. Вып. 3 (11). Красноярск: Красноярский университет, 2000. С. 104–110.
3. Веккер Л.М. Психические процессы. Т. 2. Л.: Изд-во Ленингр. ун-та, 1976.
4. Гостев А.А. Проблема вторичных образов в психологии // Психологический журнал. 2012. Т. 33. № 4. С. 17–26.
5. Знаков В.В. Психология понимания: Проблемы и перспективы. М.: Институт психологии РАН, 2005.
6. Казакова Е.И. Тексты новой природы: проблемы междисциплинарного исследования // Психологическая наука и образование. 2016. Т. 21. № 4. C. 102–109.
7. Леонтьев А.А. Признаки цельности и связности текста // Смысловое восприятие речевого сообщения / Под ред. Т.М. Дридзе, А.А. Леонтьева. М.: Наука, 1976. С. 46–48.
8. Максименко О.И. Поликодовый vs креолизованный текст: проблема терминологии // Вестник Российского университета дружбы народов. Серия: Теория языка. Семиотика. Семантика. 2012. № 2. C. 93–102.
9. Мурзин Л.Н., Штерн А.С. Текст и его восприятие. Свердловск: Изд-во Урал. ун-та, 1991.
10. Сиротко-Сибирский С.А. Смысловое содержание текста и его отражение в ключевых словах (на материале русских текстов публицистического стиля): Автореф. дис. … канд. филол. наук. Л., 1988.
11. Сорокин Ю.А., Тарасов Е.Ф. Креолизованные тексты и их коммуникативная функция // Оптимизация речевого воздействия. М.: Высшая школа, 1990. С. 180–186.
12. Щербакова О.В. Феномен понимания как интрапсихический межъязыковой обратимый перевод (на примере комических текстов) // Вестник СанктПетербургского университета. 2008. Сер. 12. Вып. 4. С. 215–225.
13. Электронный портал журнала «Инфографика». URL: https://infogra.ru/infographicsmag (дата обращения: 15.10.2019).
14. Bauer M., Johnson-Laird P. How diagrams can improve reasoning // Psychological Science. 1993. № 4 (6). Р. 372–378.
15. Glenberg A.M., Langston W.E. Comprehension of illustrated text: Pictures help to build mental models // Journal of Memory and Language. 1992. № 31 (2). Р. 129–151.
16. Leutner D. Motivation and emotion as mediators in multimedia learning // Learning and Instruction. 2014. № 29. P. 174–175.
17. Lindner М.А., Lüdtke О., Grund S., Köller О. The merits of representational pictures in educational assessment: Evidence for cognitive and motivational effects in a timeon-task analysis // Contemporary Educational Psychology. 2017. № 51. Р. 482–492.
18. Mayer R.E. Cognitive Theory of Multimedia Learning // The Cambridge handbook of multimedia learning / Ed. R.E. Mayer. N.Y.: NY US: Cambridge University Press, 2005. P. 31–48.
19. Mayer R.E., Anderson R.B. Animations Need Narrations: An Experimental Test of a Dual-Coding Hypothesis // Journal of Educational Psychology. 1991. V. 83. № 4. Р. 484–490.
20. Mayer R.E., Gallini J.K. When is an illustration worth ten thousand words? // Journal of Educational Psychology. 1990. № 82 (4). Р. 715–726.
21. Paivio A. Mental Representations: A Dual Coding Approach. Oxford University Press, 1990.
22. Paivio A. Abstractness, imagery and meaningfulness in paired-associate learning // Journal of Verbal Learning and Verbal Behavior. 1965. № 4. P. 32–38.
23. Paivio A., Yuille J.C., Madigan S.A. Concreteness, imagery and meaningful values for 925 nouns // Journal of Experimental Psychology. 1968. V. 76. № 1. Рt. 2. P. 1–25.
24. Peek J. The Role of Illustrations in Processing and Remembering Illustrated Text // The Psychology of Illustration. Vol. 1. Basic Research / Ed. D.M. Willows, H.A. Houghton. N.Y.: Springer, 1987. P. 115–151.
25. Petrova T., Bratash V., Zhukatinskaya E., Salnikova A., Suhareva A., Zhelezova E. An Eye-Tracking Study of Processing Sketches: Evidence from Russian // Neurobiology of Speech and Language Proceedings of the 2nd International Workshop Organised by the Laboratory of Behavioural Neurodynamics / Ed. by O. Shcherbakova, Y. Shtyrov. St. Petersburg: Scifiya-print, 2018. Р. 34.
26. Petrova Т., Riekhakaynen Е. Processing of Verbal and Non-verbal Patterns: An Eye-Tracking Study of Russian // Third international congress on information and communication technology. ICICT 2018. L.: Springer, 2019. Р. 269–275.
27. Samuels S.J., Biesbrock E., Terry P.R. The effect of pictures on children’s attitudes toward presented stories // The Journal of Educational Research. 1974. № 67 (6). Р. 243–246.
28. Schnotz W. An Integrated Model of Text and Picture Comprehension // The Cambridge handbook of multimedia learning / Ed. R.E. Mayer. N.Y.: NY US: Cambridge University Press, 2005. P. 49–70.
29. Schnotz W., Bannert М. Construction and interference in learning from multiple representation // Learning and Instruction. 2003. № 13. Р. 141–156.

Источник: Блинова Е.Н., Щербакова О.В. Когнитивные механизмы понимания вербальных и иконических текстов // Психологический журнал. 2021. Том 42. №1. С. 66–79. DOI: 10.31857/S020595920013333-2