Специфика оценки эффективности психолого-педагогических вмешательств при работе с детьми с РАС

В условиях повышенного внимания общества к проблеме аутизма разработка подходов к оценке эффективности психолого-педагогических вмешательств при работе с детьми с РАС приобретает актуальность сразу в нескольких аспектах. Это и выбор наиболее оптимальной стратегии помощи с учетом комплекса факторов специалистами и родителями детей с РАС, и проведение научных и научно-практических исследований, и разработка новых психолого-педагогических методов помощи. Семьи, воспитывающие детей с РАС и другими ОВЗ, сталкиваются со множеством проблем не только медицинского и психолого-педагогического плана, но и социокультурного и экономического [10; 19; 24]. Способов, которыми можно оказать помощь этим семьям, множество, причем работа с сопутствующими проблемами не менее важна и может существенно улучшить качество жизни семьи [15]. И результативность такой помощи, конечно, нельзя точно спрогнозировать и оценить объективно [8]. В то же время специалистам психолого-педагогического профиля для использования в рамках своей профессиональной компетенции конкретных вмешательств, заявленных как метод помощи детям с РАС, необходимо иметь четкие критерии оценки соответствия метода принципам доказательности.

Оценка эффективности вмешательства для детей с РАС производится на основании исследований, которые были опубликованы разработчиками вмешательства или независимыми исследователями.

Исследования вмешательств отличаются большим разнообразием, и решение о применении и рекомендации того или иного вмешательства в практической деятельности принимается на основании большого количества факторов [26]. Кроме того, как к пилотным исследованиям отдельных случаев, так и к масштабным рандомизированным исследованиям предъявляются определенные требования со стороны регулирующих органов, грантодателей и редакций журналов [17], принимающих к публикации отчеты о исследованиях эффективности [25]. Некоторые организации и независимые авторы публикуют списки вмешательств, ранжированных по степени соответствия принципам доказательности [9; 12; 14]. В идеальном случае они указывают, какие факторы принимались во внимание, однако практически невозможно полностью избежать хотя бы минимальной субъективности из-за неравнозначности признаков исследований. Если разным факторам придавался разный вес в виде коэффициентов, это должно быть указано во вступлении. С целью объективизации процесса оценки вмешательств с точки зрения соответствия принципам доказательности были предложены формулы расчета, однако они не получили широкого применения [22].

Какими бы удобными ни были готовые списки вмешательств, практическим специалистам, организаторам здравоохранения и образования, исследователям и людям с РАС и членам их семей должны быть понятны критерии, по которым эффективность вмешательства считается подтвержденной или неподтвержденной. Основными ориентирами при оценке вмешательств являются наличие и характеристики публикаций, а также ряд параметров проведенных исследований.

Анализ публикаций

Первым и основным признаком того, что вмешательство соответствует принципам доказательности, является наличие опубликованных текстов. Устные сообщения, рассказы коллег и родителей, публикации в неспециализированной прессе и упоминания в средствах массовой информации и интернете могут приниматься во внимание при принятии решений специалистом в рамках его профессиональной компетенции на индивидуальном уровне, но не являются признаками доказательной базы для того или иного вмешательства. Критерии, по которым может оцениваться этот показатель, и признаки, повышающие уровень соответствия признакам доказательности:

• наличие подробного описания протокола вмешательства, которое может быть опубликовано в журналах и сборниках или являться частью руководства к вмешательству;
• наличие руководства к вмешательству [13], особенно если в нем приведены результаты пилотных исследований;
• наличие публикаций о результатах исследований, проведенных разработчиками вмешательства и независимыми авторами. Уровень доказательности тем выше, чем больше авторских групп участвовало в подготовке публикаций и чем выше рейтинг (импакт-фактор) журнала, в котором опубликовано исследование.

Количество исследований

Для того чтобы вмешательству был присвоен статус «надежно установленный», недостаточно одного исследования. Желательно исследование результатов вмешательства в следующих ситуациях:

• городская, пригородная и сельская местность;
• разные типы учебных заведений (инклюзия / раздельное обучение и т.д.);
• разный уровень квалификации специалиста.

Высшая степень надежности вмешательства устанавливается на основании качественного метаанализа нескольких исследований. Вмешательство не может получить установленный статус основанного на доказательствах, если было проведено меньше двух исследований двумя разными группами специалистов в двух разных географических регионах.

Количество испытуемых в исследованиях, связанных с оценкой эффективности вмешательств у детей и подростков, должно быть увеличено по сравнению с другими рандомизированными исследованиями, так как обычно педагогические и психологические мероприятия проводятся опосредованно, через семью, школу или другое сообщество, от которого ребенок является зависимым. Кроме того, для детского возраста характерно постоянное изменение, происходящее и без вмешательства, одним из способов снизить его влияние на эффективность вмешательства также является увеличение числа испытуемых.

Не существует единого стандарта относительно количества исследований, которое бы позволило считать вмешательство подтвержденным. Даже одного эмпирического исследования часто бывает достаточно для того, чтобы оно считалось возможно эффективным [20]. Число исследований, необходимых для подтверждения эффективности вмешательств, зависит от типа исследования: двух исследований со сравнением групп, выполненных разными авторами, может быть достаточно в отличие от исследований одного случая, которых требуется больше — не менее девяти [23].

Оценка исследований

Описание групп испытуемых

Все испытуемые экспериментальной и контрольной группы должны относиться к РАС, то есть должны соответствовать клиническим критериям для нарушения F84 Международной классификации болезней МКБ-11. Соответствие принципам доказательности повышается при соблюдении следующих условий. Желательно подтверждение диагноза стандартизированными методами, доступными для обследования взрослых и детей, начиная с 12 месяцев [6], например, «Интервью для диагностики аутизма» ADI-R [4] и «План диагностического обследования при аутизме» ADOS-2 [3]. Более свободное определение диагностической группы возможно, только если оно однозначно допускается разработчиками с соответствующим указанием в руководстве. В любом случае необходимо указать, какие диагностические мероприятия были проведены, например, применялись ли методы краткого прямого наблюдения, опросники или другие скрининговые методики [7]. Для всех испытуемых должны быть приведены данные о поле (сколько мальчиков и девочек участвовало в исследовании) и возрасте, хотя бы в виде средних значений. Если вмешательство требует участия специалистов с особыми навыками, членов семьи или происходит в группе с другими детьми, должны быть приведены максимально подробные данные об этом. В целом из описания экспериментальной группы специалисту должно быть понятно, соответствует ли она характеристикам его пациентов, клиентов или учеников и применимо ли вмешательство в рамках его профессиональной деятельности.

Объем выборки

Для групповых исследований необходимо определить объем экспериментальной и контрольной выборки испытуемых. Желательно привлечь опытного специалиста в области статистики и экспериментальной психологии или медицины. В любом случае из описания вмешательства должно быть понятно, кто или что является единицей анализа, в большинстве случаев это будут люди c РАС. Однако в ряде вмешательств единицей анализа может оказаться учитель, тьютор или другой специалист. Это происходит, если вмешательство предполагает получение специалистом каких-либо навыков, которые он затем применяет при работе с людьми с аутизмом. Например, если вмешательство является курсом повышения квалификации для специалистов.

Объем выборки зависит от ожидаемой степени значимости, желаемой величины эффекта и выбранного статистического показателя. Так, при сравнении среднего значения показателя (например, сырого балла в экспериментальной и контрольной группе) для средней величины эффекта при степени значимости p меньше 0.05 необходимо 64 испытуемых в экспериментальной группе и 64 испытуемых в контрольной группе [18]. Дополнительно нужно учесть высокую вероятность выбывания испытуемых из экспериментальной и контрольной группы. При превышении определенного уровня выбывания исследование может потерять статус рандомизированного.

Цель вмешательства

Цель вмешательства оформляется в виде переменных, которые соответствуют следующим требованиям: должен быть подробно описан метод расчета или измерения переменной с уровнем детализации, необходимым для воспроизведения исследования; должна быть понятна связь между зависимыми и независимыми переменными (в том числе с предметом вмешательства); переменные должны измеряться в течение заранее определенного временного периода, сравнимого для всех испытуемых.

Продолжительность исследования

Должны исследоваться средне- и долгосрочные результаты с измерениями в начале и в конце вмешательства, а также через 6 и 12 месяцев по его окончании и более отставленные, если это соответствует специфике вмешательства.

Расчет статистической силы

Многие журналы рекомендуют рассчитывать статистическую мощность исследования. Один из инструментов можно найти по ссылке: http://www.psychologie.hhu.de/arbeitsgruppen/allgemeine-psychologie-und-arbeitspsychologie/gpower.html

Валидность и надежность результатов

Согласно требованиям WWC — подразделения Института образовательных наук при Департаменте образования США, от вмешательства ожидается внутренняя согласованность на уровне не менее 60%, надежность тест-ретест — не менее 40%, надежность между исследователями — не менее 50–70% в зависимости от того, применялись ли стандартизированные тесты [16]

Исследование обязательно должно иметь указание на содержательную валидность, то есть на то, что методы измерения эффективности соответствовали природе вмешательства. Преимущество должно отдаваться исследованиям, которые не ограничиваются очевидной валидностью, а изучают конструктную валидность [11; 21]. Для этого исследуемое вмешательство должно базироваться на теоретических представлениях, транслируемых в способы оценки эффективности. В случаях когда в описании присутствуют указания только на очевидную валидность, по меньшей мере необходимо, чтобы она была оценена представителями нескольких групп (например, для вмешательства в виде программы обучения — учителями, родителями, организаторами образования, врачами) с высокой долей согласованности.

Помимо внутренней валидности в исследовании должна быть предпринята попытка оценить внешнюю валидность, то есть степень, с которой результаты исследования эффективности могут быть генерализованы на другие группы людей (популяционная валидность), другие условия вмешательства (экологическая валидность) и другие периоды вмешательства (историческая валидность).

Эффект подгрупп

Должен быть проведен статистический анализ влияния факторов возраста, пола, социально-экономического статуса, расы / национальности, родного языка, степени выраженности аутистических проявлений, если группа является неоднородной по одному из этих показателей. Особенно следует обратить внимание на области, которые часто нарушены у людей с РАС, а именно уровень интеллекта [5], сформированность навыка владения речью и адаптивное поведение. Здесь следует также учесть гетерогенность с точки зрения сформированности жизненных компетенций [1; 2].

Субъективные критерии

Вмешательства, эффективность которых устанавливается в рамках экспериментальных исследований, не всегда удобны, доступны и безопасны при использовании в практической деятельности. Особенно если вмешательство предусматривает использование электронного устройства, в экспериментальных условиях неполадки могут быть оперативно устранены сотрудниками технической поддержки. При самостоятельном применении устройства людьми с аутизмом или членами их семей решение технических проблем может быть затруднено. Подобные особенности в идеале должны исследоваться при помощи опросников пользователей с оценкой:

• функциональности вмешательства (например, насколько оно надежно с технической точки зрения);
• вовлекаемости (насколько вмешательство интересно, нескучно, приятно для человека с аутизмом и членов его семьи; необходимы ли организационные усилия, из-за которых вероятно досрочное прекращение вмешательства);
• прогресса (заметны ли положительные и отрицательные изменения окружающими, при этом они не обязательно должны соответствовать заявленному ожидаемому результату, например, вмешательство должно улучшать навыки самообслуживания, но родители отмечают, что после занятий у ребенка лучше сон и т.д.).

Несмотря на то, что эти критерии не относятся к принципам доказательности, попытки обобщить и тем более исследовать эту информацию следует приветствовать, так как они предоставляют возможность специалистам и пользователям сделать более осознанный выбор, а разработчикам — учитывать доступность.

В заключение следует отметить, что отсутствие доказанной эффективности не следует рассматривать как автоматическое свидетельство неэффективности — возможно, этот метод еще ждет своих исследователей. В ряде случаев оценить эффективность вмешательства «классическим» способом вообще не представляется возможным в силу ряда факторов, например, при вариабельности и трудновоспроизводимости воздействия. При работе с детьми с РАС особое значение имеет индивидуальный подход, требующий учета особенностей развития сенсорной, эмоциональной и коммуникативной сфер, что требует разработки новых подходов к описанию вмешательств. При вовлечении в работу родителей параметров, которые трудно контролировать и учитывать, становится еще больше [23]. Следует с осторожностью относиться к ситуациям, когда наличие доказанной эффективности приводит к распространению вмешательства без учета конкретных условий исследований. Так, например, метод, оказавшийся эффективным при работе с одной возрастной группой, не может автоматически считаться эффективным и для других групп без дополнительных исследований. Так как специфика РАС зачастую сопряжена с длительными и затратными вмешательствами, экономический аспект выбора вариантов помощи играет не последнюю роль, что требует от специалистов понимания основных принципов оценки эффективности психолого-педагогических вмешательств. При несомненных преимуществах методов, основанных на строгих принципах доказательности, вопрос о том, насколько возможно ограничить помощь только такими методами, в настоящее время остается открытым.

Литература

1. Давыдова Е.Ю., Сорокин А.Б. Жизненные компетенции в контексте планирования обучения детей с расстройствами аутистического спектра // Психологическая наука и образование. 2016. Том 21. № 3. С. 120—130. DOI:10.17759/pse.2016210314
2. Давыдова Е.Ю., Сорокин А.Б. Оценка жизненных компетенций учащихся на начальном этапе общего образования // Психологическая наука и образование. 2019. Том 24. № 6. С. 16—27. DOI:10.17759/pse.2019240602
3. План диагностического обследования при аутизме ADOS-2 / К. Лорд [и др.] // Western Psychological Services; Giunti O.S. 2016.
4. Раттер М., Куто Э., Лорд К. Интервью для диагностики аутизма ADI-R // Western Psychological Services; Giunti O.S. 2014.
5. Сорокин А.Б. Нарушения интеллекта при расстройствах аутистического спектра // Современная зарубежная психология. 2018. Том 7. № 1. С. 38—44. DOI:10.17759/jmfp.2018070104
6. Сорокин А.Б., Давыдова Е.Ю. Изучение особенностей поведения и общения у детей ясельного возраста с подозрением на наличие расстройства в спектре аутизма при помощи «Плана диагностического обследования при аутизме» ADOS-2 // Аутизм и нарушения развития. 2017. Том 15. № 2. С. 38—44. DOI:10.17759/autdd.2017150204
7. Сорокин А.Б., Зотова М.А., Коровина Н.Ю. Скрининговые методы для выявления целевой группы «спектр аутизма» педагогами и психологами // Психологическая наука и образование. 2016. Том 21. № 3. С. 7—15. DOI:10.17759/pse.2016210302
8. Факторы, влияющие на успешность преодоления расстройств аутистического спектра / Н.Л. Горбачевская [и др.] // Аутизм и нарушения развития. 2016. Том 14. № 4. С. 39—50. DOI:10.17759/ autdd.2016140407
9. A systematic review of early intensive intervention for autism spectrum disorders / Warren Z. [и др.] // Pediatrics. 2011. Vol. 127. P.e1303—e1311. DOI:10.1542/peds.2011-0426
10. Buescher A.V., Cidav Z., Knapp M., Mandell D.S. Costs of autism spectrum disorders in the United Kingdom and the United States // JAMA Pediatr. 2014. Vol. 168(8). P. 721—8. DOI:10.1001/jamapediatrics.2014.210
11. Construct Validity of the Autism Impact Measure (AIM) / Mazurek M.O. [и др.] // J Autism Dev Disord. 2018. Jan 17. DOI:10.1007/s10803-018-3462-8
12. Early Intervention for Children With Autism Spectrum Disorder Under 3 Years of Age: Recommendations for Practice and Research / Zwaigenbaum L. [и др.] // Pediatrics. 2015. Vol. 136. P. S60—S81. DOI:10.1542/ peds.2014-3667
13. Evidence-based practice in psychology // Am Psychol. 2006. Vol. 61 (4). P. 271—285.
14. Evidence-based practices for children, youth, and young adults with Autism Spectrum Disorder / Wong C. [и др.] // Chapel Hill: The University of North Carolina, Frank Porter Graham Child Development Institute, Autism Evidence-Based Practice Review Group. 2014.
15. Hyman S.L., Levy S.E., Myers S.M. Council on children with disabilities, section on developmental and behavioral pediatrics. Identification, Evaluation, and Management of Children With Autism Spectrum Disorder // Pediatrics. 2020. Vol. 145(1). DOI:10.1542/peds.2019-3447
16. IES. WWC Evidence Review Protocol: Interventions For Children With An Autism Spectrum Disorder, Institute of Education Sciences. 2011.
17. JESP Editorial Guidelines [Электронный ресурс]. URL: https://www.journals.elsevier.com/journalof-experimental-social-psychology/news/jesp-editorial-guidelines (дата обращения: 01.03.2020).
18. Kratochwill T.R., Stober K.C. Procedural and Coding Manual for Review of Evidence-Based Interventions, American Psychological Association. 2008.
19. Leigh J.P., Du J. Brief Report: Forecasting the Economic Burden of Autism in 2015 and 2025 in the United States // J Autism Dev Disord. 2015. Vol. 45 (12). P. 4135—9. DOI:10.1007/s10803-015-2521-7
20. Lonigan C.J., Elbert J.C., Johnson S.B. Empirically supported psychosocial interventions for children: an overview // J Clin Child Psychol. 1998. Vol. 27 (2). P. 138—145.
21. Mandy W.P., Charman T., Skuse D.H. Testing the construct validity of proposed criteria for DSM5 autism spectrum disorder // J Am Acad Child Adolesc Psychiatry. 2012. Vol. 51 (1). P. 41—50. DOI:10.1016/j.jaac.2011.10.013
22. Reichow B., Doehring P., Cicchetti D.V., Volkmar F.R. Evidence-Based Practices and Treatments for Children with Autism. Boston, MA, Springer US, 2011.
23. Rogers S.J., Vismara L.A. Evidence-based comprehensive treatments for early autism // J Clin Child Adolesc Psychol. 2008. Vol. 37 (1). P. 8—38.
24. Sanchack K.E., Thomas C.A. Autism Spectrum Disorder: Primary Care Principles // Am Fam Physician. 2016. Vol. 94 (12). P. 972—979.
25. Smith T., Scahill L., Dawson G., Guthrie D., Lord C., Odom S., Rogers S., Wagner A. Designing research studies on psychosocial interventions in autism // J Autism Dev Disord. 2007. Vol. 37 (2). P. 354—66. DOI:10.1007/s10803-006-0173-3
26. Stahmer A.C. Effective strategies by any other name // Autism. 2014. Vol. 18 (3). P. 211—212. DOI:10.1177/1362361314523357

Источник: Сорокин А.Б., Давыдова Е.Ю., Хаустов А.В. Специфика оценки эффективности психолого-педагогических вмешательств при работе с детьми с РАС // Социальные науки и детство. 2020. Том 1. №1. C. 58–67. DOI: 10.17759/ssc.2020010105