18+
Выходит с 1995 года
29 ноября 2024
Полевые исследования: методология, подходы, дизайн. Открытые вопросы

Введение

Взаимосвязи состояния методологии дисциплины, понимание ее метода, предмета, технологии проведения актуальных исследований, объяснения полученных результатов отмечались и отмечаются учеными уже на протяжении более столетия. Но даже в масштабе дисциплинарной методологии далеко не все «общепризнанно», даже при строго заданных условиях диагностики, при наличии мощных административных ресурсов методологические и методические проблемы остаются и воспроизводятся в разных масштабах проведения научно-исследовательской работы (НИР). Одним из наименее разработанных вопросов НИР выступает вопрос «ситуации». Вопросы научных исследований в пространстве-времени современных организаций переводят эти сложности в статус «проблем в квадрате», «проблем в кубе». Цель нашего исследования: историко-теоретический анализ методологических, методических и организационных аспектов проведения научно-исследовательских работ (НИР) в современной организации. Методы: анализ научной литературы, психодиагностика, рефлексия опыта научной и практической работы в современных организациях.

1. Полевые исследования как историческая доминанта НИР рубежа ХХ–ХХI ст.

1.1. Полевые исследования как главная фактуальная база дисциплины. Исторически психология вырастала из опыта философской рефлексии, из опыта наблюдений за людьми и животными, из опыта использования самонаблюдения, простых сенсомоторных проб. Результаты этих испытаний фиксировались однозначно; участие в них было добровольным; все процедуры рассматривались как ответственно и честно выполняемые. С развитием дисциплины расширялись арсенал ее методов и классы решаемых задач; до второй половины ХХ ст. профессиональных психологов было сравнительно немного, обследуемыми в большинстве выступали лица с невысоким уровнем образования и квалификации. До середины ХХ ст. отечественная психология оставалась сравнительно бедной на эмпирические исследования. Со второй половины ХХ ст. этот опыт расширялся, в т.ч. в процессах обследования персонала предприятий, организаций, силовых структур. Как научные, так и практические задачи чаще формулировались упрощенно, как выбор одной из альтернатив: гипотеза принимается / отклоняется, кандидат (на работу, в резерв, на выдвижение) пригоден / не пригоден и т.п.

На рубеже двух столетий многое изменилось. Психология стала массовой профессией (следовательно, знания о ее методах, содержании методик и ключей распространяются и становятся доступными широкой аудитории); методы психологии используются в разных сферах деятельности; репертуар методов расширяется, но по-прежнему основывается на немногих базовых положениях; образовательный уровень обследуемых возрастает; социальные последствия взаимодействия психологов с обследуемыми возрастают и в ряде случаев становятся определяющими для обследуемых (в ситуациях профессионального отбора, формирования резерва на выдвижение и т.п.). Объяснимо, что их поведение и их реакция на психодиагностику не остаются «однозначными». По мере расширения корпуса психологов расширялись и сферы их интересов; задачи НИР формулируются более свободно, гибко, широко; большую долю занимают пилотажные и поисковые исследования. Если, используя несколько критериев: классы задач, доминирующие методы, зрелость методологии, научные традиции, — сделать попытку выделить качественно различающиеся типы научных исследований, то таковыми назовем экспериментальные исследования, естественные эксперименты, пилотажные исследования, полевые исследования. Четыре типа представляют собой континуум возможности и ограничений управления психологом условиями проведения НИР, возможности повторения, проверки, оценки меры влияния разных факторов, возможности противодействия со стороны других людей.

По-прежнему в психологии остается предельно важным класс экспериментальных исследований, в которых основные методы — эксперименты, где вопросы ученых, формулируемые как гипотезы, сводились к альтернативам «да» / «нет». Таковыми выступают принципиальные вопросы, призванные определиться в научной позиции, в надежности данных, программ НИР, в перспективах дальнейших исследований. Эксперименты готовятся долго, основываются на массивах эмпирических данных; это случаи продолжительных и обстоятельных поисков, максимальной формализации знаний, требующих четкого оперирования понятийным аппаратом.

Соответственно, эксперимент как метод научного познания характеризуется:

  • «вызреванием» научных проблем (кристализацией нескольких научных подходов; устойчивым равновесием аргументов «за» и «против» в отношении каждой из альтернатив);
  • формализацией переменных, абстрагированием от многих условий социальной действительности;
  • длительностью подготовки;
  • решением задач в упрощенных, обедненных, «рафинированных» условиях пространства-времени научного или учебного заведения;
  • привлечением искусственно организованной выборки.

Другой класс НИР, называемый нами «полевые исследования», явно отличается; его характеристиками выступают:

  • быстрота генерирования замысла, спонтанность в формулировании задач;
  • поисковый характер отбора референтных признаков из множества исходных, эмпирически выделенных;
  • оперативность и гибкость планирования, организации и проведения сбора данных;
  • сбор данных в «поле» (в других организациях);
  • формирование выборки из числа сотрудников определенной организации; краткость знакомства с ними; согласования списков обследуемых с администрацией.

К отдельному, промежуточному классу отнесем «естественные эксперименты» («натурные»), проводимые по четкой программе с членами естественных контактных социальных групп в их обычной среде, в их привычном пространстве-времени (например, с учениками в их учебном классе). С одной стороны, здесь есть немногие фиксированные задачи и фиксируемые «зависимые» и «независимые» переменные, с другой — исследователь открыт к учету возможного влияния косвенных условий, часть из которых можно контролировать. Для сравнения в «полевых исследованиях» воздействуют множества условий, возможности их управлением минимальны, как и повторения, исправления ошибок, оперативной проверки результатов.

К еще одному промежуточному классу НИР отнесем пилотажные (пилотные) и поисковые исследования. Их особенность — формулирование узких, единичных задач («деталей» планируемых НИР); выбираются удобные время и место, контролируемые выборки обследуемых. Для сравнения, если в пилотажах вопросы методологии как бы отступают на второй план ввиду смещения задач на «технические» аспекты, то в «полевых исследованиях» они приобретают решающее значение. Если в пилотажных исследованиях «позволительно» долго и многократно уточнять, перепроверять, апробировать варианты решения задач, которые не влияют друг на друга, то в полевых все сразу «пишется набело»; все фрагменты работы сразу же интегрируются и проявляются в общих эффектах.

К важным особенностям «полевых исследований» также отнесем большую свободу, спонтанность, быстроту проведения, а также про-явление не учитываемых ранее условий в отдельных фрагментах. Подчеркнем, что здесь — в большом ряду воздействующих условий и процессов: в постановке задач, их формировании, в выборе методики, поиске подходящей выборки, проведении исследований на «чужих площадках» не всегда при доброжелательном отношении обследуемых — многое определяется косвенными факторами. Опыт и квалификация психологов находится в широком диапазоне; неочевидно, что все сложные задачи, требующие оперативного решения, решаются своевременно и безупречно. Можно утверждать, что исторически появился и становится, пожалуй, самым массовым именно этот тип НИР. Этот класс научных задач «со многими неизвестными» мы называем «полевые исследования»; наш опыт рефлексии факторов, определяющих их успешность, назовем «методы и методология полевых исследований». И если в исторически ранее «доминирующих» экспериментах не могли представляться все базовые условия жизнедеятельности людей, то с развитием дисциплины социальный запрос на полноту и адекватность их представленности явно возрастает.

Сопоставляя четыре содержательно и хронологически противоположных класса НИР, добавим замечания об их «параллелях»: между первым этапом полевых исследований — генерированием замысла и разработкой программы, вторым — уточнениями отдельных задач, методик, выборок, инструкций и пр., и завершающим, четвертым — разработкой социально-психологических технологий — может и должен быть третий — технологии (методология и методы) проведения полевых исследований. Это класс задач по уточнению границ необходимого, достаточного, возможного, определения диапазона эффективности научного инструментария, надежности его использования в экстремальных условиях. Однако, несмотря на наличие множества «неизвестных», в полевых исследованиях часто используются простые схемы НИР (условно назовем это «фактами повседневности»). «Простые схемы» в сочетании с проблемой объяснения в психологии (Ананьев, 2001; Мазилов, 2017; Юревич, 2006, 2010) создают сложные сплетения разрозненных составляющих научного познания. Выделяя как особый класс «полевые исследования», отметим и их важные отличия в плане типа рациональности (метапарадигм) — классической, неклассической, постнеклассической.

К упомянутому выше следует добавить тему влияния мощных междисциплинарных трендов (глобализация, виртуализация, big data), тему исторической эволюции дисциплины — обращению ко все более сложным фрагментам реальности (жизнеспособность, профессиональные деструкции, деформации, выгорание, полисубъектные общности и др.). И нужно признать, что мы вступаем в новые отношения с действительностью, что сложные фрагменты действительности едва ли можно изучать посредством крайне простых схем НИР, пусть и оправдывавших себя в продолжение ХIХ и ХХ ст.

1.2. Простые схемы НИР как «норма». Наиболее часто в настоящее время используются предельно простые схемы НИР. Признаем их как нашу обыденность, как «факты повседневности». В качестве иллюстрации приведем типичные формы гипотез. 1) Объект А обладает свойствами а (иначе, а принадлежит А, или аА). 2) Объект А отличен от В; некоторые свойства двух объектов различаются — а отличны от свойств b (А≠В, аb). 3) В процессе роста (развития) объекта А его свойства а1, а2, а3 изменяются (иначе, А1≠А2≠А3, соответственно, а1≠а2≠а3). Приведем и типичные образцы постановки научной проблемы: Объект А1 изучали ученые В и С; первый показал, что А1 характеризуется свойства b, второй ученый — свойством с. Мы изучали А1. Подтверждено, что А1 обладает свойствами b и с (b, с А); объект А2 изучали ученые В, С, D, Е. Они выделили свойства b, с, d, е. Мы изучали А2. Установлено, что А2 обладает свойствами b, с, d, е (b, с, d, е А).

При использовании простых схем исходные положения содержат ранее выявленные признаки объектов; следствия и выводы часто самоочевидны. Но и при самоочевидности выводов ни совпадение результатов независимых исследований, ни различия выводов почти ничего не добавляют в актив дисциплины, ничего не отрицают. При сопоставимости исходных посылок и результатов независимых исследований «допустимы» противоположные следствия и выводы. Например, согласно 1-й схемы НИР, встречаются следующие варианты интерпретации: «Деятельность сотрудников АВС сопряжена с экстремальными условиями. Следовательно, в процессе спонтанного и целенаправленного отбора в этой профессии остаются и реализуются как профессионалы лица, отличающиеся эмоциональной устойчивостью, хорошей саморегуляцией эмоций и поведения и т.п.». Но возможны и иные констатации: «Деятельность сотрудников ВСД сопряжена с экстремальными условиями. Следовательно, в этой профессии имеют место выраженные проявления профессионального выгорания, деструкций и т.п.». Так как при обращении к простым схемам чаще используются разные методики для подтверждения рабочих гипотез, полученные результаты можно интерпретировать крайне широко; при тождестве «исходных посылок» допускаются разные следствия и констатации.

То же имеет место и при 2-й схеме НИР — она также допускает разные самоочевидные интерпретации: мужчины отличаются от женщин, успевающие учащиеся отличаются от неуспевающих, опытные субъекты от менее опытных, успешные от менее успешных; интегральная индивидуальность (ИИ) мужчин отлична от ИИ женщин, профессиональный менталитет русских отличен от менталитета немцев (французов, японцев) и т.п. Отличия, согласно статистикам, констатируются лишь по отдельным параметрам, количественно они чаще незначительны, не требуют изменения сложившихся форм труда, обучения и пр.

При использовании 3-й схемы также оставляет простор для интерпретаций, но они не выходят за пределы тривиальных констатаций. Во всех случаях результаты НИР де-факто сводятся лишь к констатации: два разных объекта различаются по некоторым признаков (здесь же заметим: между любыми двумя социальными объектами всегда есть различия).

Итак, с одной стороны, нами обычно используются простые схемы НИР, с другой — мы все чаще обращаемся к изучению сложных, многосоставных, комплексных социальных объектов, выступающих в качестве предмета исследования (менталитет и ментальность, жизнеспособность, качество жизни, удовлетворенность, карьера, самореализация, личностное развитие, индивидуальность, потенциал, жизнеспособность и др.). С одной стороны, мы используем сравнительно простые типовые объекты (учебные группы школьников, студентов), с другой — притязаем на предмет исследования, не вмещающийся в рамки базовых простых конструктов.

Простые схемы НИР, в том числе и в полевых исследованиях, стали фактами реальности, «фактами повседневности». Но едва ли они приближают нас к решению «основной, конечной, теоретической задачи психологии» — «раскрытию специфических психологических закономерностей» (Рубинштейн, 1999, с. 32); обращение к простым схемам чаще ограничивается констатацией отдельных различий между двумя объектами. Одной из причин чрезмерного доверия простым схемам назовем высокий статус метода как базового элемента научной дисциплины на протяжении ХIХ и ХХ ст. Высокий статус метода поддерживается характерными для «классической парадигмы» представлениями ученых о стабильности фрагментов действительности, безусловности полученных результатов. В ХХI ст. многое изменяется. И если на протяжении ХХ ст. в работах даже крупных ученых почти не встречаются критичные замечания об ограничениях метода, выборки, модели, дизайна НИР, то в ХХI ст. чаще и чаще встречаются констатации того, что «все изменчиво» и нет ничего устойчивого, что «мы вступили в мир VUCA» (VUCA — аббревиатура от англ. volatility, uncertainty, complexity и ambiguity — нестабильность, неопределенность, сложность и неоднозначность).

1.3. Возможные перспективы эволюции структуры НИР в дисциплине. Даже не следуя очередной научной моде и информационно-технологическим трендам (глобализация, цифровизация, виртуализация, big data и пр.), признаем, что сам факт глубокого вхождения в нашу жизнь персональных компьютеров, их возрастающая мощность, наличие удобных пакетов статистических программ, быстрота проведения расчетов, многое изменили и изменят в нашей жизни, в планировании, организации и проведения НИР. Одной из очевидных перспектив видится возрастающее массовое обращение психологов к оперированию большими массивами эмпирических данных. Так, если в 2008 г. в отношении big data выделялись три критерия — «три V»: объём (англ. volume, в смысле величины физического объёма), скорость (velocity — скорости обработки и получения результатов), многообразие (variety — возможности одновременной обработки различных типов структурированных и полуструктурированных данных), то десятилетие спустя уже выделяют до восьми критериев — «восьми V»: к названным выше также добавляются достоверность, жизнеспособность, ценность, переменчивость, визуализация (veracity, viability, value, variability, visualization); надо полагать, что это не предел возможностей информационных технологий.

Вероятно, что и в границах нашей предметной области мы также научимся извлекать много больше ценной информации из ранее полученных массивов; будем повторно обращаться к единожды используемым массивам; начнут складываться формы совместной деятельности и специализации в анализе, интерпретации данных, объяснении полученных результатов и пр. Следствием этого станут возрастание временных интервалов между сбором эмпирики и ее анализом; увеличение дистанции (физической, психологической) между исследователем и обследуемыми; появление типов ученых, прямо не взаимодействующих с обследуемыми (следовательно, не знающих, недооценивающих множество важных обстоятельств, сопровождающих непосредственные взаимодействия людей в процессах психодиагностики, опросов, бесед), не знающих их «цены». Можно ожидать возрастания доли ученых, игнорирующих то, что до настоящего времени и составляло сущность изучения поведения и взаимодействий людей, что люди вкладывают в понятие «психолог». Научные приоритеты, критерии научности будут изменяться. В каких-то аспектах психология будет более глубоко и точнее отражать действительность (скорее, в отношении состояния и динамики крупных социальных объектов, массовых явлений), в каких-то аспектах (в отношении единичных и уникальных явлений) — начнет терять восприимчивость к отдельным фактам, «деталям», к конкретному, «живому» человеку.

2. Эволюция социальных объектов сложные схемы НИР: возможности и ограничения

Рассмотрим возможные пути нашей эволюции — возможности расширения и развития типовых схем исследования, содействующих познанию сложных уникальных явлений. Тезис об исторической эволюции социальных объектов едва ли нуждается в развернутой аргументации. Его косвенным подтверждением выступает параллельное усложнение научных задач, в том числе — в отношении особенностей выделения предмета исследования (часто комплексных объектов, в отношении которых «общепринятого» определения нет, а дискуссии продолжаются на протяжении десятилетий). Признаем, что традиционные варианты НИР, названные нами «простыми схемами» (предполагающие использование лишь методов одного класса — обычно опросников и анкет, оперирование лишь одномерными срезами эмпирических данных), имеют серьезные ограничения. Рассмотрим несколько задач, ситуаций проведения НИР (условий, поведения обследуемых и пр.), сопровождающих реальные полевые исследования.

2.1. Сопротивление отдельных обследуемых и возможности шкал измерения. Психологами широко используется 5-балльная «шкала Р. Лайкерта» (Likert, 1967). Принимая во внимание обычную «прозрачность» пунктов анкет и опросников, предположим, что в случае осторожности поведения обследуемого мы имеем «эффект края»; 5-балльная шкала фактически становится 3-балльной; при сопротивлении испытуемых остаются два варианта ответа — «ответить» / «уклониться», т.е. де-факто мы используем 2-балльную шкалу — шкалу порядка. Последующее использование параметрических методов статистики неправомерно. На уровне концептуального осмысления вопросы возможностей и ограничений «шкалы Лайкерта» в последние годы активно обсуждаются в зарубежной психологии как в плане размерности интервалов (5-7-10-балльные шкалы), так и содержания «пунктов», правомерности их объединения, статистических методов анализа «данных Лайкерта» (Carifio, Perla, 2007; Jamieson, 2004; Liddell, Kruschke, 2018; Lubke, Muthen, 2004; др.).

Вернемся к полевым исследованиям. Распространенное явление — диффузное сопротивление отдельных обследуемых, их уклонение, избегание прилежного соблюдения процедур диагностики, — можно считать легкими формами нежелания человека (назовем его «субъект 2») сотрудничать с диагностом (будем именовать его «субъект 1»). Последнее сравнительно легко преодолевается обращением к более дифференцированным шкалам (не 5-балльным, а 7- и 9-балльным). В нашей практике были случаи преодоления легких форм уклонения обращением к 11-балльной шкале при работе с государственными служащими. Но и такая «предельно» дифференцированная шкала в нашем опыте позволяла выявлять особенности групп молодых и низкостатусных служащих, но оказалась недостаточной для описания предпочтений тех, кто занимал высшие должностные позиции в органах государственной службы. Другими словами, одно лишь увеличение интервала оценки не позволяет решать все задачи; одномерными измерениями что-то важное не «схватывается», «ускользает».

Обобщая наш опыт и опыт коллег — опыт в широком смысле как «опыт» (Знаков, Рябикина, 2017; Лекторский, 2001), — резюмируем, что даже в сравнительно небольших, «одноактных» пилотажных исследованиях целесообразно комбинировать разные варианты дифференцированных оценок, менее подверженных искажениям (усреднению, социальной желательности и пр.), комбинируя разные системы оценок, самооценок, экспертных оценок. К таким вариантам отнесем комбинации весовых долей с произвольной детализацией (в интервале 0,00 — 1,00: 0,10, 0,15, 0,25, 0,33 и т.п.), принудительных выборов из пары утверждений и др.

2.2. Сложности прямого взаимодействия с группами обследуемых. Новой реальностью в полевых исследованиях становится участие посредника — администратора (работника отдела кадров, департамента развития персонала, начальника подразделения), берущего на себя функции инструктирования, диагностики и сбора материала, но не выступающего ни инициатором НИР, ни заинтересованным лицом. В таких ситуациях мы не управляем процессом от начала до его завершения — не знаем, как инструктируют людей, как им доносят цели исследования, как реагируют посредники на ошибки обследуемых, на их отказы; что обещают им в плане обратной связи. Поскольку психодиагностика вне естественного взаимодействия психолога и обследуемого (варианты онлайн-диагностики и пр.) становится своеобразной «нормой», рассмотрим более обстоятельно типичные случаи.

Наиболее концентрированно этот тип ситуаций НИР в нашем опыте проявился в следующем. Генеральные директора четырех промышленных предприятий одного из регионов РФ проявили заинтересованность в изучении «факторов повышения производительности труда». Были составлены списки сотрудников (руководителей среднего и низового звена управления, инженеров), подлежащих психодиагностике. Предполагалось изучение их личностных особенностей, особенностей стиля делового общения, распределения функций управления «по вертикали». Неожидаемым для нас оказалось следующее:

  • психологов не допустили к прямому взаимодействию с обследуемыми;
  • администрацией был предложен вариант онлайн-диагностики при посредничестве со стороны работников отдела кадров;
  • диагностика, согласно договоренности, проводилась трижды в продолжение 1,5 лет. Первый раз в обследовании приняли участие около 80% от списочного состава сотрудников, второй — порядка 65%, третий — 50%. Имело место некоторое смещение данных, полученных в первом, втором и третьем обследовании. Имело место смещение социально-демографических характеристик сотрудников, полученных в первом, втором и третьем обследовании. Последовательное смещение проявлялось как: большая представленность в выборках женщин, а также лиц, занимающих низкие должностные позиции, с медленным карьерным продвижением, более продолжительное время работающих на предприятии (т.е. более лояльными оказывались представители одних социальных групп, менее — других);
  • на всех четырех предприятиях ситуации проведения НИР повторялись.

При этом сотрудники отделов кадров доброжелательно проводили нас по цехам, показывали ключевые участки, разъясняли технологии работ, отвечали на наши вопросы, позволяли переговаривать с сотрудниками на их рабочих местах. Т.е. нам можно было смотреть и спрашивать, задавать прямые вопросы и получать ответы, видеть и фиксировать всё представляющееся потенциально важным. Принимая во внимание, что в обследовании возрастала доля определенных категорий работников и снижалась доля других, актуальными оставались задачи восстановления полноценности эмпирических данных. Вопросами, требующими ответа, оставались следующие. Можно ли как-то: а) «вычислить» данные уклонившихся сотрудников; б) «интегрировать» разнородные данные, которые мы получали посредством наблюдения и беседы; в) «экстраполировать» полученные данные в отношении всего трудового коллектива — в плане решения поставленных задач (изучения «факторов повышения производительности труда») в отношении предприятия в целом?

Прежде всего, представляется возможным интегрировать с литературным материал наших наблюдений. Например, из состава компонентов «идеального предприятия» — назовем его «идеальный эмпирический объект» (ИЭО, по В.С. Степину, 2000) можно «вычесть» то, что недостает на данном предприятии как «реальном эмпирическом объекте» (РЭО) (Толочек, 2018а). Таким же вспомогательным приемом может стать структурное интервью: задавая прямые закрытые вопросы (да/нет), можно быстро получить «срезы» по всем социальным группам. Более сложным, но приемлемым в этой триаде методов представляется вариант «компенсации» или «экстраполяции» имеющихся данных на недостающие — уклонившихся, саботирующих сотрудников.

Имея данные тех, кто отвечал лояльно, зная пропорции уклонившихся и пороги смещения данных диагностики, вероятно, возможно восстанавливать недостающие. Подход с интеграцией данных трех видов представим как «систему уравнений» (например, уравнений множественной регрессии, отражающих зависимости между группами числовых переменных и позволяющих получать нам недоступные переменных, предположительно их вычислять): у1 = f (ИЭО — РЭО); у2 = f (x1, x2, xp); у3 = ∑ (А ∈ а ∨ в + В ∈ с ∨ d + С ∈ e ∨ f + … + Z ∈ n ∨ m); У = ∫ (у1, у2, у3).

Первую группы вычислений можно представить как сопоставление (вычитание) литературных описаний состава социальных объектов (профессии, специализации, рабочего места) (см. обзоры: (Толочек, 2018а, 2018б, 2020) и наблюдаемого их состава на данном предприятии. Соответственно, эти расхождения «должного» (ИЭО) и действительного (РЭО) можно представить так: у1 = f (ИЭО — РЭО), где y1– зависимая переменная; ИЭО — РЭО — различия между характеристиками идеальных эмпирических объектов и реальных (т.е. между тем, что должно быть для полноценного функционирования объекта, и тем, что представлено в реальном объекте «здесь и теперь»). Вторую группу могут представить уравнения множественной регрессии (одни группы эмпирик мы получили, их изменения в разных группах обследуемых наблюдаемы и проявились как устойчивые тенденции; причинно-следственные отношения можно формализовать и довольно точно рассчитать) по формулам типа: y2 = f (x1, x2, xp), где y2 — зависимая переменная (результативный признак); x1, x2, xp — независимые переменные (факторы; результаты, полученные в первой выборке, второй и др., или — при первом, втором и последующих обследованиях). Третью группы вычислений можно представить как обобщение данных опросов (организованных по типу структурного интервью с закрытыми вопросами (да/нет) и/или опросников при полиграфическом тестировании (см. обзор: Толочек, 2018б): у3 = ∑ (А ∈ а ∨ в + В ∈ с ∨ d + С ∈ e ∨ f + … + Z ∈ n ∨ m), где у 3 — сумма «положительных» ответов на закрытые (вопросы: а или в, с или d, e или f и др.).

Изучение социальных объектов, когда, образно говоря, каждый обследуемый в отдельности «за», а все вместе «против», возможно и при использовании части известных данных, зная особенности гетерогенных социальных групп, привлекая все доступные для наблюдения материалы. Вероятно, эти данные можно формализовать и проводить вычисления, дающие приемлемую прогностичность. Не притязая на безупречность нашей формализации, мы лишь обращаем внимание на возможность и необходимость использования разных схем. Напомним, быстрый прогресс информационных технологий (в т.ч. расширяющиеся возможности оперирования big data), поддерживают наш оптимизм в отношении структурированных массивов, допускающих перекрестную проверку эмпирических данных.

2.3. «Сверхзадачи»: «нерешаемые» в границах наличного эмпирического материала. Образцом целого класса научных и практических задач служит типичная постановка задачи исследователю в спорте высших достижений (СВД) — сделать прогноз перспективности молодых спортсменов при их переходе во «взрослый» спорт. Очевидно, что это класс задач с «системой неизвестных»: достижения в юношеском и юниорском разряде определяются не только одаренностью спортсмена, но и темпами его физического и психического созревания, профессионализмом тренера и отработанностью педагогических технологий, статусом региональной и национальной «школы» в данном виде спорта и др. Наибольшая сложность такой «сверхзадачи» заключалась том, что крайне незначительная часть юных и молодых спортсменов (не более 5%) в последующем имеют высокие достижения во «взрослом» спорте. Вероятно, это общая закономерность в отношении разной одаренности детей и юношей и последующей их социальной успешности (см. обзоры: Панов, Хромова, 2014; Ушаков, 2011; Юревич, 2010).

Аналогичными задачами выступают прогнозы профессиональной карьеры выпускников военных училищ (не все молодые лейтенанты станут выдающимися полководцами, начальниками штабов, командующими округов и родов войск, крупными специалистами); выпускников вузов (не все отличники учебы становятся руководителями производства, крупными специалистами, учеными). Вариантом решения таких задач может стать способ «умножение объектов / разделение предмета исследования». В нашем случае обобщались три массива сходных по содержанию эмпирик — данных обследования членов молодежной сборной команды страны по дзюдо, молодежной сборной по вольной борьбе, членов «взрослой» сборной по вольной борьбе. В организации их стилей выделялись и различались особенности структуры стиля в целом и его подструктур (трех частей системы). Ретроспективно (через 25–30 лет) с привлечением экспертов восстанавливались спортивные биографии борцов.

Ввиду того, что виды спорта были сходными (как социальные объекты), а результативность представителей разных видов борьбы и возрастных групп разнилась, ключевыми критериями прогноза успешности субъектов оказалась мера сходства, подобия трех подструктур стиля между собой и со структурой стиля в целом (критерием выступала мера самоподобия структур). Мера сходства-различия структур и подструктур в пределах тесноты корреляций 0,100-0,200 «отражалась» в 6–8-кратном различии числа медалей, полученных борцами на крупных международных турнирах — Олимпийских играх, чемпионатах мира и Европы (Толочек, 2015). Остается добавить, что убедительное решение было найдено через 30 лет, хотя большая часть эмпирик была доступна для изучения на момент постановки задачи.

Итак, способом решения этого типа задач выступает подбор не менее трех объектов, сходных по их атрибутивным свойствам, с последующим делением каждого объекта на 2–3 части и сопоставлением частей объектов между собой (структур и подструктур стилей и т.п.). Условно эти операции можно формально представить как систему уравнений (где А,В,С — разные объекты; 1/n А, 1/n В, 1/n С — анализируемые части объектов): у1 = ∑ (А ≈ В ≈ С); у2 = 1/n А ≈ 1/n В ≈ 1/n С; у3 = 1/n А ≡ А, 1/n В ≡ В, 1/n С ≡ С; У = ∫ (у1, у2, у3)

2.4. «Сверхзадачи»: «нерешаемые» в границах актуального времени. Лонгитюдные исследования в нашей культуре проводятся редко, как и «срезовые». Разные варианты мониторинга организационно и технологически более доступны, но и этой возможностью мы пренебрегаем. Но то, что не было достаточно проявлено при однократном обследовании, нередко проявляется при повторных. Сущностные свойства, фазы стабильных и переходных состояний объектов сравнительно легко выявляются при серийных обследованиях. Так, например, в СВД достаточно изучена динамика прироста результатов спортсмена в зависимости от возраста, пола, стажа занятий видом спорта (см. обзоры: Толочек, 2015; Шапошникова, 1984). Следовательно, можно предполагать, что каждая отдельная ситуация (социальный объект исследования, заданный в рамках определенного контекста, например, как в рассматриваемом выше случае, молодые спортсмены, воспитанники конкретных тренеров, уровень конкуренции в виде спорта, в данной весовой категории и др.) может надежно вычисляться, например, посредством уравнений множественной регрессии: У = ∫ (А t1, А t2, А t3, А ti)

Другим вариантом решения «сверхзадач» может стать привлечение квазиизмерений (эмпирических данных, замещающих другие, в наличных условиях труднодоступные — например, самооценок на экспертные оценки и наоборот; данные «срезов» не оценки прогноза эволюции объекта и т.д.) (Толочек, Денисова, 2011). Потенциал квазиизмерений значительно возрастает при привлечении к анализу дополнительных, косвенных данных, получаемых как на стадии сбора материала, так и позже, при подготовке данных для анализа. Квазиизмерения можно рассматривать и как вариант решения задач в оппозиции «действительное — возможное» (Знаков, 2020).

Реальные выборки обследуемых обычно гетерогенны. Пол, возраст, опыт работы, статус в организации и в рабочих группах и пр., как правило, «накладывают печать» на все акты организационного поведения и деятельности человека. После ввода эмпирических данных в общую базу можно видеть все «неровности» матриц, часто обусловленных отсутствием нормального распределения эмпирик в контактных группах, гетерогенностью групп по ряду признаков. Эти особенности реальных выборок требуют пристального внимания ученого; они должны становиться предметом исследования (Калугин, 2019; др.), а не теряться в общих массивах, не затеняться, не затираться малоинформативными корреляциями и «сжатием пространства переменных».

3. Методы и методология полевых исследований как научная и научно-практическая проблема

Еще раз суммируем ключевые составляющие обсуждаемой проблемы: преобладание простых схем НИР; большая доля исследований на выборках учащихся (маскирующих сложности взаимодействия исследователя и обследуемых), изменяющийся менталитет людей; усложнение доступа к прямому и гибкому взаимодействию ученого и сотрудников крупных организаций; прямые требования и латентные ожидания быстрого проведения НИР и предоставления его результатов. Историческое смещения состояний социальных объектов, социального запроса, условий проведения НИР должно поддерживаться соответствующим продвижением методологии дисциплины.

Возрастающая роль множества условий, заявляющих о себе «здесь и теперь», названных нами «ситуация», создают качественно иные возможности планирования и проведения научных исследований. Феномен и понятие «ситуация» не является нашим открытием. Этот феномен взаимодействия людей в процессах типовой психодиагностики обсуждается психологами с середины ХХ ст. В разных контекстах, по разным причинам эта тема неоднократно заявляла о себе в разных научных традициях, в отношении разных задач: «форма единства человека и среды описывается в терминах ситуация» (Д. Магнуссон), «жизненного пространства» (К. Левин) или «мира» (С.Л. Рубинштейн). Объект-ситуация или объект-мир «выражает способ объединения разноплановых сил в некоторое целое, в котором цементирующая роль и инициатива принадлежит субъекту. …субъект конструирует свое бытие, одновременно подчиняясь ему. Объект-ситуация или объект-мир становится главной альтернативой объекту-вещи…. В отличие от объекта-вещи объект-мир не дается заранее и до завершения акта остается неопределенным» (Барабанщиков, 2012, с. 22; здесь и далее курсивом выделено нами. — В.Т.). Если к этим констатациям добавить «уточнения»: в большинстве актов в системе «человек — мир» участвует не один изолированный субъект, а несколько; это процессы актуального взаимодействия людей, протекающие в организованном и/или активно реорганизуемом пространстве; взаимодействия людей инициируются разными мотивами, ценностями, смыслами, целями, — то признаем, что в этих процессах «цементирующая роль и инициатива» принадлежит отнюдь не одному субъекту, а всем, многим или нескольким субъектам, далеко не всегда содействующим достижению целей друг друга.

Обсуждая проблемы одаренных детей, ученые резюмируют: «единицей анализа развития одаренного ребенка должна выступать ситуация развития как система»; «имея опыт решения трудных проблем и ситуаций познавательного характера, одаренные дети не получают опыта в решении ситуаций социального характера» (Панов, 2017, с. 45, 49); рассматривая «каскады» ситуаций развития / разрушения, ученые прибегают к понятиям «ситуации познавательного характера», «ситуации социального характера», «трудные жизненные ситуации», «критические ситуации» (Панов, Хромова, 2015).

Ситуации взаимодействия людей не сводятся лишь к координации «векторов» их активности. Например, в совместной профессиональной деятельности имеет место феномен асимметрии предпочтения личностных и профессионально важных качеств (ПВК) партнера, т.е. для профессионалов более важно, чтобы в ситуациях взаимодействия другие субъекты имели несколько иные паттерны качеств (Толочек, 2018б, 2020). Реальная совместная профессиональная деятельность субъектов есть ситуации дополнения, достраивания «целого» в границах взаимодействия и в возможностях двух и более взаимодействующих субъектов. Т.е. всегда есть нечто, интуитивно или осознанно добавляемое субъектом до завершенности некоторого целого, того целого, которое мы, исследователи, в лучшем случае тоже достраиваем, но уже по своим особым, ранее концептуально оформленным схемам (следовательно, не всегда адекватным для изучения явлений «здесь и теперь»).

Онтологически «ситуации» представляют собой континуум актуализированных «единиц» реальности — от упрощенных и рафинированных условий лабораторных экспериментов до предельных — жестких «трудных жизненных ситуаций». Концептуально под «ситуациями» нужно понимать не только лишь последовательности комплексов условий, которые должно рассматривать в наших анализах; «ситуации» есть не только лишь отражение сложных отношений социальных объектов в системах «субъект — среда (окружение)»; «ситуации» есть отражения многомерности состояния, функционирования и эволюции реальных эмпирических объектов. В этой связи функции сложных схем НИР состоят в воссоздании многомерной сложной реальности — «ситуации», тогда как следствием использования простых схем становится предельное упрощение научных экспликаций состояний обследуемых объектов, их отношений с окружением, по существу — отказ в признании за ними системных свойств (интрасистемных, интерсистемных, метасистемных связей с окружением).

Еще раз акцентируем несколько важных аспектов: феномен «ситуация» существует как множество «ситуаций» — разных сочетаний взаимодействующих условий социальной макро-, мезо и микросреды; в формировании таких «ситуаций» участвуют прямо и косвенно множество людей; процессы и эффекты «ситуаций» по-разному проявляются на протяжении времени. «Ситуация» есть своего рода «голограмма фрагмента реальности», часть фрактала его организации. Соответственно, «ситуация» должна рассматриваться как ключевое звено в технологиях познания свойств фрагментов социальной действительности, возможных траекторий их эволюции. Феномен «ситуация» есть тот фрагмент реальности, который нам нужно непременно адекватно восстановить, воссоздать, воспроизвести, иногда — восполняя «лакуны» теми или иными вычислениями, переходами к новым «системам координат» описания феномена. Подобные действия требуют обращения к новым ресурсам методологии, методического инструментария, понятийного аппарата — того, что предполагается и требуется при следовании постнеклассической парадигме.

Пожалуй, все ведущие ученые признают необходимость развития методологии дисциплины, отмечают первостепенную актуальность такой работы, ее сложность, определяемую не только и не столько собственными дисциплинарными проблемами (Ананьев, 2001; Рубинштейн, 1999; др.). Остро и радикально эти вопросы сформулировал А.В. Юревич: «Психология… оказавшись в наиболее «горячей точке» взаимодействия различных метадигм, испытывает на себе их противоречивое влияние, которое отображается в ее внутренних противоречиях, воспринимаемых как кризис психологического знания и традиционных способов его получения. Ее кризис носит системный характер, имея в своей основе три ключевых фактора: 1) общий кризис рационализма, 2) функциональный кризис науки, 3) кризис естественнонаучности и традиционной — позитивистской — модели получения знания. Все три составляющие кризиса имеют социальные корни» (Юревич, 1999, с. 10).

Эволюцию методов и методологии дисциплины, сопряженную и порождаемую самими процессами научных поисков отмечал еще С.Л. Рубинштейн: «Каждый метод, чтобы стать действительным средством научного исследования, должен явиться сначала результатом исследования» (Рубинштейн, 1999, с. 53). Методы возникают, открываются, разрабатываются, заимствуются, формируются, вызревают в процессах проведения научной работы, в процессах поиска решений «сверхзадач». Колоссальный багаж знаний, техник и правил организации научной работы, созданный и накопленный предшественниками, остается нашим достоянием. «Методологические работы классиков советской психологической науки …. никоим образом не утратили своего значения» (Мазилов, 2017, с. 163). Но мы уже не можем жить исключительно на этих дивидендах. «…Методология … не является устоявшейся, сформировавшейся теорией. …методология психологии представляет собой совокупность идей, понятий, принципов, схем, моделей, концепций и т.д., и в каждый момент времени на первый план выходят те или иные ее аспекты. И если перед психологией встают новые задачи, то и методология должна осуществлять соответствующую проработку, создавая новые методологические модели. …методология психологии имеет конкретно-исторический характер» (Мазилов, 2017, с. 173).

И если ранее в качестве надежных опор структурирования дисциплины, ее методологии и технического арсенала выступали, прежде всего, «методы», то теперь наряду с ними важную роль должны играть новые составляющие теоретического знания. Одними из них должны стать понятия «ситуация», «взаимодействия», «пространство», «среда (окружение)» — как отражающие моменты динамичности фрагментов социальной действительности, зависимости эволюции дисциплины от условий, ранее не артикулируемых. Интуитивные догадки, решения, «поправки» на обстоятельства «здесь и теперь», спонтанные находки исследователей могут и должны становиться предметом последовательной методологической рефлексии. (К слову, в нашем опыте в одних случаях решения принимались в продолжение 2–3 дней, иногда — 2–3 недель; в других — на поиск и нахождение оптимального варианта уходило до 20–30 лет. Согласимся, что несколько десятилетий между постановкой актуальной задачи и нахождением варианта ее решения — слишком долгий интервал для социальных наук.)

Заключение

Обсуждаемая проблема — нарастающие сложности в проведении НИР в современных организациях, сохраняющийся разрыв между академической психологией и психологической практикой, — как актуальная научная проблема и шире — социальная проблема — имеет, скорее, исторически общий характер (см. обзоры: Васильева, 2020; Толочек, 2017; Ones u.a., 2017). В продолжение последних двух десятилетий мы наблюдаем негативную динамику отношения персонала крупных организаций к научным исследованиям. Если еще в конце 1980-х годов при проведении нами НИР на крупных промышленных предприятиях все работники — от рядового инженера до руководителей высшего звена — прилежно заполняли бланки, с интересом относились к аппаратурным методикам, живо интересовались результатами, то уже в конце 2000-х в крупных коммерческих компаниях сотрудники кране неохотно взаимодействовали с исследователями; в регионах эти процессы еще слабо заявляли о себе, в крупных городах, особенно в столице, они стали устойчивым явлением уже в «нулевых».

Затронутая проблема — сопряженность эволюции социальных объектов, форм социального запроса, методического и методологического арсенала социальных наук — является перманентно актуальной. Более конкретно в совокупности частных аспектов мы определили ее как «методология и методы полевых исследований». В психологии при проведении полевых НИР (как и в медицине, и в других дисциплинах, реализующих принцип единства теории, эксперимента, практики) важной составляющей должны стать «чувство реальности», «чувство предмета», «видение ситуации» исследователя («личностное знание», по М. Полани, или более привычное понятие — «искусство» в его противопоставлении «ремеслу»); умение исследователя в «хаосе», в переплетении общего, особенного, единичного искать и находить взаимосвязи, объясняющие отдельные фрагменты социальной действительности и далее, по возможности, — восстанавливать целостную картину изучаемой действительности. Но это искусство должно активно поддерживаться профессиональными технологиями, в частности — методологией дисциплины, открытой к актуальному «опыту» ученого. «Методология должна быть методологией «снизу». …методологические положения должны идти от проведения психологических исследований, от опыта и обобщений самой науки» (Мазилов, 2017, с. 10); «выход за пределы изучаемой системы при ее объяснении, не только неизбежен, но и необходим, являясь основой углубления объяснений» (Юревич, 2006, с. 102).

Ключевой компонент, вводимый нами для объяснения и учета роли новых актуальных условий проведения НИР, — «ситуация» — хорошо согласуется с концепциями отечественных методологов и дополняет их. Так, А.В. Юревич к структурным элементам психологического знания относит базовые «идеологии» и системы методологических принципов; категории; теории; законы; обобщения; объяснения и интерпретации; прогнозы; факты и феномены; контексты (проявлений фактов и феноменов); корреляции между феноменами; описания; методики; технологии; знания из смежных наук (Юревич, 2010). В этой схеме, центрированной исключительно на исследователе, выделяемая нами «ситуация» может занимать несколько позиций после «законов» (неоднократно, на разных этапах НИР привлекать к себе внимание ученого ввиду ее уникальных контекстов, ее динамичности и вариативности, представляющей НИР не как одноактный и «однозначный» шаг к истине, а как процесс «извлечения знания» из самой динамики эволюции социальных объектов). Согласно В.А. Мазилову, «схема включает в себя следующие структурные компоненты: проблема, предмет психологии, опредмеченная проблема, предтеория, метод, … эмпирический материал, объяснение …. теория как результат исследования» (Мазилов, 2017, с. 260). «Ситуации» есть акты реального взаимодействия субъекта и объекта (в нашей практике субъекта и субъекта); есть «живая клеточка», в которой, с одной стороны, соединяются намерения ученого, с другой — эффекты функционирования социальных объектов в их актуальных состояниях; есть «клеточка», в которой и порождается само знание в циклах повторяющихся взаимодействий людей: «пред-ставление1 — ситуация1» — «пред-ставление2 — ситуация2» «пред-ставление3 — ситуация3» — «…» — «…».

Выделяемое нами понятие «ситуация» отвечает логике третьего типа рациональности (Степин, 2000). Объяснения и описания ученого, согласно классическому типу рациональности, признаются научными, объективными, когда в цепочке «субъект — средства (операции) — изучаемый объект» все сосредоточено только на объекте, когда исключено, элиминировано все иное. Неклассический тип акцентирует связи знания об объекте и характера средств субъекта, оперирующего с объектом. Третий тип, постнеклассический, требует расширения пространства рефлексии ученого об условиях и процессах его деятельности, требует учета связи получаемых знаний об объекте с используемыми научными инструментами, с ценностно-целевыми составляющими деятельности ученого. В этой связи признание активности субъекта не только за ученым, не только за концептом и методологическим принципом, но и за другими людьми, для ученого выступающими «объектами» его исследования, правомерно и отвечает логике постнеклассической рациональности (постнеклассической парадигме). Выделяемое нами понятие «ситуация» отражает действенность принципов детерминации, развития, единства сознания и деятельности, системности; признание активности субъекта — не только исследователя, но и с ним взаимодействующего другого, выступающего в роли обследуемого, при этом также субъекта, есть признание широкого смысла наших принципов. Ни один из участников НИР не является пассивным объектом; каждый взаимодействующий есть субъект. Время «научных монологов» заканчивается, нам нужно учиться стратегиям диалога.

Список литературы

  1. Ананьев Б.Г. О проблемах современного человекознания. СПб: Питер. 2001.
  2. Барабанщиков В.А. Принцип системности в психологической науке // Развитие психологии в системе комплексного человекознания / Отв. ред. А.Л.Журавлев, В.А.Кольцова. М.: Изд-во «Институт психологии РАН», 2012. С. 17–26.
  3. Васильева И.И. Формальное и неформальное: опыт управленческого консультирования в «застойной» экономике // Организационная психология. 2020. Т. 10. № 3. С. 207–224.
  4. Знаков В.В., Рябикина З.И. Психология человеческого бытия. М.: Смысл, 2017.
  5. Знаков В. В. Психология возможного: Новое направление исследований понимания. М.: Изд-во «Институт психологии РАН», 2020.
  6. Лекторский В.А. Опыт // Новая философская энциклопедия: в 4 т. М.: Мысль, 2001. Т. 3. С. 158–159.
  7. Панов В.И. Экопсихологический подход к развитию одаренности // Психология одаренности и творчества / Под ред. Л.И.Ларионовой, А.И.Савенковой. М., СПб: Нестор-История, 2017. С. 37–51.
  8. Панов В.И., Хромова Т.В. Критические ситуации в жизни особо одаренных детей // Педагогика. 2015. №1. С. 40–46.
  9. Мазилов В.А. Методология психологической науки: история и современность. Ярославль: РИО ЯГПУ, 2017.
  10. Калугин А.Ю. О некоторых методических аспектах исследования индивидуальности человека // Психология. Психофизиология. 2019. Т. 12, № 2. С. 29–40.
  11. Рубинштейн С.Л. Основы общей психологии. СПб: Питер, 1999.
  12. Степин В.С. Теоретическое знание: структура, историческая эволюция. М.: Прогресс-Традиция, 2000.
  13. Толочек В.А., Денисова В.Г. Динамика профессионального становления в представлениях субъектов: самооценки как самодостаточные эмпирические данные // Психологический журнал. 2013, Т. 34. №6. С. 26–39.
  14. Толочек В.А. Стили деятельности: ресурсный подход. М: Изд-во «Институт психологии РАН», 2015.
  15. Толочек В. А. Парадоксы развития отечественной индустриальной организационной психологии // Организационная психология. 2017. Т. 7. №4. С. 129–144. URL: https://orgpsyjournal.hse.ru/2017-7-4.htm
  16. Толочек В.А. «Профессия»: организация и атрибутивные свойства феномена. Ч. 2. // Вестник Ярославского государственного университета им. П.Г. Демидова. Серия Гуманитарные науки. 2018а. № 4 (46). С. 75–80.
  17. Толочек В.А. Психологическое обеспечение профессиональной деятельности. Методики профессионального отбора. М.: Юрайт, 2018б.
  18. Толочек В.А. Психология труда. 3-е изд., доп. СПб: Питер, 2020.
  19. Ушаков Д.В. Психология интеллекта и одаренности. М: Изд-во «Институт психологии РАН», 2011.
  20. Шапошникова В.И. Индивидуализация и прогноз в спорте. М.: Физкультура и спорт, 1984.
  21. Юревич А.В. Системный кризис в психологии // Вопросы психологии. 1999. №2. С. 3–12.
  22. Юревич А. В. Объяснение в психологии // Психологический журнал. 2006. Т. 27. №1. С. 97–106.
  23. Юревич А.В. Методология и социология психологии. М.: Изд-во «Институт психологии РАН», 2010.
  24. Carifio, J. & Perla, R. (2007). Ten Common Misunderstandings, Misconceptions, Persistent Myths and Urban Legends about Likert Scales and Likert Response Formats and their Antidotes. Journal of Social Sciences, 2, 106-116.
  25. Jamieson, S. (2004). Likert scales: how to (ab)use them. Medical Education, 38, 1212-1218.
  26. Liddell, T. M., & Kruschke, J. K. (2018). Analyzing ordinal data with metric models: What could possibly go wrong?. Journal of Experimental Social Psychology, 79, 328-348.
  27. Likert R. The Human Organization: Its Management and Value. N. Y.: McGraw-Hill, 1967.
  28. Lubke, Gitta H.; Muthen, Bengt O. (2004). Applying Multigroup Confirmatory Factor Models for Continuous Outcomes to Likert Scale Data Complicates Meaningful Group Comparisons. Structural Equation Modeling, 11, 514-534.
  29. Ones D. S., Kaiser R. B., Chamorro-Premuzic T., Svensson C. (2017). Has Industrial-Organizational Psychology Lost Its Way? // Industrial-Organizational Psychologist, 54 (4), 67-74.

Работа выполнена в соответствии с Гос. заданием № 0138-2021-0010 «Регуляция профессионального взаимодействия в условиях организационных и технологических вызовов».

Источник: Толочек В.А. Полевые исследования: методология, подходы, дизайн: открытые вопросы // Актуальные проблемы психологии труда, инженерной психологии и эргономики. Выпуск 10 / Под ред. А.А. Обознова, А.Л. Журавлева, Ю.В. Бессоновой. М.: Изд-во «Институт психологии РАН», 2021. С. 395–416. DOI: 10.38098/ergo.2021

В статье упомянуты
Комментарии

Комментариев пока нет – Вы можете оставить первый

, чтобы комментировать

Публикации

Все публикации

Хотите получать подборку новых материалов каждую неделю?

Оформите бесплатную подписку на «Психологическую газету»