Альт-ассессмент

Есть ли достойная альтернатива классической процедуре ассессмент-центра? В этой статье мы постараемся дать ответ на поставленный вопрос.

Фрумкин Анатолий Александрович — генеральный директор Центра эргономических и Психологических технологий,
Доценко Александр Николаевич — генеральный директор консалтинговой фирмы «Альт-коруна», Санкт-Петербург.

«Альтернатива — необходимость выбора одного из двух (или нескольких) возможных решений».
(С.И. Ожегов, «Словарь русского языка»).

Рассмотрим все «за» и «против» классического ассессмент-центра.

Вот как определяет понятие ассессмент-центра С.А. Маничев (Технология работы оценочного центра // Практикум по психологии профессиональной деятельности / под. ред. Г.С. Никифорова, М.А. Дмитриевой, В.М. Снеткова. СПбГУ, 2000): «Ассессмент-центр — это метод комплексной оценки персонала, основанный на использовании системы взаимодополняющих методик, ориентированный на реальное рабочее поведение оцениваемых сотрудников и учет особенностей требований должностных позиций».

Уточним это определение. Нам кажется, что ассессмент-центр не столько метод, сколько процедура, и как всякая процедура, классический ассессмент предполагает поэтапное решение поставленной задачи. Наверное, нет смысла приводить подробное описание этапов классического ассессмента и способов их реализации. Наиболее методически завершенным описанием этапности этой процедуры, на наш взгляд, является книга Мартина Кляйнманна «Ассессмент-центр», выпущенная издательством «Гуманитарный центр», Харьков, 2004 под научной редакцией С.А. Маничева. В книге последовательно описывается процедура оценки персонала и, что очень важно для современной научной литературы — анализируются все «за» и «против» описываемой процедуры. Так что желающие могут самостоятельно познакомиться с классическим ассессментом. Мы остановимся лишь на сомнительных результатах отдельных этапов. Самостоятельный интерес представляет предисловие С.А. Маничева к русскому изданию книги. С него и начнем. Заранее просим извинить читателей за большой объем цитирования. Очень уж не хочется пересказывать мысли авторов своими словами.

Итак, вот что пишет С.А. Маничев: «К сожалению, именно методы анализа профессиональной деятельности в целях выделения требований к выполняющему ее сотруднику (т.е. показателей его оценки) очень скупо представлены в работе М. Кляйнманна. По существу, приведены только названия нескольких возможных методов, с помощью которых можно получить информацию о требованиях деятельности в должностной позиции». И тут нам хочется заступиться за М. Кляйнманна. Возможно, он совершенно сознательно анализирует лишь психологическую составляющую оценки персонала. В книге А.А. Фрумкина «Психологический отбор в профессиональной и образовательной деятельности», выпущенной издательством «Речь» в 2004 году, подробно анализируется методическая некорректность смешения психологических и профессиональных критериев в процедуре оценки персонала. Приведем дословно аргументацию автора.

«Cмешение критериев с последующей комплексной оценкой пригодности приводит к нивелированию обеих групп показателей, что может привести к парадоксальным результатам. А именно, можно принять на работу абсолютно профессионально непригодного человека за счет увеличения числа психологических критериев (по ним он может пройти) и, наоборот, принять психологически непригодного за счет увеличения числа профессиональных критериев. Кроме того, смешение критериев профессиональной компетентности с психологическими приводит к тому, что этот процесс не поддается унификации и требует разработки тезауруса признаков для каждой должности (специальности) заново. Считаю целесообразным и даже необходимым разделить оценку профессиональной компетентности и психологическую оценку пригодности персонала. Это позволит унифицировать процедуру формирования признаков в психологической части и даст возможность создать оболочку автоматизированного подхода к выработке критериев и оценочной процедуре профессиональной компетенции. Вот почему эти две процедуры должны быть разделены в обязательном порядке».

Приведенные соображения, хотя и очень важные, но относятся больше к теоретическим разногласиям процитированных авторов. Посему вернемся к практической реализации процедуры ассессмент-центра. Первым и самым важным этапом любой оценки является этап формирования критериев. Вот как формулирует это требование М. Кляйнманн: «Оценка профессиональной пригодности без анализа области приложения этой пригодности бессмысленна».

На этом этапе психологи, проводящие оценку, и эксперты заказчика совместно анализируют деятельность специалистов, которых будут оценивать, и на основании этого анализа формируют перечень критериев — профессионально-важные качества (ПВК). Понятно, что это один из основных этапов процедуры оценивания. Неверно выбранные критерии сводят на нет все полученные результаты. Так что постараемся тщательно проанализировать метод реализации этого этапа. Принцип формирования критериев оценки, предлагаемый М. Кляйнманном, известен в психологической литературе как метод инженерно-психологического анализа деятельности. Это наиболее распространенный в практике метод построения психологического эталона специальности — ПЭС (в литературе ПЭС обычно называют психограммой). Последовательность построения ПЭС такова. Специалисты, призванные решить поставленную задачу, сначала строят профессиограмму — алгоритм решения задачи специалистом, чей ПЭС необходимо построить (Дмитриева М.А., 1990, Кулагин Б.В., 1984). Для этого используются интервью, «заспинное» наблюдение, хронометраж деятельности и т.п. Далее на основе анализа профессиограммы строится психограмма, то есть определяется, какие психофизиологические функции и личностные характеристики обеспечивают каждый участок алгоритма. Это процесс длительный и сродни творчеству, так как требует от психолога наличия незаурядной фантазии, не говоря уже о доскональном знании предмета.

Недостатки, присущие данному методу, можно условно разделить на два класса:

Субъективные:

• субъективизм при построении как профессиограммы, так и психограммы;
• зависимость психограммы от уровня профессионального мастерства психолога.

Объективные:

• отсутствие корректного шкалирования необходимого уровня выраженности тех или других ПВК для данной специальности;
• отсутствие шкалирования уровня недопустимости тех или других ПВК для данной специальности;
• отсутствие организации предметной области «профессиональная психодиагностика». Это приводит к тому, что зачастую перечень ПВК определяется с использованием понятий «класс свойств» и «свойство» совместно. В этом случае происходит нивелирование целого ряда свойств в рамках класса. Например, указывается на необходимость высокого уровня развития памяти без уточнения — оперативной, долговременной, зрительной или пр.

В силу указанных недостатков получается некорректный (попробуем смягчить формулировку — сомнительный), практически количественно никак не определенный набор ПВК. Неверный набор ПВК предопределяет неверный подбор диагностических методик, а отсутствие шкалирования меры необходимости того или иного свойства приводит к тому, что психограмма количественно не определена. И, наконец, отсутствие указания на недопустимые для данной специальности свойства. Этот недостаток нуждается в дополнительном пояснении. Если недостаточный уровень развития каких-либо свойств еще можно компенсировать (компенсаторные возможности человека всегда были предметом научных обсуждений и увлекательных газетных материалов), то компенсировать наличие недопустимых для специальности свойств практически невозможно. Неучет этого факта может послужить источником необратимых последствий в деятельности человека, особенно если она связана с потенциально опасными технологиями. Перечисленные недостатки приводят, по крайней мере, к двум «результатам»:

• неуверенность в корректности выбранных критериев;
• отсутствие шкалирования выбранной номенклатуры требований приводит к необходимости вербального сведения оценок наблюдателями. НЕТ МАТЕМАТИКИ!!!!

Что касается первого результата, то корректность выбранных критериев проверялась нами на примере оценки антикризисных управляющих. Результаты анализа подробно изложены в книге А.А. Фрумкина (см. стр. 87–93). Скажем лишь, что целый ряд свойств, выбранных психологами совместно с экспертами методом анализа деятельности оказался лишним, а ряд свойств, определенных экспертами как значимые, вовсе не контролировался. Сравнительный анализ проводился между критериями, выбранными совместно психологами и экспертами (Базаров Т.Ю., Беков Х.А., Аксенова Е.А. Методы оценки управленческого персонала государственных и коммерческих структур. М., 1995) и критериями, сформированными только экспертами по методике Т.П. Зинченко и А.А. Фрумкина. И еще одно немаловажное, на наш взгляд, замечание по поводу формулировки алфавита критериев. Нам понятно стремление психологов, занимающихся процедурой оценки, «разговаривать» с экспертами на понятном им языке. Но нельзя же забывать о профессии! Стремление быть понятным оказалось столь сильным, что название свойств, подлежащих оценке, привело к полной путанице: часто название свойства и объяснение к нему сформулировано столь витиевато и обще, что под формулировку попадало два, три, а то и большее число психологических свойств. Как же в этом случае подбирать диагностические методики? Как понять, даже самим наблюдателям, а какое собственно свойство они контролируют? Естественно, что пояснения к каждому свойству необходимо формулировать без использования каких-либо специальных психологических понятий. Но сам-то психолог должен четко понимать, какое единичное, а не совокупность нескольких свойств, заложено в пояснении.

Теперь о наблюдателях. Вот что пишет М. Кляйнманн об оценках, даваемых экспертами-наблюдателями, назвав этот принцип ассессмента «принципом контролируемой субъективности»: «Объективная истина нам недоступна. Отсюда выводится требование присутствия нескольких обученных наблюдателей (консультантов, менеджеров по персоналу, а также руководителей), которые поддерживают друг друга и контролируют». Дальше больше: субъективность самой оценки усугубляется способом получения комплексных оценок. Сведение результатов наблюдения происходит на основе консенсуса наблюдателей. Иными словами, методом обсуждения, хотя в математике существует масса методов объективной стабилизации экспертных оценок.

И последнее по классическому ассессменту. Имитационное моделирование, так мы назвали один из этапов оценки — «принцип имитации» у М. Кляйнманна. Процитируем автора: «Поведение участников ассессмент-центра рассматривается и оценивается только в контексте ситуации реальной деятельности. В ассессмент-центре поведение наблюдается и оценивается в ситуациях, которые имитируют те, которые в реальной деятельности определяют эффективность достижения целей должностной позиции». Получается, что в классическом ассессменте степень адекватности имитационных заданий реальной деятельности является обязательным условием и значимо влияет на корректность оценки наблюдателей.

Формирование условий и содержательная сторона имитационной модели не только очень сложная творческая задача, но достаточно опасное мероприятие с точки зрения экстраполяции результатов на реальные ситуации.

Одному из нас длительное время довелось заниматься вопросами имитационного и полунатурного моделирования больших человеко-машинных комплексов. И несмотря на то, что для данных видов моделирования эффективность этих комплексов поддается количественной оценке расчетными и измерительными методами, а не наблюдателями, специалисты-математики так и не смогли ответить на вопрос заказчика техники об адекватности этих способов моделирования реальной ситуации. Это очень сложная, практически не решаемая математическим путем задача. Даже при полунатурном моделировании, когда практически вся техническая часть комплекса состоит из реальной аппаратуры, подыгрыш реализуется мощными многомашинными вычислительными комплексами, а весь управленческий персонал состоит из профессионалов высокой квалификации — реальные условия отличаются от условий моделирования таким количеством переменных параметров, что определить меру адекватности, то есть дать коэффициент пересчета полученной эффективности комплекса на реальную, — практически невозможно.

Ну что ж, вполне достаточно для того, чтобы посеять у читателей целый ряд сомнений в корректности результатов процедуры классического ассессмента. Надо отдать должное М. Кляйнманну, по ходу изложения материала у него тоже возникает множество вопросов. Чего стоит например такая фраза: «Известно, что в ассессмент-центре удается получать прогностически валидные суждения, но неизвестно в точности, каким образом». К слову следует добавить, что автор так нигде и не приводит описание метода получения количественной оценки «валидности суждения».

Продолжение читайте в следующем номере.