Человек в профессиональной и образовательной деятельности. Методы оценки

Детям моим: Андрею, Жене, Илье и Танюше посвящаю.

Дорогие коллеги, мы начинаем публикацию книги «Человек в профессиональной и образовательной деятельности. Методы оценки», её автор Анатолий Александрович Фрумкин - генеральный директор Центра эргономических и психологических технологий, автор трех монографий и свыше 350 статей. Совместно с профессором Татьяной Петровной Зинченко он разработал авторскую технологию оценки психологической пригодности персонала - технология реализована в Автоматизированной системе психологического сопровождения деятельности. Вторая глава. Третья (заключительная) глава.

От автора

Всю жизнь не любил романов с продолжением: как правило, с каждым новым томом они становятся все хуже и хуже, все менее интересными. А тут, как сейчас говорят, такой «прикол»! Сам пишу второй том по оценке персонала. В 2004 году в издательстве «Речь» вышла моя книга «Психологический отбор в профессиональной и образовательной деятельности». В ней подробно анализировались все методы и средства психологического отбора (аттестации) и предлагался метод, разработанный нами с Т.П.Зинченко, который мы назвали «метод двух портретов». Тогда нам казалось, а мне так кажется до сих пор (вот уже 12 лет как нет в живых Татьяны Петровны), что этот метод является наиболее корректным из всех, существующих на сегодняшний день методов психологической оценки персонала. Метод двух портретов не имеет аналогов ни у нас, ни за рубежом, хотя использует некоторые идеи, предложенные психотехниками еще в 1934 году. Правда, психотехники пошли по тупиковому пути. Но думаю, что если бы не 37-й год, они довели бы свои идеи до конкретной реализации.

Дело в том, что метод, основанный на идее сравнения «того, что надо» с «тем, что есть», настолько прост и очевиден, что очень хочется использовать его и для решения научных задач. Таких, например, как психологический отбор или профориентация, рейтинговая оценка персонала, оценка знаний, умений и навыков (ЗУН, как говорят психологи) и т.д.

И ещё одно обстоятельство, которое предопределило написание второй книги. Когда мы с Татьяной Петровной закончили все исследования, отметающие или подтверждающие наши методические опасения и надежды, и приступили к программной реализации «Автоматизированной системы психологического сопровождения деятельности» (АСПСД), нам предстояло решить еще одну, как оказалось, очень трудную, но интересную задачу. Компьютерная реализация психодиагностических методик. Вопросы сыпались один за другим. Ведь перед тем, как написать алгоритм для программистов, надо было решить целый ряд проблем: в чем заключается ответная реакция – можно ли использовать клавиатуру или нет; не исчезает ли адекватность бланковой методики при ее прямом переносе на машину; вводить ли новый параметр выполнения теста, такой как время. Ведь в бланковых методиках его нет, и лишь в редких случаях используется секундомер, а на машине время можно регистрировать и очень жалко упускать такую возможность. Но тогда надо в большинстве методик переходить к новому показателю - продуктивности, который учитывает не только точность выполнения теста, но и время. А это, в свою очередь, меняет диапазон изменения показателя тестирования, а значит и интерпретацию результатов и т.д. и т.д. Вопросы сыпались один за другим и все это мы должны были решить до того, как отдадим материалы программистам. Программисты – «люди простые». Их принцип таков: «Запрограммировать можно все, что угодно, но перед этим заказчик должен решить – надо ли ему это!». И, как ни странно, они правы на все сто процентов. Именно эту задачу «а надо ли нам это и если надо, то зачем и как?» мы и должны были решить. Хочу сразу отметить, хотя писал и говорю об этом всегда, если бы не квалификация Татьяны Петровны, не выполнить нам эту задачу никогда. То, что мы увидели, повергло нас в ужас своим непрофессионализмом: потеря валидности при переносе бланковых методик на машину (опросные методики не в счет); использование клавиатуры, пусть в ограниченном варианте, как форму ответной реакции; дизайн информационного поля и пр. Не буду мучить читателя описанием трудностей и методов их решения. Скажу лишь одно: в этой книге я даю все, реализованные нами в АСПСД методики. Причем, как методики, которые уже существуют в психологической практике, так и вновь разработанные нами, включая: аннотации, способы представления информации; ответные реакции, и, самое главное, - словесную интерпретацию результатов по сырым оценкам, которую мы по крохам выискивали с Татьяной Петровной из всей психологической литературы.

И последнее: дети. Эти цветы нашей жизни. Сколько школ, столько вариантов тестирования перед поступлением в первый класс, хотя это и запрещено законом. Но оценка оперативно-технической (термин В.П.Зинченко) или, как мы ее назвали – когнитивной, готовности детей к школе, точнее, к процессу обучения, необходима. И совсем не для того, чтобы решить вопрос: принимать ребенка в первый класс или нет. Или, как часто укоряли нас учителя, отделить «умных детей от глупых». Нет! Нет! И еще раз нет! Учиться должны, и могут все дети. Просто они по разному подготовлены к этому процессу. И дело даже не столько в том, умеет уже ребенок читать и считать, а в уровне сформированности у него когнитивных функций (свойств), необходимых для успешного обучения. Именно это и надо проверять, чтобы сформировать однородные классы. Большинству наших педагогов свойственна большая методическая, она же психологическая, ошибка. Многие из них считают, что дети в классе должны быть разные и тогда «слабые» стараются не отстать, тянутся за «сильными», и постепенно все более-менее выравнивается. Да нет у первоклашек такого стимула! Им еще не свойственно чувство азарта, если хотите, спортивной злости…Не понял ребенок одно, потом другое и все! Трещит по швам весь фундамент знаний, которые составляют основу дальнейшего обучения. Ребенок теряет интерес к учебе как таковой. Он приносит в школу игрушки, болтает, мешает остальным и пр. Ему становится скучно! А не понял он совсем не потому, что глуп. Вполне возможно, что время концентрации внимания у него очень небольшое и длительное объяснение нового материала не для него: он потерял нить. Весь класс успел схватить материал, а два-три ребенка не успели, расслабились. Мы столкнулись с этим, когда работали в школе и занимались оценкой 160 детей для формирования четырех первых классов. Об этом я писал в своей первой книге, так что желающие могут посмотреть. Сейчас я хочу более подробно изложить наш подход к решению этой задачи, формы протоколов тестирования, методику расчета и обсуждения результатов. Естественно, с годами может и будет видоизменяться набор когнитивных функций, необходимых для обучения, соответственно и набор диагностических методик, но предлагаемая процедура оценки остается неизменным: она проста, автоматизируема и дает количественное решение задачи.

Но пора заканчивать вступительное слово и приниматься за работу.

Итак, в этой книге с таким, возможно, неуклюжим названием, содержится три очень разных раздела:

• методы оценки должностной компетентности персонала: знаний, умений и навыков;

• описание компьютерной реализации диагностических методик;

• оценка оперативно-технической готовности детей к процессу обучения и формирование однородных классов по данному критерию.

К каждой главе будет написано предисловие, где я постараюсь кратко – насколько это будет возможно, рассказать о том, чем я руководствовался при решении каждой задачи. По ходу изложения я вставлял, так называемые «небольшие отступления», в которых излагал свои мысли, соображения и рекомендации по поводу предлагаемого материала.

Итак…

Предисловие первое.

Прошу прощения у читателей за частое использование местоимения «Я», но это вовсе не от сознания собственной значимости, а с единственной целью – определить объект ответственности. Я и только Я отвечаю за все здесь написанное, предложенное и исполненное.

Когда я начинал эту работу, то, по выражению проф. А. Ерофеева, не был обременен ни терминологическими, ни историческими знаниями в части Центра Оценки. Зато неоднократно принимал участие в самой процедуре и знаю о ней не понаслышке. И поскольку я всегда приветствовал критику по существу проблемы, а не в части терминов и дат - то милости прошу! Я готов! Но по существу!

Мне очень хотелось разобраться в сути технологии ассессмент-центра, определиться с ее составляющими и попытаться четко алгоритмизировать весь технологический процесс. Я всегда считал, что лучшим способом понять какой-либо процесс – это попытаться его автоматизировать. Тогда ты просто вынужден довести его до конкретных алгоритмов для программистов. И вот здесь-то и возникает необходимость структурировать предметную область; рассмотреть все ее составляющие; нащупать, хотя бы для того, чтобы знать самому, слабые места. И если выпадет удача, попытаться их исправить. Так что предлагаю начать как бы все сначала. Именно так мы сделали с Татьяной Петровной Зинченко, когда занялись проблемой оценки психологической пригодности к специальности (должности). Правда, надо признать, что с психологической составляющей было чуть проще в том смысле, что перечень психических функций и индивидуальных (личностных) характеристик известен, а должностные компетенции все разные и не счесть их числа. И все-таки «…попытка не пытка»…

Теперь читателю осталось набраться терпения и попытаться прочитать предлагаемую книгу. Если хоть что-то из того, что мне удалось сделать, поможет кому-то, я буду считать свою задачу выполненной.

Итак, в путь.

Глава 1. Оценка должностной компетентности

Контроль знаний, умений, навыков (ЗУН).

Дадим несколько определений для установления единого языка общения (это то, что В.П.Зинченко называет «договориться на берегу»).

Должностная компетентность – необходимый уровень знаний, умений и навыков (ЗУН), обеспечивающий эффективное выполнение должностных обязанностей.

Примечание. Термин «профессиональная пригодность», с моей точки зрения, значимо шире: ведь некоторые должностные позиции требуют обязательного прохождения медицинского контроля, я уже не говорю об обязательной психологической оценке пригодности практически к любой деятельности.

Таким образом, должностная компетентность в нашем определении более узкое понятие.

Должностная компетентность может складываться из различных видов компетентностей: правовой, профессиональной, языковой, управленческой и пр. В свою очередь каждый вид компетентности может состоять из набора компетенций – свойств, обеспечивающих определенный уровень конкретного вида компетентности. Причем, компетенции могут быть как необходимыми, так и недопустимыми для данной должностной позиции.

Пример приведу из области настолько далекой от психологии, что даже самому страшно. Есть точка зрения, и у нее масса последователей, особенно в США, что эпидуральный наркоз при проведении родов предпочтителен. Иными словами, есть медицинские показания или их нет, лучше его сделать. Но есть другая точка зрения, и у нее не меньше последователей, что наилучшим способом являются нормальные физиологические роды. Как объясняли мне очень хорошие терапевты, никакое вмешательство в межпозвоночное пространство не остается незамеченным организмом. Не говоря уже о том, что для проведения этой процедуры требуется огромный опыт и навык. Я слышал даже морально-этические соображения по этому поводу, что ребенок не рожденный в муках, никогда не станет по настоящему дорог… Так вот, врача, придерживающегося первой точки зрения, причем, даже очень хорошего врача, вряд ли примут на работу в роддом, в котором исповедуется приверженность к физиологическим родам. Вот и получается, что для этого роддома эта компетенция (приверженность к эпидуральной анестезии) является недопустимой.

Примечание. Считаю не совсем корректным использование слово «компетенция» как синоним слова «свойство» (способность). Насколько я понял, эту аналогию привнесли психологи, занимающиеся персоналом. В русском языке слово «компетенция» используется как перечень полномочий, делегированных данной должностной позиции (обычное выражение чиновника: «это вне моей компетенции»).

Но что сложилось, то сложилось, так что продолжим в уже принятой терминологии.

Оценка компетентности возможна диагностическими методиками в виде Опросников или кейсов для контроля ЗУН, рейтинговой оценкой и имитационным моделированием (термин мой), в терминах проф. А.Ерофеева «ситуационно-поведенческими тестами – СПТ».

Примечание. Необходимо отметить, что как для рейтинговой оценки, так и для СПТ необходим еще один уровень в структуре компетентности - пояснения – наблюдаемые поведенческие индикаторы компетенций. Очевидно, что эксперты (наблюдатели), производящие оценку должны четко понимать, за какими поведенческими индикаторами они должны следить и оценивать (СПТ или рейтинговая оценка), чтобы определить уровень наличия той или иной компетенции.

Именно поэтому перечень оцениваемых компетенций для определения должностной компетентности может быть структурирован следующим образом:

Должностная компетентность - вид компетентности – компетенции – пояснения. После того, как необходимые компетенции сформированы и диагностированы, необходима комплексная (интегральная) оценка должностной компетентности либо для аттестации, либо для приема на работу.

Думаю, что изначальная цель Центра оценки в том и состояла. Но дальнейшее его развитие и неуемное желание пользователей этой бессмертной процедуры унифицировать и объединить все и вся - привело к «смешению жанров» (выражение В.П.Зинченко). Психологические показатели стали частью, часто внутренней и практически незаметной составляющей компетенций. Это привело к перемешиванию и нивелированию результатов в процессе комплексной оценки. Все это очень неблаготворно, с моей точки зрения, сказалось на самой, довольно интересной технологии ассессмент-центра (АЦ). Ну что ж! надо иметь мужество признать это и попытаться несколько скорректировать технологию.

И еще одно замечание. Тесты (опросники) для оценки ЗУН, также как и психометрика, на мой взгляд, - это статика - срез, характеризующий сформированность тех или иных компетенций. И совершенно непонятно, как «поведут себя» сформированные компетенции при воздействии внешних факторов, при взаимодействии одна с другой и т.д. А рейтинговая оценка, СПТ или имитационное моделирование позволяют оценить, насколько сформированные компетенции реализуются в практической деятельности. В случае СПТ или имитационного моделирования – это оценивают подготовленные наблюдатели, в случае рейтинговой оценки это определяют три уровня оценщиков: сослуживцы (параллельный уровень), начальство (верхний уровень) и подчиненные (нижний уровень). И те и другие используют при этом поведенческие индикаторы. В этом случае полученные в тестах результаты можно и нужно скорректировать по результатам СПТ или рейтинговой оценки для окончательного расчета должностной компетентности. Именно такой способ мы с А.Н. Доценко и предложили и осуществили при оценке психологической пригодности: интегральная оценка пересчитывалась после того, как психометрические показатели были скорректированы по результатам имитационного моделирования (А.А. Фрумкин, А.Н. Доценко «Альт – ассессмент», «Психологическая газета» № 4,5 за 2004 год).

Небольшое отступление. Возможно, что вполне достаточно и оценки только с помощью тестирования. Что касается психологической оценки пригодности, то данные наших расчетов показали: достоверность результатов с использованием АСПСД находится на уровне 0,95, поэтому достаточно дорогая технология АЦ в этой части может быть и не нужна. Что же касается оценки должностной компетентности процедурой АЦ, то ее достоверность по данным М. Кляйнманна не превышает 0,82 (Мартин Кляйнманн «Ассессмент-центр», Изд. «Гуманитарный центр», Харьков, 2004, под науч. ред. С.А.Маничева). Думаю, что в этом случае вполне допустимо проведение дополнительной рейтинговой оценки с последующей корректировкой результатов тестирования и пересчетом окончательной цифры.

К сожалению, в литературе нет данных по уровню достоверности рейтинговой оценки, но, как мне кажется, при грамотном выборе компетенций, возможно, что ее одной окажется вполне достаточно для корректной оценки должностной компетентности без использования дорогостоящей процедуры ассессмент центра. Но это пока только мои предположения.

Но не будем торопиться и рассмотрим все по порядку.

Начнем с расчетной процедуры оценки должностной компетентности. В психологической оценке пригодности мы используем математический метод сравнения близости двух портретов: необходимого (желаемого, эталонного, называйте как хотите) и реального (существующего у претендента или аттестуемого). Способ простой и понятный, ибо используется нами всеми в быту: при покупке жилья, любой вещи в магазине, продуктов питания и пр. и пр. Так почему бы не использовать его и при оценке должностной компетентности? В этом случае психологическая составляющая и оценка должностной компетентности разведены методически и понятийно; унифицированы методы расчета, причем идентичным математическим аппаратом; и, что самое главное (а для меня интересное), может быть унифицирована технология АЦ как для оценки психологической составляющей, так и для должностной компетентности.

Алгоритм оценки должностной компетентности методом тестирования.

Последовательность оценки должностной компетентности можно представить следующим образом.

Этап первый.

Формирование критериев оценки - по аналогии с психологией - создание эталона должностной компетентности. Этот этап я считаю наиболее ответственным, ибо, что наформируем и как будем считать, то и получим…Процесс формирования компетенций в данном случае необходимо отдать на откуп экспертам, знающим и понимающим, что именно необходимо знать и уметь на данной должностной позиции. Наличие психологов на этом этапе оправдано лишь выполнением двух задач:

• не позволять экспертам включать психологические критерии под видом знаний, умений и навыков. Сейчас в этом перечне практически всегда присутствуют как скрытые, так и явные психологические критерии, такие, как лидерство, какое-то стратегическое мышление и пр. Причем критерии эти часто завуалированы непонятными формулировками или вмонтированы внутрь «зуновских» компетенций с непонятными перспективами их диагностики;

• помочь экспертам четко и ясно сформулировать сам критерий и, что еще важнее, пояснения к нему – поведенческие индикаторы.

Остальное - дело экспертов. К сожалению, этот этап оценочной процедуры не удается унифицировать - создать некий Опросник для экспертов, унифицированный для всех должностных позиций. Но со временем, на каждом предприятии возникнут устойчивые словари компетенций, назовем их эталонами должностных компетентностей, которые будут, конечно, модифицироваться со временем, но основа их, думаю, будет оставаться неизменной. Так что «… не пропадет наш скорбный труд…».

Структуру критериев оценки для каждой должности предлагаю установить такой:

Наименование должности - вид компетентности – компетенции – пояснения – шкала оценки.

Начальник отдела кадров

Правовая компетентность:

• знание КЗОТ; поведенческий индикатор;

  ……………………

и т.д.

Языковая компетентность:

• уровень грамотности; поведенческий индикатор;

  …………………….;

и т.д.

Компьютерная компетентность:

• работа в редакторе; поведенческий индикатор;

• работа с внешними носителями; поведенческий индикатор;

и т.д.

Напоминаю еще раз, что выбирать надо не только те компетенции, которые необходимы в той или иной степени для данной должности, но и те, которые недопустимы в той или иной степени.

В этом случае инструкция экспертам, призванным сформировать эталон компетентности, может выглядеть следующим образом:

Уважаемые эксперты!

Вам предлагается сформировать некоторый набор знаний, умений и навыков, которые с Вашей точки зрения, необходимы для работы на должностной позиции............ по следующей структуре: вид компетентности – компетенции – шкала оценки.

Для каждой компетенции необходимо также указать поведенческие индикаторы (пояснения) каждой компетенции.

Не забудьте, пожалуйста, что важны не только те компетенции (свойства), которые необходимы, но и те, которые недопустимы и мешают эффективной деятельности. Формируя указанный перечень, обязательно проставьте необходимый уровень выраженности или недопустимости каждого указанного Вами свойства по следующей шкале:

Наличие компетенции совершенно обязательно +3

Наличие компетенции необходимо +2

Наличие компетенции желательно +1

Наличие компетенции нежелательно - 1

Наличие компетенции противопоказано - 2

Наличие компетенции недопустимо - 3

Небольшое отступление.

Для облегчения работы экспертов, можно снабдить их набором уже существующих компетенций. Сейчас их ходит по миру море! Но! Психологи должны проследить, чтобы ни в одной из них не было завуалировано ни одной психической функции и личностной характеристики.

Обработка ответов экспертов заключается в расчете медианы оценок по каждой компетенции с учетом знака оценки.

Расчет коэффициента согласованности считаю нецелесообразным, хотя никакой сложности в этом нет. Однако, если, например, коэффициент конкордации окажется меньше 0,7, то возникает неразрешимый вопрос, кто из экспертов «портит» всю картину. Менять же всю группу экспертов и повторять ту же процедуру с теми же шансами на успех нецелесообразно, а часто практически невозможно.

Для определения согласованности экспертов предлагаю использовать другой алгоритм:

• изъять из рассмотрения те компетенции, которые встречаются только один раз (упомянуты только одним экспертом);

• построить эталон компетентности, используя данные вех экспертов;

• отдельно для каждого эксперта построить его представление о виде компетентности для данной должностной позиции («образ компетентности»);

• по методу Хэмминга сравнить «образ» компетентности каждого эксперта с эталоном. Те из экспертов, чей «образ» не совпадает с эталоном (расстояние по Хэммингу больше предельно допустимого) более, чем на 10% из рассмотрения изъять и эталон перестроить исходя из данных тех экспертов, которые удовлетворяют условию:

(Rхэм - ∆Rхэм) / ∆Rхэм ≤ 10%

Примечание. Формулы для расчета Rхэм и ∆Rхэм приведены ниже.

Итак, продолжим.

Пять градаций для шкалы оценки выбраны исходя из того, что большее число градаций просто трудно различить, меньшее – приводит к потере информации, а нечетность числа интервалов считается наиболее удобной для дальнейшей статистической обработки.

Методика сбора необходимой информации для построения эталона должностной компетентности подробно описана в «Нормативах и этических принципах создания и проведения центра оценки». Организационная психология. 2011., Т.1., №2, с.26-44. Перевод с английского М.Мальцевой – студ. магистратуры факультета психологии НИУ ВШЭ.

Нормативы приняты на 34 Международном конгрессе по Центрам Оценки 24 сентября 2008 года., г. Вашингтон, округ Колумбия, США. Так что не будем повторяться. Кратко можно лишь отметить, что предлагаемая методика очень схожа с инженерно-психологическим анализом деятельности, который рекомендуется для построения психограмм в любом учебнике по курсу организационной психологии. Несуществующие «достоинства» и существующие недостатки этого подхода подробно проанализированы в моей книге по психологическому отбору. К сожалению, в данном случае ничего другого предложить пока не могу.

Таким образом, преодолев все трудности и «радости» построения эталона должностной компетентности, мы получаем не только номенклатуру оцениваемых свойств (компетенций), но и их уровень необходимости или недопустимости. Шкалированный эталон в дальнейшем позволит нам использовать математический метод для комплексной оценки должностной компетентности. Еще раз повторю, что обработка результатов работы экспертов заключается в построении медианы их оценок по каждой компетенции с учетом знака оценки. Именно таким образом целесообразней всего строить эталон должностной компетентности.

И еще одно замечание к первому этапу – формулировка пояснений (поведенческих индикаторов). Это непростая и кропотливая работа. И вот здесь наличие психолога особенно значимо. Пояснения эти должны быть краткими, ясными, не содержать никаких психологических или каких-либо иных профессиональных «умностей», иными словами они должны быть написаны «на языке улицы». Надо не забывать, что наблюдатели могут быть совершенно незнакомы с тонкостями данной должностной позиции. Вот почему почти четыре года мы с Татьяной Петровной отрабатывали Опросник для экспертов, которые теперь запросто строят психологический эталон любой специальности (должности), практически не подозревая об этом…

Как пример для подражания (шучу) приведу небольшой фрагмент наших пояснений к психологическим свойствам.

ТАБЛИЦА КРИТЕРИЕВ И ПОЯСНЕНИЙ ДЛЯ НАБЛЮДАТЕЛЕЙ

МЫСЛИТЕЛЬНЫЕ СВОЙСТВА

ИМАЖИНИТИВНЫЕ СВОЙСТВА 

И т.д.

Этап второй.

Подведем итоги работы на первом этапе. Мы сформировали перечень компетенций для данной должностной позиции и прошкалировали степень их необходимости или недопустимости. Таким образом, количественно определенный эталон должностной компетентности есть. Есть и пояснения к перечню компетенций. Это «на потом» для проведения СПТ или рейтинговой оценки.

Теперь можно приступить к разработке или подбору способов диагностики реальной компетентности претендующего на… или занимающего уже… данную должность.

Этим-то как раз и должны в основном заниматься те, кто проводят АЦ. В его арсенале есть и тесты, и кейсы, и имитационное моделирование (СПТ). А в связи с низким уровнем достоверности конечных результатов АЦ, на мой взгляд, необходимо дополнительное проведение рейтинговой оценки с последующей корректировкой и пересчетом полученных результатов.

Примечание. Ни в одном из литературных источников не указан способ сведения полученных оценок в единую – комплексную. Здесь каждый, проводящий оценку «умирает в одиночку», если можно так сказать. Кто-то использует аддитивную свертку, кто-то наблюдателей и они интегрируют все оценки в одну методом «консенсуса». «Все это было бы смешно, когда бы не было так грустно…»

Итак, после того, как сформирован эталон должностной компетентности, можно приступить к формированию тестов для его диагностики. Естественно, что тесты для диагностики ЗУН являются тестами-опросниками, где среди нескольких провокационных ответов на поставленный вопрос содержится один правильный. Составление таких тестов само по себе является довольно сложным делом. В свое время в атомной энергетике (не знаю, как сейчас) использовался простой школьный метод - экзаменационные билеты. В принципе можно и так. В этом случае экзаменационная комиссия должна проставить оценку, причем желательно не общую, а разнесенную по компетентностям, если таковые в вопросах просматриваются. Вполне возможно, что оценивается только одна компетентность – профессиональная, что, на мой взгляд, было бы не очень-то корректно. Но если в билете существует несколько вопросов, они должны быть ориентированы на оценку различных знаний и не только в области профессиональной деятельности.

Но остановимся детально на тестах, которые диагностируют несколько видов компетентностей с различным числом компетенций внутри каждого из них.

Не буду учить, как грамотно формировать тест-опросник, хочу только сделать несколько замечаний:

• на каждую компетенцию в тесте может быть не менее 3-х 4-х вопросов. Выполнять или не выполнять эту рекомендацию решают эксперты. Решение может зависеть от количества компетенций, выбранных для контроля. Если их много (например, более 30-40), то, скорее всего, целесообразно ограничиться минимум – одним, двумя вопросами на каждую компетенцию;

• количество ответов на каждый вопрос должно быть не менее четырех-пяти: один правильный и три-четыре провокационных.

Примечание: Не следует увлекаться ни количеством вопросов, ни количеством провокационных ответов. В противном случае этот тест можно превратить в аналог MMPI, от которого сходят с ума вполне здоровые люди.

• за каждый правильный ответ присваивается +3 балла;

• за каждый неправильный ответ -3 балла;

- если на какую-либо компетенцию было несколько вопросов, то после выполнения теста значение комплексной балльной оценки по таким компетенциям можно рассчитывать как медиану балльной оценки ответов на все вопросы, относящиеся к данной компетенции с учетом их знака. Не рекомендую рассчитывать ее как среднюю характеристику – она, если можно так сказать, несколько «истерична» и шарахается из стороны в сторону при каждом резком изменении вариационного ряда;

- считаю некорректным окончательный расчет проводить на уровне вида компетентности путем сведение всех составляющих ее компетенций в интегральную оценку. В этом случае происходит потеря большого объема интересной и нужной информации. Но если вдруг такая мысль придет в голову исполнителю, каждый вид компетентности лучше рассчитывать тоже как медиану компетенций его составляющих.

Таким образом, в результате тестирования мы получаем балльную оценку каждой компетенции, то есть реальный портрет оптанта, причем в тех же единицах, что и эталон.

Теперь остается сравнить этот портрет с эталоном и можно принимать решение о количественной мере должностной компетентности испытуемого.

Этап третий.

Сама процедура расчета.

Расчет комплексного (интегрального) значения должностной компетентности ведется методом сравнения двух портретов по формуле Хэмминга:

1. Рассчитывается сумма модулей рзностей по всем компетенциям с учетом их знака:

где: N – количество совпадающих компетенций, то есть компетенций, которые есть и в эталоне и в реальном портрете;

i - номер компетенции.

БОэкi - балльная оценка i-ой эталонной компетенции;

БОркi - балльная оценка i-ой реальной компетенции.

2. Рассчитывается предельно допустимое расстояние по Хэммингу:

∆Rхэм = 6NК,

где: N - количество совпадающих компетенций;

6 - максимальный размах оценки (от -3 до +3);

К - статистический коэффициент (К=0,282)

Небольшое отступление. Несколько слов о статистическом коэффициенте. При наличии в литературе множества формул оценки близости двух кривых (профилей), ни в одной из них не приводятся ни значение, ни формула расчета минимально допустимого расстояния, при котором две кривые можно считать похожими. И это понятно, различные научные отрасли по-разному оценивают, когда кривые похожи, а когда нет. Не исключение и психологическая наука. Вот почему мы около двух лет набирали статистику для определения этого коэффициента. А пока набирали, произвольно приняли его равным 0,1. Это очень жесткая мера, но мы считали, что лучше «перебдеть», чем «недобдеть».

Думаю, что примерно также надо поступить и в случае оценки должностной компетентности. Или сразу же воспользоваться нашими расчетами, считая, что эти две области близки по содержанию. Хотя….

Продолжим.

Если Rхэм ≤ ∆Rхэм, принимается решение о совпадении профилей, то есть о должностной компетентности испытуемого.

Если Rхэм > ∆Rхэм, принимается решение о несовпадении профилей, то есть о должностной некомпетентности испытуемого.

Таким образом, мы получили интегральную количественную оценку меры должностной компетентности или некомпетентности оптанта.

Небольшое отступление. По данным наших исследований несовпадение психологических профилей в пределах 5 - 10% не приводит к катастрофическим результатам. Вопреки решению системы (АСПСД) психолог в своем резюме пишет примерно следующее: «Несмотря на решение системы, считаю возможным использовать испытуемого на данной должностной позиции (или принять на работу с испытательным сроком) при условии повторного тестирования через …... Возможно проведение курса обучения (тренинга) по следующим направлениям….

Психолог: Феоктистов А.М.

Думаю, что примерно такое же заключение можно сделать и в случае оценки должностной компетентности. Но только после детального анализа результатов оценки по каждому виду компетентности, а еще лучше по каждой компетенции его составляющей.

В дополнение к комплексной оценке должностной компетентности мы можем получить целый ряд дополнительных характеристик:

- «резерв» (S₊) – комплексный показатель превышения уровня компетентности обследуемого над требованиями должности;

- «дефицит» (S_-) – комплексный показатель превышения уровня требований к должности над уровнем компетентности обследуемого;

- показатель соответствия (К_соотв) как отношение резерва к дефициту - К_соотв. = S₊/ S_-. Этот показатель может служить ориентиром для определения кадрового резерва;

- данные реальных и эталонных значений по каждой компетенции, а это исходный материал для планирования обучающих и развивающих программ по каждой должностной позиции и немаловажная информация для понимания и прогнозирования эффективности деятельности и т.д.

Кстати, при таком подходе к расчету должностной компетентности можно реализовать еще один режим, который мы в психологической оценке назвали «режимом профдифференциации». А именно: в случае несоответствия требованиям, предъявляемым к данной должности, по вакантным эталонам должностных компетентностей можно подобрать претенденту или аттестуемому ту должность, которой он соответствует. Это облегчает руководству процесс решения кадровых проблем и принятия орг. выводов, вытекающих из процедуры аттестации.

Формулы для расчета резерва и дефицита компетентности:

Алгоритм оценки должностной компетентности методом рейтинга.

Небольшое отступление.

Естественно, что рейтинговая оценка проводится лишь в том случае, если есть эталон должностной компетентности, то есть перечень критериев оценки.

Поскольку рейтинговая оценка имеет несколько разновидностей, целесообразно указывать, какой вид используется в данном случае. Указание вида оценки может играть определенную роль при принятии решения по ее результатам.

Целесообразно сделать закрытым сам процесс оценки, то есть не указывать фамилии оценщиков. В этом случае возможны более объективные результаты.

Необходимо скрыть и балльные оценки эталона компетенций, чтобы у оценщика не было навязанных ориентиров.

Инструкция для оценщиков:

Уважаемые эксперты!

Вам предстоит оценить вашего коллегу. Оценка производится по следующей шкале:

Если качество проявляется в полной мере во всех рабочих ситуациях, при выполнении всех профессиональных задач + 3

Если качество проявляется в большей части рабочих ситуаций при выполнении большинства профессиональных задач + 2

Если качество проявляется в отдельных профессиональных задачах + 1

Затрудняюсь ответить 0

Если качество проявляется достаточно редко -1

Если качество проявляется ситуативно, бессистемно, возможно случайно - 2

Если качество не проявляется вообще (не наблюдается в профессиональной деятельности) -3 .

Алгоритмы обработки рейтинговой оценки:

1. Подготовительный этап:

- по каждой компетенции строится вариационный ряд оценок от лучшего к худшему, естественно, с учетом знака оценки;

- в каждом вариационном ряду изымаются нулевые оценки, так называемые «неопознанные» компетенции;

- в каждом вариационном ряду отсекаются хвосты слева и справа – примерно 1-3% от общего числа значений вариационного ряда. Таким отсечением мы несколько уменьшаем влияние предвзятости: «любви» или «ненависти» оценщиков;

- для получения комплексной оценки по каждой компетенции, из оставшихся оценок рассчитывается медиана.

2. Рассчитывается расстояние по Хэммингу, как сумма модулей разностей по всем компетенциям с учетом их знака.

где: N – количество оцениваемых компетенций;

i - номер компетенции.

БОэкi - балльная оценка i-ой эталонной компетенции;

БОокi - балльная оценка i-ой комплексной оценочной компетенции.

3. Рассчитывается предельно допустимое расстояние по Хэммингу:

∆Rхэм = 6NК,

где: N – количество совпадающих компетенций;

6 - максимальный размах оценки (от -3 до +3);

К - статистический коэффициент (К= 0,282).

Если Rхэм ≤ ∆Rхэм, принимается решение о совпадении профилей, то есть о должностной компетентности испытуемого.

Если Rхэм > ∆Rхэм, принимается решение о несовпадении профилей, то есть о должностной некомпетентности испытуемого.

Примечание. Если оценка производится по трем уровням рейтинговой оценки, целесообразно отдельно рассчитывать все показатели для каждого уровня и общий - по всем трем.

Рассмотрим ситуацию, которая может возникнуть у принимающего решение.

Оцениваемых или претендентов на должность несколько, а должностная позиция одна и необходимо проранжировать список:

- если оцениваемые прошли рейтинговую оценку, то есть оказались компетентными, их ранжирование производится по разности (∆Rхэм - Rхэмj ) от большего значения к меньшему (от лучшего к худшему), где j – номер обследуемого;

- если оцениваемые не прошли рейтинговую оценку и мы ищем лучшего среди худших, тогда ранжирование производится по той же разности, но уже от меньшего значения к большему.

Я указал на чисто формальные критерии, но для корректного принятия решения необходимо воспользоваться дополнительной информацией. Ну, хотя бы числом компетенций, по которым оптант не прошел рейтинговую оценку; значением резерва и дефицита; коэффициентом соответствия и пр. Кстати¸ эта же информация не окажется лишней при ранжировании претендентов, прошедших оценку.

Подведем некоторые итоги.

Итак, я рассмотрел задачу оценки должностной компетентности методом тестирования и рейтинговым методом, разбил эту задачу на этапы, предложил математический аппарат расчета, постарался уберечь пользователей от скрытых и явных ошибок. Я прекрасно понимаю, что учить жить гораздо проще, чем жить. И все-таки…

Я нисколько не сомневаюсь, что на пути практического решения задачи возникнут трудности, ибо до сих пор помню тот путь, который мы с Татьяной Петровной прошли за пять лет создания Автоматизированной системы психологического сопровождения деятельности (АСПСД). Но тогда никто не смог помочь нам, поэтому я и решил написать эту книгу, чтобы кому-то хоть чем-то быть полезным.

Следующая глава будет посвящена психологическим тестам. Эх, если бы мы тогда смогли найти такой материал. Но не будем о грустном, и перейдем ко второй главе.