Тестология* — это не только психометрические тесты

Тестология (от англ. test — испытание, греч. logos — знание) — это теория и технологическая практика создания и применения тестов в самых разных областях, связанных с деятельностью и поведением людей. Тестология зародилась в рамках английской измерительной школы экспериментальной психологии в конце 19 века (работы Ф. Гальтона, Дж. Кэттелла). Но в настоящее время область тестологии кардинально расширилась: она развивается как прикладная междисциплинарная методическая теория на стыке психологии, педагогики, социологии, маркетологии, медицины, когитологии, компьютерных наук и технической метрологии. Эти разные сферы науки и практики обогащают концептуально-методический аппарат современной тестологии и при этом обогащают методический арсенал каждой из указанных наук.

Существует более узкая трактовка тестологии как раздела в рамках психометрии — теории и практики психологических измерений. Ниже приводятся аргументы и ссылки против такого сужение понятия «тестология». Если заменить этот термин на «психометрию», то это приводит к тому, что значительная часть гуманитарных специалистов в области педагогики, медицины, социологии, оценки персонала фактически не признают таких научных требований к качеству тестов, которые сформулированы как «психометрические свойства теста» — функциональные параметры надежности, валидности, репрезентативности тестовых норм. Эти свойства явно и неявно начинают рассматриваться как свойства, важные только для психологических измерений и психологической диагностики — измерения способностей и диагностики личностных качеств (черт характера, мотивации, социальных установок и т.п.). В то время как не только психологические, но и педагогические, и социологические тесты тоже должны обладать этими свойствами (В.С. Аванесов, И.Ф. Девятко, А.Г. Шмелев) [1; 2; 11; 31; 33; 34].

Современные российские специалисты в области измерительных методов контроля качества образования (в области экзаменационных технологий) предпочитают использовать не термин «психометрия» (или «психометрика») [28], а термин «педагогическая тестология» (В.С. Аванесов, Т.М. Балыхина, В.А. Болотов, В.А. Векслер, А.Г. Войтов, Н.Ф. Ефремова, А.Н. Кадневский, А.В. Мальцев, Е.А. Михайлычев, В.М. Майоров, И.Д. Руднинский, С.А. Семеновская и другие) [2; 4; 8; 9; 15; 16; 20; 21; 22; 25; 26; 30]. Это не случайное, а сознательное терминологическое предпочтение, которое побуждает педагогов-ученых и педагогов-практиков с большим вниманием отнестись к освоению и пониманию основ научного подхода к тестированию — к тому, чтобы разрабатывать и внедрять тесты на основе научного подхода, научных процедур и критериев.

История тестологии

Во многих работах по истории метода тестов (В.С. Аванесов, К.М. Гуревич, С.А. Семеновская, И.А. Цатурова) [1; 10; 26; 29] в числе основоположников научного подхода к тестированию называют, прежде всего, таких авторов психологических тестов на способности и умственный возраст (IQ), а также первых педагогических тестов, как Дж. Кэттелл, А. Бине, Л. Термен, Э. Торндайк [3 (Анастази А., Урбина С. Психологическое тестирование. 7-е международное издание. — СПб: Питер, 2001. — 688 с. (именно эту книгу часто называют «Энциклопедия тестологии»); 23; 27]. Хотя сами эти ученые фактически не использовали в своих трудах термин «тестология», их по праву называют «основатели тестологии». По-видимому, одним из первых изданий на русском языке, где очень активно используется термин «тестология» и «тестолог», является сборник 1928 года, подготовленный коллективом под руководством П.П. Блонского (см. «Тесты: теория и практика», 1928) [27]. Например, Анна Шуберт, написавшая для этого сборника главу «Книжная полка тестолога», является автором выполненного еще в 1909 году первого русского перевода теста Бине — Симона. К сожалению, самым драматическим образом бурное развитие российской тестологической науки было прервано в 1936 году в результате выхода печально знаменитого постановления ЦК ВКП(б) «О педологических извращениях в системе наркомпросов». Частичная реабилитация метода тестов состоялась в 70-е годы, но метод тестов рассматривался в эти годы лишь как частный случай «психологической диагностики». Полноценное возвращение термина «тестология» в России оказалось возможным только в 90-е годы, так как руководители КПСС так и не отменили постановление 1936 года до самого распада СССР в 1991 году.

Научный подход к тестированию тесно связан со статистическими методами. Развитие методов обработки результатов тестирования стало важным источником в 20 веке для развития методов математической статистики и многомерного анализа данных. В 1923 году, еще за 2 года до выхода наиболее знаменитой работы Рональда Фишера (автора дисперсионного анализа и математической теории планирования эксперимента) Э. Мак-Кол, увековечивший свое имя созданием стандартизированной шкалы Т-баллов (применяется во многих знаменитых тестах, таких как MMPI, как шкала, носящая его имя), писал: «Существуют прекрасные учебники и руководства по статистической обработке экспериментальных данных, но мало что можно найти по методам получения адекватных относящихся к делу данных, к которым применимы статистические процедуры» (цитируется по книге Д. Кэмпбелла в русском переводе, 1980) [19]. Во многом такие данные для статистиков стали вскоре поставлять именно специалисты по тестированию (тестологи-психометристы). Более того, многие такие специалисты совмещали в одном лице 2 роли — специалиста по тестированию и специалиста по статистике. Недаром основоположником корреляционного метода исследования считается Ф. Гальтон. В этом ряду уместно назвать Ч. Спирмена (ранговая корреляция), Л. Терстоуна (центроидный метод мультифакторного анализа), Д. Гилфорда (фи-коэффициент), Р. Кэттелла (регрессионные уравнения эффективности), А. Лазарсфельда (латентно-структурный анализ). Новый импульс к развитию анализа данных и теории математического шкалирования (калибровки шкал тестовых баллов) принесли в начале 60-х годов новаторские работы Георга Раша. Появилась шкала логитов. Модель Раша стала основой современной теории тестовых заданий (IRT) и обязательным элементом во всех университетских курсах в развитых странах — курсах по психометрии и теории тестов [24]. Однопараметрический анализ результатов тестирования по модели Раша или двухпараметрический по модели Бирнбаума работают совершенно идентичным образом с любыми данными тестирования, будь то собранные психологами, педагогами, социологами, маркетологами или медиками [5; 6; 7; 12; 13; 14; 32].

Таким образом, ко второй половине 20 века к специалистам, разрабатывавшим тесты в совершенно разных областях, стало приходить понимание общих принципов по конструированию тестов, проведению и обработке их результатов [17; 18].

Ключевые принципы и методы тестологии

Приведенная ниже концептуальная таблица призвана помочь становлению более логичных и дифференцированных представлений о том, какое место метод тестов занимает по отношению к другим методам оценки и диагностики психических свойств и знаний человека.

Метод тестов — это измерительный метод, который является стандартизированным по проведению и формализованным по обработке. Испытуемые (тестируемые, респонденты) получают один и тот же набор заданий (вопросов) или сходный набор, полученный с помощью алгоритма рандомизированной (случайной) селекции из большого банка заданий. Результаты тестирования — это баллы на количественной шкале. Методика тестирования может быть полностью компьютеризирована, то есть не требует ни на одном этапе проведения и обработки вмешательства человека-эксперта. Смешение двух независимых оснований классификации: предмета оценки (диагностики) и метода оценки (тестовый или экспертный), — приводит не только к терминологической путанице, но и к концептуально-методическим разногласиям между сторонниками и противниками метода тестов. Узкие специалисты, сфокусированные в своих познаниях и методических умениях только на одной из четырех клеток указанной таблицы, к сожалению, всегда отстаивают однобокий подход, препятствуя развитию комплексного подхода, основанного на таком сочетании измерительных методов (тестов) и экспертных методов (нетестов), который скрадывает (компенсирует) недостатки, присущие и тому, и другому подходу и дает возможность количественной (формализованной) интеграции результатов — тестовых баллов и экспертных оценок. В статье «Psychometrics» (Психометрика) в Википедии на английском языке не случайно упоминается в связи с тестологией такое понятие, как «тестомания». В каждом стране можно найти тестоманов — «оголтелых сторонников тестирования» (готовых все методы свести только к тестированию), а также «антитестовую партию» — противников тестирования, настаивающих на запрете тестирования. Популяризация научного подхода к тестам должна способствовать смягчению этих противоречий.

Ключевыми понятиями для общей тестологии являются функциональные параметры, оценивающие качество любой оценочной или диагностической процедуры в любой области их применения. Это параметры надежности, валидности и репрезентативности. В Википедии уже представлены статьи об этих параметрах тестов: «Надёжность психологического теста», «Валидность (психология)», «Репрезентативность». Стоит обратить внимание на следующее обстоятельство: статистические процедуры подсчета надежности теста (например, альфа-коэффициент Кронбаха) являются идентичными для психологических, социологических и педагогических тестов, а статья в Википедии названа более узко — «Надежность психологического теста». Это мешает правильной ориентировке начинающих специалистов в области педагогического тестирования, многие из которых могут придти к ошибочным выводам, что подсчет альфа-коэффициента имеет отношение только к психологическим тестам, но не имеет отношения к педагогическим тестам. Вот почему крайне важно сформулировать общие принципы тестологии как междисциплинарной новой науки, четко очертить ее границы, сформулировать предмет и методы ее работы. Те же самые недостатки мы выявляем и в существующих в русской Википедии статьях про валидность и репрезентативность. Статья «Валидность» написана психологом (опять-таки, не общим тестологом и не касается педагогических измерений), а статья «Репрезентативность» написана социологом и касается главным образом маркетинговых опросов и может дезориентировать и психологов, и педагогов, не говоря про медиков. Эти факты обосновывают необходимость введения термина «тестология» в настоящую энциклопедию. Это главный аргумент в пользу общезначимости данного термина.

Отдельное ИТ-направление в области гуманитарной тестологии — это разработка инструментов автоматизированной подготовки (тестовых редакторов) и автоматизированного проведения тестов. Последние инструменты часто интегрированы с более мощными и универсальными cистемами LMS (Learning Managemen Systems, русский аналог этой аббревиатуры — СДО, то есть системы дистанционного обучения). История создания СДО восходит корнями к сформулированной еще Скиннером в 50-е годы концепции программированного обучения. Но в последние годы сформулированы четкие критерии, разграничивающие измерительные и обучающие тесты. Обучающие тесты — это предмет дидактики, но не предмет тестологии.

В области технической тестологии и технической диагностики дискуссия о научных основах тестологии в 21 веке по существу только начинается. Простые идеи и методы однопараметрической метрологии (измерение веса, скорости, мощности, точности технических средств и т.п.) уже перестают оставаться единственными инструментами. Это связано с тем, что именно в 21 веке появились массовые сложные технические системы с элементами искусственного интеллекта, так что поведение таких систем изучить и измерить (протестировать) не намного проще, чем поведение человека. Пример такой дискуссионной методологической работы — это статья польского автора К. Brzezinski (2010) [35].

Современное состояние тестологической практики в России

В 21 веке в России появились центры подготовки тестологов и соответствующие программы подготовки на уровне магистратуры ведущих вузов страны (ГУ ВШЭ, Санкт-Петербургский университет, РУДН). В некоторых таких программах в явном виде присутствует в самом названии термин «Тестология», в других употребляются термины «измерения в психологии и педагогике», в третьих присутствует термин «лингвотестология» (методическое обеспечение центров языкового тестирования). Базовые понятия психометрики и тестологии можно освоить дистанционно в ходе серии бесплатных (или практически бесплатных) видеолекций, вебинаров и дистанционных курсов на русском языке. В этих лекциях даются на вполне доступном уровне представления о методах обеспечения надежности, валидности, репрезентативности, этапах разработки и апробации научных тестов.

Теория тестов лежит в основе подготовки заданий и алгоритмов обработки результатов «Единого государственного экзамена» в России. Главным оператором по проведению ЕГЭ является созданный в системе Министерства образования и науки Федеральный центр тестирования, а центром разработки заданий ЕГЭ является ФИПИ — Федеральный институт педагогических измерений. На метод тестов опираются массовые программы по профориентации. Центр профориентационного тестирования при МГУ уже несколько лет, начиная с 2016 года, проводит бесплатную массовую акцию «Всероссийская профдиагностика». В последнюю такую акцию в 2018 году были вовлечено почти полмиллиона школьников России, прошедших профориентационное компьютерное тестирование на едином сервере на платформе HT-LINE (Центр «Гуманитарные технологии»).

Среди общегосударственных проектов, в которых метод тестов нашел в Российской Федерации массовое применение, следует выделить конкурс «Лидеры России». На дистанционном этапе этого конкурса стоит задача отбора относительного узкого круга в 2500 полуфиналистов (участников очных региональных полуфиналов конкурса) из широкого числа претендентов (около 200 тысяч человек в 2017 и свыше 200 тысяч в 2018 году). Метод тестов применяется в ходе трех дистанционных туров этого конкурса: а) тесты на измерение вербальных и числовых способностей, б) тест общих знаний о России, в) тест управленческого потенциала.

Определенные квалификационные (сертификационные) тестовые экзамены включены в программу квалификационных испытаний, которые проводят в ряде отраслей советы по профессиональным квалификациям и созданные при этих советах центры оценки и развития квалификации (см. сайт www.narc.ru — официальный сайт Национального агентства развития квалификаций, директор — А.В. Лейбович). На указанном сайте можно найти ссылки на открытую процедуру предварительного квалификационного онлайн-тестирования.

Примечание

«Веблиография» (где еще в Рунете можно почитать о тестологии)

1. Тестология // Психологический словарь на сайте «Мир психологии»: http://psychology.net.ru/dictionaries/psy.html?word=986
2. Плавинский С.Л. Тестология. Это действительно просто или мы что-то не заметили? (зав. кафедрой педагогики высшей медицинской школы и философии СПб МАПО) http://www.pubhealth.spb.ru/WHealth/testology.htm
3. Векслер В.А. Возникновение тестологии // Современные научные исследования и инновации. 2015. № 5. Ч. 4. [Электронный ресурс]. URL: http://web.snauka.ru/issues/2015/05/48321
4. Тестология // Национальная психологическая энциклопедия: [Электронный ресурс]. URL: https://vocabulary.ru/termin/testologija.html
5. Тестология // Национальная педагогическая энциклопедия: [Электронный ресурс]. URL: https://didacts.ru/termin/testologija.html
6. Тестология. Видеолекция: [Электронный ресурс]. URL: https://www.distanz.ru/feed/tezaurus/testologiya_13640

• Шмелев А.Г. Тестология // Большая Российская Энциклопедия. 7 сентября 2023 г. URL: https://bigenc.ru/c/testologiia-f956ed — прим. авт.

Литература

1. Аванесов В.С. Тесты в социологическом исследовании / Институт социологических исследований АН СССР. М.: Наука, 1982. 200 с.
2. Аванесов В.С. Понятийный аппарат педагогической тестологии // Педагогическая диагностика. 2003. №2. С. 33–38.
3. Анастази А., Урбина С. Психологическое тестирование. 7-е международное издание. СПб: Питер, 2001. 688 с.
4. Балыхина Т.М. Словарь терминов и понятий тестологии. М.: РУДН, 2000. 160 с.
5. Батешов Е.А. Основы технологизации компьютерного тестирования. Астана: ТОО «Полиграф-мир», 2011. 241 с.
6. Батурин Н.А., Курганский Н.А. Пособие по разработке тестов достижений. Тесты по учебным дисциплинам. Челябинск – Санкт-Петербург, 2000. 86 c.
7. Батурин Н.А., Вучетич Е.В., Костромина С.Н., Кукаркин Б.А., Куприянов Е.А., Лурье Е.В., Митина О.В., Науменко А.С., Орел Е.А., Полетаева Ю.С., Попов А.Ю., Потапкин А.А., Симоненко С.И., Синицына Ю.Д., Шмелев А.Г. Российский стандарт тестирования персонала // Организационная психология. 2015. №2. С. 67–138.
8. Болотов В.А., Шмелев А.Г. Развитие инструментальных технологий контроля качества образования: стандарты профессионализма и парадоксы роста // Высшее образование сегодня. 2005. №4. С. 16–21.
9. Войтов А.Г. Тестология гуманитариям. Теория и практика учебного тестирования. М., 2005. 401 с.
10. Гуревич К.М. Тесты интеллекта в психологии // Вопросы психологии. 1980. №2. С. 53–65.
11. Девятко И.Ф. Методы социологического исследования. Екатеринбург: Издательство Уральского университета, 1998. 208 с.
12. Дюк В.А. Компьютерная психодиагностика. СПб: Братство, 1994. 364 с.
13. Ежегодник профессиональных рецензий и обзоров. Методики психологической диагностики и измерения / под ред. Н.А. Батурина, Е.В. Эйдмана. Челябинск: Изд. центр ЮУрГУ, 2010. Т. 1. 293 с.
14. Ежегодник профессиональных рецензий и обзоров. Методики психологической диагностики и измерения / под ред. Н.А. Батурина, Е.В. Эйдмана. Челябинск: Изд. центр ЮУрГУ, 2013. Т. 2. 231 с.
15. Ефремова Н.Ф. Тестовый контроль в образовании. М.: Университетская книга, Логос, 2007. 263 с.
16. Кадневский В.М. Генезис тестирования в истории отечественного образования. Автореферат диссертации на соискание ученой степени доктора педагогических наук. Екатеринбург, 2006.
17. Клайн П. Справочное руководство по конструированию тестов. Киев: Ника-центр Лтд, 1994. 284 с.
18. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. М.: Логос, 2010. 668 с.
19. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М.: Прогресс 1980. 391 с.
20. Майоров А.Н. Теория и практика создания тестов для системы образования. М.: Интеллект-Центр, 2001. 296.
21. Мальцев А.В. Тестология в образовании: вчера, сегодня, завтра // Известия Уральского государственного университета. 2008. №60. С. 7–14.
22. Михайлычев Е.А. Дидактическая тестология: научно-методическое пособие. М.: Народное образование, 2001. 432 с.
23. Пермяков О.Е., Максимова О.А. Основы технологии комплексной экспертизы качества педагогических тестов. Монография. Томск: Изд-во ТОИПКРО, 2008. 100 с.
24. Раш Дж. Индивидуальный подход к анализу вопросов // Математические методы в социальных науках. М.: Прогресс, 1973. С. 91–116.
25. Рудинский И.Д. Структурные основы тестологии. Калининград: КГТУ, 2010. 247 с.
26. Семеновская С.А. Основы тестологии: учебное пособие для студентов по направлению подготовки 050100 «Педагогическое образование». Саратов, 2015. 57 с.
27. Тесты. Теория и практика. Сборник второй / под редакцией М.С. Бернштейна, П.П. Блонского, А.М. Шуберт. М.: Московское тестологическое объединение при научно-педагогическом институте методов школьной работы, 1928. 206 с.
28. Фер М., Бакарак В. Психометрика. Введение. Челябинск: Издательский центр ЮУрГУ, 2010. 445 с.
29. Цатурова И.А. Из истории развития тестов в СССР и за рубежом. Таганрог, 1969. 51 с.
30. Челышкова М.Б. Теория и практика конструирования педагогических тестов. Учебное пособие. M.: Логос, 2002. 432 с.
31. Челышкова М.Б., Шмелев А.Г. Шкалирование результатов Единого экзамена: проблемы и перспективы // Вопросы образования. 2004. №4. С. 168–186.
32. Червинская К.Р., Щелкова О.Ю. Медицинская психодиагностика и инженерия знаний. М.: Издательский центр «Академия», 2002. 624 с.
33. Шмелев А.Г. Тест как оружие // Психология. Журнал Высшей школы экономики. 2004. №2. С. 40–52.
34. Шмелев А.Г. Практическая тестология: тестирование в образовании, прикладной психологии и управлении персоналом. М.: Маска, 2013. 688 с.
35. Brzezinski К.M. On Conceptual Struggles over “Testing”. IV Poznań Telecommunications Workshop – PWT. 2010 1.

Источник: Шмелев А.Г. Тестология — это не только психометрические тесты // Вестник по педагогике и психологии Южной Сибири. 2019. №4. С. 61–75.

* В 2023 году статья А.Г. Шмелева «Тестология» опубликована в «Большой Российской Энциклопедии» — https://bigenc.ru/c/testologiia-f956ed