Евгений Осин: «Психологический тест – это не просто набор вопросов»

Доцент факультета Евгений Осин написал в PSYCHOLOGIES о различиях между профессиональным психологическим тестом и шуточным тестом.

В начале марта* Министерство образования и науки предложило благое начинание: обследовать всех российских школьников и студентов для «раннего выявления немедицинского потребления наркотических средств и психотропных веществ» с помощью психологического тестирования. Однако такая перспектива обеспокоила многих родителей: что, если тест не совсем точный, и ребенок случайно попадет в группу наркозависимых? Над вопросами этого теста, размещенными министерством в открытом доступе, уже активно потешаются пользователи социальных сетей: действительно, какое отношение к употреблению наркотиков может иметь ответ на вопрос вроде такого: «Невзирая на опасность, ты хотел бы поохотиться на тигра?» Но у любого профессионального психолога эта история вызывает не смех, а настоящий шок. Создается впечатление, что авторы проекта не вполне осознают различий между профессиональным психологическим тестом и шуточным тестом. В чем же эта разница состоит?

Ответственность. Если шуточный или развлекательный тест предназначен для того, чтобы хорошо провести время, то по результатам профессионального теста принимаются серьезные решения: принимать ли человека на работу, какую оценку ему поставить в аттестате (ЕГЭ), нужна ли ему помощь психолога. Поэтому профессиональный тест – это не просто набор вопросов, а измерительный инструмент, похожий на счетчик воды или спидометр. По аналогии со счетчиком воды, который должен иметь сертификат и время от времени подвергаться поверке, качество психологического теста тоже должно проверяться с помощью специальных исследований.

Проведением исследований, посвященных разработке и проверке качества тестов, занимается специальная область науки – психометрика. Первому психологическому тесту, разработанному французами Альфредом Бине и Теодором Симоном в 1905 году для измерения интеллекта у детей, недавно исполнилось сто лет. За этот век психологами были разработаны десятки тысяч тестов и опросников для измерения самых разных индивидуальных особенностей: способностей, черт характера, эмоциональных состояний. И за это время были разработаны очень четкие критерии, которым должен удовлетворять любой тест (на русском языке эти критерии отлично описаны в недавно вышедшей книге профессора А. Г. Шмелева «Практическая тестология»). Главных критериев три:

Надежность. Чтобы понять, насколько можно доверять результатам измерения, нам прежде всего необходимо знать, насколько точным является инструмент: какова его погрешность? Если по тесту интеллекта Иванов получил 100 баллов, а Петров 105, можно ли быть уверенным, что интеллект Петрова действительно выше? Обычно мы не задумываемся над этим вопросом, но ответ на него зависит от надежности теста: чем она ниже, тем больше шансов, что Петров получил более высокий балл чисто случайно.

Поэтому надежность любого теста крайне важна и первым делом проверяется в научных исследованиях. Тест с низкой надежностью вообще ничего не измеряет: он похож на счетчик воды, скорость вращения стрелки которого зависит не от потока воды, а от каких-то посторонних факторов. Платить за воду по такому счетчику, пожалуй, никому не хотелось бы.

Первая проблема с так называемым «тестом на наркотики» от Минобрнауки состоит в том, что его надежность неизвестна: в документе нет ссылок на научные исследования, в которых она была бы проверена.

Валидность. Когда тест надежен (и это значит, что он что-то измеряет), психометрики задаются следующим вопросом: действительно ли тест измеряет именно то, что нужно? Со счетчиком воды все просто: можно точно определить, что именно он измеряет, зная его конструкцию и законы физики. С психологическими тестами все немного сложнее: этот вопрос изучается специально, потому что тест может быть надежным, но не валидным. Например, если в заданиях теста интеллекта используются очень редкие слова, тест будет измерять не столько интеллект обследуемых, сколько их словарный запас.

Вопрос о валидности особенно важен, когда по результатам теста ставится диагноз: скажем, есть ли у человека определенная инфекция или употребляет ли он наркотики. В медицине любой диагностический критерий опирается на данные исследований того, насколько хорошо он позволяет отличать людей, о которых точно известно, чем они больны, от тех, кто точно здоров. Никому не хотелось бы тратить деньги на анализ, по результатам которого здоровые люди будут часто признаваться больными или наоборот, что еще хуже.

Вторая проблема с методикой, предложенной министерством для «выявления обучающихся с признаками аддиктивного поведения», заключается в том, что нет данных исследований, которые позволили бы понять, действительно ли предложенные чиновниками критерии позволяют отличить подростков с наркотической зависимостью от тех, кто точно наркотиков не употребляет.

Достоверность. Даже если тест и надежен, и валиден, но используется не по назначению, его результаты могут быть недостоверными. Например, счетчик воды пригоден для измерения расхода именно воды, причем определенной температуры (неспроста счетчики для холодной и горячей воды отличаются). Если поставить его на трубопровод с какой-нибудь другой жидкостью, скажем, бензином, то показатели расхода в кубометрах могут сильно отличаться от реальных. И если использовать счетчик для воды таким образом, пожалуй, никому не приходит в голову, то психологические тесты, к сожалению, слишком часто используются совсем не в тех условиях, для которых они предназначены. Тест, предназначенный для людей, которые стремятся ответить на вопросы искренне, может давать неверные результаты в группе людей, которые сознательно или неосознанно стремятся исказить информацию о себе (например, при отборе на работу).

Если тест применяется не в тех условиях, для которых он был разработан, то достоверность его результатов в этих условиях должна проверяться отдельно, и необходимы отдельные критерии для интерпретации результатов. Каждый, кто когда-нибудь измерял температуру кошке или собаке, наверняка с удивлением узнавал, что 38 градусов для этих животных – нормальная температура. Для психологических тестов критерии, позволяющие ответить на вопрос «Много, мало или нормально?», называют тестовыми нормами. Профессиональные тесты обычно включают различные нормы для мужчин и женщин, для разных возрастных групп.

Третья проблема с тестом, который предлагает Минобрнауки, заключается в том, что никто не проверял достоверность его показателей у школьников, которые боятся (основательно или безосновательно) быть заподозренными в употреблении наркотиков. Никаких тестовых норм, необходимых, чтобы учесть особенности реакции на вопросы юношей и девушек, предлагаемая методика не содержит. Итак, надежность, валидность и достоверность – это три ключевых требования, которым должен соответствовать любой профессиональный тест. И если по отношению к людям в любой цивилизованной стране используется принцип презумпции невиновности, то к психометрическим инструментам, которые используются в ответственных ситуациях, должна применяться презумпция ненадежности, невалидности и недостоверности. Ни один тест не может считаться надежным, валидным и достоверным, пока эти его характеристики не обоснованы с помощью научных методов.

Как же обстоят дела с опросниками Кеттелла, которые предлагает министерство? Это опросники, опирающиеся на 16-факторную модель личности (16PF), которая была разработана американским психологом Р. Б. Кеттеллом в 1940-е годы. Современные англоязычные версии этих опросников можно считать надежными, валидными и достоверными инструментами для диагностики особенностей личности. Однако версии этих инструментов, существующие на русском языке и представленные в документе Министерства, разрабатывались десятки лет назад, до появления современных методов психометрики. Можно провести аналогию со счетчиком для воды, который не поверялся 20 лет. Но если физические характеристики воды со временем меняться не должны, то особенности личности советских школьников и студентов, на группах которых эти опросники разрабатывались в 1970–80-е годы, и учащихся в современной России могут различаться самым радикальным образом. Отдельные вопросы теста современными подростками могут пониматься иначе, чем понимались когда-то. Поэтому без повторной психометрической проверки этого теста его нельзя считать надежным.

Но даже для американской версии теста нет четких и однозначных критериев, с помощью которых можно было бы достоверно сказать, склонен ли человек к употреблению психоактивных веществ: они разные для разных веществ, людей из разных социальных групп, разных условий тестирования. Да и в принципе тест Кеттелла, направленный на диагностику личности в целом, для решения такой задачи не предназначен. Не то чтобы использовать его таким образом нельзя, но это похоже на измерение температуры больного человека с помощью термометра, предназначенного для измерения температуры на улице в диапазоне от -50 до +50 °С. Этот тест нельзя считать валидным и достоверным без специальных исследований того, какие его показатели и с какой точностью позволяют делать вывод о склонности к употреблению тех или иных веществ именно у российских школьников и именно в условиях массового тестирования.

Таким образом, считать тест Кеттелла научно обоснованным инструментом для диагностики склонности к употреблению наркотиков российскими школьниками просто нельзя. Опираться на его результаты можно с таким же успехом, как на результаты гадания на кофейной гуще или астрологического прогноза. Не говоря уже о том, что, помимо собственно теста, в мировой психометрике существуют определенные стандарты того, как тестовые материалы и результаты должны храниться и применяться. Эти стандарты приняты Международной тестовой комиссией (ITC). Некоторые из этих стандартов в методике министерства серьезно нарушаются.

1) Информированность. Каждый обследуемый должен быть информирован не только о целях тестирования, но и о последствиях отказа от него. В письменной форме добровольного информированного согласия, получение которого от учащихся и их родителей «организует» руководитель образовательного учреждения, этой информации нет.

2) Компетентность.Тесты должны применяться только человеком, который прошел специальное обучение, хорошо понимает ограничения возможностей тестовых методик и соблюдает правила их этичного применения. Однако никакой информации о специальной подготовке людей «из числа работников образовательной организации», которые будут проводить тестирование и обрабатывать результаты, в процедурах нет.

3) Сохранность тестовых материалов. Профессиональные тесты ни в коем случае не должны публиковаться полностью в открытых источниках. Представьте, что случилось бы с ЕГЭ, если бы все варианты заданий с правильными ответами стали известны задолго до дня тестирования? В документе же министерства опубликованы не только все вопросы, но и процедуры подсчета и интерпретации тестовых баллов. Прочитав его, несложно заучить номера вопросов (их всего 10) и последовательность ответов, которые нужно дать, чтобы точно не попасть в «группу риска».

Обобщая все вышесказанное, детей предлагается тестировать на склонность к употреблению наркотиков инструментом, о котором совершенно неизвестно, позволяет ли он вообще эту склонность измерить и насколько хорошо. Непонятен ни уровень квалификации людей, которые будут это делать, ни то, как они будут использовать полученные результаты.

И можно представить себе самый худший из возможных вариантов: некая Марья Ивановна «из лучших побуждений» нарушит анонимность и конфиденциальность тестирования. Она самостоятельно подсчитает тестовые баллы учеников по открытым ключам и позвонит родителям: «А наш тест от Министерства показал, что ваш Вовочка – наркоман!» Остается лишь надеяться, что эта перспектива нереальна, но исключать такой возможности нельзя.

Источник: http://www.psychologies.ru/psychotherapy/methods/_article/evgenij-osin-psixologicheskij-test-jeto-ne-prosto/

* В начале марта 2014 года Министерство образования и науки России опубликовало на едином государственном портале для обсуждения правовых актов проект приказа, определяющего порядок проведения социально-психологического тестирования школьников и студентов, направленного на «раннее выявление немедицинского потребления наркотических средств и психотропных веществ» http://regulation.gov.ru/project/13052.html?point=view_project&stage=3&stage_id=7133