Тестовые нормы
Те́стовые но́рмы, стандарты для оценки результатов тестирования, позволяющие определить наличие и/или степень выраженности измеряемого психического свойства у конкретного испытуемого.
Анализ и интерпретация результатов тестирования конкретного испытуемого осуществляется на основе стандартизированных баллов, поэтому одним из важных условий практического использования психодиагностических методик является перевод сырых тестовых баллов в нормированные. Это позволяет сравнить результаты данного тестируемого по разным шкалам и методикам, а также с результатами других испытуемых.
Перевод сырых баллов в нормированные производится путём сравнения сырых баллов тестируемого с показателями выборки стандартизации. Тестовым результатам конкретного испытуемого присваивается заданный для определённой выборки стандартизации нормированный балл. Для определения стандартизированного балла необходимо выбрать ту нормативную группу, которая соответствует социально-демографическим характеристикам тестируемого и цели тестирования.
Тестовые нормы представляют собой пороговые значения, «точки отсечения» (cut score) или интервалы (уровни) с различной интерпретацией на стандартной шкале, которые разделяют статистически различающиеся группы тестируемых.
Согласно определению А. Г. Шмелева, тестовые нормы – это границы на шкале тестовых баллов, которые разделяют интервалы (области шкалы), связанные с определёнными диагностическими выводами или управленческими решениями (Шмелев. 2013. С. 66).
Наиболее простые «точки отсечения» на тестовых шкалах могут быть определены границами интервала М σ (среднее значение плюс / минус стандартное отклонение: М – σ, М + σ). Группа испытуемых, которые попадают в этот интервал, называется средней, выше интервала – высокой, ниже интервала – низкой. Правила определения «точек отсечения» могут исходить не только из закона нормального распределения, средних величин и отклонений в выборке стандартизации (при нормативно-статистическом подходе), но и из объективированных требований к уровню подготовленности или пригодности испытуемых к определённому виду деятельности (при критериально-ориентированном подходе).
Нормативно-ориентированное тестирование предполагает формирование тестовых норм на основе статистического распределения тестовых баллов в репрезентативной выборке стандартизации. Такие нормы называют относительными в связи с тем, что они демонстрируют статус испытуемого относительно группы, рассматриваемой в качестве нормативной. В таких случаях используются нормированные шкалы, прежде всего Z-шкала и её производные (шкала стэнов, Т-шкала, IQ-шкала и др.) (см. рис. Нормированные шкалы).
Критериально-ориентированное тестирование предполагает формирование тестовых норм на основе экспертных критериев (некоторых внешних по отношению к тесту явлений или признаков). Наборы признаков для критериальных тестовых норм могут быть упорядочены в номинативные или порядковые шкалы. Экспертно задаются абсолютные пороговые значения отбора по количеству успешно выполненных критериальных показателей.
Критериальные нормы отражают вероятность того, что испытуемые, получившие некоторый балл по тесту, достигнут критериального показателя. Критериальные нормы устанавливают посредством эмпирического соотнесения тестовых баллов с оценками по критерию и обычно представляют в виде «таблиц ожидания». В таблицах ожидания приводятся вероятности различных критериальных исходов для лиц, получивших тот или иной тестовый балл. Таблицы ожиданий могут дополняться указанием критериального балла – тестового показателя, относительно которого прогнозируется успешность деятельности не ниже заданной вероятности (например, на уровне «выше среднего» с вероятностью 95 %). Основная сфера применения таких норм связана с практическими задачами отбора и прогнозирования.
Для реализации практических целей используются и предметно-ориентированные нормы (domain-referenced), призванные оценить уровень выполнения теста с точки зрения его содержания (количество знаний, качество освоения конкретных навыков и т. д.). Во многих областях практики для задач готовности или безопасности требуется не определение статуса тестируемого относительно общей выборки, а установление критических точек, отражающих минимальный уровень освоения деятельности (например, тест на вождение автомобиля). Для установления таких норм необходим «стандарт выполнения», который выражается либо в проценте выполненных заданий, либо через «точку отсечения», которая разделяет протестированных претендентов на группы по принципу «зачёт / незачёт». При использовании нескольких «точек отсечения» могут определяться несколько категорий (например, начальный уровень, базовый, продвинутый). К установлению предметно-ориентированных норм также привлекаются эксперты. Предметно-ориентированные нормы широко используются в системе образования, а также для целей лицензирования и сертификации, когда в качестве интерпретационной схемы используется чётко определённая содержательная область.
В отечественных исследованиях при интерпретации диагностических данных применялся особый критерий – социально-психологический норматив; критерий предложил К. М. Гуревич как психологический информационно-действенный комплекс знаний, умений и навыков (Гуревич. 2008. С. 280). Социально-психологический норматив – система требований, которые предъявляет общество и которым необходимо соответствовать, чтобы получить санкционированную обществом квалификацию. Оценка результатов тестирования в этом случае основывается на степени их близости к социально-психологическому нормативу для определённой образовательно-возрастной группы.
Также существует классификация тестовых норм в зависимости от широты охвата контингента. Выделяются:
универсальные нормы;
групповые нормы;
локальные нормы.
Универсальные нормы определяются для широкого контингента лиц. Они мало зависят от таких социально-демографических признаков, как пол, возраст, уровень образования и т. п., различия в соответствии с этими признаками считаются статистически незначимыми (например, тестовые нормы для лиц обоих полов в возрасте от 16 до 60 лет).
Однако большинство психодиагностических методик по своему содержанию и назначению не претендуют на универсальность и не используют нормы, полученные на масштабных выборках. Во многих случаях более полезными бывают групповые нормы, соответствующие области практического применения методики.
Групповые нормы разрабатываются для групп людей, объединённых по какому-либо групповому статусу (полу, возрасту, уровню образования, профессиональной направленности и т. п.). К их числу относятся прежде всего:
возрастные нормы;
профессиональные;
национальные.
Самым распространённым вариантом групповых норм являются возрастные нормы, устанавливаемые для различных возрастных групп. Деление на группы по возрасту зависит от специфики возрастной динамики измеряемого психического свойства. Такие нормы рассчитываются отдельно для каждой возрастной группы тестируемых, что является фактически обязательным условием для тестов интеллекта – закономерное изменение нормативных показателей с возрастом служит одним из критериев валидности этих тестов.
Профессиональные нормы разрабатываются для представителей различных профессий и видов деятельности. Например, узкопрофильный тест может быть стандартизирован специально для таких групп, как «студенты медицинских вузов» или «руководители среднего звена». Минимальная выборка стандартизации для малочисленных профессиональных групп должна составлять около 100 человек. Использование нормативных групп менее 100 человек нежелательно из-за невозможности обеспечить статистически достоверные результаты и выводы.
Необходимость определения национальных норм более актуальна для многонациональных стран и связана с теми социальными (этническими, языковыми, религиозными и др.) традициями, под влиянием которых происходит развитие и формирование личности представителя конкретной народности, нации или культуры.
Для методик, применяющихся в клинической психодиагностике, иногда разрабатываются групповые нормы для отдельных контингентов больных (например, для детей с отклонениями в умственном развитии, депрессивных, неврастеничных пациентов).
Локальные нормы устанавливаются и применяются для узких категорий лиц в соответствии с конкретными целями тестирования. Например, нормы для отбора претендентов на конкретную работу в конкретной организации могут включать минимальное пороговое значение IQ или максимально допустимый уровень профессионального выгорания.
В практике тестирования персонала в крупных организациях могут использоваться корпоративные тесты и корпоративные нормативные группы. Корпоративную нормативную выборку формируют из числа протестированных работников или кандидатов и рассчитывают локальные тестовые нормы. Корпоративная нормативная группа должна включать не менее 100 сотрудников. Преимуществом использования корпоративной нормативной группы является бо́льшая простота и зачастую точность принятия решений по итогам тестирования (кандидат на должность сравнивается с результатами сотрудников, работающих на этой должности в данной организации). Основным недостатком использования корпоративных норм является риск неверной интерпретации абсолютного уровня результатов. Например, сотрудник, получивший высокий балл по шкале «конформность» относительно корпоративной нормативной выборки, может быть не столь конформным по сравнению с нормой для генеральной выборки, и его стандартизированный балл оказывается завышен из-за заниженности базы сравнения. Поэтому переход на корпоративные и иные локальные нормы рекомендуется производить путём сравнения с нормами, полученными разработчиком теста.
Помимо сравнения показателей с выборкой стандартизации тестовые баллы испытуемого могут сопоставляться с индивидуальной нормой. Такие ипсативные оценки нацелены на определение внутрииндивидуальных соотношений и не затрагивают различия межиндивидуальные. Ипсативные нормы предполагают сравнение выраженности тех или иных свойств относительно самого испытуемого. Например, в качестве меры мотивации к какому-либо виду деятельности могут рассматриваться временны́е и финансовые затраты. С точки зрения нормативного подхода приобретение дорогостоящего музыкального инструмента двумя индивидами означает равенство их мотивации, что может быть не так, поскольку при этом не учтён уровень их способностей и доходов. Одинаковые финансовые затраты состоятельного человека и студента музыкального учебного заведения могут трактоваться как свидетельство бо́льшей степени мотивации последнего. Во избежание такого рода ошибок показатель ипсатируется и мерой мотивации считается отклонение от среднего значения финансовых затрат данного индивида в различных видах деятельности.
Перечисленные виды норм не противоречат друг другу, а наоборот, взаимодополняют и обогащают интерпретацию результатов. Если методика сопровождается разными видами норм, это повышает её практическую ценность. Например, при использовании теста знаний можно установить позицию конкретного студента относительно других студентов (групповые нормы), уровень усвоения им знаний по данному предмету (предметно-ориентированные нормы), а также вероятность того, что он будет успешен в определённых видах профессиональной деятельности (критериальные нормы).
Алгоритм построения тестовых норм независимо от их вида включает следующие этапы: 1) формирование выборки стандартизации; 2) эмпирические процедуры установления стандартов; 3) фиксацию способов перехода (формулы или таблицы) к нормам. Формирование выборки стандартизации осуществляется из той популяции, на которой предполагается применение теста. Согласно существующим стандартам, нормативная выборка для любых тестов должна быть не менее 200 человек. При одинаковых объёмах стратифицированная (схожая по основным признакам с генеральной совокупностью) выборка более эффективна, чем рандомизированная. Переход к нормированным показателям основан на преобразовании сырых баллов в стандартную шкалу, ориентированную на эмпирически полученное при массовом тестировании распределение баллов в репрезентативной выборке стандартизации.
Тестовые нормы необходимы прежде всего для практического использования теста в диагностических целях, т. к. они определяют правила принятия практических решений. При применении теста для исследовательских целей корректнее использовать сырые показатели, не подвергнутые никаким преобразованиям.
При сравнении тестовых баллов с нормами следует учитывать относительность нормативных показателей. В различных выборках стандартизации человек может занимать разные позиции. Например, высокий балл испытуемого по показателю эмпатийности в возрастной нормативной выборке может быть эквивалентен среднему баллу при сравнении его с профессиональными психологами.
Нормативные данные могут варьироваться вследствие социальных, экономических и других факторов. Рестандартизация и построение тестовых норм для новой социокультурной или этнической популяции является одним из обязательных этапов адаптации теста.
Тестовые нормы должны периодически проверяться и в случае существенных изменений корректироваться. Рекомендуется обновлять нормы для тестовых методик каждые 5–7 лет, а для тестов интеллекта – каждые 3–5 лет.