Надежность указывает на то, насколько непротиворечиво или надежно тест измеряет (определяет) некоторую характеристику. Если индивид проходит тест вновь, он получает сходные оценки. Вместе с тем, имеется несколько причин, почему индивид, вновь проходящий тест, не получает сходные оценки: временные психологические или физические изменения тестируемого (результаты теста могут зависеть от психологического или физического состояния тестируемого); факторы окружения (различия в окружении, такие как температура комнаты, освещение, уровень шума или даже личность проводящего тест, могут влиять на результаты); форма теста (многие тесты имеют разную форму или версию. Хотя каждая форма предназначена оценивать одно и то же, но может содержать различные оттенки – скажем, на бумажном носителе, в электронной версии, в устном исполнении); множественность оценивающих (в определенных тестах сфера оценки обусловлена суждениями оценивающего и его референциальным каркасом).
Указателем надежности теста является степень, в которой сфера оценок теста не подвержена влиянию указанных факторов. Необходимы именно такие тесты, степень надежности которых высока.
Надежность теста определяется его коэффициентом, который может колебаться от 0 до 1. Не следует ожидать, что в вашем распоряжении будет иметься тест с надежностью, равной 1. Обычно говорится, что если надежность теста 0.9 и более, то результаты его превосходны, тест с надежностью 0.8 – 0.89 дает хорошие результаты, тест с надежностью 0.7 – 0.79 дает адекватные результаты, тест с надежностью менее 0.7 может иметь ограниченную приложимость. Вместе с тем, не следует выбирать тест, который полностью базируется на величине его коэффициента надежности. Для оценки надежности теста необходимо принимать во внимание тип теста, тип надежности, контекст использования теста.
Каждый тип обусловлен различными источниками ошибок измерения. Перед каждым тестом, перед принятием решения об его выборе, необходимо внимательно знакомиться с руководством и определить, приемлема ли его надежность. Допустимый уровень надежности будет отличаться в зависимости от типа теста и используемой оценки надежности. Возможно перечислить несколько типов:
- надежность типа «тест – повторный тест» указывает на возможность получения таких же результатов по тесту по прошествии времени. Это указывает также на стабильность измеряемых тестом характеристик (конструктов), при этом следует отметить, что некоторые характеристики более стабильны, чем другие;
- надежность альтернативной, или параллельной, формы. Речь идет о том, что результаты теста подобны, если индивид выбирает одну или несколько его альтернативных форм;
- надежность типа «интер-оценка» указывает, что результаты теста подобны при проведении его двумя или более оценщиками;
- надежность типа «внутренняя непротиворечивость» указывает границы, в которых тест измеряет одно и то же.
1.4.6 Валидность оценочного инструментария
Другой важной характеристикой в избрании теста является его валидность, указывающая, какие именно характеристики определяет тест и насколько хорошо он это делает. Валидность говорит о том, имеет ли отношение измеряемая тестом характеристика к квалификациям и требованиям, относящимися к работе. Валидность придает значение результатам теста, то есть связывает тест и работу, говорит, можно ли сделать какое-либо заключение о ком-то, исходя из результатов его тестирования. Валидность описывает также степень, в какой можно делать специфические заключения относительно людей, основываясь на результатах их тестирования. Естественно, следует проводить различия между валидностью и надежностью: первая говорит о том, насколько хорош тест для отдельной ситуации, вторая – насколько истинные результаты дает тест (тест может быть надежным, но не быть валидным). Тест может оказаться невалидным для различных целей, скажем, он может адекватно показывать технические навыки, но быть бесполезным при определении лидерских качеств. Сходным образом, валидность теста обоснована относительно специфических групп индивидов, называемых референтными группами - тест может оказаться невалидным применительно к различным группам. Вполне реальна ситуация, когда целевая группа может не входить в число референтных групп.
Возможно назвать три условия обоснования валидности: валидность относительно критерия (требующая демонстрации корреляции или иного статистического взаимоотношения между результатами теста и требованиями работы), валидность относительно содержания (требующая демонстрации того, что содержание теста представляет важнейшие относительно работы черты поведения), валидность относительно конструктов (требующая демонстрации того, что тест определяет именно тот конструкт или характеристику, для определения которой он предназначен, и что эта характеристика важна для успешности в работе).
Отдельная работа, для которой выбран тест, должна быть очень сходна с той, для которой тест был построен первоначально. Определение степени сходства требует анализа работы, то есть систематического процесса, предназначенного для идентификации задач, обязанностей, навыков и условий работы, а также знаний, умений, способностей и иных характеристик, необходимых для данного вида деятельности.
1.4.7 Использование проверенных оценочных процедур и инструментов
Разработка и использование собственных оценочных процедур является весьма дорогостоящим и трудоемким делом, и обычно следует предпочесть использовать профессионально развитые орудия и процедуры, при этом, конечно, следует убедиться в пригодности подобных процедур именно в данном случае. Проведение тестирования, оценок требует, с одной стороны, определенной квалификации от тестирующих, с другой – сами предлагаемые процедуры должны быть сертифицированы соответствующим образом. Целесообразнее обратиться в имеющиеся центры тестирования и оценки при условии, что последние имеют необходимый опыт работы, сертифицированный инструментарий, который целенаправленно может быть использован для измерения умственных или физических способностей, уровня и объема знаний, оценки личности и ее характеристик, а также иметь соответствующие рекомендации и свидетельства.
1.4.8 Использование орудий оценки, приемлемых для целевой группы
В оценке валидности важно определить, может ли тест быть использован тем специфическим способом, к которому вы его предназначаете, и подобна ли ваша целевая группа референтной группе. В этом смысле руководство к проведению теста должно описывать свидетельство валидности, поддерживающее использование теста для специфических целей, иначе говоря, руководство должно включать описание процедур, использованных в исследовании валидности, и результатов этих исследований. Руководство к проведению оценочных процедур и программ должно содержать возможные валидные использования теста, описание образчиков групп, для которых тест был построен, а также групп, для которых он может быть использован.
1.4.9 Использование документированных оценочных инструментов
Огромное количество опубликованных тестов как в серьезной, так и в более популярной литературе, не всегда адекватно излагает ограничения по их использованию, их подробное описание, ключи к ним. Разработки, предлагаемые к использованию, зачастую содержат лишь рекламную информацию, более подробная информация скрывается со ссылками на «ноу-хау». Для принятия решения об использовании оценочных инструментов необходимы по меньшей мере подробное описание теста, его наименование, время и место создания, авторство, формы и способы проведения, цена, информация о надежности и валидности, сведения об апробации, отзывы специалистов.
Соответствующая подготовка административного персонала. Речь, в первую очередь, идет о той совокупности требований к проводящим оценку и тестирование, которая объединяется термином «тестовая компетентность» и может содержать, по некоторым оценкам, до 90 элементов. В некоторых странах (США, Великобритания, Германия) требования к подготовке административного персонала закреплены соответствующим нормативным документом. Поскольку в нашей стране этого еще пока нет, требования закрепляются содержательно; при принятии решения об оценке и тестировании руководство должно иметь твердую уверенность в компетентности тех, кому будет поручено осуществление этого.
1.4.10 Создание условий тестирования, приемлемых для всех тестируемых
На надежности и валидности оценочных процедур могут сказываться различные внешние влияния. Негативных внешних влияний полностью избежать невозможно, но можно минимизировать, для чего необходимо выбрать подходящее место для проведения оценочных процедур – с хорошими освещением, вентиляцией, температурой и тишиной. Тестовые материалы и место проведения должны быть подготовлены заранее. Все тестируемые должны быть предварительно извещены, а перед испытанием проинструктированы должны образом, им должны быть заданы вопросы об их внутренней готовности, самочувствии. Важно еще и то, что весь процесс оценки должен проводиться одним и тем же персоналом, поскольку оценочные процедуры предназначены для учета различий между тестируемыми, но не между тестирующими.
1.4.11 Приспособления оценочного процесса для людей с ограничениями
Целый ряд рабочих мест может быть занят как людьми без каких-либо «недостатков», так и людьми, имеющими те или иные ограничения. Любые оценочные программы и используемый в них инструментарий должны быть адаптированы к людям, имеющим ограничения, но с тем, чтобы не страдали критерии оценки и релевантность программ и инструментария. Если адаптация инструментария не может быть осуществлена без нарушения валидности и надежности, следует рассматривать альтернативные оценочные стратегии.