Отношение между параллельными формами теста имеет сложный характер. Оба набора заданий должны не только отвечать одним и тем же требованиям, измеряя идентичные показатели и давая сходные результаты, но вместе с тем быть относительно независимыми друг от друга. На практике эта задача осуществима далеко не для всех тестовых заданий (в особенности это касается личностных методик, опросников), что существенно ограничивает сферу применения надежности параллельных форм. Другим недостатком характеристики надежности по типу надежности параллельных форм является возможность усвоения испытуемым принципа решения, общего для основной и параллельной форм. Таким образом, в случае оценки надежности параллельных форм влияние тренировки и навыка, приобретаемого при повторном обследовании, если и снижается по сравнению с характеристикой надежности ретестовой, однако не устраняется полностью.
4. Надежность частей теста, ее определение методом расщепления. Уравнение Спирмена – Брауна. Определение коэффициента надежности с помощью формул Дж. Фланагана и Рюлона
Надежность частей теста – характеристика надежности психодиагностической методики, получаемая путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных пунктов (заданий) теста. Наиболее простым и распространенным способом определения надежности частей теста является метод расщепления , суть которого заключается в выполнении испытуемым заданий двух равноценных частей теста. Обоснованием метода является вывод о том, что при нормальном или близком к нормальному распределении оценок по полному тесту выполнение любого случайного набора из частей теста даст аналогичное распределение (при условии, что части однородны по характеру заданий, по отношению к тесту в целом).
Для оценки надежности методом расщепления выбирают две эквивалентные по характеру и степени трудности группы задач. Разделение объема заданий теста на сопоставимые части достигается:
1) распределением заданий на четные и нечетные (в том случае, если задания в тесте строго ранжированы по степени субъективной трудности);
2) распределением пунктов по принципу близости или равенства значений индексов трудности. Такой принцип разделения пригоден для тестов достижений, в которых обязателен ответ испытуемых на все пункты;
3) распределением задач по времени решения каждой из частей (для тестов скорости).
Для испытуемых в выборке определения надежности (раздельно для каждой из частей теста) вычисляются оценки успешности решений, среднеквадратические отклонения первого и второго рядов оценок и коэффициенты корреляции сравниваемых рядов. Естественно, эти коэффициенты будут характеризовать надежность лишь половины теста.
Уравнение Спирмена – Брауна отражает влияние изменения количества заданий на коэффициент надежности теста:
где rt – коэффициент надежности для полного объема заданий, r' t – его значение после изменения числа заданий, n – отношение нового числа заданий к первоначальному (если число заданий полного теста – 100, а его части, полученной методом расщепления на половины, – 50, то n = 0,5).
Отсюда для полного теста:
Приведенные формулы справедливы для случаев равных стандартных отклонений обеих половин теста (?x l = ?х 2). Если ?x l отличается от ?х 2, для определения коэффициента надежности применяется формула Фланагана:
При определении rt целого теста можно воспользоваться формулой Рюлона:
где ? 2? – дисперсия разностей между результатами каждого испытуемого по двум половинам теста,
? 2x – дисперсия суммарных результатов.
В данном случае коэффициент надежности рассчитывается как доля истинной дисперсии результатов теста.
Разделение заданий теста на равноценные половины является лишь частным случаем надежности частей теста. Вполне возможно расщепление на три, четыре и более частей. В предельном случае число частей равно числу пунктов. При разделении всего набора заданий теста на любое количество групп для правильного определения надежности частей теста, как уже указывалось выше, должно соблюдаться требование равноценности таких групп. Поэтому при вычислении коэффициента надежности методом анализа внутренней согласованности отобранные задания теста должны быть в высокой степени однородны по содержанию и трудности (гомогенны). При гетерогенных задачах значения rt ниже истинных.
Характеристика надежности по типу надежности частей теста имеет серьезные преимущества по сравнению с надежностью ретестовой и надежностью параллельных форм главным образом благодаря отсутствию необходимости в повторном обследовании. Таким образом, снимается влияние многих посторонних факторов, в частности тренировки, запоминания решений и т. д. Это обстоятельство определяет широкое распространение методов характеристики надежности частей теста по сравнению с другими типами надежности. К недостаткам метода относится невозможность проверить устойчивость результатов теста спустя определенное время. Это требует комбинирования метода надежности частей теста с другими типами характеристики надежности психологической методики.
ЛЕКЦИЯ № 10. Сущность валидности
1. Определения валидности
Валидность (от англ. valid – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.
В наиболее простой и общей формулировке валидность теста – это «понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» А. Анастази , 1982). В стандартных требованиях к психологическим и образовательным тестам валидность определяется как комплекс сведений о том, относительно каких групп психологических свойств личности могут быть сделаны выводы с помощью методики, а также о степени обоснованности выводов при использовании конкретных тестовых оценок или других форм оценивания. В психодиагностике валидность – обязательная и наиболее важная часть сведений о методике, включающая (наряду с указанными выше) данные о степени согласованности результатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретических ожиданий, наблюдений, экспертных оценок, результатов других методик, достоверность которых установлена и т. д.), суждение об обоснованности прогноза развития исследуемого качества, связь изучаемой области поведения или особенности личности с определенными психологическими конструктами. Валидность описывает также конкретную направленность методики (контингент испытуемых по возрасту, уровню образования, социально-культурной принадлежности и т. д.) и степень обоснованности выводов в конкретных условиях использования теста. В совокупности сведений, характеризующих валидность теста, содержится информация об адекватности применяемой модели деятельности с точки зрения отражения в ней изучаемой психологической особенности, о степени однородности заданий (субтестов), включенных в тест, их сопоставимости при количественной оценке результатов теста в целом.
2. Важнейшие составляющие валидности
Важнейшая составляющая валидности – определение области изучаемых свойств – имеет принципиальное теоретическое и практическое значение при выборе методики исследования и интерпретации ее данных. Содержащаяся в названии теста информация, как правило, недостаточна для суждения о сфере его применения. Это лишь обозначение, «имя» конкретной процедуры исследования. В качестве примера можно привести широко известную корректурную пробу. Область изучаемых свойств личности включает устойчивость и концентрацию внимания, психомоторную подвижность. Данная методика позволяет получать оценки выраженности этих психологических качеств у испытуемого, хорошо согласуется с показателями, полученными другими методами, и, следовательно, обладает высокой валидностью. Наряду с этим результаты выполнения корректурной пробы подвержены влиянию большого количества других факторов (нейродинамических особенностей, характеристик кратковременной и оперативной памяти, индивидуальной переносимости монотонии, развития навыка чтения, особенностей зрения и т. д.), по отношению к которым методика не является специфичной. В случае применения корректурной пробы для их измерения валидность будет невелика или сомнительна.
Таким образом, очерчивая сферу применения методики, валидность отражает и уровень обоснованности результатов измерения. Очевидно, что при небольшом количестве сопутствующих факторов, влияющих на результат исследования, а значит, при их незначительном воздействии на результат теста достоверность тестовых оценок будет выше. Еще в большей степени достоверность данных теста определяется набором измеряемых свойств , их значимостью для осуществления диагностируемой сложной деятельности, полнотой и существенностью отражения в материале теста предмета измерения. Так, чтобы удовлетворить требованиям валидности, диагностическая методика, предназначенная для профотбора, должна включать анализ широкого круга нередко различных по своей природе показателей, наиболее важных для достижения успеха в данной профессии (уровеня внимания, особенностей памяти, психомоторики, эмоциональной устойчивости, интересов, склонностей и т. д.). Как видно из вышеизложенного, в понятие валидности входит большое количество самой разнообразной информации о тесте. Различные категории этих сведений и способы их получения образуют типы валидности .