Бодалев А. А. Столин В. В. Аванесов В. С. Общая психодиагностика (стр. 17 из 93)

Следовательно, объекты анализа должны удовлетворять требованиям статистической значимости и формализации.

Квантификация в контент-анализе от простого подсчета частот встречаемости тех или иных элементов-единиц содержания постепенно эволюционировала к более сложным статистическим средствам. В частности, еще в 1942 г. А. Болдуином был предложен подсчет совместной встречаемости слов в тексте (Baldwin А., 1942). В конце 50-х годов Ч. Осгуд с сотрудниками обогатил контент-анализ методикой «связанности символов», в которой развивается принцип Болдуина, что позволяет обнаруживать неслучайные, связанные между собой элементы содержания, представленные в специальных матрицах (Семенов В. Е., 1983; Osgood Ch., 1959). В сущности, эта методика была началом введения в контент-анализ корреляционной техники, а затем и факторного анализа.

Новым этапом в развитии контент-анализа стала его компьютеризация в 60-х годах. Ё Массачусетском технологическом институте появился «универсальный анализатор» (The General Inquirer) - комплекс компьютерных программ анализа текстовых материалов, при помощи которого можно подсчитывать частоты категорий содержания текста, получать различные индексы на основе совместного появления этих категорий и т. д. (Stone Ph., Dunphy D., 1966). Подобным образом были исследованы речи двадцати американских президентов при их вступлении на этот пост, редакционные статьи в газетах разных стран, личные письма, сочинения, вербальное поведение психически больных людей и прочие материалы. С 70-х годов в США разрабатываются стандартные компьютерные программы анализа разнообразных документов, которые предлагаются организациям и частным лицам (Сохоп А., 1977), компьютерный контент-анализ развивается и в других странах (Deichelsel A., 1975).

Естественно, что использование компьютерных программ в контент-анализе обеспечивает этому методу явные преимущества, заключающиеся в надежности получаемых данных и быстроте анализа, по сравнению с ручным, выполняемым людьми-кодировщиками, которые подвержены ошибкам из-за утомления и субъективных факторов. Таким образом, трудоемкость составления программ окупается тем огромным объемом содержания, которое достаточно быстро и надежно можно проанализировать на компьютере, а также освобождением кодировщиков от их чрезвычайно утомительного труда. В целом проблемы использования машинного контент-анализа близки общей стратегии применения компьютеров в эмпирических социальных исследованиях. Важно правильно определить, когда следует воспользоваться машинным, а когда ручным анализом, что зависит от задач исследования, от объема материалов, подлежащих анализу, от степени их формализуемости.

ГЛАВА 3 ПСИХОМЕТРИЧЕСКИЕ ПСИХОДИАГНОСТИКИ

3.1. РЕПРЕЗЕНТАТИВНОСТЬ ТЕСТОВЫХ НОРМ

Основные статистические принципы построения тестов достаточно полно освещены в появившейся в начале 80-х годов на русском языке литературе по дифференциальной психометрике (Аванесов В. С., 1982; Анастази А., 1982; Гайда В. К., Захаров В. П., 1982). Тем не менее в указанных руководствах центральная проблема психометрики тестов - вопрос о тестовых нормах - еще не получила последовательного освещения. Прежде всего это относится к руководству известной представительницы американской тестологии А. Анастази.

В руководстве Анастази не получают достаточного критического обсуждения две основополагающие предпосылки традиционной западной тестологии: вопрос о применении статистических норм (квантилей распределения баллов) в качестве диагностических норм и вопрос о сведении всех эмпирических распределений к нормальной модели. Ниже эти предпосылки будут проанализированы в контексте краткой реконструкции системы основных понятий дифференциальной психометрики.

Статистическая природа тестовых шкал. Типичный измерительный тест в психодиагностике - это последовательность кратких заданий, или пунктов, дающая в результате ее выполнения испытуемым последовательность исходов, которая затем подвергается однозначной количественной интерпретации. Примеры интерпретации в интеллектуальных тестах, состоящих из отдельных задач: «правильное решение», «ошибочное решение», «отсутствие ответа» (пропуск задачи из-за нехватки времени). Примеры интерпретации в случае личностных опросников, состоящих из высказываний, предлагаемых для подтверждения испытуемым: «подтверждение» (ответ «верно»), «отвержение» (ответы «не согласен», «неверно»).

Суммарный балл по тесту подсчитывается с помощью ключа: ключ устанавливает числовое значение исхода по каждому пункту. Например, за правильное решение задания дается «+1», за неправильное решение или пропуск - «О». Тогда балл буквально выражает количество правильных ответов.

Исход по отдельному заданию подвержен воздействию не только со стороны измеряемого фактора - способности или черты личности испытуемого, но и побочных шумовых факторов, которые являются иррелевантными по отношению к задаче измерения. Примеры случайных факторов: колебания внимания, вызванные неожиданными отвлекающими событиями (шум на улице, стук в дверь и т. п.), трудности в понимании смысла задания (вопроса), вызванные особенностями опыта данного конкретного испытуемого, и т. п. Последовательность исходов оказывается последовательностью событий, содержащей постоянный и случайный компоненты. Как известно, основным приемом, позволяющим устранить искажающее влияние случайных факторов на результат (суммарный балл), Является балансировка этого влияния с помощью повторения. При этом фактически предполагается, что повторение обеспечивает рандомизацию (случайное варьирование) неконтролируемого фактора, в результате чего при суммировании исходов Положительные и негативные эффекты случайных факторов взаимопоглощаются (о механизме рандомизации см.: Готтсданкер Р., 1982).

В оптимальном тесте набор и последовательность заданий организуются таким образом, чтобы повысить долю постоянного компонента и сократить долю случайного в величине суммарного балла. Тем не менее, несмотря на различные статистические ухищрения, суммарный балл в психологических измерениях содержит несравненно большую долю случайного компонента, чем в обычных физических измерениях. В силу этого суммарный балл оказывается определенным лишь в известных пределах, заданных ошибкой измерения.

Для того чтобы оценить эффективность, дифференциальную ценность всей процедуры измерения, необходимо соотнести размеры ошибки измерения с размерами разброса суммарных баллов, вызванных индивидуальными различиями в измеряемой характеристике между испытуемыми. В терминах Статистики речь идет о сравнении так называемой истинной дисперсии распределения суммарных баллов с дисперсией ошибки. Именно этим обусловлен необходимый интерес психометристов к распределению суммарных баллов. Поэтому анализ распределения необходим не только при использовании статистических норм, но и в случае абсолютных и критериальных норм.

Как известно, частотное распределение суммарных баллов имеет удобную графическую интерпретацию в виде кривых распределений: гистограммы и кумуляты (см., в частности, удачное популярное введение в описание распределений в книге: Кимбл Г., 1982, с. 55-70). В случае гистограммы по оси абсцисс откладываются «сырые очки» -первичные показатели суммарных баллов, возможных для данного теста, по оси ординат - относительные частоты (или проценты) встречаемости баллов в выборке стандартизации (Анастази А., 1982, с. 66). Как известно, для «колоколообразной» кривой нормального распределения дисперсия визуализируется как параметр, ответственный за «распластанность» графика плотности вероятности (теоретического аналога эмпирической кумуляты) вдоль оси X. Чтобы визуализировать дисперсию ошибки измерения, нужно было бы многократно провести тест с одним испытуемым и построить графическое распределение частот его индивидуальных баллов (рис. 1).

Очевидно, что дифференцирующая способность теста сводится к нулю, если кривые, иллюстрирующие «истинную» и «ошибочную» дисперсии» совпадают. Как видим, анализ распределения тестовых баллов необходим уже для анализа надежности теста (см. раздел 3.2).

Проблема меры в психометрике и свойства пунктов теста. В физических измерениях калибровка шкалы производится на основе контроля за равномерным варьированием измеряемого свойства в эталонных объектах. Носителем меры является эталон- физический объект, стабильно сохраняющий заданную величину измеряемого свойства. В дифференциальной психометрике такие физические эталоны отсутствуют: мы не располагаем индивидами, которые были бы постоянными носителями заданной величины измеряемого свойства.

Рис. 1.Соотношение индивидуальной и общей вариации тестовых баллов

Роль косвенных эталонов в психометрике выполняют сами тесты: в том смысле, в каком трудность задач можно рассматривать как величину, прямо пропорционально сопряженную со способностью (чем труднее задача, тем выше должен быть уровень способности, требуемый для ее решения). Аналогом понятия «трудность» для «ли-вопросов»[10] опросника является «сила»: более «сильные» высказывания (в логическом смысле) вызывают подтверждение (согласие) у меньшего числа испытуемых. Ни трудность, ни силу пунктов теста нельзя выявить иначе, чем с помощью проведения теста. Операциональным определением трудности оказывается «процентильная мера»: процент испытуемых, справившихся с заданием теста (или ответивших «верно» на «ли-вопрос»). Чем меньше процент, тем выше трудность.