Нормы и интерпретация результатов теста (стр. 11 из 12)

Но в некоторых случаях для получения коэффициента валидности приходится сравнивать успешность выполнения диагностической методики, допустим, в тех же пределах колебаний — от 3 до 20, и производственные достижения, которые имеют всего три ступени оценок: ниже средних, средние и выше средних. Корреляцией в этом случае воспользоваться нельзя, если иметь в виду линейную корреляцию, о которой идет речь в этой главе. Однако могут быть использованы некоторые другие статистические методы, показывающие существование или отсутствие связи между распределением двух рядов численностей. Простейший способ получения коэффициента валидности в описываемом случае и в других подобных случаях — метод «хи-квадрат». Всех испытуемых, прошедших диагностический эксперимент, делят на три равные группы — их и сопоставляют с тремя группами, на которые были поделены испытуемые при оценке их профессиональной успеваемости.

В изучаемой выборке — 90 человек. Они делятся по профессиональным достижениям на три группы: первая — в ней 30 испытуемых — лица с профессиональными достижениями ниже среднего уровня; вторая — 40 испытуемых — это лица со средними достижениями, и третья — 20 испытуемых, их достижения выше среднего уровня. Первая группа составляет 33,3% выборки, вторая — 44,4 и третья — 22,2%.

Приводим технику вычисления (табл. 9).

Таблица 9

Психологическая оценка	Оценка профессиональных достижений			Всего
	Ниже среднего	Средняя	Выше среднего
Ниже среднего	А 20 (10)	В 5 (13,3)	С 5 (6,7)	30
Средняя	D 5 (10)	Е 15 (13,3)	F 10 (6,7)	30
Выше среднего	G 5 (10)	Н 20 (13,3)	J 5 (6,7)	30
Итого:	30	40	20	90

Эксперимент, данные которого представлены в табл. 8, предпринимался, чтобы установить валидность психологической оценки. Нуль-гипотеза формулируется так: психологическая оценка не имеет никакого значения для профессиональных достижений; поэтому она никак не скажется на распределении численностей в таблице-графике «хи-квадрат»;

Принятие нуль-гипотезы может произойти в том случае, если в каждой из групп по профессиональной успешности испытуемые будут распределены независимо от их психологической оценки. Тогда испытуемые, получившие психологическую оценку «ниже среднего», распределятся по всем трем группам в тех же процентных отношениях, в каких они распределились и по профессиональным достижениям. Напомним эти отношения: 33,3 — 44,4 — 22,2. Психологическую оценку «ниже среднего» получили всего 30 испытуемых. 33,3% этого числа (10 человек) должны были бы попасть в группу с профессиональными достижениями ниже среднего уровня, с достижениями среднего уровня — 44,4% (в среднем 13,3), с достижениями выше среднего уровня — 22,2% (6,7).

Те же рассуждения повторяются и относительно испытуемых, имеющих психологические оценки «среднюю» и «выше среднего». Однако наблюдается иное распределение. Возникает вопрос: можно ли, учитывая фактическое распределение, отвергнуть нуль-гипотезу и признать, что психологическая оценка влияет на профессиональные достижения? Это раскроет методика «хи-квадрат».

В клетках таблицы представлены как фактически наблюдаемые численности, так и предполагаемые согласно нуль-гипотезе; они заключены в скобки.

Как известно, формула хи-квадрат такова:

где f₀ — фактически наблюденные численности, f_e — предполагаемые численности.

Для получения значения хи-квадрат нужно суммировать по клеткам:

Клетки

x² = 10 + 5,2 + 0,4 + 2,5 + 0,2 + 1,6 + 2,5 + 3,7 + 0,4 = 26,5, fd — число степеней свободы.

В этом примереc = (к - 1)(с - 1) = (3 - 1)(3 - 1) = 4.

x²_0,99 при 4 степенях свободы равно 11,34.

Сравнивая полученную в эксперименте величину x² с величиной x²_0,99, указанной в таблице значимостей, можно заключить: полученная в эксперименте величина (x² = 26,5) свидетельствует о валидности примененной психологической методики.

Величина хи-квадрат с указанием ее значимости служит в подобных случаях показателем или коэффициентом валидности. Этот же метод применяется, если оценка дается не по трем ступеням, как в рассмотренном примере, а по пяти (значительно ниже средней, ниже средней, средняя, выше средней, значительно выше средней и т.д.). Техника вычислений при такой дифференциации оценок аналогична показанной выше.

Были изложены четыре типа задач и показаны статистические методы, применяемые для каждого типа. В современной диагностике применяются не только перечисленные в этой главе статистические методы, но и многие другие. Однако можно полагать, что, ограничив свою цель изложением простейших статистических методов, нет необходимости обращаться к сложным и сложнейшим. Читатели, заинтересовавшиеся проблемами статистических методов в диагностике, могут обратиться к другим пособиям и источникам.

Элементы планирования в психологических исследованиях. Нельзя начинать исследование, не уяснив его цель. Это аксиома. Однако наблюдения показывают, что не все ее принимают. Нередко можно обнаружить смешение двух категорий целей: цель исследования и цель исследователя. Но полное доминирование цели исследователя и безразличное отношение к цели исследования не должны иметь места. Планирование должно исходить из цели исследования.

Есть два главных источника, стимулирующих возникновение исследований: либо они отвечают на запросы, выдвигаемые практикой, которую обслуживает данная наука, либо они возникают из нужд самой науки и имеют целью совершенствовать познание тех сфер жизни, которым посвящена данная наука. Стоит отметить, что детальное планирование необходимо и в том, и в другом случае. Мнение, будто практические исследования могут проводиться без заранее продуманного плана, безусловно, ошибочно; только правильно спланированное исследование может в своих выводах дать ответ на те вопросы, ради решения которых оно и задумывалось.

Различают планирование исследований, не нуждающихся в эксперименте, и исследований, включающих эксперимент как необходимую часть. Что касается первых, то их планы в принципе не отличаются от планов исследований в других науках. В вводной части (она будет примерно такой же и в экспериментальных исследованиях) очерчивается место данного исследования в потоке современной науки, кратко реферируются работы, затрагивающие ту же проблематику, указываются источники и формулируется замысел исследования и его цель. Далее планируется само исследование. Все без исключения исследования вообще могут рассматриваться как система доказательств, обосновывающих выводы, в которых содержится и цель, поставленная автором.

Этот план не должен рассматриваться как обязательный. Особенности работы могут заставить автора в той или иной степени отойти от него, дополнить его или сократить. В исследованиях, включающих эксперимент, во вводной части должно быть показано, зачем оказался нужным эксперимент и каковы принципы его построения.

Планирование эксперимента в психологическом исследовании предполагает предварительное обсуждение следующих пяти пунктов.

А. Каков планируемый объект эксперимента, другими словами, какова та выборка испытуемых, которых намерен привлечь автор? В зависимости от того, каких испытуемых возьмет автор, ему придется обдумать и следующий пункт.

Б. Если необходимо работать со школьниками, то эксперимент должен быть согласован со школьными режимами — годовым, еженедельным и ежедневным, с учетом умственной нагрузки школьников. Необходимо считаться и с периодом подготовки к экзаменам и их сдачей. С первыми двумя пунктами тесно связан третий.

В. Нужны методики, которые, с одной стороны, учитывали бы особенности исследуемого контингента, а с другой — непосредственно вели бы к цели исследования. Когда намечены методики и время их проведения, возникает следующий пункт плана.

Г. Материалы эксперимента нуждаются в адекватной обработке и почти всегда в привлечении статистики. Планируются такие статистические методы, результаты которых непосредственно направлены на достижение цели исследования. Все перечисленные пункты подготавливают планирование последнего пункта.

Д. Сколько и какой квалификации работников нужно для проведения эксперимента, какая понадобится аппаратура и каких средств потребует эксперимент?

Цель исследователя (а не исследования) должна подсказать, в каком виде нужно представить полученный материал: это может быть отчет, статья, часть книги или диссертация и т.д. Исследователь, обдумывая предстоящий эксперимент, должен иметь в виду, что полученные выводы будут относиться не только к выборке испытуемых, непосредственно участвующих в эксперименте, но и к той совокупности, к которой принадлежит эта выборка. Чтобы этот расчет оправдался, нужно с достаточной определенностью представить, что же это за совокупность. Поэтому важно вести эксперимент не со случайным набором испытуемых, а с испытуемыми, образующими репрезентативную выборку, воспроизводящую все характерные психологические признаки совокупности. С этих же позиций репрезентативности нужно рассмотреть вопрос об объеме выборки. Не всегда целесообразно планировать участие большой выборки в несколько сотен или тысяч испытуемых. В такой выборке почти неизбежно утратится репрезентативность, в ней, возможно, будет представлено несколько совокупностей, каждая из которых так или иначе повлияет на результаты эксперимента: их интерпретация потеряет ясность. Поэтому предпочтительнее работать с малыми и средними выборками, объемом до 30—100 испытуемых. Чтобы решить, сколько же конкретно следует взять участников эксперимента, придется провести пилотажный, или подготовительный, мини-эксперимент. Проведение такого эксперимента поможет выявить два необходимых момента: гомогенность выборки, ее сравнительно малую вариативность по тем признакам, которые, при прочих равных условиях, изучаются в эксперименте, и такой ее объем, который обеспечит получение всех показателей как внутри выборки, так и в ее сопоставлениях на должном уровне статистической значимости. О последнем моменте свидетельствует следующее наблюдение: допустим, что в пилотажном эксперименте на выборке 10 испытуемых получен коэффициент корреляции между двумя признаками, равный 0,55. Этот коэффициент свидетельствует о том, что коррелируемые ряды связаны между собой, однако он ниже уровня 0,95 значимости, который принят в психологических исследованиях. При увеличении выборки до 12 человек коэффициент окажется на приемлемом уровне значимости — несколько выше коэффициента общепринятого уровня, а он равен 0,576. Вывод, который придется сделать исследователю: выборка должна состоять не из 10 испытуемых, а минимум из 12-15. Этот объем позволит получить значимый коэффициент. Но определить объем выборки без пилотажного эксперимента не представляется возможным. Если автор претендует на более высокий уровень значимости, то по таблице уровней значимости он установит и объем выборки. Чем выше гомогенность выборки, тем яснее ее отнесенность к той или другой совокупности. Вместе с тем высокая гомогенность может рассматриваться как предпосылка того, что желательные уровни статистической значимости действительно могут быть достигнуты с увеличением выборки.