В следующих разделах приводится 12 факторов, угрожающих валидности различных экспериментальных планов. Каждый фактор будет подробнее описан при обсуждении тех планов, в которых его действие проявляется наиболее отчетливо, и этот список будет завершен после обсуждения 10 из 16 планов. Основным при составлении этого списка было различение внутренней и внешней валидности.
Внутренняя валидность - это тот минимум, без которого не может быть интерпретирован ни один эксперимент: действительно ли именно это экспериментальное воздействие привело к изменениям в данном эксперименте? Внешняя валидность относится к возможности обобщения вывода: на какие популяции, ситуации, другие независимые переменные, параметры воздействия и переменные измерения могут быть распространены результаты эксперимента. Несомненно, что оба типа критериев являются важными, хотя часто они находятся в противоречии в том смысле, что увеличение валидности одного типа может угрожать валидности другого типа. Хотя внутренняя валидность есть условие sine qua non и хотя проблема внешней валидности, как и проблема индуктивного вывода, никогда не может быть полиостью решена, очевидно, что нашим идеалом является выбор таких экспериментальных планов, которые обеспечивают оба типа валидности. Это особенно важно для педагогических исследований, где весьма желательным является распространение данных на практические ситуации определенного характера. Различия и взаимоотношения между этими двумя видами валидности станут яснее после рассмотрения примеров при обсуждении конкретных типов эксперимента.
Далее будут представлены восемь различных классов внешних переменных, относящихся к внутренней валидности. Если эти переменные не контролируются в экспериментальном плане, то они могут дать эффекты, которые смешиваются с эффектом экспериментального воздействия. Эти переменные представляют влияние:
1) фона (history) — конкретных событий, которые происходят между первым и вторым измерением наряду с экспериментальным воздействием;
2) естественного развития (maturation) — изменений испытуемых, являющихся следствием течения времени per se (не связанных с конкретными событиями), например взросление, усиление голода, усталости и т. п.;
3) эффекта тестирования (testing) — влияния выполнения заданий, применяемых для измерения, на результаты повторного испытания;
4) инструментальной погрешности, нестабильности измерительного инструмента (instrumentation), при которой изменения в калибровке инструмента или изменения, характеризующие наблюдателя или оценочные показатели, могут вызвать изменения в результатах измерения;
5) статистической регрессии (statistical regression), имеющей место тогда, когда группы отбираются на основе крайних показателей и оценок;
6) отбора испытуемых (selection) — неэквивалентности групп по составу, вызывающей появление систематической ошибки в результатах;
7) отсева в ходе эксперимента (experimental mortality) — неравномерности выбывания испытуемых из сравниваемых групп;
8) взаимодействий фактора отбора с естественным развитием и др., которые в ряде квазиэкспериментальных планов с несколькими группами (таких, как план 10) ошибочно принимаются за эффект экспериментальной переменной.
К факторам, ставящим под угрозу внешнюю валидность, или репрезентативность эксперимента, относятся:
9) реактивный эффект, или эффект взаимодействия тестирования, — возможное уменьшение или увеличение сензитивности, или восприимчивости, испытуемых к экспериментальному воздействию под влиянием предварительного тестирования. Результаты лиц, прошедших предварительное тестирование, будут нерепрезентативны по отношению к тем, кто не подвергался предварительному тестированию, то есть тем, из кого состоит генеральная совокупность, из которых были отобраны испытуемые;
10) эффекты взаимодействия фактора отбора и экспериментального воздействия;
11) условия организации эксперимента, вызывающие реакцию испытуемых на эксперимент, которая не позволяет распространить полученные данные о влиянии экспериментальной переменной на лиц, подвергающихся такому же воздействию в неэкспериментальных условиях;
12) взаимная интерференция экспериментальных воздействий, нередко возникающая, когда одни и те же испытуемые подвергаются нескольким воздействиям, поскольку влияние более ранних воздействий, как правило, не исчезает. Это относится особенно к планам экспериментов с одной группой (планы типа 8 и 9).
Для представления различных характеристик экспериментальных планов в дальнейшем будет применяться постоянная система графических и символических обозначений. Символ X будет обозначать экспериментальную переменную или событие, влияние которого подлежит измерению; символ О — некоторый процесс наблюдения или измерения 1; X и О, стоящие в одной строке, относятся к одним и тем же конкретным лицам. Направление слева направо обозначает временной порядок, а расположение X и О одно под другим — одновременность. Для обозначения важных различий, например между планами 2 и 6 или между планами 4 и 10, используется символ R, указывающий на случайное распределение испытуемых по разным режимам эксперимента (то есть по различным группам). Предполагается, что такая рандомизация осуществляется в определенное время и служит универсальным методом уравнивания групп перед введением воздействия в известных статистических границах. Наряду с этим вводится дополнительная графическая символика: параллельные строки, не разделенные пунктирной линией, представляют группы, уравненные посредством рандомизации, тогда как сопоставляемые группы, не уравненные рандомизацией, отделяются друг от друга пунктирной линией. Не предусматривается никакого символа для обозначения групп, сформированных путем попарного уравнивания, поскольку ценность этой процедуры слишком переоцени¬вается и она чаще ведет к ошибочному выводу, чем служит средством достижения валидного вывода. (См. далее обсуждение плана 10 и последний раздел по корреляционным планам.) Символ М для обозначения материалов будет использован в плане 9.
А. Вводный вопрос: «Не могли бы вы мне рассказать о ...?»; «Не припомните ли случая, когда ...?»; «Что произошло в том эпизоде, о котором вы упомянули?»; «Не могли бы вы описать, как можно более подробно, ситуацию, в которой вы чему-то научились?», — такие вводные вопросы могут породить спонтанные, подробные описания, когда сам собеседник говорит о своих переживаниях как об основном содержании исследуемого феномена. Остальная часть интервью может представлять собой развитие аспектов, которые были затронуты в истории, рассказанной в ответ на первый вопрос.
Б. Отслеживающие вопросы. Ответы собеседника могут быть расширены благодаря любознательности, настойчивости и критичности интервьюера. Это можно сделать с помощью прямых вопросов, относящихся к тому, что только что было сказано. Можно использовать с этой целью и кивки, и «м-м-м», и просто паузы, приглашающие собеседника продолжить его описание. Повторение интервьюером особенно важных слов ответа может способствовать дальнейшему развитию высказывания. Интервьюер должен тренировать в себе способность замечать «сигнальные лампочки» в ответе — такие, как необычные слова, усиленные интонации и тому подобное, которые могут сигнализировать о целом комплексе важных для собеседника тем. Ключевой проблемой в данном случае является способность интервьюера слушать собеседника, когда он говорит о том, что важно для него, и в то же время не забывать об исследовательских целях проекта.
В. Проясняющие вопросы. «Не могли бы вы еще что-нибудь рассказать об этом?»; «Нельзя ли более подробно описать то, что случилось?»; «А случалось ли еще что-нибудь подобное?», — в данном случае интервьюер следует за ответом собеседника, проясняя содержание, но не акцентируя конкретные аспекты высказывания.
Г. Конкретизирующие вопросы. Реагируя на ответы собеседника, интервьюер может задавать и более конкретные вопросы, например: «Что вы тогда подумали?»; «Что вы предприняли, когда почувствовали, что у вас растет тревога?»; «Как реагировало ваше тело?». Когда интервью содержит множество общих высказываний, интервьюер может попытаться получить более точные описания, спросив: «Вы сами это тоже испытали?».
Д. Прямые вопросы. В данном случае интервьюер прямо задает темы и аспекты их рассмотрения, например: «Вы когда-нибудь получали деньги за оценки?»; «Когда вы упомянули о соревнованиях, вы имели в виду состязания вроде спортивных или деструктивную конкуренцию?». Такие прямые вопросы желательно отложить и не задавать в первые моменты интервью. Их следует задать после того, как собеседник уже высказал свой собственный спонтанный взгляд и показал, таким образом, какие аспекты данного явления имеют для него важное значение.
Е. Косвенные вопросы. В данном случае имеются в виду проективные вопросы, типа: «Как, вам кажется, воспринимают другие ученики соревнование за получение оценок?». Ответ может содержать мнение об отношении других учеников, но может быть и косвенным выражением собственного отношения респондента, которое он прямо не высказывал. Для того, чтобы проинтерпретировать ответ, потребуется очень аккуратно расспросить его дополнительно.