Если вы хотите экспериментально проверить, помогают ли музыкальные радиопередачи заучивать слова французского языка, вы легко сможете сделать это, повторив один из экспериментов, описанных в предыдущей главе. Скорее всего, вы спланируете свой эксперимент по образцу Джека Моцарта. Вы заранее определите оба условия независимой переменной, будете заниматься в одно и то же время дня и каждый этап эксперимента фиксировать документально. Вместо четырех фортепьянных пьес вы могли бы заучивать четыре списка слов следующим образом: слушая радио, без радио, без радио, с радио. Иначе говоря, вы сможете применять ту же экспериментальную схему, что и Джек.
Вполне возможно, что вам будут понятны некоторые основания ваших собственных действий. Но что-то наверняка останется неясным, и прежде всего — последовательность условий независимой переменной, т. е. сама экспериментальная схема. Вашей вины в этом нет, ведь экспериментальных схем вы еще не проходили. В настоящей главе этот недостаток будет устранен. Конечно, можно провести эксперимент и путем простого подражания образцу, но гораздо лучше понимать то, что вы делаете. Двух идентичных экспериментов не бывает, и слепое копирование экспериментальной схемы часто приводит к затруднениям. Например, Йоко могла бы применить в своем эксперименте регулярное чередование двух условий (сортов сока), как это делали в эксперименте с ткачихами (использование или неиспользование наушников). Но тогда она наверняка знала бы название тестируемого сока, а как раз этого она и старалась избежать»-используя случайную последовательность. К тому же если вы не будете знать оснований различных планов и схем, вам трудно будет оценить качество экспериментов, о которых вы будете читать. А, как вы помните, научить вас этому — одна из главных целей нашей книги.
В данной главе мы сравним те планы, по которым строились эксперименты в главе 1, с менее удачными планами проведения тех же экспериментов. Образцом для их сравнения будет «безупречный» эксперимент (который практически неосуществим). Анализ такого рода позволят рассмотреть те основные идеи, которыми мы руководствуемся при создании и оценке экспериментов. В процессе этого анализа мы введем в наш словарь несколько новых терминов. В итоге мы определим, что безупречно и что нет в тех трех экспериментальных схемах, которые использовались в главе 1. А эти схемы представляют три способа упорядочивания, или три вида последовательностей предъявления различных условий независимой переменной, применяемые в эксперименте с одним испытуемым.
После изучения материала этой главы вы сможете компетентно и не подражая чужому эксперименту спланировать свой собственный. В конце главы нам будут заданы вопросы по следующим темам:
1. Степень приближения реального эксперимента к безупречному.
2. Факторы, нарушающие внутреннюю валидность эксперимента.
3. Систематические и несистематические источники нарушения внутренней валидности.
4. Методы повышения внутренней валидности, способы первичного контроля и экспериментальные схемы. 5. Некоторые новые термины из словаря экспериментатора.
Несомненно, первое условие проведения эксперимента — это его организация, наличие плана. Но не всякий план можно считать удачным. Предположим, что эксперименты, описанные в главе 1, проводились иначе, по следующим планам.
1. Пусть в первом эксперименте ткачиха вначале носила наушники 13 недель, а затем 13 недель работала без них.
2. Положим, Йоко решила использовать в своем эксперименте только по две банки каждого сорта сока, и весь эксперимент занял четыре дня вместо 36.
3. Джек решил применить частичный метод заучивания к первым двум пьесам, а целостный — к двум следующим.
4. Или же, сохранив ту же последовательность методов, Джек выбрал для эксперимента короткие вальсы, а не более длинные пьесы, которые он разучивал обычно.
Мы довольно ясно чувствуем, что по сравнению с ранее описанными экспериментами все эти планы — неудачны. А если бы у нас был образец для сравнения, то мы совершенно точно могли бы сказать, почему именно первоначальные планы были лучше. Безупречный эксперимент служит таким образцом. В следующем разделе мы подробно обсудим его, а затем посмотрим, как он применяется для оценки наших экспериментов.
Теперь у нас есть примеры удачно и неудачно спланированных экспериментов. А можно ли и дальше усовершенствовать хорошо спланированный эксперимент? И можно ли сделать эксперимент абсолютно безупречным? Ответ следующий: любой эксперимент можно улучшать до бесконечности, или — что то же самое — безупречный эксперимент провести нельзя. Реальные эксперименты совершенствуются по мере приближения к безупречному.
Лучше всего определить безупречность с помощью понятия идеального эксперимента (Кеппел, 1973, с. 23). В идеальном эксперименте допускается изменение только независимой переменной (и, разумеется, зависимой переменной, которая принимает различные значения при разных условиях). Все прочее остается неизменным, и поэтому на зависимую переменную влияет только независимая. В наших трех хорошо спланированных экспериментах это, конечно, не так. Ткачихи носили наушники и работали без .них в разное время — по четным или нечетным неделям. Пьесы, которые заучивал Джек с помощью целостного и частичного методов, тоже были разными. Йоко никогда не выпивала томатный сок обоих сортов в один и тот же день. В каждом случае помимо независимой переменной изменялось что-то еще. В последующих главах мы расскажем об экспериментах Другого типа, в которых для каждого из условий независимой переменной привлекаются разные испытуемые, что позволяет устранить временные изменения (вроде четных и нечетных недель) и различия с заданиях (заучиваемые пьесы). Но и они не отвечают всем требованиям идеального эксперимента, ведь испытуемые тоже будут разными. Как вы скоро убедитесь, идеальный эксперимент невозможен. Однако сама идея является полезной, именно ею мы руководствуемся при совершенствовании реальных экспериментов.
В идеальном (неосуществимом) эксперименте ткачиха должна была бы работать с наушниками и без них в одно и то же время! Джек Моцарт одновременно заучивал бы одну и ту же пьесу целостным и частичным методами. В обоих этих случаях разница в значениях зависимой переменной была бы обусловлена только независимой переменной, различием ее условий. Иначе говоря, все побочные обстоятельства, все другие потенциальные переменные оставались бы на одном и том же неизменном уровне.
Бедная Йоко! В ее случае даже идеальный эксперимент не будет безупречным. Недаром она опасается, что в разных банках томатный сок одного и того же сорта различается по качеству. Даже если бы она про вела идеальный эксперимент, ухитрившись одновременно из одного и того же стакана выпивать сок двух разных сортов, ее оценки все равно относились бы только к частным примерам каждого сорта. И тем не менее Йоко могла бы устранить влияния изменчивости качества сока в разных банках, совершив иной невозможный подвиг. «Все», что ей нужно, — это не прекращать свой эксперимент после 36 дней и продолжать его до бесконечности. Тогда она смогла бы усреднить не только изменчивость каждого из сортов сока, но и возможные колебания в собственных оценках его вкусовых качеств. Это и есть бесконечный эксперимент. Нетрудно видеть, что он не только невозможен, но и бессмыслен. Ведь общий смысл эксперимента заключается в том, чтобы на базе ограниченного количества данных делать выводы, имеющие более широкое приложение. Однако бесконечный эксперимент, подобно идеальному, также служит нам руководящей идеей.
Собственно говоря, Джеку Моцарту и авторам исследования в ткацком цехе тоже можно было бы предложить провести бесконечный эксперимент вместо идеального. Ведь даже если в идеальном эксперименте Джек обнаружит, что для данной конкретной пьесы частичный метод более эффективен, останется вопрос, сохранятся ли преимущества этого метода при разучивании других пьес. Те же сомнения вызывает и первый эксперимент: а что если ткачиха лучше работала с наушниками только во время его проведения? Однако их (и вас) нужно предупредить, что бесконечный эксперимент тоже имеет недостатки. Сам факт предъявления испытуемым одного из экспериментальных условий может сказываться (в период исследования) на их работе при другом условии. Возможно, частичный метод был более эффективным во время эксперимента только за счет контраста с целостным методом. А после эксперимента будет применяться один-единственный метод, и фактор контраста исчезнет. Все это доказывает, что полностью безупречными не являются ни идеальный, ни бесконечный эксперименты. К счастью, они имеют не только разные недостатки, но и разные преимущества и могут служить для оценки реальных экспериментов, весьма далеких от безупречного.
Ни идеальный, ни бесконечный эксперименты не позволяют устранить недостатки неудачного варианта исследования Джека Моцарта — заучивания вальсов вместо сонат, В лучшем случае Джек мог бы провести блестящий эксперимент на вальсах — что, однако, не сделает их сонатами!
Чтобы совершенно исключить недостатки такого рода, нужен эксперимент полного соответствия. Этот эксперимент также является бессмысленным, хотя практически он осуществим. В своем исследовании Джек должен был бы заучивать те же самые пьесы, которые он будет разучивать и после него. Никакой пользы от такого эксперимента нет, как и от бесконечного. Но зато уж никто не сможет указать Джеку на несоответствие пьес, которые он разучивал в своем эксперименте.
Все три вида безупречного (почти) эксперимента нереальны. Идеальный эксперимент является невозможным, эксперимент полного соответствия — бессмысленным, а бесконечный — тем и другим вместе. Полезны они как эксперименты «мысленные». Они подсказывают нам, что нужно делать для создания эффективного эксперимента. Идеальный и бесконечный эксперименты показывают, как избежать посторонних влияний и тем самым добиться большей уверенности в том, что экспериментальные результаты действительно отражают связь. независимой и зависимой переменных. Эксперимент полного соответствия напоминает о необходимости контроля других важных переменных эксперимента, которые мы сохраняем неизменными.