Рассмотрим теперь некоторые типичные ошибки в вы-боре критериев оценки достоверности результатов педаго-гических исследований. Характерно, что грамотно и отно-сительно строго построенные критерии в разных работах весьма разнообразны, исследователи нередко проявляют большую изобретательность в этом деле. В то же время во многих работах встречаются практически одни и те же не-достатки в выборе критериев оценки.
В частности, вполне очевидно, что оценить уровень сфор-мированности тех или иных знаний, умений, каких-то ка- честв личности учащихся, студентов, слушателей можно лишь в процессе каких-либо определенных действий, совер-шаемых этими учащимися, студентами, слушателями, когда они могут активно проявить эти знания, умения, качества личности. Поэтому, например, такой «критерий», как резуль-таты анкетирования студентов по окончании эксперимента «какая музыка вам нравится больше — эстрадная или клас-сическая?» (изучалось воспитание эстетического вкуса у студентов) вряд ли может о чем-то говорить. Ведь студенты, зная, какой ответ от них хотят получить, могут просто «подыграть» преподавателю, экспериментатору. Или же «критерий» — ответы школьников на вопрос «Понравились ли занятия по основам информатики и вычислительной тех-ники?». Ведь, во-первых, школьники опять же могут «подыграть» спрашивающему, а во-вторых, наверное, не всегда учение может и должно нравиться — так же, как горькое, но необходимое лекарство для больного.
Еще один типичный случай — в одной работе изучалась подготовка студентов педагогического вуза к ведению профориентационной работы со школьниками — уровень готовности студентов к этой работе оценивался препода-вателями кафедры педагогики по итогам теоретических за-нятий. Это оценка чисто умозрительная. Автор мог бы, на-верное, попробовать оценить уровень такой готовности студентов хотя бы в процессе их педагогической практики в школе, которая предполагала бы какие-то их практиче- ские действия в этом направлении.
Или же «критерий» — ответ на вопрос, нередко обраща-емый к учителям — участникам опытно-эксперименталь- ной работы: «Надо ли применять такие занятия?» Положи-тельный ответ на него позволяет, возможно, судить о го-товности тех или иных разработок к внедрению в практику обучения и воспитания, но вряд ли может выступать ос-новным критерием достоверности результатов научного исследования.
Наиболее часто встречаются случаи, когда авторы в ка-честве критерия выделяют определенные уровни сформи-рованности каких-то качеств личности учащихся (напри- мер, моральной ответственности, эстетической культуры, гуманистических отношений и т.п.), или уровни овладения какой-либо деятельностью (профессионального мастерст- ва, управления педагогическим коллективом и т.д.). Как правило, выделяется три таких уровня: низкий, средний и высокий. Или выделяется большее число градаций, допу- стим: нулевой, низкий, средний, достаточный, высокий и т.д. Естественно, в силу сложности педагогических явле- ний, процессов выделение каких-то уровней в качестве критерия оценки вполне правомерно. Но беда в том, что, выделяя чисто умозрительно, субъективно подобным об- разом уровни: низкий, средний, высокий, — эксперимен- татор сам же произвольно и оценивает, относит учащихся к тому или иному уровню. Таким образом, ни о какой объ-ективности критерия и достоверности результатов здесь речь идти не может.
Другое дело, если вводятся уровни качественно, прин-ципиально отличные один от другого. Например, для оцен- ки овладения учащимися знаниями нередко используются 4 уровня, предложенные В.П. Беспалько [12]: I уровень — знания-знакомства — узнавание объектов, явлений, про-цессов, свойств при повторном восприятии ранее усвоен- ной информации; II уровень — знания-копии — предпо- лагает репродуктивное воспроизведение и применение полученной информации; III уровень предполагает про-дуктивные действия по применению полученной инфор- мации в процессе самостоятельной деятельности; IV уро- вень — знания-трансформации — предполагает возмож- ность творческого применения полученной информации посредством самостоятельного проектирования собствен- ной деятельности.
При грамотном построении оценочных процедур в этом случае знания каждого учащегося вполне однозначно могут быть отнесены к тому или иному определенному уровню.
Критерии оценки педагогических явлений могут быть качественными и количественными. Они, естественно, до-полняют друг друга. Исследователь, как правило, не огра-ничивается только качественными критериями и стремит- ся использовать в целях объективности получаемых ре-зультатов какие-то количественные критерии оценки, используя тем самым определенные величины.
О величинах и шкалах их измерения стоит поговорить особо. Понятие «величина» определяется следующим об-разом: величина есть мера некоторого множества, от-носительно элементов которого имеют смысл утверж- дения — больше, меньше или равно. Естественно, не на всяких множествах может быть задана величина, мера. Например, утверждение, что ученик Иванов равен ученице Петровой (не путать с равноправием!) смысла не имеет, так как каждый человек — неповторимая личность. Но, например, утверждение, что рост, вес ученика Иванова больше (меньше, равен) роста, веса ученицы Петровой, имеет уже вполне определенный смысл; рост и вес здесь выступают величинами.
Величина задается той или иной шкалой измерений, оценки. Шкала измерения — это числовая система, в ко- торой отношения между различными свойствами изучае- мых явлений, процессов переведены в свойства того или иного числового ряда.
Шкалы измерений делятся на 4 основных класса [145]:
— шкала отношений — самая мощная шкала. Она позволяет оценивать, во сколько раз один измеряемый объ- ект больше (меньше) другого объекта, принимаемого за эталон, единицу. Одновременно здесь возможно и сравне- ние: на сколько один объект больше (меньше) другого. Шкалами отношений измеряются почти все физические величины — время, линейные размеры, площади, объемы, сила тока, мощность и т.д. В педагогических измерениях шкала отношений будет иметь место, например, когда из-меряется время выполнения того или иного задания, коли-чество ошибок или количество правильно решенных задач. В последнем случае, естественно, можно говорить о том, что ученик Иванов правильно решил, к примеру, в два раза больше задач, чем ученик Петров, но утверждение, что знания ученика Иванова в два раза больше знаний ученика Петрова, будет неправомерным.
В отдельных случаях, в том числе в исследованиях по трудовому и профессиональному обучению, применяются оценки и в мерах физических величин — величина допу-скаемых ошибок в миллиметрах при, допустим, токарной обработке деталей, величина силы нажатия учащимся на слесарный инструмент в ньютонах (килограммах), вели- чина электрической активности мышц в милливольтах и т.п. На шкалы отношений распространяется весь основной аппарат математической статистики. Здесь не возникает никаких проблем с обоснованием достоверности различий между контрольными и экспериментальными группами, классами;
— шкала интервалов — довольно редко применяюща-яся и менее мощная. Примером ее является шкала темпе- ратур по Цельсию, Реомюру или Фаренгейту. Шкала Цельсия, как известно, была установлена следующим об-разом: за ноль была принята точка замерзания воды, за 100о — точка ее кипения, и, соответственно, интервал тем-ператур между замерзанием и кипением воды поделен на 100 равных частей — градусов. Здесь уже утверждение, что температура в 30оС в три раза больше, чем 10оС, будет неверным. Справедливо говорить лишь об интервалах тем-ператур — температура в 30оС на 20оС больше, чем тем-пература в 10оС. В педагогических исследованиях, в част-ности, к таким шкалам интервалов можно условно отнести дихотомическую шкалу, которая содержит только два зна-чения: да — нет, лучше — хуже, мальчик — девочка и т.д. В такой шкале имеется только один интервал деления (0—1 или 1—2, плюс—минус и т.д.), поэтому ее можно рассмат-ривать как предельный случай интервальной равномерной шкалы, просто «равномерность» не с чем сравнивать;
— шкала порядка или шкала рангов — самая слабая шкала — шкала, относительно значений которой уже нель- зя говорить ни о том, во сколько раз измеряемая величина одного объекта больше (меньше) другого, ни на сколько она больше (меньше). Такая шкала только упорядочивает расположение объектов, приписывая им те или иные ранги. Например, так построена шкала твердости минералов Мо- оса: взят набор 10 эталонных минералов для определения относительной твердости методом царапания. За 1 принят тальк, за 2 — гипс, за 3 — кальцит и так далее до 10 — алмаз. Любому минералу соответственно однозначно может быть приписана определенная твердость. Если исследуемый ми-нерал, допустим, царапает кварц (7), но не царапает топаз (8) — его твердость будет равна 7. Аналогично построены шкалы силы ветра Бофорта и землетрясений Рихтера. Шкалы порядка широко используются в педагогике, пси-хологии, медицине и других науках, не столь «точных», как, скажем, физика и химия. В частности, повсеместно распространенная шкала школьных отметок в баллах (пя-тибалльная, двенадцатибалльная и т.д.) условно может быть отнесена к шкале порядка. Именно условно, посколь- ку оценка знаний, умений в баллах обладает определенной субъективностью. Если в шкале Мооса тому или иному ми-нералу может быть однозначно приписано строго опреде-ленное значение твердости, то оценка знаний одного и того же учащегося у разных учителей (экзаменаторов) может быть разной. Разная «цена» отметок будет и в разных шко- лах, в разных регионах — в зависимости от уровня предъ-являемых требований и, соответственно, возможностей учителей школы, контингента учащихся и т.п. В школах некоторых стран применяется и другая оценка успеваемо- сти учащихся (как итоговая): порядковое место, которое данный ученик занимает в данном классе (выпуске). Это тоже шкала порядка;