В соответствии с концепцией развития образования Республики Казахстан до 2015 года, назначение указанных форм послевузовского образования – подготовка научных и научно-педагогических кадров. Имеется в виду, что со временем право преподавания в вузе будет иметь только специалист со степенью магистра или доктора. Однако научно-педагогическая подготовка вузовских кадров – дело для нас абсолютно новое. С обучением методологии научного исследования справиться будет не так сложно, а вот научной педагогики,как профессионально освоенной деятельности, в наших вузах не существует; ее еще только предстоит сформировать, в чем и состоит нынешний кризис образования.
2. Качество результатов обучения
При оценке качества результатов образования (рейтинга), достигнутых конкретным учебным заведением, предлагаю применять три обобщенных критерия, выражающих степень действительной эффективности его деятельности: обеспечиваемый уровень академической подготовки выпускников (показатели: средний балл успеваемости выпускников; доводимость от приема до выпуска); сравнительный уровень востребованности выпускников, как признание работодателями обеспечения высокой и гарантированной квалификации (показатели: динамика трудоустройства и уровня начальной заработной платы выпускников); престижность учебного заведения, как форма его общественного признания (показатели: конкурсность приема - сравнительный средний балл принятых на первый курс и его динамика; относительная численность набора на первый курс, в том числе – по грантам и кредитам и их динамика).
Главный из указанных критериев – уровень академической подготовки – определяется качеством усвоения каждого и всей совокупности учебных курсов, составляющих содержание подготовки специалиста – бакалавра. Необходимость объективного выявления и оценки качества усвоения учебного материала в учебном процессе предъявляет особые требования к созданию и применению тестов.
2.1. Качество тестирования. Общие положения.
Назначение тестирования – обеспечить объективный контроль (текущий, рубежный, промежуточный, итоговый) усвоения теоретических и профессиональных (компетенция) знаний, умений и навыков по каждому учебному курсу и специальности в целом. Эта цель и соответствующие задачи решаются содержанием конкретных тестов, способами их внутренней организации и формами применения.
Любое тестирование знаний и поведения человека – есть процесс измерений в психологии, который относится к науке «психометрии». В соответствии с ее правилами при создании и применении любого теста «как инструмента измерения» должны тщательно соблюдаться требования «валидности», «точности» и «надежности». Любой тест нельзя допускать к применению без основательной проверки и доказательства его соответствия указанным требованиям. Несоблюдение этого условия создает иллюзию «легкости» создания теста и самого тестирования, и приводит к тому, что применение такого теста вводит в заблуждение относительно измеряемых результатов и их сопоставимости; поскольку очень часто на самом деле измеряется не то, что намеревались измерить; а если и измеряется, - то с недостаточной и неизвестной степенью достоверности результатов и значимости различий (без чего тестирование не имеет смысла). Это особенно актуально при переходе на кредитную систему образования, для которой сопоставимость и возможность суммирования результатов тестирования имеет решающее значение.
Поэтому при создании теста (на каждом этапе и по каждому его элементу) обязательны: независимое рецензирование, экспертная оценка, практическая проверка валидности и трудности теста (и каждого из его вопросов-заданий), точности и надежности измерений с обработкой результатов методами математической статистики.
Валидность теста (тестового задания, вопроса) – это ответ на вопросы «Что должен измерять и что на самом деле измеряет тест (отдельное его задание, вопрос и ответ)? Не произошло ли незаметное искажение или даже подмена заданной цели за счет неудачной формулировки вопросов, ответов, инструкции, отсутствия равных и одинаковых условий проведения, и т.п.?"
Точность теста – это оценка вероятности ошибки в измерении, степени достоверности получаемых оценок; вероятностная оценка значимости различий между тестовыми оценками. Только она дает возможность обоснованной дифференциации оценок. Например, что считать существенным различием и оценивать в 3 – 4 – 5 баллов, а какие различия, наоборот, считать несущественными и оценивать их одинаково.
Надежность теста – это заданная степень совпадения оценок по одному тесту при повторном, независимом тестировании одних и тех же людей разными людьми и в разное время; при сопоставлении получаемых оценок по данному тесту с оценками по другим тестам, измеряющим то же самое.
Трудность теста – это его способность обоснованно распределять тестируемых по различающимся уровням успешности (в самом простом случае – это оценки «удовлетворительно», «хорошо» и «отлично») за счет меняющейся сложности заданий.
Можно выделить три класса ошибок при создании тестов:
Ошибки моделирования объекта тестирования закладываются на стадии подготовки учебной программы. Они возникают как следствие произвольного толкования содержания программ, обусловливающего несопоставимость внутреннего (преподаватель, вуз) и внешнего (вуз, министерство) контроля качества образования.
Сама программа может не отвечать требованиям государственного стандарта подготовки специалиста; единицы ее содержания могут быть представлены в декларативной и неоднозначной формулировке; тестовые задания могут не совпадать со смыслом и логикой содержания программы и т.д.
Ошибки организации теста и процесса тестирования возникают в процессе создания и применения теста. Тестовые задания могут не совпадать со смыслом и логикой содержания программы, они могут измерять не то, что должны; произвольная процедура тестирования может влиять на результаты, искажая их и т.д. и т.п.
Ошибки исследования теста и толкования результатов - следствие произвольного толкования процедур создания и применения теста, а также интерпретации получаемых с его помощью результатов. Это обусловлено отсутствием соответствующих стандартов и доказательной проверки их соблюдения.
При непосредственном создании теста наиболее распространены пять ситуаций, обусловливающих его скрытую или явную непригодность (первичное выявление неадекватности теста достигается независимым рецензированием и экспертизой):
1. Формулируя тестовый вопрос-задание с несколькими ответами,
составитель нередко проявляет непроизвольную тенденцию отбирать и включать в вопросы информацию, требующую простого воспроизведения единичных, а часто и второстепенных фактов (понятия, названия, цифры, имена, даты и пр.), а также более привычную и лучше им самим освоенную. В результате тест работает на простое воспроизведение значительно упрощенного и искаженного содержания учебного курса, серьезно завышая оценки.
Это обусловлено высокой сложностью работы, которая на первый взгляд представляется легкой, но на деле требует высокой квалификации, большого труда и сосредоточенности. В самом деле, простым по форме вопросом-заданием нужно выявить глубину понимания и усвоения конкретного элемента учебной программы; одновременно нужно подобрать простой, но емкий и точный правильный ответ; при этом нужно сформулировать еще несколько неверных ответов, каждый из которых был бы очень правдоподобным. Кроме того, нужно сделать эти задания разной степени трудности и предусмотреть простую оценку ее различия. К тому же тест содержит большое количество таких вопросов-заданий.
Эту ошибку легко выявить процедурой обратной сверки: по формулировкам тестовых вопросов-заданий составляется список фактически тестируемых единиц, который сверяется с единицами содержания каждой темы учебной программы. Обнаруженное несоответствие устраняется по критерию совпадения единиц содержания и единиц тестирования.
2. Формулировка вопроса может быть такой, что содержит
подсказку (наводящий вопрос), - это позволяет дать правильный ответ тому, кто знает материал ниже заданных требований.
3. Формулировка вопроса и ответов может быть недостаточно
определенной, неоднозначной (допускающей различные толкования), так что неверный ответ может выбрать и тот, кто хорошо усвоил материал.
4. Варианты ответов могут быть подобраны так, что, даже не зная
материала, можно логически отсеять часть или все неверные ответы (например, при вариантах ответов, явно относящихся к другой теме или сфере знаний).
5. Чрезмерно ограниченное число ответов на один вопрос в
закрытом варианте теста (выбор ответа из готового их списка).
При этом имеет место высокая вероятность угадать правильный ответ, совершенно не зная материала.
Остановимся на этом подробнее, поскольку это относится к важной проблеме обеспечения точности теста.
Например, при дихотомическом выборе ответа (да-нет, правильно-неправильно) вероятность угадать верный ответ составляет 50%. То есть, если тест состоит из 100 вопросов, то можно утверждать, что число правильно угаданных ответов будет около 50. Такой тест можно применить только при условии, что достаточно усвоить половину материала; но и тогда, для удовлетворительной оценки (типа «зачтено») нужно требовать 100 правильных ответов (иначе нет гарантии действительного усвоения половины курса).