Анализ тестовых заданий при использовании системы Moodle (стр. 2 из 3)

Еще одной важной статистической характеристикой качества тестовых заданий, которую позволяют вычислять средства Moodle, является коэффициент корреляции множества значений ответов, полученных испытуемыми при выполнении конкретного задания, с результатами выполнения этими же испытуемыми теста в целом, который рассчитывается по следующей формуле:

где

; - дисперсия суммарных результатов испытуемых за выполнение всех заданий теста; s_ср - среднее значение баллов, полученных всеми N испытуемыми за тест в целом; s_i - сумма баллов i-го испытуемого за выполнение всех заданий теста.

Этот показатель может принимать значения между –1 и +1 и в системе Moodle называется Коэффициентом Дифференциации (КД). Его использование в качестве характеристики способности конкретного тестового задания правильно дифференцировать испытуемых по степени их подготовки, основано на том, что в качественном тесте в среднем более высокие баллы при ответе на каждое конкретное задание теста должны получать испытуемые, набирающие более высокую сумму баллов за выполнение теста в целом. То есть между этими значениями должна быть положительная корреляция. Отрицательные же значения этого коэффициента свидетельствуют о том, что при ответе на данное задание более «слабые» испытуемые в среднем получают более высокие баллы, чем более «сильные» испытуемые. Очевидно, что такие задания, возможно, в силу допущенных ошибок в их формулировке или каких-либо иных причин не являются настоящими тестовыми заданиями, и их также следует удалять из теста.

На рисунке 5 приведен пример упорядоченных по величине значений коэффициента дифференциации, полученные для тех же тестовых заданий, что и в примере на рисунке 6.

Рис. 5. Коэффициент дифференциации тестовых заданий

Cчитается приемлемым, если значение этого коэффициента превышает +0,3. Из приведенных в примере на рисунке 5 данных видно, что около 30-ти использованных в эксперименте тестовых заданий не удовлетворяют этим требованиям (КД < 0,3), более того, у нескольких заданий значения этого коэффициента имеют отрицательные значения, что свидетельствует об их явных дефектах.

Встроенные в Moodle средства анализа позволяют также получать важную статистическую информацию, позволяющую улучшать внутреннюю структуру тестового задания. В частности, для одного из часто используемого типа тестовых заданий, так называемых заданий в закрытой форме (выбор одного или нескольких правильных ответов из множества предлагаемых), можно получить данные, характеризующие эффективность работы каждого дистрактора такого тестового задания. Дистракторы (от англ. to distract – отвлекать) – это неправильные, но правдоподобные ответы, предлагаемые в заданиях такого типа наряду с правильными ответами. Moodle позволяет определять относительную частоту выбора испытуемыми тех или иных дистракторов при выполнении конкретного тестового задания. Очевидно, что дистракторы, которые выбираются редко или совсем не выбираются испытуемыми, являются неэффективными и, следовательно, должны быть изменены или удалены из списка дистракторов задания.

На рисунке 6 представлен пример скриншота Moodle со статистическими характеристиками одного из тестовых заданий.

Рис. 6. Скриншот Moodle со статистическими характеристиками дистракторов тестового задания

Приведенные выше примеры показывают, что имеющиеся в системе Moodle средства не только дают возможность практической реализации автоматизированного контроля уровня подготовки обучаемых, но и предоставляют преподавателю эффективный механизм улучшения качества тестовых заданий и повышения точности и объективности оценки уровня испытуемых.

Возможность выявления не отвечающих необходимым требованиям заданий теста, а именно: слишком легких и слишком трудных заданий; заданий с малой дисперсией результатов; заданий с низким или отрицательным значением коэффициента дифференциации, не только позволяет улучшать качество теста за счет исключения из него таких проблемных заданий. Сам по себе анализ таких заданий, выяснение причин, из-за которых они попали в «проблемную» группу, также обладает для разрабатывающего тест преподавателя большим методическим потенциалом. Например, обнаружение того, что некоторое задание оказалось слишком трудным для группы испытуемых, может говорить не о дефекте самого задания, а о недостатках в проработке преподавателем на занятиях или в предлагаемых студентам учебно-методических материалах соответствующего раздела учебного курса. Анализ самих «проблемных» тестовых заданий или их неэффективных дистракторов может побуждать к переработке формы и содержания таких заданий с целью устранения их дефектов.

Говоря о влиянии качества тестовых заданий на способность теста служить средством для измерения уровня подготовки учащихся, следует иметь в виду, что на погрешности теста как средства измерения на практике могут значительно влиять внешние факторы, связанные с самой процедурой тестирования. Это, в первую очередь, факторы, связанные с нарушением принципа равенства требований и условий проведения тестирования для всех испытуемых.

Одним из таких факторов является угадывание испытуемыми результатов тестовых заданий. Для тестовых заданий, в особенности для заданий закрытого вида (выбор одного или нескольких правильных ответов из конечного числа предлагаемых вариантов), существует ненулевая вероятность угадывания испытуемым правильных ответов при их случайном выборе. Очевидно, что чем больше такая вероятность, тем выше погрешность измерения при использовании теста, приводящая к дискриминации добросовестных испытуемых, то есть испытуемых, не прибегающих к угадыванию. Высказывается гипотеза о том, что чем ниже уровень знаний испытуемого, тем сильнее он мотивирован на угадывание, и для компенсации этого эффекта предлагается введение поправок на угадывание в исходный тестовый балл испытуемого.

В связи с этим одной из важных задач, решаемых при составлении тестового задания, должно быть максимальное снижение вероятности угадывания правильного ответа на него. Этим целям служит, в частности, увеличение числа дистракторов в тестовых заданиях закрытого типа, так как очевидно, что наибольшей уязвимостью в этом плане обладают тестовые задания с малым числом дистракторов, в особенности задания с выбором одного правильного ответа из двух предлагаемых, для которых вероятность угадывания составляет ½. Это является серьезным недостатком такого типа тестовых заданий, вследствие которого их использование в тесте является крайне нежелательным. Проблема, однако, состоит в том, что в целом ряде случаев специфика предметной области конкретного тестового задания не позволяет выйти за рамки выбора одного из двух состояний. Например, в случае проверки знания испытуемым функционирования цифровых логических схем, сигналы на входах и выходах которых принципиально могут находиться в одном из двух состояний – 0 или 1 (true или false). В таких случаях можно рекомендовать объединение в одном тестовом задании нескольких вопросов с выбором одного из двух состояний. Система Moodle позволяет строить такого рода усложненные задания, пример которого приводится на рисунке 7.

Рис. 7. Пример объединения в одном тестовом задании нескольких вопросов с выбором одного из двух состояний

Большие возможности с точки зрения составления тестовых заданий с низкой возможностью угадывания правильных ответов в системе Moodle предоставляет тип задания, называемый Вложенные ответы, позволяющий объединять в одном задании вопросы с ответами разных типов. Задания типа Вложенные ответы состоят из текста, непосредственно в который вставляются ответы на вложенные в этот текст вопросы типов – Множественный выбор, Короткие ответы и Числовые (рис. 8).

Рис. 8. Пример тестового задания типа Вложенные ответы

Другим практически значимым фактором, нарушающим принцип равенства требований и условий проведения тестирования для всех испытуемых, является возможность получения испытуемыми во время прохождения тестирования доступа к правильным ответам на задания теста. Каналами такого доступа могут быть подсказки других испытуемых, подсматривание ответов у соседа, использование шпаргалок, а сейчас и использование сторонней дистанционной помощи с применением современных технических средств компьютерной и мобильной связи.

Для противодействия возможностям такой компрометации процедуры тестирования используется целый ряд известных средств.

Во-первых, это использование в тестовых заданиях типа Множественный выбор опции случайного перемешивания ответов при каждом предъявлении задания испытуемым. Это устраняет связывание правильных ответов с порядковым номером предъявляемых ответов, исключая использование порядкового номера правильных ответов при составлении шпаргалок и списывании.

Опыт использования тестовых технологий показывает, что при формировании набора тестовых заданий составляющих тест, предназначенный для многократного использования для разных тестируемых, является совершенно не оправданным предположение о том, что используемый в тесте фиксированный набор заданий может оставаться неизвестным и неожиданным для испытуемых сколько-нибудь продолжительное время. Для обеспечения действительно надежного фактора новизны предлагаемого конкретному испытуемому набора тестовых заданий наиболее эффективным является формирование сценария теста путем случайного выбора каждого конкретного тестового задания из множества однотипных заданий, однородных по уровню сложности. Такое формирование тестов может быть обеспечено только при наличии достаточно большого исходного банка тестовых заданий по каждому разделу учебной дисциплины, по которой осуществляется контроль знаний испытуемых.