Методические рекомендации по составлению банков тестовых заданий (стр. 4 из 11)

– Тщательно продумывайте формулировку тз, чтобы избежать дублирования фраз слов.

– В основную часть задания необходимо включить как можно больше слов, необходимых при формулировании задания, а для ответа оставить меньшую часть, наиболее важных, ключевых слов для данной проблемы.

9. Избегайте взаимосвязанных заданий, где содержание одного задания подсказывает ответ на другое задание.

10. Избегайте непреднамеренных подсказок в заданиях и образцах ответа. Эти подсказки являются одним из способов угадывания правильного ответа без обладания достаточными знаниями или умениями. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки. Такими подсказками могут быть:

– Грамматические подсказки

– Ассоциативные слова и определения (например, в тз закрытой формы использование одинаковых жаргонных фраз или слов в формулировке тз и в возможном ответе).

– Систематическое повторение некоторых черт правильного ответа. (например, в тз закрытой формы правильным чаще является ответ наиболее длинным по количеству символов).

11. При разработке заданий открытой формы следует предусмотреть и указать возможные варианты ответа.

12. Задания на установление соответствия:

– Задание необходимо сформулировать так, чтобы все содержание можно было выразить в виде двух однородных множеств. Элементы задающего столбца необходимо расположить слева (сверху), а элементы для выбора справа (внизу экрана). Для каждого столбца желательно ввести определенное название, обобщающее все элементы столбца.

– Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, когда число элементов правого множества примерно в два раза больше числа элементов левого столбца;

13. В задании на установление правильной последовательности четко формулируется критерий упорядочивания.

14. Национальные системы ряда стран ставят специфические требования к тестовым заданиям, на которые у нас пока обращается недостаточно внимания. В качестве примера приведём требование инструкции по составлению тестов, предоставленной NEAB (Northen Examinationes and Assesment Board): "Необходимо избегать вопросов, которые в каком-либо виде дают превосходство тестируемому определенного пола. Половой ориентации вопроса необходимо избегать в любом случае. Нельзя считать, что формулировка вопроса в мужском роде подразумевает большую легкость ответа, чем в женском роде. Использование формулы "он/она" также нежелательно, при формулировании вопросов. Лучше пользоваться неродовыми формулировками". Лучше обращаться к группе, а не к отдельному обучающемуся.

4.2. Рекомендации по назначению нормы трудности

1. Норма трудности определяется разработчиком ТЗ и указывает субъективную величину того, насколько тяжело будет решить данное тестовое задание испытуемому с минимальным уровнем подготовки.

2. Норма трудности зависит от следующих факторов:

– количество концептов, необходимых для решения ТЗ;

– образ мышления, на который направлено ТЗ;

– форма ТЗ;

– уровень значимости ТЗ;

– глубина расположения ТЗ в спецификации;

– количество вариантов ответов.

3. Норма трудности ТЗ может оцениваться с учётом количества используемых концептов, необходимых для поиска правильного решения. Под концептом в дальнейшем понимается некоторое умозаключение (формула, правило, аксиома и т.д.), позволяющее приблизить правильное решение ТЗ. Чем больше шагов нужно выполнить для получения правильного ответа, тем выше норма трудности, тем сложнее считается ТЗ.

4. Норма трудности ТЗ зависит от образа мышления, на который направлено ТЗ.

5. Если ТЗ направлено на "опознание" какого-то объекта или на проверку "знания-знакомства", то такое ТЗ следует считать простым.

6. Если ТЗ направлено на выбор одного варианта ответа из многих с помощью знания всего одного концепта, то такое ТЗ следует считать простым.

7. Если ТЗ открытого типа направлено на выявление знания определения односложного базового термина, то такое ТЗ следует считать простым.

8. Если ТЗ направлено на применение усвоенных ранее знаний в типовых ситуациях (т.е. в тех ситуациях с которыми знаком испытуемый) или на проверку "знаний воспроизведения копии", то такое ТЗ следует считать ТЗ среднего уровня сложности. К ТЗ такого уровня сложности следует относить высказывания конъюнктивного или дизъюнктивного вида или ТЗ с несколькими концептами по выбору подмножества правильных вариантов из заданного множества дистракторов. В некоторых случаях к ТЗ такого уровня сложности могут быть отнесены ТЗ на соответствие и порядок.

9. Если ТЗ направлено на применение усвоенных знаний и умений в нестандартных условиях (т.е. в условиях, ранее не знакомых испытуемому) или на проверку "знаний умения и применения", то такое ТЗ следует считать сложным. К ТЗ такого уровня сложности относятся задания, сформулированные в виде утверждений импликативного типа. Такие задания требуют применения рассуждений в форме дедуктивного, индуктивного вывода и аналогии, причем для получения окончательного ответа необходима некоторая последовательность умозаключения (несколько концептов).

10. Назначение нормы трудности можно производить с учётом формы ТЗ. При этом наиболее простой формой ТЗ считается закрытая форма. Самая сложная форма ТЗ – на упорядочение и на соответствие. Открытая форма довольно часто бывает у ТЗ со средним уровнем сложности.

11. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ основному и дополнительному материалам (уровень значимости ТЗ). Очевидно, что для каждой дисциплины есть определённый набор базовых понятий, например, прописанных в ГОСе, а есть понятия, относящиеся к дополнительному материалу, то есть материалу, который даётся лишь наиболее успешно обучающимся группам студентов. Поэтому, если ТЗ раскрывает базовое понятие, то такое задание можно считать простым, если же ТЗ принадлежит к дополнительному материалу, то его можно считать сложным.

12. Назначение нормы трудности можно осуществлять, исходя из принадлежности ТЗ уровню "глубины" спецификации теста. Если ТЗ раскрывает самый нижний уровень иерархии спецификации теста (например, некоторое "Понятие"), то такое задание будет легким. Принадлежность ТЗ средним уровням иерархии спецификации теста (например, некоторой "Теме" или "Подтеме") повышает норму трудности – средний уровень сложности. Наконец, ТЗ, относящееся к верхнему уровню, корню дерева иерархии (например, к "Разделу", "Главе"), можно считать сложным.

13. Увеличение количества дистракторов также влияет на увеличение нормы трудности ТЗ.

14. При установлении нормы трудности тестовых материалов важно уметь сопоставлять приведенные факторы для различных случаев и учитывать все особенности предметной области.

5. ВИДЫ И ТИПЫ ТЕСТОВЫХ ЗАДАНИЙ

В современных компьютерных адаптивных системах тестирования (например АСТ) наиболее часто используются 4 вида тестовых заданий.

1. Открытого типа.

2. Закрытого типа.

3. Задания на установление соответствия.

4. Задания на установление последовательности.

Некоторые авторы дают более подробную классификацию – выделяя всего два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества (рис. 1).

Рис. 1 – Типы и виды тестовых заданий

5.1. Задания открытого типа

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Отличительной особенностью заданий свободного изложения является то, что для их выполнения испытуемому необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. Чаще всего задания со свободным изложением ответа используют в психологических, социологических тестах, а так же тестах интеллекта.

При компьютерном тестировании с целью определения уровня учебных достижений наличие эталонных вариантов ответов обязательно, более того – надо отметить особенность компьютерного тестирования – вводимый ответ испытуемого сравнивается с эталоном посимвольно, т. е. при наличии нескольких вариантов правильных ответов, синонимов и т. п. в эталонных ответах указываются все варианты.

Главной трудностью при составлении заданий открытого типа является соблюдение основного требования к тестовым заданиям – наличия однозначного правильного ответа. Существует несколько приемов, которые позволяют формализовать ответ, сделать его однозначным.

Положительными сторонами хорошо составленных заданий дополнения являются:

1) краткость и однозначность ответов;

2) необходимость воспроизведения ответа по памяти;

3) отсутствие необходимости искать несколько вариантов ответа;

4) простота формулировки вопросов;

5) простота проверки;

6) невозможность угадать ответ.

Основное преимущество этих заданий – невозможность угадать ответ, а основной недостаток – сложность формулировки правильного ответа. Тем не менее, для задач на вычисление, задач с формулами в качестве ответа эта форма представляется оптимальной.

После дополнения задания особым образом получается истинное или ложное высказывание, например:

Автором теории относительности считается ____

Положительный заряд ядра определяется числом____