4. Ответы-ключи (выбор из списка готовых ответов, ввод ответа из
не предъявляемого списка, ввод свободного ответа).
5. Шкалы оценок (по каждому критерию темы или курса в целом).
Требования к содержанию теста:
1. Критерии оценки:
1.1. По каждой отдельной теме или курсу выделяется предмет оценки (что оценивается – специфическое знание, его качественная характеристика, вид деятельности и т.п.);
1.2. По каждому критерию формируется отдельная база данных («вопросы-задания» - «ответы-ключи») и приводится балльная шкала оценки;
1.3. При частичном тестировании по одному критерию указывается как балльная шкала оценки, так и «процентная доля курса», выделяемая для этой части тестирования.
2. «Вопросы-задания»:
2.1. Обеспечивается полный и равномерный охват содержания курса: не пропущено ничего существенного по каждой теме - теоретические знания, умения и навыки; профессиональные знания, умения, навыки (компетенция). При этом по каждой теме (учебная программа курса) указывается перечень существенных единиц содержания, являющихся одновременно единицами тестирования. Каждая единица тестирования должна быть представлена в тесте одинаковым числом вопросов-заданий.
2.2. Соблюдается простота, однородность и однозначность формулировок: вопросы формулируются короткими простыми предложениями, на одном уровне обобщенности, при равном объеме понятий; один вопрос-задание относится к одному критерию и одной смысловой единице информации – единице тестирования.
2.3. Обеспечивается минимизация и обоснованность формулировок: - вопросы формулируются только по существенным идеям и фактам (должны быть исключены частные и второстепенные аспекты, относящиеся к пояснениям, описаниям контекста, детализации и иллюстрации существенных сообщений);
- существенными идеями (сообщениями) считаются базовые
(стержневые) структурные элементы главной идеи, конкретизирующие назначение курса или темы (целостные смысловые единицы того, что должно быть усвоено);
- существенными фактами считаются сообщения, содержащие конкретные данные о действительном, практическом основании существенных идей, положений (цифры, статистика и другие сведения объективного характера), представляющие собой необходимый и достаточный минимум их доказательства или опровержения.
2.4. Содержание тестовых заданий подбирается с учетом уровня
трудности (сложности). Обоснованность ее градаций должна обязательно проверяться (с коррекцией соответствующих формулировок) в группировках «сильных» – «средних» - «слабых» учащихся.
Для варьирования заданий по трудности можно использовать выделенные системной дидактикой пять уровней усвоения знания:
- Уровень общего знакомства с материалом. Это задания, в
которых требуется опознать единицы знания с помощью опоры (выбрать правильный ответ из нескольких представленных вариантов ответа или установить соответствие элементов одного списка элементам другого).
- Уровень воспроизведения (алгоритмический). Это задания,
требующие вспомнить и воспроизвести материал по памяти без внешней опоры (варианты заданий: подстановки – вставить в заданную структуру ответа недостающие и пропущенные или исправить искаженные элементы; способ конструирования или восстановления по памяти порядка какого-либо действия с последующим его выполнением; способ типовой задачи – выполнение действия по определенному алгоритму, формуле, схеме; способ восстановления алгоритма – вспомнить и воспроизвести последовательность какого-то процесса, деятельности).
- Уровень эвристический (частичного поиска). Это задания на
самостоятельный перенос известного алгоритма действий в заданные конкретные условия (варианты заданий: дополнить формулировку вопроса посредством применения общего правила для заданной ситуации; построить ответ, алгоритм с изменением условия; решить задачу, изменив алгоритм типового процесса и применив его в заданной ситуации).
- Уровень творческого применения знаний. Это задания, требующие
самостоятельной рационализации, моделирования или конструирования. Их результатом могут быть алгоритмы, схемы, карты и т.д. К таким заданиям прилагаются требования к форме представления результатов, параметры, условия и другие ограничения, которым должны соответствовать творческие разработки.
- Уровень исследования. Это задания трех видов: на проверку и
уточнение известного знания, на его дополнение и развитие, на получение нового, не имеющего аналогов, знания. Такие задания, помимо знаний конкретного учебного курса, предполагают определенное владение понятийным аппаратом и методологией научного исследования. Как и в предыдущем пункте, здесь тоже задается организующий комплекс необходимых условий и ограничений.
Примечание: материал этого пункта (пять уровней усвоения) представлен Пырлик Л.Я., гуманитарный колледж, г. Астана.
2.5. Вопросы-задания строятся как закрытые (в большинстве), полуоткрытые и открытые. Закрытые – предполагают выбор из предъявляемого списка ответов. Полуоткрытые – предлагают самостоятельно ввести ответ, осуществляя выбор из известного, но не предъявляемого списка ответов (например, напечатать перевод слова с иностранного языка по известному словарю). Реже применяется открытый вариант - с произвольной формой развернутого ответа. Хотя он и обладает наилучшими возможностями для выявления результатов усвоения, его трудно оценивать (необходимо создавать специальную шкалу с произвольными ограничениями, которую сложно и не всегда возможно обоснованно формализовать) и приходится использовать трудоемкий способ ручного тестирования.
3. «Ответы-ключи»:
3.1. Обеспечивается однозначное соответствие формулировки ответа и сути задания (вопроса): с одной стороны, - каждый ответ в списке обязательно содержит существенные признаки распознавания идеи (действия) правильного ответа; а с другой, - формулировка ответа в соответствующем списке исключает прямое или косвенное искажение этой идеи (действия), ее двусмысленное толкование.
3.2. Формулировки в списке возможных ответов должны
максимально снижать возможность случайного угадывания правильных ответов и исключать возможность его логического «вычисления» без подлинного знания:
- каждая тестируемая единица темы должна быть представлена
двумя – пятью вопросами (заданиями) с выбором из пяти (или более) возможных ответов для каждого из них;
- все формулировки в списке возможных ответов должны быть
построены на изменении (в тексте правильного ответа) существенных признаков тестируемой идеи (действия), без использования суждений, не относящихся к ней (чтобы было невозможно чисто логически отсеять формулировки, явно не относящиеся к сути вопроса);
- эти формулировки должны иметь одинаковую логическую структуру и состоять из простых по составу и относительно коротких предложений;
- вопросы (задания) должны предъявляться по одному и в
случайном порядке (во избежание запоминания правильных ответов по их привычному расположению в списке вопросов, или их логического «вычисления» посредством сопоставления ответов при использовании печатного бланка). Эти условия легко выполнить при компьютерном тестировании. Для соблюдения указанных условий при использовании ручного тестирования формулировки инструкций и вопросов, их порядок в списке, организация материала в бланках для фиксирования ответов должны отрабатываться с помощью экспертной оценки и не допускать
произвольного изменения в практике тестирования.
4. Шкалы общих оценок:
4.1. Принимается единая базовая шкала оценок, построенная как вычисление процентной доли усвоенного по отношению к числу всех единиц содержания курса (или вопросов-заданий) теста:
________________________________________________________________________
Оценка Значение Процент Средний балл (варианты)
A + замечательно 100 5 5 5 отлично
A - почти отлично 90 – 94 4,5 4 4 очень хорошо
B + очень хорошо 85 – 89 4,25 4 4 хорошо
B хорошо 80 – 84 4,0 4 3 уд-но, (выше ср.)
B – почти хорошо 75 – 79 3,75 3 3 уд-но (средне)
C + вполне удов-но 70 – 74 3,5 3 3 удовлетв-но
C удовлетворительно 65 – 69 3,25 3 0 неуд-но (провал)
C – почти удов-но 60 - 64 3,0 0 0
F провал 59 - 0 0,0 0 0
P прошел NANA
(финальный тест)
Эта шкала делает сопоставимыми все результаты, позволяет накапливать и интегрировать (промежуточный и итоговый контроль) оценки любых тестов и форм контроля, в том числе, - тестирование по частям и в разное время. Процентная шкала применяется при любом тестировании.
4.2. Единая процентная шкала дополняется для каждого конкретного критерия и теста собственной шкалой балльной оценки (0; 3; 4; 5 баллов). Шкала баллов применяется при оценке усвоения всего курса в целом (промежуточный и итоговый контроль). Она устанавливает соответствие между достигнутой процентной долей усвоения и ее оценкой в баллах (это необходимо для расчета показателей среднего балла, проходного балла, рейтинга, и т.д.).
4.3. При каждом частичном тестировании (текущий и рубежный контроль) обязательно указывается выделенная для него доля процентной шкалы (для пересчета текущего процента по теме или другой части курса в одну общую долю усвоения курса). Балльная оценка может применяться и в этом случае, однако она не фиксируется в банке данных Регистратора (то есть используется только в текущей работе по усмотрению преподавателя).
4.4. Оценка по тесту производится в три, четыре или пять шагов:
- оценка правильности сделанного выбора ответа на каждый
вопрос теста;
- оценка усвоения каждой единицы тестирования (оценка
«усвоено» по курсу или его части фиксируется при зачете всех тестируемых единиц; оценка «не усвоено», - если не зачтена хотя бы одна единица). Применяется в тех случаях, когда курс может считаться усвоенным только при приемлемом уровне усвоения каждой единицы теста без исключения (пример: деятельность не может считаться освоенной, если не освоено хотя бы одно из составляющих ее действий). Соответственно, если не зачтена хотя бы одна единица, то по тесту выставляется оценка «0»;