Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число не превышает 60 - 80 заданий, поскольку время тестирования выбирают в пределах 1,5 - 2 ч., а на выполнение одного задания отводится в среднем не более 2 мин.
После выполнения первого шага по планированию содержания разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, который будет использоваться для оценки достижений учащихся в соответствии с намеченными целями создания теста, время выполнения теста, число заданий, особенности проведения тестирования, которые могут повлиять на характеристики теста и т.д.
Спецификация в развернутой форме включает:
1) цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;
2) перечень нормативных документов, используемых при планировании содержания теста;
3) описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;
4) количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;
5) число параллельных вариантов теста либо ссылку на кластер, содержащую число и номера заданий кластера;
6) вес каждого задания, рекомендуемый автором теста;
7) рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы;
8) соотношение заданий по различным разделам и видам учебной деятельности школьников;
9) рекомендации по контингенту учащихся для апробации теста;
10) охват требований стандартов (для аттестационных тестов);
11) перечень требований, не вошедших в тест (для аттестационных тестов);
12) рекомендуемую автором стратегию расположения заданий в тесте.
Знания и умения делятся таким образом:
А – знания понятий, определений, терминов;
В – знание законов и формул;
С – умение применять законы и формулы для решения задач;
D– умение интерпретировать результаты на графиках и схемах;
Е – умение проводить оценочные суждения.
Нередко устанавливаются следующие пропорции:
А – 10%, В – 20%, С – 30%, D– 30%, Е – 10%.
Помимо критериев, есть общие принципы, способствующие в определенной степени правильному отбору содержания тестов.
Принцип репрезентативности регламентирует не только полноту отображения, но и значимость содержательных элементов теста. Содержание заданий должно быть таким, чтобы по ответам на них можно было сделать вывод о знании или незнании всей программы проверяемого раздела или курса.
Принцип системности предполагает подбор содержательных элементов, отвечающих требованиям системности и связанных между собой обшей структурой знаний. При соблюдении принципа системности тест можно использовать для выявления не только объема знаний, но и для оценки качества структуры знаний учеников.
После отбора содержания теста начинается наиболее ответственный этап создания предтестовых заданий. Эта работа поручается обычно самым опытным преподавателям с большим стажем работы в школе. Однако для создания заданий одного опыта недостаточно. Необходимы также специальные знания по теории и методике разработки педагогических тестов, обеспечивающие профессиональный подход к созданию предтестовых заданий.
В.С. Аванесов выделил 3 критерия отбора содержания тестовых заданий:
1) определенность содержания теста;
2) непротиворечивость содержания заданий;
3) обоснованность содержания тестовых заданий.
1. Определенность содержания теста образует предмет педагогического измерения. В случае гомогенного теста возникает вопрос об уверенности в том, что все задания теста проверяют знания именно по определенной учебной дисциплине, а не по какой-то другой. Довольно часто случается так, что правильные ответы на некоторые задания требуют знаний не только интересующей дисциплины, но и ряда других, обычно смежных и предшествовавших учебных дисциплин. Близость и связанность которых затрудняет точное определение предметной принадлежности измеряемых знаний.
Например, в физических расчетах используется немало математических знаний и потому в систему физического знания обычно включается та математика, которая используется при решении физических задач. Неудача в математических расчетах порождает неудачу при ответах на задания физического теста. Отрицательный балл ставится, соответственно, за незнание физики, хотя испытуемый допустил ошибки математического толка. Если в такой тест включено много таких заданий, которые для правильного решения требуют не столько физических знаний, сколько умений выполнять усложненные расчеты, то это может быть примером неточно определенного содержания теста по физике. Чем меньше пересечение знаний одной учебной дисциплины со знаниями другой, тем определеннее выражается в тесте содержание учебной дисциплины. Определенность содержания требуется и во всех других тестах. В гетерогенном тесте это достигается посредством явного выделения заданий одной учебной дисциплины в отдельную шкалу. При этом нередко встречаются задания, хорошо работающие не только на одну, но и на две, три и даже большее число шкал.
Во всяком тестовом задании заранее определяется, что однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него.
2. Непротиворечивость содержания заданий требует, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Недопустимо существование двух исключающих ответов на одно и то же задание теста. Если испытуемым дается инструкция: "Обведите кружком номер правильного ответа", а затем в одном из ответов утверждается, что правильного ответа нет, то это порождается пример непоследовательности мышления разработчика теста. В некоторых тестах встречаются ответы, вообще не связанные с содержанием задания. Таки ответы довольно легко распознаются испытуемыми как ошибочные, и потому тест оказывается неэффективным. Для повышения эффективности тест предварительно проходит апробацию на типичной выборке испытуемых. И если обнаружатся такие ответы к заданиям, которые испытуемые вообще не выбирают, то такие ответы из теста удаляются. Потому что они не выполняют функцию так называемых дистракторов, призванных отвлечь внимание незнающих испытуемых от правильного ответа. Кроме того, такие дистракторы вредны для теста, ибо снижают точность измерений (но об этом в статьях, где будут рассматриваться вопросы надежности тестов).
3. Обоснованность содержания тестовых заданий означает наличие у них оснований истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. При отсутствии доказательных аргументов в пользу правильности сформулированного задания оно в тест не включается, ни под каким предлогом. То же происходит, если в процессе экспертного обсуждения возникает хотя бы один контраргумент, или допускается условие, при котором данное утверждение может оказаться двусмысленным или ложным. Идея обоснованности содержания теста тесно переплетается с принципом содержательной правильности тестовых заданий, о чем уже говорилось в предыдущей статье. Напомним, что в тест включается только то содержание учебной дисциплины, которое является объективно истинным и что поддается некоторой рациональной аргументации. Соответственно, спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий.
Неистинность содержания тестовых заданий отличается от некорректности их формулировки. Неистинность, как отмечалось выше, определяется соответствующим ответом, в то время как некорректно сформулированное задание может продуцировать ответы как правильные, так и неправильные, а то и вызывать недоумение. Сюда же можно отнести неточно или двусмысленно сформулированные задания, порождающие несколько правильных или условно правильных ответов. Отсюда возникает необходимость вводить дополнительные условия истинности, что удлиняет само задание и усложняет его семантику. Некорректность формулировки обычно выясняется в процессе обсуждения содержания заданий с опытными педагогами-экспертами. Успех такого обсуждения возможен при создании соответствующей культурной среды, где допустимы только конструктивные и тактичные суждения. Увы, опыт убеждает, что такое встречается не часто. Между тем, только совместное и доброжелательное обсуждение материалов разработчиками и экспертами способно породить атмосферу поиска наилучших вариантов содержания теста. Этот поиск практически бесконечен, и здесь нет истины в последней инстанции.
5. Соотношение формы задания и вида проверяемых знаний, умений, навыков
Как уже упоминалось в предыдущих статьях, для целей тестирования знания, можно разделить на три вида: предлагаемые, приобретаемые и проверяемые. Теперь рассмотрим этот вопрос чуть подробнее.
Предлагаемые знания даются учащимся в форме учебных пособий, материалов, текстов, лекций, рассказов и т.п., отражающих основную часть образовательной программы. Эти знания формулируются, кроме того, в системе заданий, по которым сами учащиеся могут проверить степень своей подготовленности.
Приобретаемые учащимися знания являются обычно только частью предлагаемых знаний, большей или меньшей, в зависимости от учебной активности учащихся. С развитием компьютерного обучения появились условия для превышения объема приобретаемых знаний над объемом предлагаемых знаний. Это новая ситуация, связанная с возможностями массового погружения учащихся в мировое образовательное пространство, в котором ведущая роль заданий в процессе приобретения знаний уже осознана достаточно хорошо. Решение учебных заданий является главным стимулом для активизации учения, собственной деятельности учащихся. Эта деятельность может протекать в форме работы с учителем, в группе или самостоятельно. Распространенные в литературе рассуждения об уровнях усвоения относятся исключительно к приобретаемым знаниям.