- образцы (примеры) заданий, проверяющих выполнение конкретных требований к уровню подготовки учащихся, указанных в стандартах;
- банк заданий по всем требованиям стандарта;
- образцы проверочных работ с указанием критерия оценки выполнения работы в целом;
- варианты стандартизированных и нормированных измерителей для проведения аттестации учащихся.
Измерители должны сопровождаться статистическими данными о достижении требований стандарта, полученными в ходе отработки измерителей. Данную статистику на этапе введения образовательных стандартов можно считать нормой достижения требований стандарта.
41. Ключевой проблемой разработки измерителей достижения образовательных стандартов является создание валидных и надежных заданий и проверочных работ, позволяющих получить однозначную и объективную оценку достижения требований стандарта. Под валидностью понимается характеристика измерителя, показывающая степень его соответствия требованиям стандарта (по содержанию, уровню оцениваемой учебной деятельности, заданным условиям проверки, форме предъявления, критерию достижения и др.). Валидность показывает, оценивает ли данное задание или вся проверочная работа то, что они должны были бы оценивать. Создание валидных измерителей достижения стандарта подразумевает полноту охвата требований к обязательной подготовке учащихся при разработке системы проверочных заданий. Данный критерий качества измерителей достижения стандарта может быть получен только при условии, что все сформулированные требования стандарта измеряемы, т.е. достижение каждого требования может быть проверено с помощью отдельных проверочных заданий или их системы.
Надежность измерителей достижения стандарта характеризует точность, с которой осуществляется оценка достижения стандарта, а также устойчивость полученных результатов к действиям случайных факторов, или степень повторяемости результатов, т.е. получения тех же результатов при любой повторной проверке на основе того же инструментария или при использовании определенной части инструментария (например, различных вариантов проверочной работы).
Важнейшими характеристиками измерителей также являются объективность, посильность и открытость.
42. Качество измерителей в первую очередь будет зависеть от того, будут ли соблюдены все требования к процедуре разработки измерителей, пройдут ли измерители через все необходимые этапы их создания и будут ли решаться все проблемы, связанные с созданием проверочных работ, коллегиально методистами и тестологами. Только стандартизированный измеритель должен использоваться для целей внешнего государственного контроля и оценки достижения требований стандарта, которые лежат в основе аттестации учащихся и учителей образовательных учреждений.
Первым необходимым этапом в разработке измерителей является анализ требований к уровню подготовки учащихся и их операционализация.
Анализ и конкретизация требований стандарта
43. До начала разработки измерителей для оценки достижения стандартов необходимо проанализировать и при необходимости доработать требования к подготовке выпускников. Это направление совершенствования требований можно условно назвать операционализацией. Процесс операционализации заключается в придании содержанию и форме представления требований характеристик, обеспечивающих в совокупности возможность создания стандартизированных средств измерения. Операционализация требований стандарта осуществляется профессиональными организациями, разрабатывающими контрольные измерительные материалы для проведения педагогических измерений.
44. Основные этапы анализа и доработки требований к подготовке выпускников:
1) Анализ и при необходимости доработка требований стандарта с тем, чтобы они были сформулированы в терминах внешней деятельности, которую должен продемонстрировать ученик при оценке освоения данного требования. Только к требованиям, сформулированным в терминах внешней деятельности, могут быть разработаны однозначные измерители.
2) Разделение требований на отдельные элементы и их конкретизация. Некоторые требования к уровню подготовки учащихся включают более двух проверяемых элементов или не раскрывают содержание проверяемого элемента. Различные разработчики измерителей будут по-разному понимать эти требования. Поэтому их нужно разделить на отдельные элементы, под которые и будут разрабатываться задания.
3) Разделение требований на простые (требующие одного шага интеллектуальной деятельности и простое задание для его оценки), сложные (требующие несколько шагов интеллектуальной деятельности, проверяемые одним заданием, но требующие более сложной системы оценки (частично правильный - полный правильный ответ) и на комплексные (многошаговые, требующие системы независимых заданий и особой системы оценки достижения требования).
Если требование сформулировано в общем виде, то для его раскрытия необходимы взаимодополняющие задания, каждое из которых проверяет отдельный элемент требования. Следует обратить внимание разработчиков, что эти задания могут иметь различную трудность. В данном случае один вариант проверочной работы должен включать все эти взаимодополняющие задания. Только в случае их выполнения, можно будет сделать вывод о достижении данного требования стандарта.
Таким образом, если требования сформулированы в общем виде, то проверочная работа может состоять из субтестов, каждый из которых будет проверять отдельное требование. О достижении требований к подготовке стандарта можно будет судить только при наличии выполнения как отдельных субтестов, так и выполнения всей работы в целом.
4) Разделение требований на группы по форме контроля: письменная работа, диктант, устный опрос, практическая работа и др. Данный этап предполагает выделение требований, оценка достижения которых осуществляется, стандартизированными средствами измерения и тех, достижение которых трудно оценить объективно. К числу последних можно отнести ряд требований, проверка которых связана с многословными описаниями, высказыванием оценочных суждений, т.е. требования, не имеющие однозначных критериев оценки.
В итоге данного этапа формируется структура системы итогового контроля за достижением стандарта и структура самих проверочных работ.
5) Оценка значимости всех требований стандарта. Приступая к созданию системы проверочных работ, разработчики могут столкнуться с необходимостью неполного отображения требований стандарта в содержании работы в связи с большим числом требований и невозможностью их проверки за отведенное время. В связи с этим важно оценить, какие требования должны войти в итоговый внешний контроль, а какие могут оцениваться учителями. Кроме того, важно определить, какие требования, должны быть включены в каждый вариант проверочной работы, т.е. должно быть обязательно проконтролированы у каждого выпускника; а какие могут войти только в один вариант проверочной работы.
Может показаться, что данный этап противоречит основному принципу отбора требований стандарта – равновесомости, т.е. их важности в системе образования. Как правило, разработчики стандартов отстаивают одинаковую важность и обязательность проверки всех требований стандартов. Однако, при разработке измерителей достижения стандарта, когда учитывается реальная ситуация в школе и возможности ученика, возникает необходимость еще раз оценить значимость каждого требования для оценки достижения стандарта отдельным учеником.
Этапы разработки критериально-ориентированных измерителей
45. Приведем основные этапы разработки критериально-ориентированной проверочной работы.
1) Планирование работы: а) определение цели и структуры работы; б) определение числа заданий в работе; в) определение числа вариантов; г) определение условий проведения работы, включая и время на ее выполнение; д) определение типа используемых заданий, соотношения заданий различного типа в работе, примерного числа заданий разного типа; е) выявление ресурсов и затрат на разработку всей проверочной работы.
2) Разработка заданий.
3) Экспертная оценка заданий: а) оценка содержательной валидности заданий; б) анализ технических характеристик.
4) Доработка заданий по результатам экспертизы.
5) Экспериментальная проверка заданий.
6) Анализ и доработка заданий по результатам экспериментальной апробации.
7) Конструирование проверочной работы: а) отбор заданий, прошедших экспертизу и экспериментальную проверку; б) выравнивание вариантов; в) подготовка инструкции по проведению работы, списка правильных ответов; г) подготовка макета проверочной работы.
8) Экспертное определение проходного балла: «достиг – не достиг заданного уровня».
9) Экспериментальная апробация проверочной работы: а) проверка отдельных вариантов работы на надежность; б) проверка работы на надежность и валидность проходного балла.
10) Подготовка пакета документов для проведения проверочной работы.
Возможные риски и пути их преодоления
46. Создавая систему объективной оценки образовательных достижений необходимо осознавать, что значительное число учителей, управленцев не поддерживают идею систематического объективного контроля по ряду объективных и субъективных причин. Это было продемонстрировано в связи с введением единого государственного экзамена. Основные их опасения связаны с возможностью разрушения привычной системы работы. Многие учителя не владеют методиками объективного контроля, идеологией управления учебным процессом, не умеют работать на конечный результат, часть учителей психологически не готова к новым переменам.
Для преодоления данных рисков необходимо разработать систему переподготовки учителей, например, с целью ознакомления с методами объективного контроля, методиками управления учебным процессом при ориентации на конечные результаты обучения.