Учебно-методическое пособие мурманск 2008 удк 371. 26 (075. 8) Ббк 74. 202. 8я73 (стр. 31 из 40)
· Составьте свой алгоритм создания педагогического теста, ориентируясь на выделенные этапы его проектирования (см.: Майоров А.Н. Теория и практика создания тестов для системы образования. Как выбирать, создавать и использовать тесты для целей образования. – М., 2000. – 352 с.).
· Составьте вариант итогового тестового контроля по своему предмету.
КОПИЛКА6.1. PISA–2000: российские результаты
Исследование 2000 года было в основном посвящено чтению. Россия заняла 27 место из 32 стран, принимавших участие в исследовании.
Анализ, проведенный специалистами организаций и экспертами РАН, свидетельствует о том, что результаты образования российских школьников не соответствуют международным стандартам.
Одна из причин несоответствия – заниженные отечественные стандарты. Так, российские школьники неплохо справлялись с легкими заданиями, достигая наибольших успехов при выполнении заданий второго уровня трудности (из пяти), в которых требовалось найти информацию, выраженную в ясном виде, выявить общий смысл прочитанного, найти основную мысль и подтвердить ее примерами из прочитанного, т.е. школьники успешно выполняли то, чему их реально учат в школе.
Однако чем труднее было задание, тем хуже с ним справлялись школьники, приближаясь к самым низким результатам международной выборки. Учащиеся не умеют работать с объемной, правдоподобной и противоречивой информацией, изложенной как в текстах сложной структуры, так и заданной вне основного текста, критически оценивать информацию, работать с понятиями, которые противоположны их ожиданиям. Они не могут сделать вывод о том, какая информация в тексте необходима для выполнения задания. Они не могут истолковать значение нюансов языка, демонстрировать полное, глубокое и точное понимание текста во всех его деталях, выдвигать гипотезы на основе специальных знаний. При этом учащиеся должны работать со сплошными и несплошными текстами, где часть информации представлена в виде таблиц, графиков, диаграмм, а иногда и сносок (требование пятого уровня).
(Цит.по: Сметанникова Н.Н. Плохо, хуже… что дальше?/ Сметанникова, Н.Н
// Школьная библиотека. – 2005. – № 1–2. – С.24–27.)
6.2. Этапы разработки национальных тестов в Англии
Полный цикл разработки одного теста составляет два года и включает 12 этапов.
Тесты разрабатываются различными организациями на конкурсной основе. Например, за разработку тестов для 2 ступени отвечают различные организации: Национальный фонд исследований в области образования (NFER) отвечает за тест по английскому языку, а Университет Лидз – за тест по математике.
Начальный этап в разработке теста составляет не менее 6 месяцев. За это время разрабатывается (или дорабатывается) спецификация теста, которая в основном сохраняется из года в год и является основой для создания теста. Далее подбираются тексты для чтения (например, для теста по английскому языку), разрабатываются задания разного типа.
Предтестовые задания проходят первоначальную неформальную авторскую апробацию в школе, по результатам которой они дорабатываются и отбираются для дальнейшего использования. Отобранные задания распределяются по вариантам, и эти варианты проходят первую формальную апробацию на выборке в несколько сот учащихся в тех же условиях, в которых проводится основной тест. По результатам этой апробации по каждому заданию подсчитывается следующая статистика: трудность заданий (процент учащихся, правильно выполнивших данное задание), индекс дискриминативности (насколько хорошо задания разделяют учащихся на освоивших и не освоивших проверяемый элемент программы), а также статистические данные для анализа выполнения заданий мальчиками и девочками.
После анализа полученной статистики создается тест (второй вариант), который проходит вторую формальную апробацию. Например, тест 1999 г. проходил вторую апробацию в апреле 1998 г. Именно при второй апробации были получены данные, по которым тест 1999 г. калибровался по отношению к тесту предыдущего года 1998 г. Второй апробационный тест выполняет выборка учащихся, которая одновременно в этом же году выполняет и основной тест. По результатам этой выборки учащихся, которые выполняют оба теста, выравнивается шкала нового теста в соответствии с основным тестом предыдущего года. После второй апробации задания теста практически не меняются.
Работа по созданию теста завершается созданием системы кодировки заданий, макетов тестов, руководств по проведению тестирования, тесты размножаются и рассылаются в школы. Основное тестирование проводится в конце учебного года, обычно в мае.
6.3. Основные проблемы в области тестирования
Приведем ряд проблем, которые поднимают зарубежные специалисты в области тестирования.
1. Ни один из методов измерения не является универсальным. Все измерения непрямые, а опосредованные через наблюдение или результаты выполнения теста. Нельзя напрямую измерить учебные достижения. Разработчик теста должен спроектировать эти достижения в виде требований к деятельности учащихся, которую они должны продемонстрировать при проверке. Используя различные задания, проверяют различные стороны учебных достижений.
2. Тест принято считать объективным инструментом измерения учебных достижений. Однако тест - измерительный инструмент, не похожий на другие измерительные приборы. Задания теста составляются, или строятся на определенном материале для большинства тестов вербальном (термины, слова и т.п.). Любой материал, на котором построен тест, воспринимается разными группами по-разному, так как эти группы могут отличаться и социальной средой (школа, семья), ... и тем, чему и как их обучали в школе (содержанием образования, которое они получили в школе). Выполнение одного и того же задания теста различными учащимися может быть различным из-за, например, различного восприятия графической информации, различной степени адаптации к процедуре тестирования. Таким образом, на успешность работы над тестом влияет сложная интеграция социального, эмоционального и символического научения.
3. Образовательные достижения - это прямой результат обучения. И, следовательно, учебные достижения определяются особенностями учебного процесса и личностью учителя. И анализ результатов тестирования без учета этих факторов не может рассматриваться как объективный. Использование математических моделей и статистических методов при конструировании тестов достижений и анализе их результатов без учета особенностей обучения ставится некоторыми зарубежными специалистами под сомнение.
4. В процессе педагогических измерений оценивается ограниченное число характеристик, определяющих образовательные достижения, а не вся их совокупность. В связи с этим результаты тестирования дают только некоторую информацию о подготовке учащихся и поэтому они не могут быть единственным инструментом, на основе которого принимаются важные решения.
5. В процессе разработки инструментария для оценки образовательных достижений всегда приходится решать вопрос о позиции разработчиков по отношению к следующему неразрешимому противоречию: валидное, но ненадежное измерение - невалидное, но надежное измерение. Однако, с точки зрения психометрики, тест не может быть надежным, если не обеспечена его валидность. Проблема в том, какую валидность рассматривать. Всегда возникает противоречие между необходимостью обеспечить аутентичность оценки и ее технологичность.
6. Измерения всегда включают ошибку измерения. Тестирование проводится, как правило, единовременно. Если провести одно и тоже тестирование (один и тот же вариант теста) дважды, то результаты будут отличаться по разным причинам. Если ученик будет выполнять другой вариант теста, то результаты могут также быть другими. Непостоянство результатов измерения в связи с различным содержанием проверки или условиями проведения и определяет ошибку измерения. При разработке теста эта проблема сводится к нахождению способа определения ошибки измерения при использовании конкретного теста.
7. Отсутствие однозначно определенной единицы измерения. Предположим, что тест состоит из 30 заданий, расположенных по мере увеличения их сложности. Рассмотрим два примера. Пример 1: Один ученик правильно выполнил 10 легких заданий, а другой - 10 трудных, оба получили одинаковый балл. Одинаковая ли их подготовка? Пример 2: Три ученика правильно выполнили разное число заданий: первый - 5 заданий, второй - 15, а третий - 25. Можно ли сказать, что подготовка второго ученика также отличается от подготовки первого, как подготовка третьего ученика от подготовки второго? Ни на один из этих ответов нельзя дать положительный ответ. При разработке теста и системы его оценки эта проблема разрешается при определении шкалы измерения и единиц измерения.