Обратная связь в учебном процессе определяется воздействием выходных показателей, например, конструкторско-технологической подготовки студентов к управляющей деятельности преподавания. При обучении по данной обратной связи управляющая подсистема осуществляет внешнюю корректировку процесса обучения.
Основная функция обратной связи - функция управления, которая включает в себя устранение рассогласования путем регулирования системы: последовательное расширение действий за счет использования текущей информации; контроль системы путем оценки выхода информации.
В теории математического моделирования построение модели включает 6 этапов: определение целей, предмодельный анализ физической сущности изучаемого явления, моделирование, статистический анализ, верификация модели, уточнения ("Педагогика". 1999. № 3. С. 49 - 54).
К. Ингенкамп считает, что "современная научно обоснованная дидактика обречена на поражение, если она не опирается на богатый инструментарий максимально объективных методов педагогической диагностики". Важную роль он здесь отводит тестированию.
Так как под оценкой результатов исследований в дидактике предусмотрен процесс сравнения достигнутого уровня с эталонным, то это сравнение должно быть в наибольшей степени адекватным, то есть точным, справедливым, объективным.
В современной дидактике имеется ряд подходов к разработке наиболее объективных показателей учебного процесса, ориентированных на цели обучения по различным учебным дисциплинам и предметам. Они не однозначны, сложны и могут даже привести к еще большей необъективности оценки.
П. И. Пидкасистый делает вывод, что процесс измерения уровня освоения изучаемых сведений является одной из фундаментальных и трудно решаемых проблем педагогических измерений в дидактике. Ибо требуется анализ того, что подлежит измерению, установление критериев, показателей, шкал, единиц измерений, инструментов и приборов.
Ссылаясь на проведенные исследования, он доказывает наличие большого разброса оценок, выставленных разными учителями за один и тот же ответ. Такая экспертная оценка представляется не точной, а грубой. Да и сама шкала измерений в виде условно-числового балла также дает только общее представление об уровне знаний. Балл как отметка несет в себе очень мало сведений о качестве учебного процесса и не дает информации для его совершенствования.
В. П. Беспалько разработал систему диагностичных целей обучения. В ней уровень освоения знаний и соответствующий инструментарий ориентированы на 12-ти балльную шкалу оценок.
В Германии проведены эксперименты по словесной и цифровой оценке знаний в виде заполнения диагностических листов. При этом кроме знаний учитываются мотивы учения и развитие мышления. "Профили" оценочных тестов и результатов в виде матриц разработаны в Англии.
Критерием называют существенный, отличительный признак, по которому производится оценка, определение или классификация чего-либо.
Например, критерий оценки знаний, умений и навыков по инженерной подготовке студентов может быть представлен совокупностью следующих показателей и определяется степенью (уровнями и качеством) их освоения:
- знания теории конструирования и изготовления изделий и умение применять эти знания в практической работе;
- знание технологического оборудования, инструментов, материалов и умение подготовить их к работе;
- овладение приемами выполнения работы;
- знание и выполнение требований безопасности, производственной санитарии и гигиены;
- умение пользоваться графической документацией и разрабатывать чертежи и технологические карты;
- умение организовать рабочее место и поддерживать порядок при выполнении работ и экономно расходовать материалы;
- умение качественно и быстро выполнять работу.
Первая и важнейшая задача статистической обработки результатов исследования состоит в установлении валидности разработанных тестов.
Существует несколько подходов к валидизации тестов, различающихся в зависимости от используемых критериев [7],[8],[9].
В педагогической практике наибольшее распространение получили такие тесты, валидность которых не требуется доказывать эмпирически: в таких тестах критерием их пригодности является само содержание тестов, одобренное опытными преподавателями-экспертами. При этом у преподавателей должна быть уверенность в том, что:
- вопросы теста находятся в соответствии с программой;
- вопросы теста охватывают не один какой-либо раздел, а всю программу курса;
- высока вероятность того, что студент, успешно ответивший на вопросы теста, знает предмет в соответствии с полученной оценкой.
Перечисленные все три пункта объединяются общей идеей - содержит ли тест вопросы, пригодные для оценки знаний по конкретной учебной дисциплине?
Если в результате статистической проверки выявляется, что ответы на вопросы теста вполне позволяют обоснованно судить о знаниях студентов, то тест содержит валидные вопросы, он валиден по содержанию.
Требования валидности по содержанию предъявляются к каждому вопросу теста. Мерой валидности является коэффициент корреляции ответов по вопросу с критерием.
При создании теста в качестве критерия обычно берутся оценки, выставленные студентам группой преподавателей-экспертов без тестов. Результаты оценки студентов по вопросам теста и по оценкам экспертов коррелируются. Высокая согласованность (конкордация) у экспертов указывает и на высокую валидность теста.
Обычно педагогические тесты имеют достаточную содержательную валидность, если к их составлению привлекались опытные педагоги.
Вместе с тем, при практической валидизации возникает ряд трудностей, связанных с недостаточной согласованностью мнений экспертов.
Требования валидности по содержанию предъявляются к каждому вопросу теста, мерой валидности является коэффициент корреляции ответов по вопросу с критерием. В связи с чем нами определялись коэффициенты корреляции оценок по каждому тесту между собой и по отношению к сумме баллов по всем тестам, причем с 1 по 5 курсы.
При создании теста в качестве критерия обычно берутся оценки, выставленные студентам группой преподавателей-экспертов без тестов. Результаты оценки студентов по вопросам теста и по оценкам экспертов коррелируются.
В дальнейшем, когда отобраны валидные вопросы теста, в качестве критерия можно брать суммарный балл испытуемых по всем вопросам. Вновь вводимые в тест вопросы можно коррелировать с суммарным критерием.
В тестовой практике для валидизации чаще всего применяется метод известных или контрольных групп. Например, нужно создать тест для выявления студентов с высоким уровнем творческих способностей. Подбираются две группы студентов (по 30 - 100 человек), не имеющих выраженных способностей к творческой деятельности и активно занимающихся творческой деятельностью и имеющих реальные творческие достижения. Затем подбираются такие вопросы, чтобы группы в своих ответах четко различались. Если на какое-либо утверждение (вопрос) ответы в обеих группах статистически различаются, это означает, что вопрос (задание) обладает хорошей различающей способностью.
Вопросы для самопроверки:
Методы исследования в педагогике и их возможности.
Методология в педагогике и ее задачи.
Критерии и показатели в педагогических исследованиях.
Традиционный педагогический эксперимент.
Многофакторный эксперимент и оптимизация компонентов.
Экспериментальные методы научного прогнозирования общетехнической подготовки.
Констатирующий и формирующий эксперимент.
Модели исследования дидактических систем, их структура, характеристики, управление.
Экспериментальное исследование профессиональной подготовленности по программе ПЭВМ "Excel".
Определение валидности критериев и тестов.
Рекомендуемая литература
Батышев С. Я. Профессиональная педагогика: Учебник для студентов, обучающихся по педагогическим специальностям и направлениям.- М.: Ассоциация "Профессиональное образование", 1997.-512с.
Скакун В. А. Преподавание курса "Организация и методика производственного обучения": Метод. пособие. - М.: Высш. шк., 1990. - 254 с. Симоненко В. Д. Основы технологической культуры. - Брянск: Издательство БГПУ, 1998. - 268 с.
Симоненко В. Д., Овечкин В. П. Основы технологии. - Брянск: Издательство БГПУ, 1999. - 180 с.
Симоненко В. Д., Ретивых М. В., Матяш Н. В. Технологическое образование школьников. Теоретико-методологические аспекты / Под ред. В. Д. Симоненко. - Брянск: Издательство БГПУ, 1999. - 230 с.
Самородский П. С. Основы разработки творческих проектов: Книга для учителя технологии и предпринимательства. - Брянск: Издательство БГПУ, 1995. - 220 с.
Самородский П. С. Дидактические основы специальной подготовки учителя технологии и предпринимательства. - Брянск: Издательство БГПУ, 1999. - 256 с.
Самородский П.С. Дидактическая система конструкторско-технологической подготовки будущего учителя технологии и предпринимательства. - Брянск: Издательство БГПУ, 2000 - 230 с.
Самородский П. С., Симоненко В. Д. Технология обработки конструкционных материалов: Учебное пособие для студентов индустриально-педагогических, технолого-экономических факультетов пединститутов и учителей труда.- Брянск: Издательство БГПИ, 1994.-280 с.