Психометрическое обоснование диагностических методик (стр. 1 из 4)
Контрольная работа по психодиагностике
ПСИХОМЕТРИЧЕСКОЕ ОБОСНОВАНИЕ ДИАГНОСТИЧЕСКИХ МЕТОДИК
1. ТРУДНОСТЬ ТЕСТОВЫХ ЗАДАНИЙ
Теоретическая справка
Определение степени трудности тестовых заданий является обязательной процедурой, с которой начинается анализ качества разрабатываемого теста. Основная цель анализа трудности заданий сводится к выбору оптимальных по сложности заданий, которые затем можно было бы упорядочить по нарастанию сложности. Тест не должен включать слишком легкие и слишком трудные задания. Обычно, если задачу решает большинство, ее помещают (как легкую) в начале теста. Если задачу решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста.
Трудность задания определяется числом правильных ответов на данное задание в сравнении с общим объемом выборки по формуле:
,где
– количество испытуемых, давших правильный ответ, 
– общее количество испытуемых.Чем легче задание, тем выше этот показатель (А. Анастази,1982). Для большинства тестов принято, что задания с
от 0,8 до 0,2 считаются удовлетворительными. То есть задачи, с которыми не справилось более 80% и менее 20% испытуемых, в тест не включают как мало полезные. Анастази считает, что уровень трудности должен иметь некоторый разброс, но в среднем он должен составлять 0,5. Именно в этом случае, тест обеспечивает лучшую дифференциацию результатов (см. ниже о дискриминативности теста).Если при составлении теста необходимо расположить его задания в порядке возрастания трудности, то тогда необходимо сравнить насколько одна задача трудней другой. Для этого используют статистические критерии, специально предназначенные для оценки значимости различий. В данном случае, чаще используют критерий хи-квадрат Мак-Немары:
([b- c]-1)2
c2= ¾¾¾¾ , где
b + c
где b – количество решивших первую задачу, но не решивших вторую,c – количество решивших вторую задачу, но не решивших первую.
При χ2 > 6,63[1] различия в индексах трудности двух задач следует считать достоверными.
Задание1. Расчет индекса трудности заданий
Цель задания: овладение приемами расчета индекса трудности заданий и их сравнения.
Оснащение: микрокалькулятор, таблица первичных результатов (таблица №1).
Таблица №1
Первичные результаты исследования с помощью теста Равена
| Испытуемый | Номер задания | |||||||||||
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | |
| 1 | + | + | + | + | – | + | – | – | + | + | + | + |
| 2 | + | – | + | + | – | + | – | – | + | + | + | + |
| 3 | + | + | + | + | – | + | + | – | – | + | + | – |
| 4 | + | + | + | + | + | + | + | + | + | + | + | + |
| 5 | + | + | + | + | – | – | – | – | + | + | + | + |
| 6 | + | + | + | + | + | + | + | – | – | + | + | + |
| 7 | + | + | + | + | + | + | + | + | + | + | + | + |
| 8 | + | – | + | + | – | – | – | – | + | + | + | + |
| 9 | + | + | + | + | + | + | + | + | + | – | – | + |
| 10 | + | – | + | + | – | – | – | + | + | + | + | + |
| 11 | + | + | + | + | + | + | – | – | – | + | + | + |
| 12 | + | + | + | + | + | + | + | – | + | + | – | + |
| 13 | + | + | – | + | – | – | – | – | – | + | + | – |
| 14 | + | + | + | + | + | + | + | – | + | + | – | + |
| 15 | + | + | + | + | – | + | + | – | + | + | + | + |
| 16 | + | + | + | + | + | + | + | – | – | + | + | + |
| 17 | + | + | + | + | + | + | – | + | + | – | – | + |
| 18 | + | + | + | + | + | + | + | + | – | + | + | + |
| 19 | + | – | + | + | – | – | – | + | + | + | + | – |
| 20 | + | + | + | + | – | + | – | + | – | + | + | + |
| Частота решаемости | 20 | 16 | 19 | 20 | 11 | 15 | 11 | 8 | 13 | 18 | 16 | 17 |
Порядок работы:
1. Рассчитываем индексы трудности всех 12 задач.
По формуле
, | Номер задания | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| частота решения (Nn) | 20 | 16 | 19 | 20 | 11 | 15 | 11 | 8 | 13 | 18 | 16 | 17 |
U1=20/20=1 U2=16/20=0,8 U3=19/20=0,95 U4=20/20=0,55 U5=11/20=0,55 U6=15/20=0,75
U7=11/20=0,55 U8=8/20=0,4 U9=13/20=0,65 U10=18/20=0,9 U11=16/20=0,8 U12=17/20=0,85
2. Выделяем задачи, индекс трудности
которых оказался оптимальным или близким к оптимальному для данной выборки испытуемых. : № 2,№ 5,№ 6,№ 7,№ 8,№ 9,№ 11Форма протокола
| Номер задания | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| Индекс трудности | 1 | 0,8 | 0,95 | 1 | 0,55 | 0,75 | 0,55 | 0,4 | 0,65 | 0,9 | 0,8 | 0,85 |
| ранг трудности | 1,5 | 6,5 | 3 | 1,5 | 10,5 | 8 | 10,5 | 12 | 9 | 4 | 6,5 | 5 |
3. Проранжировать задания по принципу возрастающей трудности.
| Индекс трудности | 1 | 1 | 0,95 | 0,9 | 0,85 | 0,8 | 0,8 | 0,75 | 0,65 | 0,55 | 0,55 | 0,4 |
| ранг трудности | 1,5 | 0,5 | 3 | 4 | 5 | 6,5 | 0,55 | 8 | 9 | 10,5 | 10,5 | 12 |
| Номер задания | 1 | 4 | 3 | 10 | 12 | 2 | 11 | 6 | 9 | 5 | 7 | 8 |
4. Сравнить индексы трудности самой трудной и самой легкой задачи, используя критерий
Мак-Немары. Самые легкие задачи № 1 и № 4,так как их решили все. Самая трудная задача № 8,решили восемь человек. Сравним индексы трудности([b- c]-1)2([12 - 0]-1)2
c2= ¾¾¾¾ = ¾¾¾¾ = 10,083
b + c12 + 0
5. Оформить протокол и сделать выводы о том, индекс трудности каких заданий оказался оптимальным для данной выборки испытуемых; какие задачи были самой легкой и самой трудной для них; какова достоверность различий между самой трудной и легкой задачей.
6. Вывод:10,083 больше, чем 6,63 значит, различия в индексах трудности следует считать достоверным.
2. ДИСКРИМИНАТИВНОСТЬ ТЕСТОВЫХ ЗАДАНИЙ
Теоретическая справка
При разработке теста необходимо стремиться к тому, чтобы его задания как можно тоньше измеряли тестируемое свойство. Например, если в результате обследования почти все испытуемые получают примерно одинаковые результаты, то это означает, что тест измеряет очень грубо. Чем большее количество градаций результатов можно получить при помощи теста, тем выше его разрешающая способность. Мера тонкости измерения (или степень диффиренцируемости результатов) теста называется в психометрике дискриминативностью. Дискриминативность теста измеряется показателем дельта Фергюсона:
,где N – количество испытуемых , n – количество заданий, fi- частота встречаемости каждого показателя.
Наименьшая дискриминативность теста при δ = 0, наибольшая при δ = 1.
Задание 2. Расчет индекса дискриминативности заданий.
Цель задания: овладение навыком расчета индекса дискриминативности.
Оснащение: микрокалькулятор, таблица первичных результатов (таблица №2).
Первичные результаты исследования по субтесту «Арифметические задачи», которые выполняли 122 испытуемых.
Таблица №2
| Количество баллов | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | |||||||||||||
| Частота встречаемости | 0 | 0 | 1 | 4 | 1 | 3 | 4 | 5 | 6 | 4 | 8 | 7 | 11 | |||||||||||||
| Количество баллов | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | |||||||||||||
| Частота встречаемости | 6 | 10 | 8 | 9 | 7 | 6 | 5 | 5 | 4 | 4 | 0 | 3 | 1 | |||||||||||||
Порядок работы:
1. Составьте таблицу.
2. Подсчитайте, как часто встречаются значения показателей для данного теста.
3. Возведите эти числа в квадрат и проссумируйте: Σ f².
4. Прибавьте 1 к количеству заданий: n + 1.
5. Возведите в квадрат количество испытуемых: N².
6. Помножьте количество заданий на результат шага 4: nN²
7. Теперь у нас есть все элементы формулы. Подставьте их и рассчитайте коэффициент.
8. Сделайте вывод о дискриминативности субтеста «Арифметические задачи».
Рассчитываем по формуле : Фергюсона:
| X | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 |
 | 0 | 0 | 1 | 4 | 1 | 3 | 4 | 5 | 6 | 4 | 8 | 7 | 11 | 6 | 10 | 8 | 9 | 7 | 6 | 5 | 5 | 4 | 4 | 0 | 3 | 1 |
| 2 | 0 | 0 | 1 | 16 | 1 | 9 | 16 | 25 | 36 | 16 | 64 | 49 | 121 | 36 | 100 | 64 | 81 | 49 | 36 | 25 | 25 | 16 | 16 | 0 | 9 | 1 |
N - количество испытуемых N=122, n - количество заданий n=25, fi- частота встречаемости каждого показателя. Σ f²=812