ПРАКТИЧЕСКИЙ МАРШРУТ

Надёжность тестирования и согласованность экспертных оценок

Педагогическая диагностика требует прозрачных критериев, сопоставимых заданий и корректной оценки согласованности. Коэффициент надёжности не подтверждает автоматически валидность всего исследования.

Порядок действий

  1. Подготовьте инструментарий

    Определите содержательные темы и веса заданий; составьте спецификацию теста.

  2. Проверьте оценки

    Найдите процент согласия и невзвешенную каппу для двух экспертов. Для двоичных заданий оцените внутреннюю согласованность KR-20.

  3. Интерпретируйте результаты

    Выделите наиболее проблемные разделы по доле ошибок. Учитывайте содержание заданий, состав группы и условия измерений.

Пример

Три совпадающие оценки из четырёх дают 75% согласия. Каппа может быть ниже, поскольку учитывает ожидаемое случайное совпадение.

Частые вопросы

Можно ли применять KR-20 к шкале Лайкерта?

Нет, используйте подходящую методику для недихотомических заданий.

Инструменты для этой задачи

Педагогика и оценивание

Процент согласия двух экспертов

Подсчитайте совпадения категориальных оценок двух экспертов по одним объектам.

Открыть инструмент →
Педагогика и оценивание

Каппа Коэна для согласованности оценок

Рассчитайте невзвешенную каппу двух экспертов по парным категориальным оценкам.

Открыть инструмент →
Педагогика и оценивание

Надёжность теста KR-20

Оцените внутреннюю согласованность теста из двоичных заданий по ответам участников.

Открыть инструмент →
Педагогика и оценивание

Анализ ошибок по типам задания

Сравните долю ошибок по разделам и выделите задания с наибольшей частотой ошибок.

Открыть инструмент →
Педагогика и оценивание

Распределение заданий теста по темам

Распределите заданное целое количество заданий пропорционально весам тем.

Открыть инструмент →
Педагогика и оценивание

Индекс трудности тестового задания

Рассчитайте долю правильных ответов на отдельное тестовое задание.

Открыть инструмент →
Педагогика и оценивание

Индекс различающей способности тестового задания

Сравните долю правильных ответов верхней и нижней группы по выбранному общему баллу.

Открыть инструмент →
Статистика и анализ данных

Калькулятор альфа Кронбаха

Оцените внутреннюю согласованность набора числовых пунктов анкеты по матрице ответов.

Открыть инструмент →

Другие маршруты