Порядок действий
Подготовьте инструментарий
Определите содержательные темы и веса заданий; составьте спецификацию теста.
Проверьте оценки
Найдите процент согласия и невзвешенную каппу для двух экспертов. Для двоичных заданий оцените внутреннюю согласованность KR-20.
Интерпретируйте результаты
Выделите наиболее проблемные разделы по доле ошибок. Учитывайте содержание заданий, состав группы и условия измерений.
Пример
Три совпадающие оценки из четырёх дают 75% согласия. Каппа может быть ниже, поскольку учитывает ожидаемое случайное совпадение.
Частые вопросы
Можно ли применять KR-20 к шкале Лайкерта?
Нет, используйте подходящую методику для недихотомических заданий.