Лекция 7.Валидность

Психодиагностика
Тема «Валидность тестов»
Мальцев Алексей Владимирович,

доцент кафедры общей и социальной психологии
Ленина, 51 к. 218
E-mail: A.V.Maltsev@urfu.ru
Валидность тестов Мальцев А. В.
Вопросы:
• Типы и виды валидности
• Разновидности теоретической валидности
• Разновидности эмпирической валидности
2
Валидность
• Характеристика качества теста, ориентированная на оценку его
адекватности целям и задачам тестирования
• Это характеристика теста служит целям и задачам тестирования.
• Валидность может быть:
• Теоретическая
• Эмпирическая
4
Типы теоретической валидности

• Содержательная валидность – из тестовой оценки испытуемого
можно получить вывод для большей области знаний, подобных тем,
которые непосредственно используются в тесте. Науки и их
составляющие: Психология – Психодиагностика – Валидность.
• Концептуальная валидность – теоретическое обоснование
возможности измерения исследуемого свойства данным
психодиагностическим средством. Концепции психологии:
бихевиоризм, гештальтпсихология, психоанализ, когнитивная
психология, гуманистическая психология.
• Конструктная валидность – вывод из результатов выполнения теста,
которые могут быть сгруппированы по признаку измерения
определенного психологического или дидактического конструкта.
Психологические конструкты: интеллект, мотивация аттитюд.
Содержательная валидность
• Могут ли задания адекватно представлять проверяемую
содержательную область или конструкт, представляющий
интерес.
• Чем глубже и полнее отображение в тесте содержание, тем выше
его содержательная валидность
Содержательный анализ
1. Определение интересующей нас содержательной области
выполнения теста.
2. Отбор группы экспертов, компетентных в содержательной
области.
3. Обеспечение структурированной основы для процесса
установления соответствия между заданиями и содержательной
областью выполнения теста.
4. Сбор и суммирование итоговых данных по процессу
установления соответствия.
Планирование исследования
содержательной валидности
1. Должны ли быть взвешены цели для отражения их важности?
Необходимость ранжирования важности содержания учебного
материала. Две точки зрения:
• учебный материал равнозначен;
• учебный материал необходимо ранжировать по значимости.
• Примеры целей: дифференцировать или установить

соответствие
2. Должна быть структурирована задача установления соответствия
между заданиями и целями тестирования.
• опытный эксперт читает задание и находит правильный ответ, так
же как это должен был бы сделать испытуемый;
• расположить каждое задание на отдельной карточке, сравнить
каждое задание со списком учебных целей и записать результат
решения по соответствию в стандартной форме
• оценивают степень соответствия каждого задания определенной
цели с помощью шкалы с пятью баллами, где 1 означает плохое
соответствие, а 5 – превосходное.
3. Эксперты должны проверить характеристики заданий.
Соответствие спецификации теста цели тестирования и
соответствие разработанных заданий по спецификации.
Релевантные характеристики заданий:
• предмет,
• познавательный процесс,
• уровень сложности требуемого процесса выполнения задания,
• форма задания (оформление и формат),
• способы представления ответа.
4. Должны быть просуммированы итоговые результаты содержательной
экспертизы.
Итоговыми показателями, могут быть:
1) процент заданий, соответствующих целям;
2) процент заданий, соответствующих целям с высокими оценками
важности;
3) корреляция между весами важности целей и числом заданий
измеряющих эти цели;
4) показатель конгруэнтности (сравнимости) заданий и целей;
5) процент целей, не оцененных ни одним заданием теста.
Проблемы содержательной
валидизации
• Выбранные цели тестирования могут неадекватно представлять
область выполнения деятельности, для которой пользователь
теста хочет получить выводы.
• Задания могут иметь систематическую ошибку вследствие
этнических, расовых или гендерный различий в выборке
испытуемых.
• Соотношение между высокой внутренней согласованностью
(корреляцией заданий), определяющей надежность гомогенного
теста и необходимостью проверки широкой области содержания
знаний проверяемой области.
Конструктная валидность
• Психологические конструкты не являются непосредственно
наблюдаемыми («интеллект», «креативность» «мотивация»
«аттитюд») .
• В образовании появление компетентностей или универсальных
учебных действий (УУД) также можно рассматривать как
конструкт.
• Компетенция (начальная школа): приобретение начальных
навыков общения в устной и письменной форме с носителями
иностранного языка на основе своих речевых возможностей и
потребностей; освоение правил речевого и неречевого
поведения (ФГОС).
Определение конструкта
• Сначала он должен быть определен операционально (или
определен семантически) путем задания процедур,
используемых для измерения конструкта.
• Например «интеллект»: числовые расчеты, слова синонимы и
антонимы, логические задания, сравнение объектов.
• Затем определены конкретные связи между мерами конструкта: с
другими конструктами или с критериями реального мира. Для
интеллекта – школьные оценки, успехи на олимпиадах.
Алгоритм конструктной валидности

1. Формулировки одной или более гипотез о том, как те испытуемые, которые
отличаются по конструкту, должны различаться по демографическим
особенностям, критериям выполнения теста или мерами других конструктов,
чья связь с указанными критериями была уже валидизирована. Эти гипотезы
должны базироваться на явно установленной теории, лежащей в основе
выделения конструкта и обеспечивающей его синтаксическое определение.
2. Выбор (или разработка) измерительного инструментария, который состоит
из заданий, представляющих те характеристики поведения, которые являются
определенными, конкретными проявлениями конструкта.
3. Сбор эмпирических данных, которые позволят проверить гипотетические
связи.
4. Определение согласованности данных с гипотезами в той степени, в
которой наблюдаемые результаты могли быть объяснены с помощью
конкурирующих теорий или альтернативных объяснений (и устранение их,
если возможно).
Процедуры для оценивания конструктной

валидности
1. Корреляции между мерой конструкта и мерой определенного ранее
конструкта. Например тестирование интеллекта и оценка школьной
успеваемости.
2. Метод контрастных групп. Например, противопоставление средних
самооценок мужчин и женщин на шкале восприятия своей
сексуальной роли.
3. Факторный анализ. Наличие «n» измерений одних и тех же
испытуемых, вычисление корреляционной матрицы размера
«n × n» между этими измерениями и затем использование
факторных аналитических методов для определения некоторого
сокращенного числа основных переменных (называемых
факторами).
Эмпирическая (прагматическая) валидность
• Критериальная
• Конкурентная
• Конвергентная
• Дискриминативная
17
Критериально-ориентированная
валидность
• должны получить доказательства того, что есть связь между
критерием выполнения определенной деятельности и тестовыми
оценками (предиктор). Этот тип доказательств получается из
исследования критериально-ориентированной валидности.
• Например по результатам вступительных испытаний (ЕГЭ)
предвидеть успешность обучения в вузе или колледже.
Алгоритм критериально-
ориентированной валидности
1) установить подходящий критерий поведения и выбрать метод
для измерения его;
2) сформировать подходящую выборку испытуемых,
репрезентативно представляющую тех, для кого будет в конечном
счете использоваться тест;
3) предъявить тест и вести учет оценок каждого испытуемого;
4) когда данные по критерию будут доступны, получить меру
выполнения критерия для каждого испытуемого;
5) определить силу связи между выполнением деятельности по
критерию и тестовыми оценками.
Типы критериально-ориентированной
валидности
• Прогностическая - тестовые оценки предсказывают результаты
измерения по критерию в некоторый момент в будущем
проспективная или прошлом ретроспективная
• Текущая – данные по тесту и критерию относятся к одному
временному интервалу.
Проблемы критериально-
• подбор подходящего критерия,
• недостаточный размер выборки,
• контаминация критерия,
• ограничение диапазона и ненадежность предиктора или оценок
критерия.
Проблема критерия
• Непосредственные критерии легко доступны и относительно
просты при измерении (оценка по предмету, экспертная оценка
работы). Но часто недостаточно полны или важны для
использования.
• Окончательные критерии обычно считаются имеющие
существенное значение, но могут быть чрезвычайно трудными в
процессе операционального определения и измерения
(«хирургическая компетентность», «эффективность работы
учителя» и т.п.)
Размер выборки
• Для маленьких выборок, ошибки выборки становятся
относительно большими.
• Если выборка включает от 30 до 50 испытуемых, то критерий
вероятнее всего, будет обладать валидностью соответствия
генеральной совокупности только на 25 до 35%.
• Необходимы выборки, включающие до 200 (лучше 400) или
более испытуемых, чтобы точно отразить уровни валидности
данных генеральной совокупности, по крайней мере, на 90%.
Контаминация критерия
• Люди, которые в состоянии влиять на оценки испытуемых,
используемые для установления критерия, не должны
иметь доступа к оценкам по предиктору для испытуемых.
• Этот эффект получил название контаминации критерия
Ограничение диапазона
• Ограничение диапазона оценок по предиктору или критерию
может привести к занижению наблюдаемого коэффициента
валидности.
• Ситуация, в которой валидизируемый тест используется в целях
отбора до того, как его валидность была установлена:
• проведен отбор, а потом валидизация;
• «потолочный» результат по критерию (все выполнили на 100%).
Надежность предиктора и критерия

Соотношение, связывающее корреляцию между X и Y,
надежность предиктора (X ) и надежность критерия (Y ):
надежность критерия × надежность предиктора=
𝑟𝑋𝑌 = 𝑟кр × 𝑟пр
Измерение критериально-
• Коэффициент корреляции Пирсона между тестовой оценкой и
мерой критерия. Такую статистическую величину называют
коэффициентом валидности.
• Если критерий имеет дихотемическую оценку (получил не
получил диплом), то достоверная разница средней тестовой
оценки предиктора для тех, кто получил диплом, и средней
тестовой оценки предиктора для тех, кто его не получил является
доказательством связи между предиктором и критерием.
Оценка валидности
• Если внешний критерий экспертные оценки, то очень
важно чтобы они были согласованы.
σ𝑁
𝑖=1(𝑋𝑖 ‒𝑋)(𝑋𝑘 ‒𝑋)
• rв =
𝑀 𝑆𝑖2 𝑆𝑘2
• 𝑋𝑖 ‒ 𝑋разность индивидуального балла и среднего

• 𝑋𝑘 ‒ 𝑋 разность индивидуальной экспертной оценки и
средней оценки
• 𝑆𝑖2 дисперсия по тесту
• 𝑆𝑘2 дисперсия экспертной оценки
• 𝑀число экспертов
Конвергентная валидность
Связь показателей по тесту с показателями по
«родственным» методикам, то есть, методикам, измеряющим
концептуально сходные качества. Например, при создании
методики, измеряющей феномен «Жизнестойкости», ее
валидность может быть проверена через корреляцию показателей
с результатами методик «нервно-психической устойчивости»,
«стрессоустойчивости» и ряда других.
29
Дискриминативная валидность
Отсутствие связи с методиками, имеющими другое
основание. То есть, корреляции с тестом, измеряющим
концептуально независимое свойство, не обнаруживаются в
соответствующих эмпирических исследованиях. Например,
согласно модели Г. Айзенка, такие личностные черты как Экстра-
Интроверсия и Нейротизм не связаны между собой и
представлены в конкретной индивидуальности в различных
сочетаниях. В случае, если данные шкалы обнаруживают
корреляции между собой, измеряющие их инструменты считаются
не валидными.
30
Конкурентная валидность
Взаимосвязь показателей по изучаемому тесту с
показателями по аналогичным тестом, валидность которого уже
установлена. В психологической диагностике существуют своего
рода «эталоны» методик, корреляцию с которыми необходимо
рассчитывать при разработке аналогичной методики. Например,
для тестов интеллекта – это методика «Прогрессивные матрицы
Равена».
Целесообразность рассмотрения данного вида валидности в
качестве отдельного продиктована тем, что методики, измеряющие
один и тот же феномен должны быть ориентированы на
измерение разных его аспектов.
31
Литература
• Крокер Л. Введение в классическую и современную теорию тестов:
учебник / Л. Крокер, Дж. Алгина; под общей ред. В.И. Звонникова и М.Б.
Челышковой. – М.: Логос, 2010. – 668 с. Раздел III. Валидность. Глава 10.
Введение в валидность. (Содержательная валидность, Критериально-
ориентированная валидизация, Конструктная валидность, Пересечение
подходов к валидизации. Коэффициенты валидности для истинных оценок)
стр. 299-328. Упражнения № 5,6. стр. 332-333.
• Анастази, А. Психологическое тестирование / А. Анастази. - М. : Директ-

Медиа, 2008. - 859 с. Раздел Валидность: основные понятия. Раздел
Измерение и интерпретация. стр. 133-195. (Валидность по содержанию,
Очевидная валидность, Текущая и прогнозируюшая валидность,
Валидность по критерию, Конструктная валидность, Коэффициент
валидности и ошибка прогноза, Валидность теста и теория решений ,
Модераторы, Объединение данных различных тестов, Применение теста
при принятии классификационных решений.
32
Задание для самостоятельней работы

• Л. Крокер, Дж. Алгина Введение в классическую и современную
теорию тестов: учебник / Раздел III. Валидность. Глава 10.
Введение в валидность. стр. 299-328. Упражнения № 5,6. стр. 332-
333.
33
Пройти экспресс опрос
• https://forms.office.com/Pages/ResponsePage.aspx?id=-
Gw88sxc80iHg_dcfJ1l3yerZNLQvCFIskqeTEiMwpNUNUhKRzg
wSlM0NlpXQTFLQzZaSzZDSDBZMS4u
34

Лекция 7.Валидность

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Лекция 7.Валидность

Загружено:

Авторское право:

Доступные форматы

Психодиагностика

Тема «Валидность тестов»

Мальцев Алексей Владимирович,

Типы теоретической валидности

• Примеры целей: дифференцировать или установить

Алгоритм конструктной валидности

Процедуры для оценивания конструктной

Эмпирическая (прагматическая) валидность

Надежность предиктора и критерия

• 𝑋𝑖 ‒ 𝑋разность индивидуального балла и среднего

• Анастази, А. Психологическое тестирование / А. Анастази. - М. : Директ-

Задание для самостоятельней работы

Пройти экспресс опрос

Вам также может понравиться