Вы находитесь на странице: 1из 44

Лекция вторая

Теория ошибок, или


мичиганская методологическая школа

Часть 1: Ошибки измерения

Д.М. Рогозин

08.11.2013 Шанинка 1
Моему Учителю Г.С. Батыгину посвящается
Курс лекций по методологии социологического исследования, читаемый на
факультете социальных наук Московской высшей школы социальных и
экономических наук (Шанинки) в октябре 2013 – апреле 2014.

Лекция вторая:
Теория ошибок, или мичиганская методологическая
школа. Часть 1: Ошибки измерения
(25 октября, 8 ноября 2013)

08.11.2013 Шанинка 2
Основная литература

1. Батыгин, Г.С. Лекции по методологии социологических исследований: Учебник для студентов


гуманитарных вузов и аспирантов. 2-е изд. М.: РУДН, 2008. С. 72-78. [Триада Стефана Новака:
коммуникативно-эпистемический переход]
2. Кимбл, Г. Как правильно пользоваться статистикой / Пер. с англ. Б.И. Клименко, Н.К.
Дружинина. М.: Изд-во «Финансы и статистика», 1983. С. 13-34. [глава 1: Природа статистики;
msses lib. КИМ 001.4]
3. Рогозин, Д.М. Когнитивный анализ опросного инструмента. М.: Ин-т Фонда «Общественное
мнение», 2002. [msses lib 300.723 РОГ]
4. Садмен, С., Брэдберн, Н., Шварц, Н. Как люди отвечают на вопросы: применение когнитивного
анализа в массовых обследованиях / Пер. с англ. Д.М. Рогозина, М.В. Рассохиной; Под ред. Г.С.
Батыгина. М.: Ин-т Фонда «Общественное мнение», 2003. [msses lib 300.723 САД]
5. Groves, R.M., Fowler, F.J. Jr., Couper, M.P., Lepkowski, J.M., Singer, E., Tourangeau, R. Survey
methodology. 2nd ed. New York: John Wiley & Sons, 2009.

08.11.2013 Шанинка 3
Четыре области бытования совокупной
ошибки исследования по Ларсу Лайбергу
Lyberg, L. Survey quality // Survey Methodology. 2012. Vol. 38. No. 2. P. 107-130.

Дизайн Реализация
исследования исследования

Анализ данных Контроль и оценка


результатов

08.11.2013 Шанинка 4
Самый влиятельный из ныне живущих
методологов, начал профессиональную карьеру с
1968 года в должности надзирателя государственной
тюрьмы штата Вермонт, как методолог был
поддержан Филиппом Конверсом и уже в 1971 году
стал его заместителем в Институте социальных
исследований Мичиганского университета

(2012 – наст. вр. ) Ректор Джорджтаунского


университета в Вашингтоне, округ Колумбия.
(2002 – наст. вр.) профессор Мичиганского
университета.
(2009 – 2012) Директор Бюро переписи
населения США
(2001-2009) Директор Мичиганского центра
изучения обследований (Survey Research
Center), Института социальных исследований
Роберт Гроувз

08.11.2013 Шанинка 5
Типология систематических ошибок
Groves, R.M., Fowler, F.J. Jr., Couper, M.P., Lepkowski, J.M., Singer, E., Tourangeau, R.
Survey methodology. 2nd ed. New York: John Wiley & Sons, 2009.

Различия между оценками, даваемыми


Систематические ошибки респондентами и используемыми в
опросного инструмента анализе данных ОШИБКИ РЕГИСТРАЦИИ

Различия между идеальным


Различия между параметрами
измерением и наблюдаемыми
целевой группы и основы выборки
замерами ОШИБКИ ИЗМЕРЕНИЯ
ОШИБКИ ПОКРЫТИЯ
Различия между концептуальным и
Различия между параметрами основы
операциональным определением
выборки и оценками спроектированной
ОШИБКИ ОПЕРАЦИОНАЛИЗАЦИИ выборки ОШИБКИ ВЫБОРКИ

Различия между оценками Систематические


ошибки выборки
спроектированной и реализованной
выборки ОШИБКИ НЕОТВЕТОВ

08.11.2013 Шанинка 6
Базовая топика теории ошибок

АНАЛИЗ ДАННЫХ
vs. Статистическое оценивание

Эффекты
Сопутствующие
Смещения ОШИБКИ ИЗМЕРЕНИЯ
данные ПАРАДАННЫЕ
Погрешности
Метаданные

??? ???
Неответы
МЕТОДОЛОГИЯ ???
СИСТЕМАТИЧЕСКИЕ
МОНИТОРИНГОВЫХ
ОШИБКИ ВЫБОРКИ
ОБСЛЕДОВАНИЙ

08.11.2013 Шанинка 7
Ошибки измерения
Методическая работа по выявлению и корректировке ошибок
измерения строится на долгосрочном горизонте. Исправление
ошибок в рамках частных проектов зачастую бессмысленно,
поскольку грозит срывом всей программы исследования.
08.11.2013 Шанинка 8
Прецедентный аргумент о наличии ошибки измерения
Rugg, H. That men may understand. New York: Doubleday, Doran and Co.,1941; цит. по: Schuman, H., Presser, S.
Questions and answers in attitudes surveys: Experiments on question form, wording, and context. Revised ed.
London: Sage, 1996. P. 3. [First ed. 1981]

• Как вы думаете, Соединенные штаты


должны позволить публичные выступления
НЕТ

против демократия? (Do you think the United States


should allow public speeches against democracy?)
ответивших
на 20%
>

• Как вы думаете, Соединенные штаты


ДА

должны запретить публичные выступления


против демократии? (Do you think the United States
should forbid public speeches against democracy?)

08.11.2013 Шанинка 9
Приведите другие примеры методических затруднений,
стимулировавших исследователей на научный поиск.

08.11.2013 Шанинка 10
Публикации о погрешностях измерения
Title=(measurement error) AND Topic=(survey)
Timespan=All years. Databases=SCI-EXPANDED, SSCI, A&HCI, CPCI-S, CPCI-SSH, BKCI-S, BKCI-SSH.
Date of access: 19/10/2013 Web of Science

Results found: 211

Sum of the Times Cited : 2508


Sum of Times Cited without self-citations : 2433

Citing Articles : 2363


Citing Articles without self-citations : 2318

Average Citations per Item : 11.89

h-index : 24

08.11.2013 Шанинка 11
Наиболее цитируемые публикации об ошибках измерения
релевантные теме «методология социальных обследований»

1. Duncan, G.J., Hill, D.H. An investigation of the extent and consequences of measurement error in labor-
economic survey data // Journal of Labor Economics. 1985. Vol. 3. No. 4. P. 508-532. [Time cited: 101;
from Web of Science; Date of access: 19.10.2013]
2. Hansen, M.H., Hurwitz, W.N., Bershad, M.A. Measurement errors in censuses and surveys // Bulletin of
the International Statistical Institute. 1961. Vol. 38. No. 2. P. 359-374. [Time cited: 77; from Web of
Science; Date of access: 19.10.2013]
3. Schober, M.F., Conrad, F.G. Does conversational interviewing reduce survey measurement error? // Public
Opinion Quarterly. 1997. Vol. 61. No. 4. P. 576-602. [Time cited: 75; from Web of Science; Date of access:
19.10.2013]
4. Green, D.P., Citrin, J. Measurement error and the structure of attitudes: A positive and negative judgments
opposites // American Journal of Political Science. 1994. Vol. 38. No. 1. P. 256-281. [Time cited: 39; from
Web of Science; Date of access: 19.10.2013]
5. Bollinger, C.R. Measurement error in the current population survey: A nonparametric look // Journal of
Labor Economics. 1998. Vol. 16. No. 3. P. 576-594. [Time cited: 35; from Web of Science; Date of access:
19.10.2013]
6. Olson, K. Survey participation, nonresponse bias, measurement error bias, and total bias // Public Opinion
Quarterly. 2006. Vol. 70. No. 5. P. 737-758. [Time cited: 34; from Web of Science; Date of access:
19.10.2013]
08.11.2013 Шанинка 12
Ошибка (погрешность) измерения – концепт заимствованный из мира
физических мер. По мере понимания коммуникативной природы социальных
измерений, он замещается более частными теоретическими компонентами:
ошибкой анкеты, интервьюера и ответа. Последняя выступает ядерным
понятием для всего процесса выявления ошибок опросного инструмента.

08.11.2013 Шанинка 13
Типология ошибок измерения
Measurement errors in surveys / Ed. By P.P. Biemer, R.M. Groves, L.E.
Lyberg, N.A. Mathiowetz, S. Sudman. New York: John Wiley and Sons, 2004.

???
Эффект интервьюера, анкеты или
респондента зачастую рассматривается
не как тип ошибок, а как своеобразная
методическая оптика. Поэтому
РЕСПОНДЕНТ
оправданней вести разговор не о
Неинформированность
типологии, а о единицах анализа. (ответы о себе и о других)
Неграмотность
Незаинтересованность
Невнимательность Забывчивость

08.11.2013 Шанинка 14
Структура интервью – это, по сути, ситуация общения, в которой один человек
(интервьюер) играет роль задающего вопросы, другой (респондент) –
отвечающего на них, в то время как третий (исследователь) ставит задачи.
Цель исследователя – ответить на обобщенные практические или научные
вопросы. Таким образом, интервью в определенном смысле похоже на ту или
иную форму разговора и в то же время отличается от каждой из них.
Садмен, С., Брэдберн, Н., Шварц, Н. Как люди отвечают на вопросы:
применение когнитивного анализа в массовых обследованиях / Пер. с
англ. Д.М. Рогозина, М.В. Рассохиной; Под ред. Г.С. Батыгина. М.: Ин-т
Фонда «Общественное мнение», 2003. С. 21-22.

08.11.2013 Шанинка 15
Ошибки анкеты

08.11.2013 Шанинка 16
Требования к анкете (нормативная позиция)
Рабочая книга социолога / Под ред. Г. Осипова, Д. Гвишиани, М. Руткевича. М.: Наука, 1983.

1. ОДНОЗНАЧНОСТЬ: Нельзя употреблять трудные и неясные


формулировки.
2. НЕЙТРАЛЬНОСТЬ: Следует избегать эмоционально окрашенных
слов. Употребление их предопределяет ответ, в некоторых
случаях отличный от достоверного. Поэтому при формулировке
вопросов необходимо обращать внимание на следующее: не несет ли
вопрос в себе чрезмерную эмоциональную нагрузку? не оперирует ли
он стереотипами? не включает ли он имен, пользующихся престижем?
не использует ли похвальных отзывов, направляющих ответ в ту или
иную сторону?
3. ОБЪЕКТИВНОСТЬ: В вопросе не должны проявляться мнения,
ценности и установки исследователя.

08.11.2013 Шанинка 17
Процедуры проверки выполнения логических
требований к анкете (нормативная позиция)
Рабочая книга социолога / Под ред. Г. Осипова, Д. Гвишиани, М. Руткевича. М.: Наука, 1983.

1. Спрашивает ли исследователь именно о том, что мне необходимо? Не


произошло ли при конструировании вопроса замены показателей.
2. Достаточно ли однозначно определена в формулировке вопроса информация,
которая ожидается от респондента, т. е. нет ли терминов или выражении,
допускающих различное понимание их смысла различными группами
респондентов.
3. Нет ли в формулировке вопроса задач, не обеспеченных техникой заполнения
(шкалами, перечнем вариантов ответов, таблицами для регистрации ответов,
указаниями о числе возможных вариантов ответов).
4. Нет ли в формулировках шкал смещений к положительному или отрицательному
ответу.
5. Нет ли в формулировках альтернативных вопросов совмещения не
исключающих друг друга оснований.
6. Нет ли внушающих формулировок вопросов.
08.11.2013 Шанинка 18
Нормативная позиция к опросному инструменту – центральный
бастион позитивистского мировоззрения, в котором исследователь
находясь в поиске объективных мер, оградил себя от любых внешних
угроз посредством их полного игнорирования.

08.11.2013 Шанинка 19
Поиск ошибок анкеты – прямое продолжение
метафоры измерения. Анкета –диагностический
инструмент для снятия показаний, который следует
калибровать и уточнять в конкретных условиях опроса.

«Считается, что совокупность объектов измерена,


если каждому объекту поставлено в соответствие
число и задана единица измерения».
Татарова, Г.Г. Методология анализа данных в
социологии. 2-е изд., испав. М.: NOTA BENE, 1999. С. 46.

ИДЕЯ ШКАЛИРОВАНИЯ

08.11.2013 Шанинка 20
Четыре стадии поиска эталона измерения по В.А. Ядову
Ядов, В.А. Социологическое исследование: методология, программа, методы.
2-е изд., перераб. и дополн. М.: Наука, 1987. С. 73-75.

1. Качественная идентификация объектов.


2. Поиск протяженности выделенных в качественном анализе свойств.
3. Установление эмпирических индикаторов или внешних признаков тех
свойств объекта, которые поддаются расположению в континуум.
4. Уяснение полноты индикатора, или ответ на вопрос, все ли единицы,
составляющие измеряемый объект, укладываются в ранжируемый ряд,
все ли обладают свойством занимать определенное место в континууме
отношений по принятым индикаторам.

08.11.2013 Шанинка 21
Ошибки интервьюера

08.11.2013 Шанинка 22
Литература (ошибки интервьюера)
1. Вьюговская, Е., Ипатова, А., Рогозин, Д. Схемы выдвижения в стандартизированном
интервью // Телескоп: Журнал социологических и маркетинговых исследований. 2012. №
4. C. 40-45.
2. Маслова, О.М. Мир интервьюера: по данным формализованного и свободного интервью
// Социология: Социология: методология, методы, математическое моделирование. 2000.
№ 12. С. 40-64.
3. Мягков, А.Ю., Журавлева, И.В. Объяснительные модели эффекта интервьюера: опыт
экспериментального тестирования // Социологические исследования. 2006. № 3.
4. Мягков, А.Ю., Журавлева, И.В. Эффект интервьюера: опыт количественной оценки в
персональном интервью // Социология: методология, методы, математическое
моделирование. 2005. № 21. С. 78-107.
5. Мягков, А.Ю., Журавлева, И.В. Эффект ожиданий интервьюера в персональном интервью
// Социологический журнал. 2004. № 3/4. С. 6-26.
6. Рогозин, Д.М., Ипатова, А.А. Как быстро, эффективно и безопасно сфабриковать
телефонный опрос // Социологический журнал. 2012. № 2. С. 80-97.

08.11.2013 Шанинка 23
Публикации об эффекте интервьюера
Title=(interviewer effect)
Timespan=All years. Databases=SCI-EXPANDED, SSCI, A&HCI, CPCI-S, CPCI-SSH, BKCI-S, BKCI-SSH.
Date of access: 28/10/2013 Web of Science

Results found: 209

Sum of the Times Cited : 3067


Sum of Times Cited without self-citations : 2715

Citing Articles : 2191


Citing Articles without self-citations : 2105
Average Citations per Item : 14.67
h-index : 31

08.11.2013 Шанинка 24
Литература (ошибки интервьюера)
1. Blankenship, A.B. The effect of the interviewer upon the response in a public opinion poll // Journal of
consulting psychology. 1940. Vol. 4. No. 4. P. 134-136. [Первая работа по эффекту интервьюера]
2. Davis, R.E., Couper, M.P., Janz, N.K., et al. Interviewer effects in public health surveys // Health Education
Research. 2010. Vol. 25. No. 1. P. 14-26.
3. Groves, R.M., Magilavy, L.J. Measuring and explaining interviewer effects in centralized telephone surveys //
Public Opinion Quarterly. 1986. Vol. 50. No. 2. P. 251-266.
4. Memon, A., Holley, A., Milne, R., et al. Towards understanding the effects of interviewer training in
evaluating the cognitive interview // Applied Cognitive Psychology. 1994. Vol. 8. No. 7. P. 641-659.
5. Liu, M., Stainback, K. Interviewer gender effects on survey responses to mattiage-related questions // Public
Opinion Quarterly. 2013. Vol. 77. No. 2. P. 606-618.
6. Singer, E., Frankel, M.R., Glassman, M.B. The effect of interviewer characteristics and expectations on
response // Public Opinion Quarterly. 1983. Vol. 47. No. 1. P. 68-83.
7. Stember, H., Hyman, H. Interviewer effects in the classification of responses // Public Opinion Quarterly.
1949. Vol. 13. No. 4. P. 669-682.
8. Tucker, C. Interviewer effects in telephone surveys // Public Opinion Quarterly. 1983. Vol. 47. No. 1. P. 84-95.

08.11.2013 Шанинка 25
Ошибки ответов
(респондента?)

08.11.2013 Шанинка 26
Литература (ошибки ответов)
1. Рогозин Д.М. Когнитивный анализ опросного инструмента // Социологический журнал. 2000. №3/4. С. 18-68.
[msses lib 300.723 РОГ]
2. Садмен, С., Брэдберн, Н., Шварц, Н. Как люди отвечают на вопросы: применение когнитивного анализа в массовых
обследованиях / Пер. с англ. Д.М. Рогозина, М.В. Рассохиной; Под ред. Г.С. Батыгина. М.: Ин-т Фонда
«Общественное мнение», 2003. С. 90-110; С. 139-170. [Глава 4: Психологические причины контекстуальных
эффектов; Глава 6: Эффекты пордка: предъявление вариантов ответа. Msses lib 300.723 САД]
3. Answering questions: Methodology for determining cognitive and communicative processes in survey research / Ed. By N.
Schwarz, S. Sudman. San Francisco: Jossey-Bass Publishers, 1996. [msses lib 300.723 ANS]
4. Lepkowski, J.M., Sadovsky, S.A., Weiss, P.S. Mode, behavior, and data recording error // Computer assisted survey
information collection / Ed. By M.P. Couper, R.P. Baker, J. Bethlehem, C.Z. Clark, J. Martin, W.L. Nicholls II, J.M. O’Reilly.
Hoboken, NJ: John Wiley & Sons, 1998. P. 367-388. [msses lib. 001.433 COU]
5. Methods for testing and evaluating survey questionnaires / Ed. By S. Presser, J.M. Rothgeb, M.P. Couper, J.T. Lessler, E.
Martin, J. Martin, E. Singer. Hoboken, NJ: Wiley, 2004. [msses lib 300.723 MET]
6. Sudman, S., Bradburn, N.M., Schwarz, N. Thinking about answers: The application of cognitive processes to survey
methodology. San Francisco: Jossey-Bass Publishers, 1996. [msses lib 300.723 SUD]
7. Tourangeau, R., Rips, L.J., Rasinski, K. The psychology of survey response. Cambridge: Cambridge University Press, 2000.
[msses lib 300.723 TOU]
8. Willis, G.B. Cognitive interviewing: A tool for improving questionnaire design. London: Sage, 2005. [msses lib 300.723 WIL]

08.11.2013 Шанинка 27
Пионеры когнитивного подхода в массовых опросах
Cognitive aspects of survey methodology movement (CASM)

Мичиганский университет
[Cannell et al, 1977; Cannell,
Miller, Oksenberg, 1981]

Бюро переписи
населения США
[Martin, 1983]

Университет
штата Иллинойс
Англия
[Lansing, Ginsburg,
[Oppenheim, 1966]
Braaten, 1961]

08.11.2013 Шанинка 28
https://www.ideals.illinois.edu/
Электронный депозитарий для результатов всех
типов и форм исследований (опубликованных и
неопубликованных отчетов и статей, баз
данных, видео и аудио файлов) проводимых
Университетом штата Иллинойс.

08.11.2013 Шанинка 29
http://scholar.google.ru/

08.11.2013 Шанинка 30
Первые независимые публикации о
когнитивном анализе опросного инструмента
Willis, G.B. Cognitive interviewing: A tool for improving questionnaire design. London: Sage, 2005. P. 35.

Cognitive aspects of survey methodology movement (CASM)

(1961) Lansing, J.B., Ginsburg, G.P., Braaten, K. An investigation of response error / Bureau of
Economic and Business Research. Urbana: University of Illinois, 1961.
(1966) Oppenheim, A.N. Questionnaire design and attitude measurement. New York: Basic Books,
1966.
(1977) Cannell, C.F., Marquis, K.H., Laurent, A. A summary of studies of interviewing methodology
// Vital and Health Statistics. Series 2. No. 69. (DHEW Publication No. HRA 77-1343). Washington,
DC: U.S. Government Printing Office, 1977.
(1981) Cannell, C.F., Miller, P.V., Oksenberg, L. Research on interviewing techniques // Sociological
methodology / Ed. by S. Leinhardt. San Francisco: Jossey-Bass, 1981. P. 389-437.
(1983) Martin, E. Survey as social indicators: Problems in monitoring trends // Handbook of survey
research / Ed. P.H. Rossi, J.D. Wright, A.B. Anderson. New York: Academic Press, 1983. P. 677-743.

08.11.2013 Шанинка 31
Когнитивный подход к социальным обследованиям
Cognitive aspects of survey methodology movement (CASM)

Норберт Шварц Сеймур Садмен Норман Брэдберн Роджер Туранжо

08.11.2013 Шанинка 32
Статистическое оценивание Когнитивный анализ
КАКИЕ ПОСЛЕДСТВИЯ СМЕЩЕНИЙ? КАКОВЫ ПРИЧИНЫ СМЕЩЕНИЙ?

Ошибки в обследованиях возникают в результате проблем, лежащих в


основе когнитивных процессов, в ходе которых респондент приходит к ответу
на анкетные вопросы.

Tourangeau, R. Cognitive aspects of survey measurement and


mismeasurement // International Journal of Public Opinion
Research. 2003. Vol. 15. No. 1. P. 5.

08.11.2013 Шанинка 33
Известно, что процесс коммуникации заключается не только и не столько в
передаче сообщения, сколько в его преобразовании. То, о чём исследователь
намеревается узнать у обследуемого, не всегда совпадает с тем, что он
спрашивает и, тем более, что он знает. С другой стороны, респондент не
всегда понимает вопрос именно так, как рассчитывает исследователь, и
фактически отвечает на иной вопрос, хотя и очень похожий на первый.
Батыгин, Г.С. Лекции по методологии социологических исследований:
Учебник для студентов гуманитарных вузов и аспирантов. 2-е изд. М.:
РУДН, 2008. С. 72.

08.11.2013 Шанинка 34
Процессуальная модель ответа
Tourangeau, R. Cognitive science and survey methods: A cognitive perspective // Cognitive aspects of survey design:
Building a bridge between disciplines / Ed. By T. Jabine, M. Straf, J. Tanur, R. Tourangeau. Washington, DC: National
Academy Press, 1984. P. 73-100.

ПОНИМАНИЕ ПОИСК СУЖДЕНИЕ ФОРМУЛИРОВАНИЕ

Смысл вопроса Память Мотивация Картрирование ответа


Что респондент думает о Какую информацию должен Каковы стимулы у Соотносит ли
причинах возникновения респондент вспомнить, респондента, чтобы респондент свой ответ
вопроса? Зачем спрашивают? чтобы ответить на вопрос? давать аккуратные и с предлагаемой
Стратегии воспоминания точные ответы? формулировкой и
Значения слов закрытиями вопроса.
Что значат для респондента Как респондент ищет в Сенситивность и
конкретные слова в памяти информацию? социальное
формулировке вопроса? Например, подсчитывает одобрение
или оценивает прошлые Хочет ли респондент
события? говорить правду?
Хочет ли респондент
понравиться?

08.11.2013 Шанинка 35
Когнитивная экспертиза вопросника
Садмен, С., Брэдберн, Н., Шварц, Н. Как люди отвечают на вопросы: применение когнитивного анализа в
массовых обследованиях / Пер. с англ. Д.М. Рогозина, М.В. Рассохиной; Под ред. Г.С. Батыгина. М.: Ин-т Фонда
«Общественное мнение», 2003. С. 40-41.

Понимание Поиск Суждение Формулирование

Инструкции Время Память Оценка Ответы


Противоречивые и Не установлены Избыток подробной Неточность оценки; Неявные понятия;
неаккуратные временные границы; информации; Сенситивность Профессиональный
инструкции; Ошибочно определен Недостаток поведения; жаргон;
Неявные инструкции; период; информации; Сенситивность Неопределенные
Сложный синтаксис; Не определен период; Смещение установки; понятия;
Неясные примеры; Встроенный период; референтного периода. Социально одобряемое Неясность ответа;
Неясная разметка. Выход за референтный поведение и установка. Проблема ограничения
период. ответа;
Вопросы
Смешение понятий;
Скрытые вопросы;
Недоминантный
Несколько вопросов;
порядок изложения.
Несколько понятий;
Неясная цель; СОЗНАНИЕ
Несовпадение
закрытий; РЕСПОНДЕНТА
Нарушение аргумента.

08.11.2013 Шанинка 36
Методы когнитивного анализа

Экспертные оценки
Семантическое кодирование
Кодирование интеракций между Экспертное кодирование вербального протокола
интервьюером и респондентом вербального протокола

Вербальные протоколы (мысли


Поведенческое кодирование вслух, проговаривание),
Фиксация задержки ответа текущие и ретроспективные
Метод временнЫх Когнитивное интервью
характеристик Сортировка

Прожективные методики

08.11.2013 Шанинка 37
Различия в потенциальных ошибках измерения между
опросом по мобильным и стационарным телефонам
Lynn, P., Kaminska, O. The impact of mobile phones on survey measurement error // Public Opinion Quarterly.
2013. Vol. 77. No.2. P. 589.

Когнитивные Восприятие и Артикуляция


Поиск в памяти Оценка
процессы ответа понимание ответа

Необходимые условия для


Хорошая Достаточное Достаточные Готовность дать
оптимального завершения
слышимость внимание усилия ответ
каждой задачи

Различия между мобильной Качество Отвлечение Много- Присутствие


и стационарной связью связи внимания задачность других

Общие факторы
(атрибуты респондентов) Здоровый Когнитивные Поведение /
Мотивация
слух способности установки

08.11.2013 Шанинка 38
Транзитивная схема опроса
Рогозин, Д.М. Когнитивный анализ опросного инструмента.
М.: Ин-т Фонда «Общественное мнение», 2002. С. 32.

Операциональный переход Коммуникативный переход


Трансформация исследовательских Процесс коммуникации,
концептов в систему референтов. определяемый когнитивными картами
Адекватность целей исследования интервьюера и респондента;
сконструированным переменным. распознавание и смещение значений.

Программный Анкетный Прозвучавший Услышанный Ответ на


вопрос вопрос вопрос вопрос вопрос

Интерпретативный переход Когнитивный переход


Семантическая компетентность Когнитивные процессы у респондента:
интервьюера, влияние респондента и понимание, поиск информации,
методического аппарата исследования. суждение, формулирование ответа.

08.11.2013 Шанинка 39
Транзитивная схема ответа
Рогозин, Д.М. Когнитивный анализ опросного инструмента.
М.: Ин-т Фонда «Общественное мнение», 2002. С. 115.

Перцептивный переход Классификационный переход


Восприятие ответа респондента. Систематизация ответов, построение
Распознавание смысловых полей структуры совокупного ответа.
ответа, оценка адекватности ответа Разработка системы кодов и
поставленному вопросу. кодирование.

Ответ на Услышанный Записанный Табличный Программный


вопрос ответ ответ ответ ответ

Конспективный переход Аналитический переход


Трансформация речи в текст, структурно Анализ данных. Описание социальной
обусловленный семантикой вопроса. реальности сквозь призму системы
Полевое кодирование ответа. построенных переменных.

08.11.2013 Шанинка 40
Критика экспансии «когнитивности»
Вахштайн, В.С. Рецензия на книгу Д.М. Рогозина «Когнитивный анализ опросного инструмента» //
Мониторинг общественного мнения: экономические и социальные перемены. 2005. № 4. С. 118-131.

«Процессуальная» Можно сколь угодно долго гадать


трактовка ответа респондента о причинах некогнитивности
выражает исследовательскую интуицию, "Когнитивного анализа". (Например,
прямо противоположную интуиции заподозрить автора в откровенной
подавляющего большинства провокации или приписать ему некритичное
социологических опросов; в них ответ отношение к работам зарубежных
респондента — это не процесс, а исследователей, использующих
дискретный результат, единичный и словосочетание "когнитивный
завершенный акт, некоторое конечное анализ".) Но, так или иначе, книга
значение, реифицированное и Рогозина наглядно демонстрирует
занесенное в базу. Социологу, руководящему недостаточность описания языковой
исследованием, крайне игры "социологический опрос" в терминах
затруднительно представить ответы когнитивистики. Что бы ни
респондентов "как процессы" и гораздо происходило между респондентом и
легче — как точки на координатной интервьюером в процессе интервью,
плоскости. Тот факт, что за это происходит между ними, а не
каждой "точкой" стоит взаимодействие только в головах каждого из них (c. 128).
в определенной коммуникативной
ситуации, обычно игнорируется (c. 119).
08.11.2013 Шанинка 41
Диалог между интервьюером и респондентом – это всегда сокрытая форма
мультилога, в который вовлечены десятки, а то и сотни персонажей.

Мотивация Соседи Литература


Литература СМИ
Авторитеты Супервайзер СМИ Текущие заботы
Исследователь
Семья Авторитеты

Опросный инструмент = интервьюер + анкета + респондент


Программа исследования
Другие анкеты Ожидания
Проблемы Гипотезы Распределения
Представления об языковой норме

08.11.2013 Шанинка 42
Возможные варианты первого эссе
1. Можно многое понять в методологии изучая профессиональные биографии исследователей,
присматриваясь к их карьерной траектории, волновавшим вопросам и проблемам; разбирая
методические находки и вклад в методологию, воспризнанный научным сообществом. Важным
становится связь исследовательских задач и решений с биографией и социальным контекстом, в
котором работал ученый. Темы могут быть самые разнообразные, от тривиальной
«ПРОФЕССИОНАЛЬНАЯ БИОГРАФИЯ СТЕНЛИ ПРЕССЕРА», до изысканной «КЛЮЧЕВЫЕ НАХОДКИ
РОБЕРТА ГРОУВЗА НА ПРОФЕССИОНАЛЬНОМ ПУТИ ОТ ТЮРЕМНОГО НАДЗИРАТЕЛЯ ДО ДИРЕКТОРА
БЮРО ПЕРЕПИСИ НАСЕЛЕНИЯ США».
2. Возможна тематическая актуализация на важнейших направлениях развития методологии,
например: «КОНЦЕПТУАЛИЗАЦИЯ ЭФФЕКТА ИНТЕРВЬЮЕРА В 1940-1960-х гг.»,
«ЭПИСТЕМОЛОГИЧЕСКИЕ ОСНОВАНИЯ КОГНИТИВНОГО ИНТЕРВЬЮ» или «ОСОБЕННОСТИ
ВОСПРИЯТИЯ ВОПРОСОВ, ТРЕБУЮЩИХ ПОДСЧЁТ ИЛИ ОЦЕНКУ ВОСПОМИНАНИЙ».
3. Наиболее продуктивный вариант с точки зрения дальнейшего применения собранного материала –
это анализ крупных мониторинговых проектов, реализуемых по той или иной тематике, с точки
зрения теории ошибок, например: «МЕЖДУНАРОДНЫЕ МОНИТОРИНГИ НЕПРЕРЫВНОГО
ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ: ПЕРЕЧЕНЬ МЕТОДИЧЕСКИХ ЗАТРУДНЕНИЙ И РЕШЕНИЙ ПО
КОНСТРУИРОВАНИЮ ОПРОСНОГО ИНСТРУМЕНТА», или «ПРОГНОСТИЧЕСКАЯ ЦЕННОСТЬ
МОНИТОРИНГОВ МОБИЛЬНОСТИ, ПОТРЕБНОСТЕЙ И РЕАЛИЗАЦИИ ПЕРЕМЕЩЕНИЙ У НАСЕЛЕНИЯ
ЗАПАДНОЙ ЕВРОПЫ, США, КАНАДЫ И АВСТРАЛИИ». Главное – адекватно оценить круг
собственных интересов и не взяться за область, к которой больше никогда не придется заниматься.

08.11.2013 Шанинка 43
Victor Korb Ivan Nizgoraev
Maria Turovets Evgeni Varshaver ЧИСТОТА - ЗАЛОГ КРИВДЫ
А результаты
Подскажите, имеет ли Делаем сейчас анкету для киргизов в Москве. Столкнулись в очередной раз со Давным давно, кажется уже лет двадцать назад,
"электорального провала" не
основания мнение, что следующей дилеммой. Хотим замерить в данном случае уровень транснационализма и где-то мне попалось высказывание Джона
будем обсуждать? SuperJob
стратегию grounded theory посмотреть, с чем он связан. Транснационализм -- это когда как бы живут на две страны. Кросника о пропущенных данных и неответах.
уже сообщил о том, что
можно применять только На уровне перемещений, коммуникаций и символов. Есть несколько вопросов, которые Он убеждал коллег, что массив с минимальным
победил в необъявленном
если исследованием его замеряют. Про телефонные и интернет- разговоры с Кыргызстаном, про посылки количеством пропусков и противоречий в
конкурсе прогнозов, дав
занимается коллектив оттуда, про перевод денег и проч. Дилемма такая: можно спрашивать про регулярность, ответах указывает не на качество проведенной
результат, много лучший, в
более 10 человек? можно спрашивать про количество раз за некоторый последний период, можно работы, а на фабрикации и подтасовки, или
сравнении с ФОМ, ВЦИОМ и
спрашивать про последний раз и исходя из этого смотреть, в общем, транснационализм скрытое от аналитиков редактирование данных.
прочими Левадами... А о
Volodymyr Paniotto
по выборке. Все имеет плюсы-минусы. Как лучше, вы считаете? Поскольку в большом мониторинге невозможно
"социологах Навального" и
Коллеги, меня В качестве примера, два вопроса в режиме "регулярности" поставить вопросы, релевантные для всех без
говорить нечего. Или все-
интересует, какие Как часто Вы получаете посылки из дома? - Никогда не получал(а); исключения респондентов, поскольку
таки есть что?
категории населения Получал(а) один-два раза за все время; Получаю регулярно. респонденты - не роботы и не обязаны отвечать
Иван Климов голосуют за Путина - Как часто Вы разговариваете по телефону с людьми, которые находятся в Кыргызстане? логично, поскольку коммуникация - это череда
Делаю работу - сравниваю прежде всего, по - каждый день; 1-2 раза в неделю; сбоев и речевых недоразумений, а
и анализирую вопросники. возрасту, образованию 1 раз в месяц и реже; вообще не разговариваю соответственно, методология - это теория этих
Одновременно слушаю и уровню сбоев, все попытки горе-исследователей
записи телефонных
интервью, коллекционирую
перифразы, разговоры,
обеспеченности. Не
можете ли поделиться
ссылкой на сайт или
Мануфактура «СОЦПОХ» понравиться заказчику и предоставить
"идеальные данные" - это не более чем
тотальная кривда социального знания.
убеждения и отступления
от сценария задавания
публикацию?
https://www.facebook.com/groups/socpokh/ Сейчас у меня два больших массива от двух
крупнейших опросных российских компаний:
Nikita Pokrovsky
вопросов, ВЕСЬМА КОНЦЕПТУАЛЬНОЕ ВЫСТУПЛЕНИЕ ОБ Владимир Звоновский один переполнен противоречиями в ответах и
предусмотренных анкетой. ЭКОПОСЕЛЕНИЯХ Незадолго до своей кончины Leonid Kesselman отказами, доходящими до 15-20% в наиболее
Один из интервьюеров Ясно одно: это важнейшая тема со многими подвопросами. просил создать электронную версию его сенситивных вопросах; второй - чистый до
после каждого ответа Главный из них состоит в следующем: уезжая из города, книжки "Уличный опрос в социологическом безобразия с, практически, отсутствием отказов,
респондента выразительно экопоселенцы меняют свое занятие (начинают, например, исследовании". Выполняю эту просьбу только с идеально выверенными переходами и т.д.
так говорит: "хорошо-о-о". заниматься сельским хозяйством) или нет (продолжают сейчас. Здесь полнотекстовый вариант вместе Невольно вспоминаю советы Кросника,
Вот это вот что такое? Это работать по прежним специальностям, скажем, в онлайне)? с предисловием Boris Doktorov. Эту книжку мы стараться обходить подобные данные стороной,
коммуникативная Это принципиально. В первом варианте - это чистой воды издали в Самаре в 2001 году и давно пытались поскольку в них заложены чудовищные
поддержка опроса? Это неоархаика, движение вспять (хотя и объяснимое, хотя и сделать вторую редакцию с учетом новых смещения, о которых мы даже не подозреваем.
нарушение процедуры? Как допустимое). Во втором случае - это серьезная альтернатива. И практик. Теперь вместе с Мария Мацкевич Коллеги, приходилось ли вам сталкиваться с
к этому относиться? о ней можно говорить. активизируем эти усилия. дилеммой "чистого" массива? Если да, то как вы
Adele Ovakimyan Nadezhda Korytnikova поступали в этом случае? Видите ли вы в этом
Коллеги, Левада-Центр ищет секретаря. Будем 18 октября 2013 года в 10:00 в ауд. 353 (Северный корпус) в рамках ІІ Конгресса проблему или подобная ситуация может
рады, если найдется кто-нибудь с интересом к Социологической ассоциации Украины будет проходить круглый стол «Социологические указывать лишь на виртуозность, полевое
социологии, а также желанием со временем индексы: разработка, апробация и применение». Это мероприятие сугубо по социологии. искусство и неизбывную практику хорошо
влиться в исследовательскую работу! Подробнее по ссылке: http://www.sociology.kharkov.ua/kmetod/index.php/89-anons-kruglogo-stola зарекомендовавших себя полстеров?
08.11.2013 Шанинка 44