Лекция третья

Теория ошибок, или

мичиганская методологическая школа

Часть 2: Систематические ошибки выборки

Д.М. Рогозин

23.11.2013 Шанинка 1
Моему Учителю Г.С. Батыгину посвящается
Курс лекций по методологии социологического исследования, читаемый на
факультете социальных наук Московской высшей школы социальных и
экономических наук (Шанинки) в октябре 2013 – апреле 2014.

Лекция третья:
Теория ошибок, или мичиганская методологическая
школа. Часть 2: Систематические ошибки выборки
( 15 , 22 ноября 2013)

23.11.2013 Шанинка 2
Систематические ошибки выборки
Реализуемые даже по самым надежным схемам выборки далеки от
проектируемых вариантов. Если случайные ошибки подчиняются
статистически законам, систематические – опосредованы социальной
средой, в которой проводится опрос.
23.11.2013 Шанинка 3
 Электоральный прогноз 1936 года
10 лет до 1936 года Literary Digest точно предсказывали голосование на выборах. В 1936 году – крах.
Объем совокупности – 10 млн. чел., возврат – 2,376,523 чел.

кандидаты Literary Digest (сен. 1936), % Выборы, %

Альфред Лэндон 57,0 37,5

Франклин Рузвельт 48,0 62,5

Концептуальный объект – электорат, основа – списки, обеспечивающие доступ к респонденту

(регистрационный списки автовладельцев, 37% семей имели автомобили; списки телефонов).
Списки смещают генеральную совокупность, то есть реальный объект уходит от проектируемого вверх
по стратификационной лестнице.
До 1936 года стратификационная переменная молчала – бедные и богатые голосовали одинаково за
демократов и республиканцев. С 1935 года право голосовать получили латины, разорились мелкие
предприниматели.

23.11.2013 Шанинка 4
 Любая выборка что-то репрезентирует,
только мы не знаем что именно.
(Г.С. Батыгин)

23.11.2013 Шанинка 5
 Аксиоматика выборочного наблюдения

23.11.2013 Шанинка 6
Литература (методология выборочного исследования)
1. Батыгин Г.С. Лекции по методологии социологических исследований: учебник для вузов. М.: Аспект-пресс, 1995.
С. 145-189.
2. Иейтс Ф. Выборочный метод в переписях и обследованиях / Пер. с англ. Е.И. Арона; Под ред. А.Г. Волкова. М.:
Статистика, 1965.
3. Кокрен У. Методы выборочного исследования / Пер. с англ. И.М. Сонина; Под ред. А.Г. Волкова. М.: Статистика, 1976.
4. Кимбл Г. Как правильно пользоваться статистикой / Пер. с англ. Б.И. Клименко, Н.К. Дружинина. М.: Финансы и
статистика, 1982. С. 144-172.
5. Урланис Б.Ц. Общая теория статистики. 2-е изд., перераб. М.: Статистика, 1973. С. 201-242.
6. Шварц Г. Выборочный метод / Пер. с нем. Я.Ш. Паппе; Под ред. И.Г. Венецкого, В.М. Ивановой. М.: Статистика, 1978.
7. Barnett V. Sample survey principles and methods. London: Edward Arnold, 1991. [msses lib. 519.52 BAR]
8. Desrosieres A. The part in relation to the whole: How to generalise? The prehistory of representative sampling // The social
survey in historical perspective 1880-1940 / Ed. by M. Bulmer, K. Bales, K. Kish. Cambridge: Cambridge University Press, 1991.
P. 217-244.
9. Hurwitz W.N. Sampling survey methods and theory. Vol. 1. Methods and application. New York: John Wiley and Sons, 1993.
[msses lib. 519.52 HAN]
10. Hurwitz W.N. Sampling survey methods and theory. Vol. 2. Theory. New York: John Wiley and Sons, 1993. [519.52 HAN]
11. Kish L. Statistical design for research. New York: John Wiley and Sons, 2004. [msses lib. 519.5 KIS]

23.11.2013 Шанинка 7
Лесли Киш, по словам одного из его ближайших соратников, Ивана
Фелеги, обладал удивительным качеством непрерывной
благотворительности. Отдавая себя студентам, коллегам, ходокам за
статистической мудрости из самых дальних краёв, перед смертью он
учредил Фонд Киша, поддерживающий обучение в Мичигане
иностранных студентов, и завещал своё тело медицине.
Венгр, эмигрировавший в США еще с родителями из развалившейся
Австро-Венгрии, он дважды прерывал свою научную деятельность,
сражаясь с фашизмом в испанском освободительном движении в конце
1930-х, и работая волонтером в оборонной отрасли во время Второй
мировой.
Лесли Киш никогда не забывал, что выборочные исследования проходят Лесли Киш
среди людей. Потому столь сложными и затейливыми представлялись
неофитам предлагаемые им решения, столь разнообразным были его
(1910-2000)
научные интересы: ошибки выборки, методология повторяющихся
выборок (rolling sample) и переписей населения , контрольные
замеры, дизайн многоцелевой выборки и т.д.
Fellegi, I. In memoriam: Leslie Kish (1910-2000) [online] <http://isi.cbs.nl/NLet/NLet011.htm>
[Date of access] 13.10.2013.

23.11.2013 Шанинка 8
Базовые вопросы
1. Можно ли по части судить о целом?
2. Почему необходимо выборочное исследование?
• Дает большую экономию средств и требует гораздо меньше времени для проведения
наблюдения.
• Может быть достигнута большая глубина и большая детальность изучения вопроса, а
также большая точность регистрации фактов.
• Иногда сплошное наблюдение осуществить физически невозможно [Урланис, 1973, с.
201].
3. Как оценить ошибки репрезентативности, т.е. погрешности, возникающие
вследствие самого факта выборочного наблюдения?
• Случайные ошибки выборки.
• Систематические ошибки выборки.

23.11.2013 Шанинка 9
Парадокс безысходности
Если выводы относятся только к наблюдаемым объектам, определяемым здесь и сейчас, то
нет возможности генерализации. => Такие выводы не входят в корпус науки.
Между элементами любой выборочной совокупности нет ничего общего... кроме
переменной.

МОЖНО ЛИ В ПАРКЕ НАЙТИ ДВА ОДИНАКОВЫХ ЛИСТА?

Переменная – не признак объекта, а некоторый конструкт, приписываемый

совокупности. Только переменная и формирует совокупность.
Выборка относится не столько к единицам обследования, сколько к переменным. Это прежде
всего выборка признаков.
Генеральная совокупность конструируется, а не находится или выдумывается.

23.11.2013 Шанинка 10
Репрезентативность
1. Степень соответствия между выборочными данными и
параметрами генеральной совокупности.
2. Совпадение частотных распределений статистик и параметров не
решает проблемы репрезентативности, если не выполнено
условие случайности отбора.
Так, в квартирном опросе можно набрать требуемый процент женщин, но
большинство из них будет находится в отпуске по уходу за ребенком, что даст
переоценку по переменной количество дошкольников в семье. В этом
центральная проблема квотной выборки.
3. Главная задача выборочного исследования – оценка параметров
генеральной совокупности.

23.11.2013 Шанинка 11
 Проблема репрезентативности
Репрезентативность – это похожесть выборки на генеральную совокупность.
Проблема репрезентативности – это проблема релевантности.
Репрезентация – соотношение части и целого. Герменевтический
круг (по Лейбницу): целое – не из частей, части – не из целого.

Любая выборка репрезентативна, только мы не знаем, что она

репрезентирует.

Любая переменная имеет свою собственную репрезентативность.

(Г.С. Батыгин)

23.11.2013 Шанинка 12
 «Субъективные» переменные
Седов, Л.А. Референдум: прогнозы и итоги // Мониторинг общественного мнения: Экономические
и социальные перемены. 1993. №3. С. 9. Цит. по: Батыгин, Г.С. Лекции по методологии
социологических исследований. 2-е изд. М.: РУДН, 2008. С. 202.

Таблица: Прогнозы результатов референдума 25 апреля 1993 г.

Положительный ответ на вопросы, %

Прогнозы социологических служб и Доверяете ли Вы
Одобряете ли Вы
результаты референдума социальноэкономическую политику,
президенту
проводимую президентом и
России?
правительством с 1992 г.

Прогноз ВЦИОМ в «Известиях» 57 52

Прогноз ВЦИОМ по опросу на
избирательных участках
64 56
Cable News Research 65 58
Фонд «Общественное мнение» 74 66
Результат референдума 59 53
23.11.2013 Шанинка 13
Характеристики репрезентативности выборки
Sarndal, C.-E., Lundstrom, S. Estimation in surveys with nonresponse. New York: John Wiley & Sons, 2005. P. 9.

Основа выборки
Выборка

ОТВЕТЫ

НЕОТВЕТЫ

Целевая группа

23.11.2013 Шанинка 14
Конструируемые объекты

• От концепта, пространства 1. Сверхобъект (чистая сущность,

признаков к объекту, который вещь в себе)
сам есть конструкт. 2. Концептуальный объект
(некоторая генеральная
• Мы работаем не с людьми, а совокупность)
с конструируемыми 3. Фреймовый объект
объектами. (обозначены границы объекта,
• Через сопоставление в статистике основа выборки)
конструируемых объектов 4. Проектируемый объект
становится возможным (проектирумая выборка)
говорить о систематических 5. Реальный объект
смещениях. (фактическая выборка)

23.11.2013 Шанинка 15
Концептуализация объекта
Представление об объекте как идеальном, переходит в концептуальный – идеальный
конструкт, обозначающий рамки темы. Оба расположены в третьем мире (по К. Попперу).

Кто слушатель Шанинки?

Кто научный сотрудник?

Написал хотя бы
одно эссе

Профессор,
доктор наук

Хотя бы одна Зачислен в Посетил большую часть

публикация за год магистратуру выбранных курсов

23.11.2013 Шанинка 16
 Закон больших чисел
Теорема Бернули: Средняя из всех
возможных выборочных средних (Ex) в
точности дает генеральную среднюю (X).
Случайная ошибка считается для
несмещенных выборок
X E (x )

N N
1
Ex 
N
 (x )
i 1
i E x   pi xi
Ex  X
Систематическое
смещение
i 1
Формула для простых Pi – вероятность каждой
случайных выборок случайной выборки

23.11.2013 Шанинка 17
Аксиомы вероятностной выборки

1. Любая единица совокупности имеет реальный (лучше равный, но не

обязательно), известный исследователю шанс попасть в выборку.
Задача исследователя – приближение реального объекта к проектируемому.
2. Нельзя построить универсальный дизайн выборки
Ошибка выборки определяется для каждой переменной.
Мы не можем достоверно говорить об ошибках выборки, если не знаем параметров
генеральной совокупности.
3. Неизменность объекта исследования
Недискурсивный характер признаков. Мы изучаем не коммуникацию, но атрибуты,
приписываемые респонденту.
Черные и белые шары в урне не могут изменять ни цвета, ни формы.

23.11.2013 Шанинка 18
 Случайность

Вероятность – это степень достоверности.

Случайность не ислкючает необходимости, мы лишь о ней ничего не
знаем.
Делать о какой-либо вещи предположения – все равно, что измерять ее
вероятность.
Чистых вероятностных выборок в социальных исследованиях практически
нет, т.е. простая случайная выборка невозможна. Задача
исследователя – приближение проектируемой выборки
к вероятностной (?).

23.11.2013 Шанинка 19
 Неизменность объекта исследования

«После завершения опроса мы обязаны считать, что и “москвичи”, и

“читатели” остались прежними. Мы верим в стабильность мира
потому, что научные наблюдения обнаруживают удивительное постоянство
[Батыгин, 1995, с. 145].
Реальная генеральная совокупность подвержена постоянным колебаниям,
поэтому столь важно указывать место и время проведения исследования
[Девятко, 2003, с. 202]. Но это не решает проблемы изменчивости.

23.11.2013 Шанинка 20
 Рандомизация

• Выбор человека неустойчив, может выражаться в крайних позициях шкалы без видимых
на то причин.
• Случайной величиной является само мнение респондента относительно интересующего
социолога вопроса. Отклонение высказываемого суждения от «истинного» (т.е. искажение
респондентом своего мнения об изучаемом явлении) может быть вызвано настроением
респондента, его неумением разобраться в собственном отношении к каким-то явлениям,
непониманием заданного исследователем вопроса, недоверием к личности интервьюера,
сознательным желанием дезинформировать последнего и т. д. Не меньше факторов
играют роль и в искажении оценки исследователем ответа, данного ему респондентом. В
таких случаях в качестве «истинного» суждения обычно считают математическое
ожидание соответствующего распределения, получающегося при многократном опросе
респондента [Толстова, 1991, с. 40].
• «Задача социолога отделить индивидуальные различия, имеющие систематический
характер, от случайных и тем самым описать устойчивые свойства данного процесса. Для
этого применяется аппарат вероятностной статистики, основа которого — закон больших
чисел» [Ядов, 1995, с. 26].

23.11.2013 Шанинка 21
Условие рандомизации
Шпильрейн И.Н. Рейтынбарг Д.И., Нецкий Г.О. Язык красноармейца: опыт исследования словаря красноармейца
московского гарнизона. М.: Государственное изд-во, 1928.
• Если слово незнакомо и красноармейцы спрашивают, что оно значит, им предлагается
подчеркнуть наугад. В некоторых группах так и делали, но были и такие, в которых
красноармейцев не удавалось убедить подчеркнуть наугад, и они отказывались вовсе
подчеркнуть непонятные слова (с. 84).
• Если слово в ответах выбрано случайно, т.е. совершенно неизвестно, каждый из ответов
подчернут в 25% (все вопросы имели по четыре закрытия). Следовательно можно
говорить, что слово известно, если ответ выбран более 25% испытуемых. Чтобы найти
число красноармейцев, подчеркнувших ответ не случайно, нужно из общего числа
испытуемых вычесть 25% всего обследованного коллектива:

m  0,25n где Кз – коэф. знания,

K3  m – число лиц, подчеркнувших ответ,
0,75 n – общее число участвующих в опыте.

23.11.2013 Шанинка 22
Опросный инструмент
Шпильрейн И.Н. Рейтынбарг Д.И., Нецкий Г.О. Язык красноармейца: опыт исследования словаря красноармейца
московского гарнизона. М.: Государственное изд-во, 1928.

Когда накладывают жгут?

Если мы предлагаем выбирать между Что такое спорт? 1. При сильном поносе
определениями Пушкина, как поэта, 1. Напиток 2. При последствиях трипера
журналиста, критика или публициста, 3. При сильном кровотечении
2. Пристань
то все эти слова красноармейцу
ничего не говорят; и тогда мы в 3. Спор 4. При обморожении
следующем пробном опыте 4. Упражнение
предложили ответить на фразу:
Пушкин был маляром, Что делают белые кровяные шарики?
военачальником, политиком, 1. Разносят по телу кислород
поэтом, - однажды получили ответ:
Пушкин – маляр с объяснением: у нас 2. Ведут борьбу с микробами
на селе Пушкин маляр (с. 80). 3. Ведут борьбу с красными шариками
4. Вырабатывают всякие яды

23.11.2013 Шанинка 23
 Анализ систематических смещений

23.11.2013 Шанинка 24
 Если известны различия между смещенной и несмещенной
выборками, то в некоторых случаях предпочтение следует
отдавать смещенной выборке.
Эдвардс Деминг

23.11.2013 Шанинка 25
Литература (ошибки выборки)

• Dillman, D.A., Miller, K.J. Response rates, data quality, and cost feasibility for optically scannable
mail surveys by small research centers // Computer assisted survey information collection / Ed. By
M.P. Couper, R.P. Baker, J. Bethlehem, C.Z. Clark, J. Martin, W.L. Nicholls II, J.M. O’Reilly. Hoboken,
NJ: John Wiley & Sons, 1998. P. 475-498. [msses lib. 001.433 COU]
• Sarndal, C.-E., Lundstrom, S. Estimation in surveys with nonresponse. New York: John Wiley &
Sons, 2005. [msses lib. 519.544 SAR]
• Survey nonresponse / Ed. by R.M. Groves, D.A. Dillman, J.L. Eltinge, R. J.A. Little. New York: John
Wiley & Sons, 2002. [msses lib. 300.723 SUR]
• Telephone survey methodology / Ed. By R.M. Groves, P.P. Biemer, L.E. Lyberg, J.T. Massey, W.L.
Nicholls II, J. Waksberg. New York: John Wiley & Sons, 1998. P. 475-498. [Section C: Nonresponse
in telephone surveys; msses lib. 300.723 TEL]

23.11.2013 Шанинка 26
 Литература (ошибки выборки)
• Стандартные определения: систематическое описание диспозиционных кодов и
коэффициентов результативности для массовых опросов. 3-е изд. 2004 год / Американская
ассоциация исследователей общественного мнения; Пер. с англ. Д.М. Рогозина, Е.М.
Киселева // Социологический журнал. 2005. № 2. С. 78-119.
• Рогозин Д.М. Влияние интервьюера на доступность респондентов в телефонном опросе //
Социологический журнал. 2004. № 1/2. С. 75-105.
• Рогозин Д.М. Результативность телефонного опроса в зависимости от ограничений на
выбор респондента внутри домохозяйства // Социологический журнал. 2005. № 3. С. 52-84.
• Deming W.E. On errors in surveys // American Sociological Review. 1944. Vol. 9. No. 4. P. 359-
369.
• Groves R.M. Survey error and survey costs. New York: John Wiley & Sons, 1989.
• McCarty C. Differences in response rates using most recent versus final dispositions in telephone
surveys // Public Opinion Quarterly. 2003. Vol. 67. P. 396-406.
• Sudman S. Sample surveys // Annual Review of Sociology. 1976. Vol. 2. P. 107-120.

23.11.2013 Шанинка 27
 Три примера из электоральных опросов
(1) Систематические ошибки 1936 года на выборах президента США
• Реальный объект сдвинулся от проектного
• Возврат почтового опроса – 29%, до 1936 года не влиял на исход голосования. Кто вернул анкеты?
Образованные, те, кто не голосовал за Рузвельта.
• Временной лаг. Простые люди принимают решение о голосовании перед самим голосованием.
Их электоральная установка – это аффективное действие. Они не знают, что действуют, думают,
что просто испытывают симпатию.

(2) Систематические ошибки 1993 года на выборах в Федеральное собрание

России Ошибка прогноза составила от 9% до 25% по выборам Жириновского.
• Пропаганда столь велика, возможно, ушла сама генеральная совокупность (тезис Ослона-
Петренко)
• Все выборочные обследования были ориентированы на городскую сеть, так как супервайзеры не
живут в деревнях. Следовательно заговорила социально-территориальная дифференциация.

23.11.2013 Шанинка 28
 Три примера из электоральных опросов

(3) Систематические ошибки 2013 года на досрочных выборах мэра Москвы. Ошибка
прогноза составила от 5% до 15% по выборам Навального и Собянина.

• Низкая явка на выборы (различия в мобилизации электоратов двух кандидатов)

• Низкий уровень фальсификаций. Опросные центры строили прогнозы с поправками на
фальсифицируемые данные.
• Результаты избирательной кампании Навального, нацеленной на наиболее мобильные слои
населения, не попадающие в традиционные выборки.

23.11.2013 Шанинка 29
Систематические ошибки выбокри
Groves, R.M., Fowler, F.J. Jr., Couper, M.P., Lepkowski, J.M., Singer, E., Tourangeau, R.
Survey methodology. 2nd ed. New York: John Wiley & Sons, 2009.

Различия между параметрами

целевой группы и основы выборки
ОШИБКИ ПОКРЫТИЯ

Различия между параметрами основы

выборки и оценками спроектированной
выборки ОШИБКИ ВЫБОРКИ

Различия между оценками

спроектированной и реализованной
выборки ОШИБКИ НЕОТВЕТОВ

23.11.2013 Шанинка 30
 Ph.D., Sociology, 1977,
University of Michigan.

Стенли Прессер

23.11.2013 Шанинка 31
Регистр систематических ошибок (по Батыгину)
1. Давление доступных объектов (сам лезет на рожон и хочет ответить)
 Лидеры мнений (жена отвечает за бюджет, муж – за политику)
 Почтовый опрос – кто возвращает анкеты? Телефонный опрос – кто хочет отвечать?
2. Игнорирование аномальных единиц, или недоступных объектов (те, кто скрываются,
люди «за забором» - тюрьма, больница, армия)
 Территориальная переменная в Америке молчит, так как центр не отличается от
переферии.
 Интервьюер работает в собственной культурной среде.
3. Иллюзия постоянства, или изменения во времени (с течением времени изменяются
электоральные установки, может измениться уровень доходов, а вот пол,
национальность – не всегда).
4. Триада недоступности
 Нет дома (молодые, мужчины среднего возраста)
 Отказ от контакта (около 30% в массовых опросах)
 Нет ответа (парадокс Кросника: «Чем выше процент отказов, тем лучше качество
выборки»)
23.11.2013 Шанинка 32
Регистрация неслучайных ошибок

• Диспозиционные коды: окончательные и промежуточные.

• Окончательные коды, определяют статус единицы наблюдения для рассчета
систематических ошибок.
• Первоначальная регистрация осуществляется промежуточными кодами, которые должны
быть конвертированы в окончательные по определенным правилам (например, сделано
максимально допустимое количество звонков по отобранному номеру).
• Типология окончательных диспозиционных кодов:
• Единицы, у которых взято интервью.
• Единицы, соответствующие критериям отбора, у которых не взято интервью
(нереспонденты).
• Единицы, про которые не известно, соответствуют ли они критериям отбора.
• Единицы, которые не соответствуют критериям отбора.

23.11.2013 Шанинка 33
 Процедуры обработки неслучайных ошибок

1. Разработка кодификатора диспозиционных кодов и правил его применения.

Оснащение интервьюера регистрационными формами.
2. Проведение регистрации с точным определением полномочий по присвоению
промежуточных и окончательных диспозиционных кодов.
3. Расчет коэффициентов результативности.
4. Редактирование данных основного исследования или корректировка обобщений,
формулируемых по полученному массиву.
5. Обработка методической компоненты исследования. Изучения закономерностей по
формированию систематических ошибок.

23.11.2013 Шанинка 34
23.11.2013 Шанинка 35
Коды для телефонного опроса (стандарт AAPOR)
1.0 Интервью
1.1 Завершенное
1.2 Незавершенное
2.0 Непроведенные интервью, соответствующие критериям отбора
2.10 Отказы и прерванные интервью
2.20 Не установлен контакт
2.30 Другое
3.0 Нет информации о соответствии критериям отбора непроведенных интервью
3.10 Не известно, домашний телефон или нет
3.20 Остановились на уровне домохозяйства / Нет информации есть ли респондент, удовлетворяющий условиям
выборки
3.90 Другое
4.0 Нет соответствия критериям отбора
4.10 Не входит в выборку
4.20 Факс или линия передачи данных
4.30 Не работающий или отключенный номер
4.40 Особые технологические случаи
4.50 Нерезидент
4.70 Респондент не соответствует критериям отбора
4.80 Квота выбрана
23.11.2013 Шанинка 36
 Коды телефонного опроса
Электоральные опросы компании
1. Занято. «Арт-Прогноз» 2003-2005 гг.

2. Не отвечает.
3. Шум, не слышно.
4. Это не квартира.
5. Не подходит по квоте.
6. Отказ от интервью.
7. Нужно перезвонить позже или другому члену
семьи.
8. Прервано интервью.
9. Взято интервью полностью.

23.11.2013 Шанинка 37
Регистрационные формы (ручной ввод)
• Dillman D.A. Mail and telephone surveys: The total design method. New York: John Wiley & Sons, 1978.
P. 264-265.
• Frey J.H. Survey research by telephone. 2nd ed. London: Sage, 1989. P. 204-205.
• Frey J.H., Oishi S.M. How to conduct interviews by telephone and in person. London: Sage, 1995. P. 138-
139.
• Рогозин Д.М. Влияние интервьюера на доступность респондентов в телефонном опросе //
Социологический журнал. 2004. № 1/2. С. 83.
ФИО интервьюера _________

телефон 1 звонок 2 звонок 3 звонок Примечание

14.10 / 18.25 1 зв. Химки, постоянно
570-8933
9 проживает, жен., 47 лет
14.10 / 19.00 1 зв. жен. Р: Извините,
пожалуйста, я сейчас занята.
И: Давайте я перезвоню в
570-3515
6 другой раз. Р: Нет не нужно,
вы знаете, мне это не
интересно
572-7592 14.10 / 19.30 15.10 / 11.27 15.10 / 16.43

23.11.2013 Шанинка 38
Правила кодирования
При конвертации временных кодов в окончательные следует опираться на
достоверную информацию о всех попытках установления контакта.
Выбор окончательного кода регулируется:
1. Статусным днем (status day) – дата установления статуса единицы как респондента
или нереспондента в ходе опроса. (Например, если в жилом помещении никого не
было в первые две недели полевого этапа, а затем заселившиеся в дом новые жильцы
отказались участвовать в опросе, единица определяется как пустое помещение, а не
отказ от интервью, поскольку квартира была не занята в статусный день).
2. Степенью достоверности информации. (Кто сообщает информацию: соседи, члены
домохозяйства или отобранный респондент; в каком состоянии находится индивид,
отказываясь от общения)
3. Иерархией диспозиционных кодов (Если нельзя точно определить окончательный
код, принимается результат, полученный от последнего обращения. Однако, если
после отказа делаются повторные звонки и телефон не отвечает, то единице не
присваивается код «нет контакта» или «неработающий телефон». См., например,
[McCarty, 2003]).

23.11.2013 Шанинка 39
Коэффициенты результативности
• Коэффициент ответов, RR • Полностью взятое интервью, I (1.1)
• Коэффициент кооперации, • Частично завершенное интервью, P (1.2)
COOP
• Отказ или прерывание, R (2.10)
• Коэффициент отказов, REF • Не установлен контакт,
• Коэффициент контактов, NC (2.20)
CON • Другое, O (2.30)
• Неизвестно домохозяйство или, например, рабочее место,
UH (3.10)
• Неизвестно другое, UO (3.20)
• Оценка доли единиц, которые могут удовлетворять
критериям отбора в общем количестве единиц, по которым
отсутствует информация, e

23.11.2013 Шанинка 40
Коэффициенты ответа
Отношение полностью завершенных интервью ко всем единицам исследования,
удовлетворяющим условиям выборки.

I
RR1 
( I  P)  ( R  NC  O)  (UH  UO)

( I  P)
RR 2 
( I  P)  ( R  NC  O)  (UH  UO)

I
RR5 
( I  P)  ( R  NC  O)

( I  P)
RR 6 
( I  P)  ( R  NC  O)

23.11.2013 Шанинка 41
Коэффициенты ответа
• В коэффициентах ответов RR3, RR4 оценивается какова доля случаев (e),
которые соответствуют критериям отбора в общем количестве случаев, по
которым отсутствует информация об этом.
• Определяя значение e, следует руководствоваться адекватной
информацией, при этом выбор критерия не должен соотносится со
стремлением повысить коэффициент ответов.
• Критерий для оценки e должен быть подробно и понятно описан. Возможно
применение нескольких оценок (e1, e2) для разных компонентов
неизвестного состояния выборочных единиц (3.10 и 3.20) и/или
взвешивание оценок на основе разных процедур.
I
RR3 
( I  P)  ( R  NC  O)  e(UH  UO)

( I  P)
RR 4 
( I  P)  ( R  NC  O)  e(UH  UO)
23.11.2013 Шанинка 42
Коэффициенты кооперации
Отношение опрошенных ко всем единицам наблюдения, удовлетворяющим условиям
выборки, с которыми удалось связаться.

I
COOP1 
( I  P)  R  O

( I  P)
COOP 2 
( I  P)  R  O
I
COOP 3 
( I  P)  R

( I  P)
COOP 4 
( I  P)  R

23.11.2013 Шанинка 43
Коэффициенты отказов
Отношение тех домохозяйств или отдельных респондентов, которые отказались от участия в
опросе или прервали интервью, ко всем потенциально удовлетворяющим условиям выборки
единицам наблюдения.

R
REF 1 
( I  P)  ( R  NC  O)  (UH  UO)

R
REF 2 
( I  P)  ( R  NC  O)  e(UH  UO)

R
REF 3 
( I  P)  ( R  NC  O)

23.11.2013 Шанинка 44
Коэффициенты контактов
Измеряют долю всех случаев, в которых удалось связаться с ответственным членом
домохозяйства, ко всем попавшим в выборку единицам, удовлетворяющим заданным
условиям.

( I  P)  R  O
CON 1 
( I  P)  R  O  NC  (UH  UO)

( I  P)  R  O
CON 2 
( I  P)  R  O  NC  e(UH  UO)

( I  P)  R  O
CON 3 
( I  P)  R  O  NC

23.11.2013 Шанинка 45
Отчетность по коэффициентам результативности
• Содержащиеся в отчетах коэффициенты ответов и все другие коэффициенты
результативности рассчитываются по приведенным выше правилам и
формулам; исследователи должны точно указывать какой коэффициент
они используют.
• Например, предложение «коэффициент ответов равен X» не допустимо. Следует
указать какой конкретно коэффициент применяется, например, «коэффициент ответов 2
равен X».
• Кроме того, составляется таблица с окончательными диспозиционными
кодами для всех рассматриваемых в отчете случаев, которая должна
предоставляться по запросу.
• Дополнительно могут понадобится взвешенные коэффициенты
результативности для многошаговых выборок тогда, когда репрезентация
респондентов проводится дифференцировано (например, студенты или
служащие) по выборочным единицам (школы или компании). Взвешенные
коэффициенты результативности и любые другие веса должны быть
детально описаны.
23.11.2013 Шанинка 46
Квотные выборки

Для опросов, проводимых по неслучайным (квотным)

выборкам, должны приводится соответствующие коэффициенты
результативности, учитывающие количество выборочной совокупности,
полностью взятых интервью и отказов.

Каким образом должны рассчитываться коэффициенты результативности

для квотных выборок?

23.11.2013 Шанинка 47
Выводы

1. Полностью избежать систематических смещений невозможно.

Исследователю остается лишь изучать коммуникативную ситуацию,
конструируемую по определенным правилам.
2. Правила должен задавать исследователь, а не интервьюер.
3. Генеральная совокупность может быть описана через систематические
смещения выборки: (1) ошибки покрытия, (2) выборки и (3) неответов.

23.11.2013 Шанинка 48
Victor Korb
А результаты
"электорального провала" не
будем обсуждать? SuperJob
уже сообщил о том, что
победил в необъявленном
конкурсе прогнозов, дав
результат, много лучший, в
сравнении с ФОМ, ВЦИОМ и
прочими Левадами... А о
"социологах Навального" и
говорить нечего. Или все-
таки есть что?
Иван Климов
Делаю работу - сравниваю
и анализирую вопросники.
Одновременно слушаю
записи телефонных
интервью, коллекционирую
перифразы, разговоры,
убеждения и отступления
от сценария задавания
вопросов,
предусмотренных анкетой.
Один из интервьюеров
после каждого ответа
респондента выразительно
так говорит: "хорошо-о-о".
Вот это вот что такое? Это
коммуникативная
поддержка опроса? Это
нарушение процедуры? Как допустимое). Во втором случае - это серьезная альтернатива. И
к этому относиться?
Adele Ovakimyan
Коллеги, Левада-Центр ищет секретаря. Будем
рады, если найдется кто-нибудь с интересом к
социологии, а также желанием со временем
влиться в исследовательскую работу!
23.11.2013
Ivan Nizgoraev
Maria Turovets Evgeni Varshaver ЧИСТОТА - ЗАЛОГ КРИВДЫ
Подскажите, имеет ли Делаем сейчас анкету для киргизов в Москве. Столкнулись в очередной раз со Давным давно, кажется уже лет двадцать назад,
основания мнение, что следующей дилеммой. Хотим замерить в данном случае уровень транснационализма и где-то мне попалось высказывание Джона
стратегию grounded theory посмотреть, с чем он связан. Транснационализм -- это когда как бы живут на две страны. Кросника о пропущенных данных и неответах.
можно применять только На уровне перемещений, коммуникаций и символов. Есть несколько вопросов, которые Он убеждал коллег, что массив с минимальным
если исследованием его замеряют. Про телефонные и интернет- разговоры с Кыргызстаном, про посылки количеством пропусков и противоречий в
занимается коллектив оттуда, про перевод денег и проч. Дилемма такая: можно спрашивать про регулярность, ответах указывает не на качество проведенной
более 10 человек? можно спрашивать про количество раз за некоторый последний период, можно работы, а на фабрикации и подтасовки, или
спрашивать про последний раз и исходя из этого смотреть, в общем, транснационализм скрытое от аналитиков редактирование данных.
Volodymyr Paniotto
по выборке. Все имеет плюсы-минусы. Как лучше, вы считаете? Поскольку в большом мониторинге невозможно
Коллеги, меня В качестве примера, два вопроса в режиме "регулярности" поставить вопросы, релевантные для всех без
интересует, какие Как часто Вы получаете посылки из дома? - Никогда не получал(а); исключения респондентов, поскольку
категории населения Получал(а) один-два раза за все время; Получаю регулярно. респонденты - не роботы и не обязаны отвечать
голосуют за Путина - Как часто Вы разговариваете по телефону с людьми, которые находятся в Кыргызстане? логично, поскольку коммуникация - это череда
прежде всего, по - каждый день; 1-2 раза в неделю; сбоев и речевых недоразумений, а
возрасту, образованию 1 раз в месяц и реже; вообще не разговариваю соответственно, методология - это теория этих
и уровню сбоев, все попытки горе-исследователей
обеспеченности. Не
можете ли поделиться
ссылкой на сайт или
Мануфактура «СОЦПОХ» понравиться заказчику и предоставить
"идеальные данные" - это не более чем
тотальная кривда социального знания.
публикацию?
https://www.facebook.com/groups/socpokh/ Сейчас у меня два больших массива от двух
крупнейших опросных российских компаний:
Nikita Pokrovsky
ВЕСЬМА КОНЦЕПТУАЛЬНОЕ ВЫСТУПЛЕНИЕ ОБ Владимир Звоновский один переполнен противоречиями в ответах и
ЭКОПОСЕЛЕНИЯХ Незадолго до своей кончины Leonid Kesselman отказами, доходящими до 15-20% в наиболее
Ясно одно: это важнейшая тема со многими подвопросами. просил создать электронную версию его сенситивных вопросах; второй - чистый до
Главный из них состоит в следующем: уезжая из города, книжки "Уличный опрос в социологическом безобразия с, практически, отсутствием отказов,
экопоселенцы меняют свое занятие (начинают, например, исследовании". Выполняю эту просьбу только с идеально выверенными переходами и т.д.
заниматься сельским хозяйством) или нет (продолжают сейчас. Здесь полнотекстовый вариант вместе Невольно вспоминаю советы Кросника,
работать по прежним специальностям, скажем, в онлайне)? с предисловием Boris Doktorov. Эту книжку мы стараться обходить подобные данные стороной,
Это принципиально. В первом варианте - это чистой воды издали в Самаре в 2001 году и давно пытались поскольку в них заложены чудовищные
неоархаика, движение вспять (хотя и объяснимое, хотя и сделать вторую редакцию с учетом новых смещения, о которых мы даже не подозреваем.
практик. Теперь вместе с Мария Мацкевич Коллеги, приходилось ли вам сталкиваться с
о ней можно говорить. активизируем эти усилия. дилеммой "чистого" массива? Если да, то как вы
Nadezhda Korytnikova поступали в этом случае? Видите ли вы в этом
18 октября 2013 года в 10:00 в ауд. 353 (Северный корпус) в рамках ІІ Конгресса проблему или подобная ситуация может
Социологической ассоциации Украины будет проходить круглый стол «Социологические указывать лишь на виртуозность, полевое
индексы: разработка, апробация и применение». Это мероприятие сугубо по социологии. искусство и неизбывную практику хорошо
Подробнее по ссылке: http://www.sociology.kharkov.ua/kmetod/index.php/89-anons-kruglogo-stola зарекомендовавших себя полстеров?
Шанинка 49