РАЗДЕЛ 2.

МЕТОДЫ ПОСТРОЕНИЯ ОЦЕНОЧНЫХ ШКАЛ

ТЕМА 2.1. СПОСОБЫ РАНЖИРОВАНИЯ ОБЪЕКТОВ

ВОПРОС 2.1.2. ПРЯМОЕ ОЦЕНИВАНИЕ. МЕТОД ПОСТОЯННОЙ СУММЫ. МЕТОД ПАРНЫХ

СРАВНЕНИЙ.

Ранее нами были рассмотрены некоторые методики построения оценочных шкал, в

результате реализации которых происходит упорядочивание объектов, внешних по
отношению к изучаемой группе людей: выбор предпочтений, прямое ранжирование. Мы
увидели достоинства и недостатки эти методов. Методики, которые рассматриваются ниже,
решают те же задачи, но отчасти преодолевают проблемы свойственные этим методам.

Прямое оценивание

Респондентам предлагается список объектов, каждому из которых необходимо проставить

оценку по шкале (чаще всего используют 5 и 10-балльную шкалы).

Инструкция для респондента:

Пожалуйста, оцените каждую из марок мобильных телефонов по шкале от 1 до 5,

считая, что «1» – это минимальная, а «5» – максимальная оценка.

Как и в методе прямого ранжирования, итоговое положение объекта в упорядоченном ряду

определяется по значению медианы.

Для оценивания объектов респондентам может быть предложена не только числа (баллы),
но и последовательность вербальных суждений:

Укажите, пожалуйста, насколько вы удовлетворены или не удовлетворены следующими

условиями труда на вашем предприятии…
 Полностью Скорее Отчасти Скорее не Полностью не
удовлетворен удовлетворен удовлетворен, удовлетворен удовлетворен
отчасти – нет

Режимом труда 5 4 3 2 1
Санитарно-гигиеническими 5 4 3 2 1
условиями труда
Технической оснащенностью 5 4 3 2 1
рабочего места
Организацией труда на 5 4 3 2 1
рабочем месте
Оплатой труда 5 4 3 2 1
Возможностями обучения, 5 4 3 2 1
повышения квалификации
Социальными и 5 4 3 2 1
профессиональными
льготами на предприятии
Возможностями для 5 4 3 2 1
служебного продвижения

Способ определения ранга каждого из объектов (в данном случае – параметра условий

труда) не меняется. Как и в случае с баллами, высчитывается медиана из числового ряда
значений соответствующих вербальным суждениям («полностью удовлетворен» = 5, «скорее
удовлетворен» = 4 и т.д.)

Данная методика смягчает проблему дифференциального оценивания равнозначных

объектов, поскольку имеется возможность выставлять одинаковые баллы объектам,
которые обладают для респондента одними и теми же свойствами. Кроме того, отчасти
снимается ограничение на число ранжируемых объектов, т.к. нет необходимости
одновременно соотносить несколько объектов друг с другом. Вместо этого каждый из них
соотносится с одной шкалой. Эта процедура менее трудоемка для респондента, поэтому
помимо интервью в домохозяйствах, методика прямого оценивания может эффективно
использоваться в анкетировании, а также в уличных и в телефонных опросах.

В то же время при применении прямого оценивания обостряется проблема, связанная с

возможной нетранзитивностью данных. Вспомним исходную задачу: выстроить
ранжированный ряд, в котором объекты будут упорядочены по мере возрастания или
убывания некоторого свойства. Строго говоря, основанием ранжирования должно быть
именно ОДНО свойство, например «надежность», «дизайн», «качество связи» и т.п. Однако
на практике это требование соблюдается далеко не всегда. Ранжируя объекты, респонденты
зачастую пользуются комплексом характеристик (при этом их количество и качество для
каждого из участников опроса могут быть разными). Тем не менее, в предыдущих методиках
предполагалось, что объекты соотносятся друг с другом по одной пусть даже
многокомпонентной характеристике. При использовании методики прямого оценивания
есть опасность, что при оценке объектов респонденты будут выставлять баллы,
ориентируясь на разные их свойства. При этом ранжирование объектов относительно друг
друга основанное на полученных баллах может не совпадать с гипотетическим прямым
сравнением объектов друг с другом.

Например, в ходе одного из методических экспериментов, в котором участвовала

домохозяйка Валентина, ею была выставлена оценка телефону Nokia «4», а
Samsung – «5». Логично предположить, что Samsung для девушки
предпочтительней. Однако в задании выбрать один из пары объектов Валентина
 выбрала Nokia. В комментариях к своим ответам Валентина объяснила
сравнительно низкую оценку Nokia высокой стоимостью телефона, а высокую
оценку Samsung – привлекательным дизайном. Однако при ситуации выбора
между двумя телефонами она предпочла Nokia в силу того, что это более
авторитетная марка, обладающая солидным имиджем.

Метод постоянной суммы

Данная методика используются не для упорядочивания разных объектов, а для

ранжирования их внутренних свойств. Респонденту предлагается распределить некоторое
число единиц (чаще всего – 100 баллов) среди набора альтернатив в соответствии с
заданным критерием.

Инструкция для респондента:

Ниже перечислены пять характеристик мобильных телефонов. Пожалуйста,

распределите 100 баллов между этими характеристиками так, чтобы отразить
относительную важность каждой из них лично для вас. Если характеристика вообще не
является важной, укажите «0». Следите за тем, чтобы итоговая сумма баллов
составляла 100.

Итоговое положение в ранжированном ряду определяется средним баллом, который

рассчитывается для каждого из объектов.

Предполагается, что методика постоянной суммы позволяет определить не только

положение объектов в ранжированном ряду, но и расстояния между ними. Таким образом,
уровень измерения формируемой шкалы довольно высокий.

Основываясь на данных используемого примера, можно сказать не только о

большей значимости «дизайна» (ранг 1) в сравнении с «качеством связи» (ранг
IV), но то, что первая из характеристик (средний балл 48) примерно в три раза
весомее второй (средний балл 15). В то же время критерий «цена» (ранг 2) хоть и
 уступает в значимости «дизайну», но очень незначительно (средние баллы 44 и
48, соответственно).

Однако методика обладает одновременно и рядом недостатков. Во-первых, – трудоемкость

и неточность (не все респонденты способны соблюсти правило точного распределения 100
баллов, часто встречаются ошибки, которые требуется исправлять). Во-вторых, –
псевдометричность шкалы (подробнее см. раздел 1.2.2.). В-третьих, – ограниченность сферы
использования (для ранжирования внутренних свойств объектов).

Метод парных сравнений основан на попарном сравнении объектов ранжирования по

заданному основанию. Респондентам последовательно предлагаются пары объектов с тем,
чтобы в каждой паре он выбрал наиболее предпочтительный. При этом выдвигаются
следующие требования: не разрешается отказ от выбора, т.е. для каждой пары объектов А и
В должно быть либо А > B, либо А < В; объекты предъявляются в случайном порядке внутри
пары; порядок предъявления пар должен быть случайным.

Инструкция для респондентов:

Мы бы хотели представить вам 10 пар торговых марок мобильных телефонов. Для

каждой пары, укажите, какая из марок является для вас более предпочтительной.
Пожалуйста, не пропускайте ответы. Необходимо сделать выбор в каждой паре.

Полученные таким образом данные сводятся в матрицу из 0 и 1, число строк и столбцов

которых равно числу рассматриваемых объектов. Элементы матрицы получаются
следующим образом: на пересечении строки А и столбца С ставится 1, если респондент
оказал большее предпочтение объекту А (т.е. А>С) и 0, если напротив, он выбрал С (т.е. А<С).
Матрица оценок, данных одним респондентом при парном сравнении

Nokia Iphone Alkatel Samsung Motorola

Nokia ***** 1 0 1 0

Iphone 0 ***** 0 0 1

Alkatel 1 1 ***** 1 0

Samsung 0 1 0 ***** 1

Motorola 1 0 1 0 *****

Результаты парного сравнения объектов, проведенного всеми опрошенными, заносятся в

таблицу, ячейки которой заполняются путем суммирования показателей, данных каждым
отдельным респондентом. Итоговая сумма затем делится на общее число респондентов,
участвующих в опросе.

Если исследователя интересует лишь ранжированный ряд, то задачу можно считать

решенной. По степени предпочтений потребителей торговые марки выстроились
следующим образом: 1) Nokia, 2-3) Samsung – Iphone, 4) Motorola, 5) Alkatel. Однако, шкала,
полученная методом парных сравнений, позволяет сравнивать интервалы между
объектами, расположенными на одномерном континууме предпочтений, т.е. решать задачи
типа: на сколько и во сколько раз один объект предпочтительнее другого.

Разместив на прямой (одномерном континууме предпочтений) значения из таблицы

результатов парных сравнений, сделанных респондентами, увидим, что популярность Nokia
значительно опережает конкурентов, в то время как Samsung, Iphone и Motorola составляют
довольно плотную группу второго эшелона. Alkatel – безусловный аутсайдер.

A(0.6) M (1.8) S (2.2) N(3.2)

0 1 2 I (2.2) 3
D(1,4)
 При использовании метода парных сравнений необходимо соблюдать ряд требований:

1. Требование ассиметричности означает, что если в матрице парных оценок каждого

респондента на пересечении строки А и столбца С стоит "0" (респондент в большей
степени доверяет программе "Сегодня", чем программе "Время"), то на пересечении
строки С и столбца А должно стоять "1".

2. Требование транзитивности означает, что если респондент предпочел объекту D объект

А, а объекту А объект С, то в ситуации выбора между объектами C и D, он окажет
предпочтение первому.

Если реализация первого требования в большей степени зависит от правильности кодировки

данных, то в отношении второго - ситуация сложнее. Одной из причин возникновения
нетранзитивности является использование респондентами различных оснований при
сравнении объектов.

Несмотря на кажущуюся простоту задания для респондента (сравнить объекты попарно), при
более внимательном рассмотрении видно, что метод парных сравнений не снимает часть
ограничений, которые свойственны для прямого ранжирования. Например, ограничение
количества упорядочиваемых объектов. В рамках небольшого по объему исследования,
введение в инструментарий даже 105 вопросов - парных сравнений, которые требуются для
упорядочивания 15 объектов (15х(15-1)/2=105) является весьма трудоемким. При большом
количестве сравниваемых объектов для отдельно взятого объекта можно провести не все
сравнения, а только несколько. Однако эта возможность существует лишь при строгом
соблюдении требования транзитивности.

Кроме того, вероятна ситуация, когда респондент затруднится сделать однозначный выбор
даже между двумя объектами. В этом случае можно предусмотреть возможность вариантов
типа "затрудняюсь ответить", "примерно одинаковы" и т.п. Однако это создает
дополнительные трудности при агрегировании данных.

Метод парных сравнений считается более надежным для упорядочивания объектов,

поскольку в большей степени отражает истинные мнения респондентов и позволяет достичь
более устойчивого ранжированного ряда. Кроме того, этот способ построения шкалы
позволяет достичь более высокого уровня измерения по сравнению с методом прямого
ранжирования. Однако окончательный выбор между подходами к упорядочиванию
объектов всегда определяется исследовательской ситуацией. Например, в случае, когда
социолога не интересует ранг каждого из объектов, а лишь положение объектов на "концах"
ранжированного ряда, он вполне может воспользоваться более простым методом прямого
ранжирования. Он же будет использоваться, если исследователю не удается однозначно
определить основание для ранжирования, для того, чтобы избежать случая
нетранзитивности.