Лекция 2

Парная линейная регрессия. Метод наименьших квадратов

Вопросы:
1. Парная регрессия
2. Парная линейная регрессия
3. Метод наименьших квадратов

Регре́ссия (лат. regressio — обратное движение, отход)

— математическое выражение, отражающее зависимость зависимой
переменной у от независимых переменных х при условии, что это выражение
будет иметь статистическую значимость. В отличие от
чисто функциональной зависимости y=f(x), когда каждому значению
независимой переменной x соответствует одно определённое значение
величины y, при регрессионной связи одному и тому же значению x могут
соответствовать в зависимости от случая различные значения величины y.
Если при каждом значении  x=x i наблюдается ❑❑ n i значений y 1 , y 2 , … y n 
 величины y, то зависимость средних арифметических
y i=( y 1 + y 2+ …+ y n )/ n  от  x=x i и является регрессией в статистическом
понимании этого термина. Регрессионный анализ — метод моделирования
измеряемых данных и исследования их свойств.
Парная регрессия представляет собой регрессию между двумя
переменными – у и х, т. е. модель вида:
^y = f (x)
где у – зависимая переменная (результативный признак);
х – независимая или объясняющая переменная (признак-фактор).
Знак «^» означает, что между переменными у и х нет строгой
функциональной зависимости, поэтому практически в каждом отдельном
случае величина у складывается из двух слагаемых:

,
где у – фактическое значение результативного признака;
^y x– теоретическое значение результативного признака, найденное
исходя из уравнения регрессии;
ε – случайная величина, характеризующая отклонения реального
значения результативного признака от теоретического, найденного по
уравнению регрессии.
В парной регрессии выбор вида математической функции ^y x =f ( x )
может быть осуществлен тремя методами:
1) графическим;
 2) аналитическим, т.е. исходя из теории изучаемой взаимосвязи;
3) экспериментальным.
При изучении зависимости между двумя признаками графический метод
подбора вида уравнения регрессии достаточно нагляден. Он основан на поле
корреляции. Основные типы кривых, используемые при количественной
оценке связей, представлены на рис. 1.1:

Рис. 1.1. Основные типы кривых, используемые при

количественной оценке связей между двумя переменными.
 Значительный интерес представляет аналитический метод выбора типа
уравнения регрессии. Он основан на изучении материальной природы связи
исследуемых признаков.
При обработке информации на компьютере выбор вида уравнения
регрессии обычно осуществляется экспериментальным методом, т. е. путем
сравнения величины остаточной дисперсии δ 2ост, рассчитанной при разных
моделях.
Если уравнение регрессии проходит через все точки корреляционного
поля, что возможно только при функциональной связи, когда все точки лежат
на линии регрессии ^y x =f ( x ), то фактические значения результативного
признака совпадают с теоретическими y= ^y x , т.е. они полностью обусловлены
влиянием фактора x. В этом случае остаточная дисперсия δ 2ост=0.
В практических исследованиях, как правило, имеет место некоторое
рассеяние точек относительно линии регрессии. Оно обусловлено влиянием
прочих, не учитываемых в уравнении регрессии, факторов. Иными словами,
имеют место отклонения фактических данных от теоретических ( y− ^y x ) .
Величина этих отклонений и лежит в основе расчета остаточной дисперсии:
1
2
δ ост=
n ∑ 2
( y −^y x ) .

Чем меньше величина остаточной дисперсии, тем меньше влияние не

учитываемых в уравнении регрессии факторов и тем лучше уравнение
регрессии подходит к исходным данным.
Считается, что число наблюдений должно в 7-8 раз превышать число
рассчитываемых параметров при переменной x.

Линейная модель парной регрессии

Рассмотрим простейшую модель парной регрессии – линейную
регрессию. Линейная регрессия находит широкое применение в
эконометрике ввиду четкой экономической интерпретации ее параметров.
Линейная регрессия сводится к нахождению уравнения вида

или . (1.1)
Уравнение вида ^y x =a+b ∙ x позволяет по заданным значениям фактора x
находить теоретические значения результативного признака, подставляя в
него фактические значения фактора x. Случайная величина  называется
также возмущением. Она включает влияние не учтенных в модели факторов,
случайных ошибок и особенностей измерения. Ее присутствие в модели
порождено тремя источниками: спецификацией модели, выборочным
характером исходных данных, особенностями измерения переменных.
Построение линейной регрессии сводится к оценке ее параметров a и b.
Классический подход к оцениванию параметров линейной регрессии основан
на методе наименьших квадратов (МНК). МНК позволяет получить такие
оценки параметров a и b, при которых сумма квадратов отклонений
фактических значений результативного признака y от теоретических ^y x
минимальна:

. (1.2)
Т.е. из всего множества линий линия регрессии на графике выбирается так,
чтобы сумма квадратов расстояний по вертикали между точками и этой
линией была бы минимальной (рис. 1.2):

y
yi
i

ŷi

xi x

Рис. 1.2. Линия регрессии с минимальной дисперсией остатков.

Отклонение каждой точки наблюдения от расчетной величины

функции, изображенной линией регрессии, равно:
ε i = y i − ^y i ,
Как известно из курса математического анализа, чтобы найти минимум
функции (1.2), надо вычислить частные производные по каждому из
параметров a и b и приравнять их к нулю. Обозначим ∑ ε 2i через S(a,b),
тогда:
n n n
∑ ε i2 =∑ ( y i − ȳ i ) =∑ ( y i−a−b⋅x i )2 → min
2

i =1 i=1 i =1 ,

тогда:

n
S ( a , b ) =∑ ( y i−a−b ∙ x i)
2

i=1
 {
n
∂S
=−2 ∑ ( y i−a−b ∙ x i)=0
∂a
n
i=1
(1.3)
∂S
=−2 ∑ x i ( y i−a−b ∙ x i)=0
∂b i=1

После несложных преобразований, получим следующую систему

линейных уравнений для оценки параметров a и b :

{
n n
a∙ n+ b ∙ ∑ x i=∑ yi
i=1 i=1 (1.4)
n n n
a ∙ ∑ x i +b ∙ ∑ x 2i =∑ x i y i
i =1 i=1 i=1

Решая систему уравнений (1.4), найдем искомые оценки параметров a и b.

Можно воспользоваться следующими готовыми формулами, которые
следуют непосредственно из решения системы (1.4):

, , (1.5)

где – ковариация признаков x и y, –

дисперсия признака и

, , , .
Ковариация – числовая характеристика совместного распределения двух
случайных величин, равная математическому ожиданию произведения
отклонений этих случайных величин от их математических ожиданий.
Дисперсия – характеристика случайной величины, определяемая как
математическое ожидание квадрата отклонения случайной величины от ее
математического ожидания. Математическое ожидание – сумма
произведений значений случайной величины на соответствующие
вероятности.
Параметр b называется коэффициентом регрессии или коэффициентом
эластичности. Его величина показывает среднее изменение результата с
изменением фактора на одну единицу.
Возможность четкой экономической интерпретации коэффициента
регрессии сделала линейное уравнение регрессии достаточно
распространенным в эконометрических исследованиях.
Формально a – значение y при x=0. Если признак-фактор x не может
иметь нулевого значения, то вышеуказанная трактовка свободного члена a
не имеет смысла, т.е. параметр a может не иметь экономического
содержания.

Контрольные вопросы:
1. Что такое регрессия?
2. Что такое регрессионный анализ?
3. Что такое парная регрессия?
4. Методы выбора вида математической функции в парной регрессии.
5. Как осуществляется оценка параметров в парной регрессии?
6. Метод наименьших квадратов в оценке параметров регрессии

Основная литература
1. Эконометрика. Учебник для бакалавров Под ред. И.И. Елисеевой М.:
Проспект, 2013. – 288 с.
2. Эконометрика: Учебник для вузов Кремер Н.Ш., Путко Б.А. / Под ред.
проф. Н.Ш. Кремера М.: ЮНИТИ-ДАНА, 2012. – 311 с.
3. Эконометрика. Практикум: Учебное пособие С.А. Бородич М.: ИНФРА –
М, 2014 г. – 229 с.
4. Эконометрика: теория и практика: электронный ресурс для вузов А.Н.
Герасимов, А.В. Гладилин, ЕИ. Громов М.: КНОРУС, 2011
5. Эконометрика. Электронный учебник Беркимбаева С.Б., Дальбекова К.С.,
Елеусинова А.У., Сейдалиева Г.О. UIB, 2019, Эл. формат