ДОП.

ГЛАВЫ ПО
МАТ.СТАТИСТИКЕ
(ЛЕКЦИЯ 4)
Литвинова В.В.
Свойства оценок коэффициентов
регрессии
Рассмотрим теоретическую модель парной линейной регрессии и ее
оценку по выборке из n наблюдений:

Y = 0 + 1 X +  Y = b0 + b1 X
Справедлива формула: b1 = Cov( X , Y )
S X2
Представим выборочную ковариацию 𝐶𝑜𝑣(𝑥, 𝑦) в виде:

Cov( X , Y ) = Cov( X , 0 + 1 X +  ) = Cov( X , 0 ) + Cov( X , 1 X ) +

+ Cov( X ,  ) = 1S X2 + Cov( X ,  )
Cov( X ,  )
Следовательно, b1 = 1 +
2
SX
Свойства оценок регрессии
Вывод: свойства оценок коэффициентов регрессии, а следовательно, и
качество построенного уравнения регрессии существенно зависят от
свойств случайной составляющей.

Свойства оценок регрессии

Условия Гаусса-Маркова:
1. Случайное отклонение имеет нулевое математическое ожидание.
2. Дисперсия случайного отклонения постоянна.
3. Наблюдаемые значения случайных отклонений независимы друг
от друга.
4. Случайное отклонение должно быть независимо от объясняющей
переменной.
5. Регрессионная модель является линейной относительно
параметров, корректно специфицирована и содержит аддитивный
случайный член.

Свойства оценок регрессии

Теорема Гаусса-Маркова:
Если выполнены условия 1-5, то оценки, полученные по МНК, обладают
следующими свойствами:
1. Оценки являются несмещенными, т.е. 𝐸𝑏0 = 0, 𝐸𝑏1 = 1. Это говорит об
отсутствии систематической ошибки при определении положения линии
регрессии.
2. Оценки состоятельны, т.к. при 𝑛 → ∞ 𝐷𝑏0 → 0, 𝐷𝑏1 → 0. Это означает, что с
ростом n надежность оценок возрастает.
3. Оценки эффективны, т.е. они имеют наименьшую дисперсию по сравнению с
любыми другими оценками данных параметров, линейными относительно
величин 𝑦𝑖 .

Свойства оценок регрессии

 Доказательство:
1. Проверим линейность 𝑏1 по 𝑌:

xy − x  y  ( X i − X )(Yi − Y )  ( X i − X )Yi Y  ( X i − X )
2 ( i
X − X )Yi
1
b1 = = = − = 
 ( Xi − X )  ( Xi − X )  ( Xi − X )  ( Xi − X )
2 2 2 2
x2 − x

2. Проверим несмещенность оценки 𝑏1 :

 
  ( X i − X )Yi =   ( X i − X )EYi =   ( X i − X ) ( 0 + 1 X i ) =
 1  1 1
Eb1 = E
 
(
 iX − X ) 2
  ( Xi − X )
2
 ( Xi − X )
2

 ( Xi − X ) ( )
X i2 − X  X i ( )
X i2 − X  X i
 i
X 2
− nX 2
= 0 + 1 = 1 = 1 = 1
 ( Xi − X )  ( Xi − X )  ( Xi − X )  ( Xi − X )
2 2 2 2

Свойства оценок регрессии

3. Проверим состоятельность оценки 𝑏1 :
 
 2
  ( X i − X )Yi  =   ( X i − X ) DYi =
1 1
Db1 = D 
2

(
 i ) 
( )  ( Xi − X )
2 2 2 2
X − X   ( Xi − X )
4. ෪1 = σ 𝛼𝑖 ∙ 𝑌𝑖 :
Пусть 𝑏

Eb1 = E (  i  Yi ) =  i  EYi = i  ( 0 + 1 X i ) = 0  i + 1  i X i = 1

Db1 = D (  i  Yi ) =  i2  DYi =  2  i2

Свойства оценок регрессии

Получаем задачу на минимум:

 i → min
 2

 i = 0

  i X i = 1

Составим функцию Лагранжа:

L =  i2 − 1  i − 2 (  i X i − 1)

Продифференцируем по i :
L
= 2i − 1 − 2 X i = 0
i

Свойства оценок регрессии

Просуммируем по 𝑖 :

L
  = 2 i − n1 − 2  X i = −n1 − 2  X i  1 = −2 X
i
L
= 2i − 1 − 2 X i = 2i − 2 ( X i − X )
i
Домножим на 𝑋𝑖 и просуммируем:
 ( 2i X i − 2 ( X i − X ) X i ) = 0
2 − 2  ( X i − X ) = 0
2

2 2X
2 = ; 1 = −
 ( Xi − X ) ( Xi − X )
2 2

Свойства оценок регрессии

L 2X 2Xi
= 2i − 1 − 2 X i = 2i + − =0
i
 ( Xi − X )  ( Xi − X )
2 2

Xi − X
i =
 ( Xi − X )
2

b1 =  iYi =
 ( X i − X ) Yi

 ( Xi − X )
2

Оценка совпала с оценкой найденной по МНК. Следовательно, она является

эффективной.

Свойства оценок регрессии

Система показателей качества парной
регрессии
1. Показатели качества коэффициентов регрессии
2. Показатели качества уравнения регрессии в целом
3. Адекватность модели – остатки должны удовлетворять
условиям теоремы Гаусса-Маркова

Система показателей качества парной регрессии

Показатели качества коэффициентов
регрессии
1. Стандартные ошибки оценок (анализ точности
определения оценок).
2. Значения t-статистик (проверка гипотез относительно
коэффициентов регрессии).
3. Интервальные оценки коэффициентов линейного
уравнения регрессии.
4. Доверительные области для зависимой переменной.

Система показателей качества парной регрессии

Вспомогательные теоремы
Будем считать, что 𝜀𝑖 ~𝑁 0; 𝜎𝑖2 .
Теорема 1: Если выполняются условия теоремы Гаусса-Маркова, то
     
2
 2
~ N  0 ;  +   2  ; 2) b ~ N   ;
1 X  ;
1) b0 
 n 2  1  1 2
   ( Xi − X )    ( Xi − X ) 
  2     2  
3) Yˆi ~ N  0 + 1 X i ;  +
1 ( X i − X )   2  ; 4) e ~ N  0; 1 − 1 − ( X i − X )  2 .
 n 2   i   2  
   ( X i − X )   
 
n
 ( X i − X )  
Причем, 𝑏0 , 𝑏1 , 𝑌෠𝑖 не зависят от 𝑒𝑖 .

Система показателей качества парной регрессии

Теорема 2: Если выполняются условия теоремы Гаусса-Маркова, то

случайная величина
 ei2 ~  2 (n − 2) , и не зависит от 𝑏0 , 𝑏1 .
 2

Следствие 1: Оценка ˆ2 = =

i
e 2
RSS является несмещенной оценкой 2
 .
n−2 n−2

Следствие 2: b0 − 0
~ T (n − 2).
 2 
1 X
ˆ2  + 
n 2
  ( Xi − X ) 

Система показателей качества парной регрессии

Следствие 3: b1 − 1
~ T (n − 2).
ˆ2
 ( Xi − X )
2

Следствие 4: Yˆ0 − ( 0 + 1 X 0 )
~ T (n − 2).
 2 
 1 + ( X i − X )  ˆ 2
n 2 
  ( Xi − X ) 

Система показателей качества парной регрессии

Следствие 5:
e0 Y0 − Yˆ0
= ~ T (n − 2).
 2   2 
1 + 1 + ( i
X − X )  ˆ 2 1 + 1 + ( i
X − X )  ˆ 2
 n 2   n 2 
  ( Xi − X )   ( Xi − X ) 

Система показателей качества парной регрессии