ГУ-ВШЭ, Эконометрика-1, Борзых Д.

, октябрь 2009

Пособие для выполнения домашнего задания №1 по эконометрике

Условие:
⎛1 0 ⎞
⎜ ⎟
1 1⎟
; P ( X ) = X ( X T X ) X T ; ε1 , ε 2 , ε 3 , ε 4 ∼ iidN (0,1) .
−1
X= ⎜
⎜1 1 ⎟
⎜ ⎟
⎝1 1 ⎠
А) Найти распределение случайной величины ε T P( X )ε , где ε = ( ε1 ε 2 ε3 ε 4 ) ;
T

Б) Найти E ( ε T P( X )ε ) ;
В) При помощи таблиц найти число q , такое, что Pr ( ε T P( X )ε > q ) = 0.1
Г) Найти собственные значения и собственные векторы для матрицы P ( X ) .
Решение:
А) Для решения пункта A) мы можем воспользоваться следующим общим фактом.
Теорема 1
Если P ∈ n×n , PT = P , P 2 = P , ε1 , ε 2 ,..., ε n ∼ iidN (0,1) и ε = ( ε1 ε 2 ... ε n ) , то
T

случайная величина ε T Pε ∼ χ rg2 ( P ) (имеет χ 2 − распределение с числом степеней свободы,

равным рангу матрицы P ).

Для того чтобы применить данную теорему к нашему случаю, нам придется убедиться в
том, что матрица P ( X ) = X ( X T X ) X T удовлетворяет перечисленным в теореме
−1

условиям.
Обозначим P = P( X ) .
1) Докажем симметричность матрицы P :
T
⎛ ⎞ П .1
( ) ( )
T T
PT = X ( X T X ) X T = ⎜ X (XT X ) XT ⎟ = (XT ) X (XT X )
−1 −1 T −1
=
⎜ B ⎟
⎝ A ⎠
T
⎛ ⎞
(( X X ) ) (( X X ) )
−1 T −1
= X ⎜ X (XT X ) ⎟ = X XT = X (XT X ) XT = P
−1 П .2 T −1
T
XT = X T

⎜ A ⎟
⎝ B ⎠

П.1: ( AB ) = BT AT (упражнение – убедиться самостоятельно!!!)

T

П.2: ( AT ) = ( A−1 ) (упражнение – убедиться самостоятельно!!!)

−1 T

Итак, мы доказали, что PT = P .

2) Докажем теперь идемпотентность матрицы P .
P 2 = PP = X ( X T X ) X T X ( X T X ) X T = X ( X T X ) X T X ( X T X ) X T = X ( X T X ) X T = P
−1 −1 −1 −1 −1

Мы доказали, что P 2 = P .
Тем самым, мы показали, что к нашему случаю применима теорема 1, поэтому случайная
величина из пункта А): ε T P( X )ε - распределена как χ 2 с числом степеней свободы,
равным рангу матрицы P( X ) .

1
ГУ-ВШЭ, Эконометрика-1, Борзых Д., октябрь 2009
Дело встало за малым – требуется вычислить ранг матрицы P( X ) . Непосредственное
вычисление ранга этой матрицы затруднительно, тем не менее, есть окольный путь, как
сосчитать ранг. На помощь нам приходит:

Теорема 2
Пусть P ∈ n× n
, PT = P , P 2 = P . Тогда rg ( P ) = tr ( P ) .
Как оказывается, след матрицы P вычислить проще, чем её ранг.
⎛ ⎞ П .3 ⎛ ⎞
( ⎜ )
rg ( P ) = tr ( P ) = tr X ( X T X ) X T = tr ⎜ X ( X T X ) X T ⎟ = tr ⎜ X T X ( X T X ) ⎟ =
−1 −1

B ⎟ ⎜ B
−1

⎟
⎝ A ⎠ ⎝ A ⎠
⎛ ⎞
⎛ ⎞ ⎛1 0⎞
= tr ⎜ X T X ( X T X ) ⎟ = tr ⎜ I ⎟ = tr ⎜
−1

⎜ 2×2 ⎟ ⎟=2
⎝ 2×2 ⎠ ⎝0 1⎠
⎝ 2×2 ⎠
П.3: tr ( AB ) = tr ( BA ) (упражнение – убедиться самостоятельно!!!)
Ответ в пункте А): ε T Pε ∼ χ 22 .

( ) ( ) (
Б) E ( ε T Pε ) = E tr ( ε T Pε ) = E tr ( Pεε T ) = tr E ( Pεε T ) = tr PE ( εε T ) ) ( )
П .4 П .5 П .6 П .7

П.4: ε T Pε - это 1× 1 матрица, поэтому, если взять след от этой матрицы, то ничего не
изменится.
П.5: Как и выше, мы пользуемся тем, что под знаком следа можно переставлять местами
сомножители.
П.6: Операции взятия следа и взятия математического можно менять местами
(упражнение – убедиться самостоятельно!!!).
П.7: E ( Pεε T ) = PE ( εε T ) т.к. матрицу-константу P можно вынести за знак
математического ожидания.

Вычислим отдельно E ( εε T ) :
⎛ ⎡ε1 ⎤ ⎞ ⎛ ε1ε1 ε1ε 2 ε1ε 3 ε1ε 4 ⎞
⎜⎢ ⎥ ⎟ ⎜
ε2 ⎥ εε εε ε 2ε 3 ε 2ε 4 ⎟⎟
E ( εε ) = E
T ⎜ ⎢ [ ⎟
ε1 ε 2 ε 3 ε 4 ] = E ⎜ 2 1 2 2 =
⎜ ⎢ε 3 ⎥ ⎟ ⎜ ε 3ε1 ε 3ε 2 ε 3ε 3 ε 3ε 4 ⎟
⎜⎜ ⎢ ⎥ ⎟⎟ ⎜ ⎟
⎝ ⎣ε 4 ⎦ ⎠ ⎝ ε 4ε1 ε 4ε 2 ε 4ε 3 ε 4ε 4 ⎠

⎛ E (ε1ε1 ) E (ε1ε 2 ) E (ε1ε 3 ) E (ε1ε 4 ) ⎞ ⎛ D(ε1 ) Cov(ε1 , ε 2 ) Cov(ε1 , ε 3 ) Cov(ε1 , ε 4 ) ⎞

⎜ ⎟ П .8 ⎜ ⎟
E (ε 2ε1 ) E (ε 2ε 2 ) E (ε 2ε 3 ) E (ε 2ε 4 ) ⎟ ⎜ Cov(ε 2 , ε1 ) D(ε 2 ) Cov(ε 2 , ε 3 ) Cov(ε 2 , ε 4 ) ⎟
=⎜ = =
⎜ E (ε 3ε1 ) E (ε 3ε 2 ) E (ε 3ε 3 ) E (ε 3ε 4 ) ⎟ ⎜ Cov(ε 3 , ε1 ) Cov(ε 3 , ε 2 ) D(ε 3 ) Cov(ε 3 , ε 4 ) ⎟
⎜ ⎟ ⎜ ⎟
⎝ E (ε 4ε1 ) E (ε 4ε 2 ) E (ε 4ε 3 ) E (ε 4ε 4 ) ⎠ ⎝ Cov(ε 4 , ε1 ) Cov(ε 4 , ε 2 ) Cov(ε 4 , ε 3 ) D(ε 4 ) ⎠

(
П.8: E (ε1ε1 ) = E (ε12 ) = E ( ε1 − Eε1 )
2
) = D(ε ) т.к. Eε
1 1 = 0 (см. условие
ε1 , ε 2 , ε 3 , ε 4 ∼ iidN (0,1) ); E (ε 2ε1 ) = E ( ( ε 2 − Eε 2 )( ε1 − Eε1 ) ) = Cov(ε 2 , ε1 ) .
⎛1 0 0 0⎞
⎜
П .9 0
⎟
1 0 0⎟
=⎜
⎜0 0 1 0⎟
⎜ ⎟
⎝0 0 0 1⎠

2
ГУ-ВШЭ, Эконометрика-1, Борзых Д., октябрь 2009
П.9: D(ε1 ) = 1 из условия задачи, Cov(ε 2 , ε1 ) = 0 из независимости ε1 и ε 2 .
Итак, выше мы получили:
( )
E ( ε T Pε ) = tr PE ( εε T ) = tr ( PI ) = tr ( P ) = 2 .
П .10

П.10: tr ( P ) - мы уже считали в пункте А).

Ответ в пункте Б): E ( ε T Pε ) = 2
В) Из пункта А) нам известно, что ε T Pε ∼ χ 22 . Поэтому число q , такое, что
Pr ( ε T P( X )ε > q ) = 0.1 можно найти при помощи, например, таблиц из учебника по
эконометрике Магнуса, Катышева и Пересецкого (6-е издание) на странице 558 в таблице
3: n = 2 ; α = 0.1 ⇒ q = 4.61.
Ответ в пункте В): q = 4.61
Г) Для нахождения собственных значений матрицы P нам потребуется:
Теорема 3
Собственные значения симметрической и идемпотентной матрицы могут быть только
нулями и единицами.
Доказательство:
Пусть u - собственный вектор, отвечающий собственному значению λ 1 . Тогда
Pu = λ u (1)
Умножим равенство (1) слева на матрицу P , получим:
P 2u = λ Pu (2)
Из того, что P 2 = P и Pu = λ u в равенстве (2) мы получаем:
Pu = λ 2u (3)
Ещё раз учитываем, что Pu = λ u и приходим к равенству:
λu = λ 2u ⇒ ( λ − λ 2 ) u = θ , замечаем, что u ≠ θ , получаем, что λ = 0 или λ = 1 .
Доказательство завершено.

Как мы уже выяснили, в нашем случае матрица P - симметрическая и идемпотентная, и

поэтому собственные значения её – нули и единицы, осталось выяснить, сколько нулей, а
сколько единиц.

Для того чтобы ответить на этот вопрос нам потребуется следующая теорема:
Теорема 4 (о приведении симметрической матрицы к диагональному виду)
Пусть A ∈ n×n , AT = A . Тогда существуют вещественные матрицы Λ ∈ n×n и Q ∈ n× n
,
⎛ λ1 0 ⎟⎞
⎜
такие что Λ = ⎜ ⎟ - диагональная матрица с собственными значениями матрицы
⎜
⎝0 λn ⎟⎠
A на главной диагонали и матрица Q - столбцы которой являются собственными
векторами матрицы A и такая, что QT Q = QQT = I 2 и выполнено соотношение
QT AQ = Λ .
Замечание 1

1
u ≠ θ из определения собственного вектора.
Из условия Q Q = QQ = I следует, что столбцы матрицы Q (а значит, собственные векторы матрицы
2 T T

A ) образуют ортонормированный базис в пространстве n .

3
ГУ-ВШЭ, Эконометрика-1, Борзых Д., октябрь 2009
Если соотношение QT AQ = Λ слева умножить на Q , а справа умножить на QT , то
получится равенство: A = QΛQT .
Замечание 2
Найдем ранг матрицы A : rg ( A ) = rg ( QΛQT ) . Вспомним теорему о том, что при
умножении на невырожденную матрицу – ранг матрицы не меняется. Эта теорема полезна
в связи с тем, что обе матрицы Q и QT - невырожденные 3 . Поэтому rg ( A ) = rg ( Λ ) . А
это, в свою очередь, означает, что ранг матрицы A равен числу ненулевых элементов на
диагонали матрицы Λ , т.е. числу ненулевых собственных значений матрицы A .
Итак, мы только что получили следующую теорему:
Теорема 5
Ранг симметрической матрицы равен числу отличных от нуля её собственных значений.

Замечание 3
Если применить теорему 5 к случаю, когда матрица A не только симметрическая, но ещё
и идемпотентная (у нее собственные значения нули и единицы), то мы получим, что ранг
матрицы P равен числу собственных значений равных единице.

Теорема 6
Пусть P ∈ n× n
, PT = P , P 2 = P . Тогда rg ( P ) = tr ( P ) .
Доказательство:
Поскольку матрица P - симметрическая, то, в соответствии с теоремой 4, для нее
существует разложение: P = QΛQT . Отметим также, что из теоремы 3 следует, что на
диагонали матрицы Λ стоят нули и единицы.
rg ( P ) = rg ( QΛQT ) = rg ( Λ ) = {число с.зн. равных единице}
⎛ ⎞
tr ( P ) = tr ( QΛQT ) = tr ⎜ Λ QT Q ⎟ = tr ( Λ ) = {число с.зн. равных единице}
⎜ ⎟
⎝ I ⎠
Доказательство завершено.

Итак, для нашего случая rg ( P ) = tr ( P ) = 2 .

Значит, для матрицы P : λ1 = λ2 = 1 и λ3 = λ4 = 0 4 .

Осталось теперь найти собственные векторы, которые отвечают соответствующим

собственным значениям.

Собственные векторы, которые отвечают собственным значениям, равным единице

находятся легко – это столбцы матрицы X .
Действительно, покажем сначала, что первый столбец матрицы X - это собственный
вектор, отвечающий λ1 = 1

Это следует из соотношения QQ = I и того, что определитель произведения двух квадратных матриц
3 T

равен произведению определителей матриц-сомножителей, т.е. Q Q

T
= QQT = I = 1 . Значит, оба
T
определителя Q и Q отличны от нуля.
4
Собственные значения можно нумеровать в произвольном порядке, например, можно нумеровать так, как
это сделано выше, главное это то, что число единиц равно рангу матрицы и её следу, а число нулей
дополняет число единиц до размерности квадратной матрицы P .

4
ГУ-ВШЭ, Эконометрика-1, Борзых Д., октябрь 2009
⎛ 1⎞
⎜ ⎟
1
Обозначим через X 1 - первый столбец матрицы X (в нашем случае X 1 = ⎜ ⎟ ).
⎜ 1⎟
⎜ ⎟
⎝ 1⎠
⎛1⎞
Обозначим через e1 = ⎜ ⎟ . Тогда X 1 = Xe1 (убедитесь в этом сами!!!) .
⎝0⎠
Тогда PX 1 = PXe1 = X ( X T X ) X T Xe1 = X ( X T X ) X T X e1 = Xe1 = X 1
−1 −1

Это значит, что PX 1 = 1⋅ X 1 , т.е. X 1 - это собственный вектор, отвечающий собственному

значению 1.

Аналогично объясняется, что второй столбец матрицы X - это собственный вектор,

отвечающий λ2 = 1 .
⎛0⎞
⎜ ⎟
1
Обозначим через X 2 - второй столбец матрицы X (в нашем случае X 2 = ⎜ ⎟ ).
⎜1⎟
⎜ ⎟
⎝1⎠
⎛0⎞
Обозначим через e2 = ⎜ ⎟ . Тогда X 2 = Xe2 (убедитесь в этом сами!!!) .
⎝1⎠
Тогда PX 2 = PXe2 = X ( X T X ) X T Xe2 = X ( X T X ) X T X e2 = Xe2 = X 2
−1 −1

Это значит, что PX 2 = 1 ⋅ X 2 , т.е. X 2 - это собственный вектор, отвечающий собственному

значению 1.

Чуть более сложно находятся остальные два линейно независимых собственных вектора,
отвечающие собственным значениям λ3 = λ4 = 0 .

Для нахождения этих векторов поможет следующий факт:

Теорема 7
Для симметрической матрицы собственные векторы, отвечающие различным
собственным значениям ортогональны.
Доказательство:
Пусть AT = A ; λ1 ≠ λ2 ; Au1 = λ1u1 и Au2 = λ2u2 .
Рассмотрим u1T Au2 :
С одной стороны: u1T Au2 = u1T λ2u2 = λ2u1T u2
С другой стороны: u1T Au2 = u1T AT u2 = ( Au1 ) u2 = ( λ1u1 ) u2 = λ1u1T u2
T T

Поэтому λ2u1T u2 = λ1u1T u2 ⇒ (λ2 − λ1 ) u1T u2 = 0 ⇒ u1T u2 = 0 . Значит, скалярное произведение

≠0
T
векторов u u2 равно нулю. Это и означает ортогональность векторов u1 и u2 .
1

Доказательство завершено.

Итак, для нашего случая как этот факт может помочь?

Нам известны два собственных вектора X 1 и X 2 , которые отвечают собственному
значению 1. Оставшиеся два вектора u1 и u2 , отвечающие собственному значению ноль

5
ГУ-ВШЭ, Эконометрика-1, Борзых Д., октябрь 2009
нам не известны. Тем не менее, из теоремы 7 следует, что u1 ортогонален X 1 и X 2 , и u2
ортогонален X 1 и X 2 .

Условие: u1 ортогонален X 1 и X 2 может быть записано, как ( X 1 ) u1 = 0 и ( X 2 ) u1 = 0

T T

или более коротко: X T u1 = 0 .

Тогда Pu1 = X ( X T X ) X T u1 = θ = 0 ⋅ u1 .
−1

=θ

Мы получили: Pu1 = 0 ⋅ u1 - это означает, что любой ненулевой вектор u1 , ортогональный

X 1 и X 2 , является собственным вектором матрицы P , отвечающим собственному
значению 0.

Итак, из системы X T u = θ мы получим пару недостающих линейно независимых вектора

u1 и u2 .
⎛ x1 ⎞ ⎛ x1 ⎞
⎜ ⎟ ⎜ ⎟
⎛1 1 1 1⎞ ⎜ x2 ⎟ ⎛ 0 ⎞ ⎜ x2 ⎟
X u =θ : ⎜
T
⎟ ⎜ x ⎟ = ⎜ ⎟ , где u = ⎜ ⎟ .
⎝ 0 1 1 1⎠ 3 ⎝0⎠ x3
⎜ ⎟ ⎜⎜ ⎟⎟
⎝ x4 ⎠ ⎝ x4 ⎠
⎛1 1 1 1 0 ⎞ ⎛1 0 0 0 0 ⎞
⎜ ⎟∼⎜ ⎟
⎝0 1 1 1 0⎠ ⎝0 1 1 1 0⎠
Как видно, в качестве u1 и u2 можно взять векторы:
⎛0⎞ ⎛0⎞
⎜ ⎟ ⎜ ⎟
⎜ −1 ⎟ ⎜ −1⎟
u1 = и u2 = .
⎜1⎟ ⎜0⎟
⎜ ⎟ ⎜ ⎟
⎝0⎠ ⎝1⎠
Ответ на пункт Г): Собственным значениям λ1 = λ2 = 1 отвечают собственные
⎛ 1⎞ ⎛0⎞ ⎛0⎞
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
1 1 −1
векторы X 1 = ⎜ ⎟ , X 2 = ⎜ ⎟ , а собственным значениям λ3 = λ4 = 0 - векторы u1 = ⎜ ⎟ ,
⎜ 1⎟ ⎜1⎟ ⎜1⎟
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎝ 1⎠ ⎝1⎠ ⎝0⎠
⎛0⎞
⎜ ⎟
−1
u2 = ⎜ ⎟ .
⎜0⎟
⎜ ⎟
⎝1⎠

В дополнение можно было бы попросить найти ортонормированный базис из собственных

векторов матрицы P , но “это уже другая история…”