Ñîäåðæàíèå

1 Îïèñàíèå êóðñà . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2 Ðåêîìåíäóåìàÿ ëèòåðàòóðà . . . . . . . . . . . . . . . . . . . . . . . . . . 5

I Ïðèáëèæåííûé ïîäõîä ê ïîñòðîåíèþ ñòàòèñòè÷åñêèõ âûâîäîâ 6

1 Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ . . . . . . . . . . . . . . 6

2 Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè . . . . . . . . . . . . . . . . . . . . . 7

3 Êîå-÷òî î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí . . . . . . . . . . . . 8

4 Êîå-÷òî î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí . . . . . . 9

5 Çàêîíû Áîëüøèõ ×èñåë (ÇÁ×) è Öåíòðàëüíûå Ïðåäåëüíûå Òåîðåìû

(ÖÏÒ) äëÿ íåçàâèñèìûõ íàáëþäåíèé . . . . . . . . . . . . . . . . . . . . 11

6 Ñòàòèñòè÷åñêèå âûâîäû ñ ïîìîùüþ àñèìïòîòè÷åñêîãî ïîäõîäà . . . . . 12

7 Àñèìïòîòè÷åñêèé ïîäõîä äëÿ âðåìåííûõ ðÿäîâ . . . . . . . . . . . . . . 13

8 Ââåäåíèå â àñèìòîòè÷åñêèé ïîäõîä äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ . . . 19

II Áóòñòðàïîâñêèé ïîäõîä 19
1 Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì . . . . . . . . . 19

2 Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé . . . . . . . . . . . . . . . . . . . . 21

3 Êàêèå ñòàòèñòèêè áóòñòðàïèòü ? . . . . . . . . . . . . . . . . . . . . . . . 21

4 Êîððåêòèðîâêà ñìåùåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

5 Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà . . . . . . . . . . . . . . . 23

6 Àñèìòîòè÷åñêîå ðàôèíèðîâàíèå . . . . . . . . . . . . . . . . . . . . . . . 25

7 Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå (ñëó÷àé íåçàâèñèìûõ íàáëþ-

äåíèé) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

8 Ïîñòðîåíèå ïñåâäîâûáîðîê â áóòñòðàïå (ñëó÷àé âðåìåííûõ ðÿäîâ) . . . 28

III Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ 29

1 Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå . . . . . . . . . . . . . . . . . . . . . 29

2 Ïðåäñêàçàíèå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3 Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ . . . . . . . . . . . . 32

4 Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ . . . . . . . . . . . 32

5 Ïðèíöèï àíàëîãèé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

6 Ðåãðåññèÿ (îñíîâíûå ïîíÿòèÿ) . . . . . . . . . . . . . . . . . . . . . . . . 34

IV Ðåãðåññèÿ ëèíåéíîãî ñðåäíåãî 36

1 Îöåíêà ïî ìåòîäó íàèìåíüøèõ êâàäðàòîâ OLS . . . . . . . . . . . . . . 36

2 Àñìòîòè÷åñêèå ñâîéñòâà îöåíêè OLS . . . . . . . . . . . . . . . . . . . . 36

3
 3 Ñâîéñòâà OLS îöåíêè â êîíå÷íûõ âûáîðêàõ . . . . . . . . . . . . . . . . 39

4 Îöåíêà ïî îáîáùåíîìó ìåòîäó íàèìåíüøèõ êâàäðàòîâ (GLS) . . . . . . 39

5 Àñèìòîòè÷åñêèå ñâîéñòâà îöåíîê GLS . . . . . . . . . . . . . . . . . . . 41

6 Äîñòóïíàÿ îöåíêà GLS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

7 Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé . . . . . . . . . . . . . . . . . . . . . 44

8 OLS è GLS âî âðåìåííûõ ðÿäàõ . . . . . . . . . . . . . . . . . . . . . . . 45

V Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè 47

1 Ýíäîãåííûå ïåðåìåííûå . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

2 Ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ è ðåãðåññîðîâ ñîâïàäàåò . . . . 49

3 Ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ ïðåâûøàåò êîëè÷åñòâî ðåãðåñ-

ñîðîâ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

4 Ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ ìåíüøå ÷èñëà ðåãåññîðîâ . . . 51

5 Áóòñòðàïèðîâàíèå îöåíîê èíñòðóìåíòàëüíûõ ïåðåìåííûõ . . . . . . . . 52

6 Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ . . . . . . . . . . . 53

VI Îöåíêà ðåãðåññèîííûõ ìîäåëåé ñ íåëèíåéíûì ñðåäíèì 53

1 Íåëèíåéíîñòè â ðåãðåññèÿõ . . . . . . . . . . . . . . . . . . . . . . . . . . 53

2 Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè . . . . . . . . . . . . . . . . . . . . . 55

3 Îöåíêà íåëèíåéíîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (NLLS) . . . . . . . 55

4 Àñèìïòîòè÷åñêèå ñâîéñòâà îöåíêè NLLS . . . . . . . . . . . . . . . . . . 57

5 Ýôôåêòèâíîñòü è âçâåøåííàÿ îöåíêà NLLS . . . . . . . . . . . . . . . . 61

6 Ïðèëîæåíèå : Ìîäåëü áèíàðíîãî âûáîðà. . . . . . . . . . . . . . . . . . . 62

7 Ñòàòèñòè÷åñêèå âûâîäû, êîãäà ïðè íóëåâîé ãèïîòåçå îäèí èç ïàðàìåò-

ðîâ íåèäåíòèôèöèðîâàí. . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

4
Ââåäåíèå

1 Îïèñàíèå êóðñà

Êóðñ ñëóæèò ââåäåíèåì â ïðèíöèïû ñîâðåìåííîãî èñêóññòâà ýêîíîìåòðè÷åñêîãî îöå-

íèâàíèÿ è ïîñòðîåíèÿ âûâîäîâ êàê äëÿ êðîññ-äàííûõ, òàê è äëÿ âðåìåííûõ ðÿäîâ.

Íåóäîâëåòâîðåííîñòü òî÷íûì ïîäõîäîì çàñòàâëÿåò íàñ ðàññìîòðåòü äâå àëüòåðíàòè-

âû : àñèìòîòè÷åñêèé è áóòñòðàïîâñêèé ïîäõîäû. Èçó÷èâ îïðåäåëåííûå âàæíûå ýêîíî-

ìåòðè÷åñêèå òîíêîñòè îáîèõ ïîäõîäîâ, êóðñ êîíöåíòðèðóåòñÿ íà ïîñòðîåíèè è èçó÷å-

íèè ñâîéñòâ ëèíåéíûõ îöåíîê. Òåì íå ìåíåå, çàêëþ÷èòåëüíàÿ ÷àñòü êóðñà ïîñâÿùåíà

ïðîñòåéøèì íåëèíåéíûì ìîäåëÿì è ìåòîäàì. Àêöåíò äåëàåòñÿ íà ðåøåíèè êîíöåï-

òóàëüíûõ çàäà÷ ýêîíîìåòðèêè, íåæåëè íà ìàòåìàòè÷åñêèõ òîíêîñòÿõ ; òåì íå ìåíåå,

ïîñëåäíèå èíîãäà íåèçáåæíû. Äîìàøíèå çàäàíèÿ ïî êóðñó ñîäåðæàò êàê òåîðåòè÷å-

ñêèå çàäà÷è, òàê è ïðàêòè÷åñêèå çàäàíèÿ, ïîäðàçóìåâàþùèå èñïîëüçîâàíèå ïàêåòà

GAUSS. Çàäàíèÿ ñëóæàò âàæíûì èíãðåäèåíòîì îáó÷àþùåãî ïðîöåññà, â êîòîðîì

÷àñòî áóäóò âñòðå÷àòüñÿ òåîðåòè÷åñêèå è ýìïèðè÷åñêèå ïðèìåðû.

2 Ðåêîìåíäóåìàÿ ëèòåðàòóðà

1. Goldberger, A. A Course in Econometrics , Harvard University Press

2. Greene, W. Econometric Analysis, 3rd edition

3. Potcher, B., Prucha, I. (2001) Basic elements of asymptotic theory , in : A Companion

to Theoretical Econometrics , edited by Baltagi, B., Blackwell Publishers

4. Horowitz, J. (2001) The bootstrap , in : Handbook of Econometrics , vol. 5, Elsevier

Science, North-Holland

5
I Ïðèáëèæåííûé ïîäõîä ê ïîñòðîåíèþ ñòàòèñòè÷å-

ñêèõ âûâîäîâ

1 Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ

×àñòî ïðè ýìïèðè÷åñêîì àíàëèçå äàííûõ âîçíèêàåò ñèòóàöèÿ, êîãäà ýêîíîìåòðèñò,

èìåÿ îöåíêó íåêîòîðîãî ïàðàìåòðà, õî÷åò èçó÷èòü åå ñòàòèñòè÷åñêèå ñâîéñòâà. Äëÿ

ýòîãî åìó íåîáõîäèìî çíàòü ôóíêöèþ ðàñïðåäåëåíèÿ ïîëó÷åííîé îöåíêè. Íàïðèìåð,

ôóíêöèÿ ðàñïðåäåëåíèÿ âñåãäà áûâàåò íóæíà äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåð-

âàëîâ èëè òåñòèðîâàíèÿ ñòàòèñòè÷åñêèõ ãèïîòåç. Ñóùåñòâóåò äâà ïîäõîäà ê âîïðîñó

î ðàñïðåäåëåíèè îöåíèâàåìîãî ïàðàìåòðà : òî÷íûé è ïðèáëèæåííûé .

Òî÷íûé ïîäõîä îñíîâàí íà ïðåäïîëîæåíèè î òî÷íîì âèäå ðàñïðåäåëåíèÿ äàííûõ.

Çàòåì ðàñïðåäåëåíèå äàííûõ òðàíñôîðìèðóåòñÿ â ðàñïðåäåëåíèå ïîñòðîåííîé îöåí-

êè.

Ïðèìåð : Ïóñòü óñëîâíîå ðàñïðåäåëåíèå ïåðåìåííîé Y èìååò âèä íîðìàëüíîãî ñî

ñðåäíèì Xβ è äèñïåðñèåé σ 2 In , ò.å.

Y |X ∼ N (Xβ, σ 2 In )

Òîãäà ñòàíäàðòíàÿ OLS îöåíêà òîæå èìååò íîðìàëüíîå óñëîâíîå ðàñïðåäåëåíèå :

βbOLS = (X 0 X)−1 X 0 Y |X ∼ N (β, σ 2 (X 0 X)−1 )

Íåäîñòàòêè òî÷íîãî ïîäõîäà äîñòàòî÷íî î÷åâèäíû. Âî-ïåðâûõ , ÷òîáû èñïîëüçîâàòü

òî÷íûé ïîäõîä, íåîáõîäèìî ñäåëàòü ïðåäïîëîæåíèå î âèäå ôóíêöèè ðàñïðåäåëåíèÿ

äàííûõ. Âî-âòîðûõ , òî÷íûé ïîäõîä îáû÷íî îãðàíè÷èâàåòñÿ íîðìàëüíûì ðàñïðåäå-

ëåíèåì, ïîñêîëüêó åñëè äàííûå èìåþò ðàñïðåäåëåíèå, îòëè÷íîå îò íîðìàëüíîãî, àíà-

ëèòè÷åñêèé âûâîä ðàñïðåäåëåíèÿ èñêîìîé îöåíêè çà÷àñòóþ ñòàíîâèòñÿ î÷åíü òðóäî-

åìêîé çàäà÷åé. Íàêîíåö , òî÷íûé ïîäõîä îãðàíè÷èâàåò êëàññ ìîäåëåé è îöåíèâàåìûõ

ïàðàìåòðîâ, ïî-ñóùåñòâó, ñâîäÿ âñ¼ ê ëèíåéíîìó ñëó÷àþ. Íåëèíåéíîñòü ìîäåëè ñíîâà

äåëàåò âûâîä ðàñïðåäåëåíèÿ îöåíèâàåìîãî ïàðàìåòðà âû÷èñëèòåëüíî òðóäíîé çàäà-

÷åé.

Ïðèáëèæåííûé ïîäõîä îñíîâàí íà àïïðîêñèìàöèè ðàñïðåäåëåíèÿ îöåíèâàåìîãî

ïàðàìåòðà. Â íàñòîÿùåå âðåìÿ ñóùåñòâóåò äâà ìåòîäà, îòíîñÿùèõñÿ ê ïðèáëèæåííî-

ìó ïîäõîäó : àñèìòîòè÷åñêèé è áóòñòðàïîâñêèé .

Èäåÿ àñèìïòîòè÷åñêîãî ìåòîäà â òîì, ÷òîáû äëÿ ïîñòðîåíèÿ ïðèáëèçèòåëüíîãî

ðàñïðåäåëåíèÿ îöåíèâàåìîãî ïàðàìåòðà èñïîëüçîâàòü ïðåäåëüíîå ðàñïðåäåëåíèå âû-

áîðî÷íûõ ñðåäíèõ. Íåñîìíåííûì äîñòîèíñòâîì òàêîãî ïîäõîäà ÿâëÿåòñÿ ôàêò, ÷òî

6
èñïîëüçóåìûå ïðåäåëüíûå ðàñïðåäåëåíèÿ îáû÷íî ÿâëÿþòñÿ ñòàíäàðòíûìè è çàòàáó-

ëèðîâàííûìè, ÷òî äåëàåò íåíóæíûìè ñëîæíûå ìàòåìàòè÷åñêèå âûêëàäêè. Ñ äðóãîé

ñòîðîíû, àñèìòîòè÷åñêàÿ àïïðîêñèìàöèÿ ðàñïðåäåëåíèÿ îöåíêè ìîæåò áûòü ïëîõîé,

è áîëåå òîãî, ìû íå çíàåì, íàñêîëüêî õîðîøà ïîëó÷åííàÿ îöåíêà. Êðîìå òîãî, àñèì-

òîòè÷åñêèé ïîäõîä ìîæåò òàêæå ïîòðåáîâàòü çíà÷èòåëüíûõ àíàëèòè÷åñêèõ âû÷èñëå-

íèé.

Áóòñòðàïîâñêèé ìåòîä àïïðîêñèìèðóåò ðàñïðåäåëåíèå îöåíèâàåìîãî ïàðàìåòðà,

1
èñïîëüçóÿ ýìïèðè÷åñêîå ðàñïðåäåëåíèå äàííûõ .

 íàñòîÿùåå âðåìÿ ýêîíîìåòðèñòû ïðåäïî÷èòàþò èñïîëüçîâàòü ïðèáëèæåííûé ïîä-

õîä, ïîñêîëüêó òî÷íûé òðåáóåò î÷åíü ñèëüíîãî ïðåäïîëîæåíèÿ î âèäå ðàñïðåäåëåíèÿ

èñõîäíîé âûáîðêè. Ðàçóìíî ñ÷èòàòü, ÷òî ýòî ðàñïðåäåëåíèå íåèçâåñòíî èññëåäîâàòå-

ëþ.

2 Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè

Îñíîâíûìè ïîíÿòèÿìè àñèìïòîòè÷åñêîé òåîðèè ÿâëÿþòñÿ ñîñòîÿòåëüíîñòü , àñèì-

ïòîòè÷åñêàÿ íîðìàëüíîñòü è àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü .

Ïóñòü íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå ñâîéñòâà îöåíêè βbn , ïîëó÷åííîé èç âûáîð-

êè ðàçìåðà n. Ïîñêîëüêó ìû ïðåäïîëàãàåì ñëó÷àéíóþ ïðèðîäó èñõîäíûõ äàííûõ, òî

è ïîñòðîåííàÿ îöåíêà áóäåò ñëó÷àéíîé âåëè÷èíîé. Òàêèì îáðàçîì, ìû èìååì ïîñëå-

äîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí - äëÿ êàæäîãî n ñâîÿ βbn . Òîãäà îöåíêà βbn íàçû-

âàåòñÿ :

p
• Ñîñòîÿòåëüíîé , åñëè βbn −→ β , ãäå β - èñòèííîå çíà÷åíèå îöåíèâàåìîãî ïàðà-

ìåòðà.

2 d
• Àñèìïòîòè÷åñêè íîðìàëüíîé , åñëè nδ (βbn − β) −→ N (µ, Σ)

(2)
• Àñèìïòîòè÷åñêè áîëåå ýôôåêòèâíîé, ÷åì βbn , åñëè ïðè

d
nδ (βbn − β) −→ N (µ, Σ)
d
nδ (βbn(2) − β) −→ N (µ(2) , Σ(2) )

ìàòðèöà (Σ(2) − Σ) ÿâëÿåòñÿ ïîëîæèòåëüíî îïðåäåëåííîé.

1 Â äàëüíåéøåì ìû ïîäðîáíåå îáñóäèì áóòñòðàïîâñêèé ïîäõîä

2 Çäåñü nδ - ñêîðîñòü ñõîäèìîñòè ; µ - àñèìòîòè÷åñêîå ñìåùåíèå ; Σ - àñèìïòîòè÷åñêàÿ äèñïåðñè-

îííàÿ ìàòðèöà.

7
 Î÷åâèäíî, ÷òî ñîñòîÿòåëüíîñòü îöåíêè íåîáõîäèìà, åñëè ìû õîòèì äåëàòü êàêèå-

ëèáî êîëè÷åñòâåííûå âûâîäû îá èñòèííîì ïàðàìåòðå, èñõîäÿ èç ïîëó÷åííîé îöåíêè.

Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü âàæíà ïî òîé ïðè÷èíå, ÷òî ïîñòðîåíèå ñòàòèñòè÷å-

ñêèõ òåñòîâ èëè êðèòè÷åñêèõ èíòåðâàëîâ òðåáóåò çíàíèÿ ðàñïðåäåëåíèÿ îöåíêè. Ò. ê.

òî÷íîãî ðàñïðåäåëåíèÿ ìû íå çíàåì, òî ïîëüçóåìñÿ àñèìïòîòè÷åñêèì, íîðìàëüíûì

ðàñïðåäåëåíèåì. Ýôôåêòèâíîñòü îöåíêè æåëàòåëüíà, ïîñêîëüêó ÷åì áîëåå ýôôåê-

òèâíà îöåíêà, òåì òî÷íåå îíà ïðåäñêàçûâàåò èñòèííûé ïàðàìåòð. Ãðóáî ãîâîðÿ, äèñ-

ïåðñèÿ ýôôåêòèâíîé îöåíêè ìèìíèìàëüíà ñðåäè äèñïåðñèé îöåíîê íåêîòîðîãî êëàñ-

ñà. Òàêèì îáðàçîì, ïðè èñïîëüçîâàíèè àñèìïòîòè÷åñêîãî ïîäõîäà íàñ èíòåðåñóþò

òðè âåùè : ñîñòîÿòåëüíîñòü, àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü è àñèìïòîòè÷åñêàÿ

ýôôåêòèâíîñòü .

3 Êîå-÷òî î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí

Ïðè ïðåäïîëîæåíèè î ñëó÷àéíîé ïðèðîäå èñõîäíîé âûáîðêè (äàííûõ), ïîñòðîåííûå

îöåíêè ÿâëÿþòñÿ, êàê ïðàâèëî, ñëó÷àéíûìè âåëè÷èíàìè. Äëÿ äàëüíåéøåãî èññëåäî-

âàíèÿ ñòàòèñòè÷åñêèõ ñâîéñòâ îöåíîê äàäèì íåñêîëüêî îïðåäåëåíèé è ðåçóëüòàòîâ,

îòíîñÿùèõñÿ ê ìîäåëÿì ñõîäèìîñòè ïîñëåäîâàòåëüíîñòåé ñëó÷àéíûõ âåëè÷èí.

Îïðåäåëåíèå 1 (ñõîäèìîñòü ïî÷òè íàâåðíîå). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü

Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z ïî÷òè íàâåðíîå (èëè ñ âå-
as
ðîÿòíîñòüþ åäèíèöà ), ò.å. Zn −→ Z , åñëè

P r{ lim Zn = Z} = 1,
n→∞

ò. å. ïî÷òè êàæäàÿ òðàåêòîðèÿ ñõîäèòñÿ ê Z.

Îïðåäåëåíèå 2 (ñõîäèìîñòü ïî âåðîÿòíîñòè). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü
p
Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z ïî âåðîÿòíîñòè , ò.å. Zn −→
Z èëè p lim Zn = Z , åñëè

∀ε > 0 lim P r{kZn − Zk > ε} = 0,

n→∞

ò. å. âåðîÿòíîñòü áîëüøèõ îòêëîíåíèé îò Z ñòðåìèòñÿ ê 0.

Îïðåäåëåíèå 3 (ñõîäèìîñòü â ñðåäíå-êâàäðàòè÷íûõ îòêëîíåíèÿõ). Ìàòðè÷-

íàÿ ïîñëåäîâàòåëüíîñòü Zn
ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z â
ms
ñðåäíå-êâàäðàòè÷íûõ îòêëîíåíèÿõ , ò.å. Zn −→ Z , åñëè

lim E[kZn − Zk2 ] = 0,

n→∞

ò. å. ñðåäíåêâàäðàòè÷íàÿ îøèáêà ñòðåìèòñÿ ê 0.

8
Îïðåäåëåíèå 4 (ñõîäèìîñòü ïî ðàñïðåäåëåíèþ). Ìàòðè÷íàÿ ïîñëåäîâàòåëü-
íîñòü Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z ïî ðàñïðåäåëåíèþ , ò.
d d
å. Zn −→ Z èëè Zn −→ DZ , ãäå DZ  ðàñïðåäåëåíèå Z , åñëè

lim P r{Zn ≤ z} = P r{Z ≤ z}

n→∞

äëÿ âñåõ òî÷åê íåïðåðûâíîñòè z ðàñïðåäåëåíèÿ DZ .

Ìîæíî ïîêàçàòü, ÷òî ñõîäèìîñòü ïî âåðîÿòíîñòè ñëåäóåò èç ñõîäèìîñòè ïî÷òè

íàâåðíîå èëè ñõîäèìîñòè â ñðåäíå-êâàäðàòè÷íûõ îòêëîíåíèÿõ . Ñõîäèìîñòü ïî ðàñ-

ïðåäåëåíèþ , â ñâîþ î÷åðåäü, âûòåêàåò èç ñõîäèìîñòè ïî âåðîÿòíîñòè .

as ms p
Ðåçóëüòàò 1. {Zn −→ Z èëè Zn −→ Z} ⇒ Zn −→ Z
p d
Ðåçóëüòàò 2. Zn −→ Z ⇒ Zn −→ Z .
p d
Ðåçóëüòàò 3. Åñëè Z - êîíñòàíòà, òî {Zn −→ Z} ⇔ Zn −→ Z

Ïðèìåð : Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí

Z Z Z Z Z
{Zn } = { , , , , . . . , , . . .},
1 2 3 4 n
ãäå Z èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå N (0, 1). Òîãäà E(Zn ) = 0 è
ms p
V ar(Zn ) = n12 . Òàêèì îáðàçîì Zn −→ 0, à, ñëåäîâàòåëüíî, è Zn −→ 0 (ñì. Ðåçóëüòàò
1).

4 Êîå-÷òî î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè-

÷èí

Ñóùåñòâóåò òàêæå íåñêîëüêî ïîëåçíûõ òåîðåì, êîòîðûå íàì ïîíàäîáÿòñÿ âïîñëåä-

ñòâèè. Çäåñü îíè ïðèâåäåíû áåç äîêàçàòåëüñòâ.

Òåîðåìà (Ìàííà-Âàëüäà) . Ïóñòü ôóíêöèÿ g : Rk1 ×k2 → Rl1 ×l2 íåïðåðûâíà, à Zn 

ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí, òîãäà :

as as
• Åñëè Zn −→ Z , òî g(Zn ) −→ g(Z).
p p
• Åñëè Zn −→ Z , òî g(Zn ) −→ g(Z).

ms ms
• Åñëè Zn −→ Z è g ëèíåéíà, òî g(Zn ) −→ g(Z).

d d
• Åñëè Zn −→ Z , òî g(Zn ) −→ g(Z).

9
Çàìå÷àíèå : Åñëè Z êîíñòàíòà, òî äëÿ âûïîëíåíèÿ òåîðåìû äîñòàòî÷íà òîëüêî ëî-

êàëüíàÿ íåïðåðûâíîñòü ôóíêöèè g â òî÷êå Z.

Òåîðåìà (Ñëóöêîãî) . Åñëè ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí Un ñõîäèòñÿ ïî

âåðîÿòíîñòè ê íåêîòîðîé êîíñòàíòå U,

à ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí Vn
p d
ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå V , ò.å. Un −→ U è Vn −→ V , òî :

d
• Un + Vn −→ U + V

d
• Un Vn −→ U V

d
• Un−1 Vn −→ U −1 V , åñëè P r{det(Un ) = 0} = 0

Åù¼ ðàç îáðàòèì âíèìàíèå íà òîò ôàêò, ÷òî â òåîðåìå Ñëóöêîãî îäíà ïîñëåäî-

âàòåëüíîñòü äîëæíà ñõîäèòüñÿ ïî âåðîÿòíîñòè ê êîíñòàíòå . Åñëè ýòî íå òàê, òî

òåîðåìà, âîîáùå ãîâîðÿ, íå âåðíà. Ñëåäóþùèé ïðèìåð äåìîíñòðèðóåò ýòî.

Ïðèìåð : Ïóñòü ñëó÷àéíàÿ âåëè÷èíà Z èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäå-

ëåíèå, ò. å. Z ∼ N (0, 1). Ðàññìîòðèì äâå ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí :

p d
{Zn } = {Z, Z, Z, Z, . . .} è {Xn } = {Z, −Z, Z, −Z, . . . }. ßñíî, ÷òî {Zn } −→ Z è {Xn } −→

Z. Îäíàêî, {Zn + Xn } = {2Z, 0, 2Z, 0, 2Z, . . . }. Òàêèì îáðàçîì, ïîñëåäîâàòåëüíîñòü

ñóììû ñëó÷àéíûõ âåëè÷èí íå ñõîäèòñÿ ïî âåðîÿòíîñòè ê Z. Ò.å. òåîðåìà Ñëóöêîãî

íåïðèìåíèìà.

Òåîðåìà (Äåëüòà Ìåòîä) . Ïóñòü ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåêòîðîâ Z ðàç-

√ d
ìåðíîñòè k×1 óäîâëåòâîðÿåò óñëîâèþ n(Zn − Z) −→ N (0, Σ), ãäå Z = p lim Zn 
k l
êîíñòàíòà, è ôóíêöèÿ g: R → R íåïðåðûâíî äèôôåðåíöèðóåìà â òî÷êå Z. Òîãäà

√ d
n(g(Zn ) − g(Z)) −→ N (0, GΣG0 )

∂g(z)
ãäå G= | .
∂z 0 z=Z

Ïðèìåðû 1 è 2 äåìîíñòðèðóþò ïðèìåíåíèå òåîðåìû Ìàííà-Âàëüäà è Äåëüòà Ìå-

òîäà íà ïðàêòèêå.

p √ d
Ïðèìåð 1 : Ïóñòü x −→ µ è n(x − µ) −→ N (0, Σ). Ðàññìîòðèì íåïðåðûâíî äèô-

ôåðåíöèðóåìóþ ôóíêöèþ g(x) = x0 x. Ïî òåîðåìå Ìàííà-Âàëüäà

√ d
Σ−1/2 n(x − µ) −→ N (0, Ik )

ãäå (Σ−1/2 )0 Σ−1/2 = Σ−1 . Òàêèì îáðàçîì, ïîëó÷àåì ðåçóëüòàò :

√ d
n(x − µ)0 Σ−1 (x − µ) −→ χ2 (k).

10
Èñïîëüçóÿ Äåëüòà Ìåòîä, ïîëó÷èì :

√ d
n(x0 x − µ0 µ) −→ N (0, 4µ0 Σµ),
∂(x0 x)
ó÷èòûâàÿ, ÷òî G= ∂x0 µ
| = 2x0 |µ = 2µ0 .
Ïðèìåð 2 : Ïóñòü
√
   
x1 µ1 d
n − −→ N (0, I2 ).
x2 µ2
x1 −µ1
Ðàññìîòðèì âûðàæåíèå . Ïî òåîðåìå Ìàííà-Âàëüäà :
x2 −µ2

x1 − µ1 d N (0, 1)
−→ = Cauchy.
x 2 − µ2 N (0, 1)
Ò.å. èíòåðåñóþùàÿ íàñ âåëè÷èíà èìååò ðàñïðåäåëåíèå Êîøè.
x1 x1


Òåïåðü ðàññìîòðèì íåïðåðûâíî äèôôåðåíöèðóåìóþ ôóíêöèþ g x2
= x2
. Ïðèìå-

íÿÿ Äåëüòà Ìåòîä, èìååì :

  
x1
x2
∂ 


1 µ1

G=  = ,− .
∂(x1 , x2 )  µ2 µ2
(µµ12 )
Òàêèì îáðàçîì,
  2 
µ1
√  1 + µ2
 
x 1 µ1 d
n − −→ N 0, .

x 2 µ2 µ22

5 Çàêîíû Áîëüøèõ ×èñåë (ÇÁ×) è Öåíòðàëüíûå Ïðåäåëüíûå

Òåîðåìû (ÖÏÒ) äëÿ íåçàâèñèìûõ íàáëþäåíèé

Îñíîâíûìè èíñòðóìåíòàìè ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ â àñèìïòîòè÷åñêîì

ïîäõîäå ÿâëÿþòñÿ Çàêîíû Áîëüøèõ ×èñåë (ÇÁ×) è Öåíòðàëüíûå Ïðåäåëüíûå Òåî-

ðåìû (ÖÏÒ). ÇÁ× ïðåäñòàâëÿåò ñîáîé ðåçóëüòàò î ñõîäèìîñòè âûáîðî÷íîãî ñðåä-

íåãî, ÖÏÒ äàåò ïðåäñòàâëåíèå î ïðåäåëüíîì ðàñïðåäåëåíèè âûáîðî÷íîãî ñðåäíåãî.

Ñóùåñòâóåò äîâîëüíî áîëüøîå êîëè÷åñòâî ôîðìóëèðîâîê ÇÁ× è ÖÏÒ. Íàñ áóäóò

èíòåðåñîâàòü ÇÁ× è ÖÏÒ äëÿ äâóõ îñíîâíûõ ñëó÷àåâ : íåçàâèñèìûå íàáëþäåíèÿ è

ñòàöèîíàðíûå, ýðãîäè÷íûå âðåìåííûå ðÿäû . Äàëåå ïðèâîäÿòñÿ ÇÁ× è ÖÏÒ äëÿ íåçà-

âèñèìûõ èëè ñåðèéíî íåñêîððåëèðîâàííûõ ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí.

Òåîðåìà A (Êîëìîãîðîâà, íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþ-

äåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû {Zn }∞
i=1 íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû.

Êðîìå òîãî, ïóñòü ñóùåñòâóåò ìàòåìàòè÷åñêîå îæèäàíèå E|Zi |. Òîãäà :

n
1X as
Zi −→ E[Zi ].
n i=1

11
Òåîðåìà B (Êîëìîãîðîâà, íåçàâèñèìûå îäíîðîäíûå íàáëþäåíèÿ). Ïóñòü
ñëó÷àéíûå âåëè÷èíû {Zn }∞
i=1 íåçàâèñèìû è èìåþò êîíå÷íûå äèñïåðñèè σi2 . Åñëè
P∞ σi2
i=1 i2
< ∞, òî
" n #
n
1X 1X as
Zi − E Zi −→ 0.
n i=1 n i=1

Òåîðåìà C (×åáûøåâà, íåêîððåëèðîâàííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå

Pn
âåëè÷èíû {Zn }∞
i=1 íåêîððåëèðîâàíû, ò.å. Cov(Zi , Zj ) = 0 äëÿ i 6= j . Åñëè
1
n2 i=1 σi2 −→
n→∞
0, òî : " n #
n
1X 1X p
Zi − E Zi −→ 0.
n i=1 n i=1

Òåîðåìà E (Ëèíäáåðãà-Ëåâè, íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íà-

áëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû {Zn }∞
i=1 íåçàâèñèìû è îäèíàêîâî ðàñïðåäå-

ëåíû ñ ìàòåìàòè÷åñêèì îæèäàíèåì EkZi k = µ è äèñïåðñèåé V ar[Zi ] = σ 2 . Òîãäà :

n
!
√ 1X d
n Zi − µ −→ N (0, σ 2 ).
n i=1

Òåîðåìà F (Ëÿïóíîâà, íåçàâèñèìûå îäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó-

÷àéíûå âåëè÷èíû {Zn }∞
i=1 íåçàâèñèìû ñ ìàòåìàòè÷åñêèì îæèäàíèåì E[Zi ] = µi , äèñ-
ïåðñèåé V ar[Zi ] = σi2 è òðåòüèì öåíòðàëüíûì ìîìåíòîì E[|Zi − µi |3 ] = νi . Òîãäà,

åñëè
1/3
( ni=1 νi )
P
1/2
−→ 0,
( ni=1 σi2 ) n→∞
P

òî Pn
i=1 (Zi − µi ) d
−→ N (0, 1).
2 1/2
Pn
( i=1 σi )

6 Ñòàòèñòè÷åñêèå âûâîäû ñ ïîìîùüþ àñèìïòîòè÷åñêîãî ïîä-

õîäà

Èäåÿ ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ ïðè ïîìîùè àñèìïòîòè÷åñêîãî ìåòîäà äî-

âîëüíî î÷åâèäíà. Âìåñòî òî÷íîãî ðàñïðåäåëåíèÿ îöåíêè áåðåòñÿ àñèìïòîòè÷åñêîå, íà

îñíîâàíèè êîòîðîãî ñòðîÿòñÿ òåñòîâûå ñòàòèñòèêè.

Ïðèìåð :
√ d
n(Z n − µ) −→ N (0, σ 2 )
 äàííîì ñëó÷àå ìû èìååì äåëî ñ âûáîðî÷íûì ñðåäíèì Z n, êîòîðîå ñîãëàñíî ÖÏÒ

èìååò àñèìòîòè÷åñêè íîðìàëüíîå ðàñïðåäåëåíèå. Çàìåòèì, ÷òî â äàííîì ñëó÷àå ðàñ-

ïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà σ2, ïîýòîìó ñòàòèñòèêà Zn ÿâëÿåòñÿ

íåïèâîòàëüíîé ñòàòèñòèêîé .

12
Îïðåäåëåíèå : Ñòàòèñòèêà íàçûâàåòñÿ (àñèìòîòè÷åñêè) ïèâîòàëüíîé , åñëè åå (àñèì-

ïòîòè÷åñêîå) ðàñïðåäåëåíèå íå çàâèñèò îò íåèçâåñòíûõ ïàðàìåòðîâ.

Âîçâðàùàÿñü ê íàøåìó ïðèìåðó, ìû ìîæåì ïîëó÷èòü ïèâîòàëüíóþ ñòàòèñòèêó,

ïîñòðîèâ ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè b2 :

σ
√ √
n(Z n − µ) n(Z n − µ) σ d
= −→ N (0, 1),
σ
b σ σ
b
√
n(Z n −µ) d σ d
ò.ê. ñîãëàñíî ÖÏÒ
σ
b2 ,
−→ N (0, 1), à â ñèëó ñîñòîÿòåëüíîñòè îöåíêè σ σ
b
−→ 1.
Òåïåðü, çíàÿ àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè ìîæíî ïîñòðî-

èòü äîâåðèòåëüíûé èíòåðâàë. Òàê àñèìòîòè÷åñêèé äîâåðèòåëüíûé èíòåðâàë äëÿ

h i µ
b N (0,1)
√σ b N (0,1)
√σ
áóäåò : Zn − q
n 1− α
; Zn + q
n 1− α
.
2 2
Ïðåäïîëîæèì òåïåðü, ÷òî íàì íóæíî ïðîòåñòèðîâàòü ãèïîòåçó H 0 : µ = µ0 . Ñî-

ãëàñíî ïîñòðîåííîìó íàìè α ïðîöåíòíîìó äîâåðèòåëüíîìó èíòåðâàëó ãèïîòåçà áóäåò

√
n|Z n −µ0 | N (0,1)
îòâåðãàòüñÿ, åñëè
σ
> q1− α .  ïðîòèâíîì ñëó÷àå ãèïîòåçà ïðèíèìàåòñÿ.
b 2
Èòàê, ñ äàííûì ïðèìåðîì âñå êàæåòñÿ ÿñíûì, íî âîçíèêàåò ðåçîííûé âîïðîñ : êàê

ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè ? Îêàçûâàåòñÿ, âûáîðî÷íàÿ äèñïåðñèÿ

áóäåò ñîñòîÿòåëüíîé îöåíêîé äëÿ äèñïåðñèè :

v v
u n u n
u1 X u1 X p
σ
b=t (Zi − Z n )2 = t (Zi − µ)2 − (Z n − µ)2 −→ σ,
n i=1 n i=1

1
Pn p p
ïîñêîëüêó èç ÇÁ×
n i=1 (Zi − µ)2 −→ E[(Zi − µ)2 ] = σ 2 , à (Z n − µ)2 −→ 0.

7 Àñèìïòîòè÷åñêèé ïîäõîä äëÿ âðåìåííûõ ðÿäîâ

Äî ñèõ ïîð ìû ðàññìàòðèâàëè àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê â ñëó÷àå íåçàâè-

ñèìûõ íàáëþäåíèé. Ò.å., åñëè ó íàñ åñòü ïîñëåäîâàòåëüíîñòü Z 1 , Z2 , Z3 , . . . , Z n , ìû

ìîãëè ñêàçàòü, ÷òî ó íàñ èìååòñÿ n íàáëþäåíèé.  ñëó÷àå âðåìåííûõ ðÿäîâ (íàáëþ-

äåíèé âî âðåìåíè) ýòî, âîîáùå ãîâîðÿ, íå òàê. Êàæäàÿ òðàåêòîðèÿ Z1 , Z2 , Z3 , . . . , ZT

ïðåäñòàâëÿåò ñîáîé â îáùåì ñëó÷àå îäíî íàáëþäåíèå , ÷òî ñèëüíî çàòðóäíÿåò àíàëèç.

Äëÿ òîãî, ÷òîáû ñäåëàòü èñïîëüçîâàíèå àñèìòîòè÷åñêîãî ìåòîäà âî âðåìåííûõ ðÿäàõ

âîçìîæíûì, íà ïðèðîäó èñõîäíûõ äàííûõ íàêëàäûâàþò îïðåäåëåííûå îãðàíè÷åíèÿ :

ïðåäïîëîæåíèÿ î ñòàöèîíàðíîñòè è ýðãîäè÷íîñòè . Ãðóáî ãîâîðÿ, ñòàöèîíàðíîñòü 

ýòî óñòîé÷èâîñòü ðàñïðåäåëåíèÿ Zt âî âðåìåíè, à ýðãîäè÷íîñòü  ýòî ïîòåðÿ ïàìÿòè

ñî âðåìåíåì. Äàäèì áîëåå ÷åòêèå îïðåäåëåíèÿ :

Îïðåäåëåíèå : Âðåìåííîé ðÿä íàçûâàåòñÿ ñòðîãî ñòàöèîíàðíûì , åñëè ñîâìåñòíîå

ðàñïðåäåëåíèå Zt , Zt−1 , . . . , Zt−k íå çàâèñèò îò t äëÿ ëþáûõ k.

Ïîñêîëüêó òî÷íîå îïðåäåëåíèå ýðãîäè÷íîñòè èñïîëüçóåò ïîíÿòèÿ òåîðèè ìåðû è

ñèãìà-àëãåáðû, äàäèì èíòóèòèâíîå îïðåäåëåíèå :

13
Îïðåäåëåíèå : Âðåìåííîé ðÿä Zt íàçûâàåòñÿ ýðãîäè÷íûì , åñëè Zt è Zt+k àñèì-

ïòîòè÷åñêè íåçàâèñèìû ïðè k → ∞.

Ïðèâåäåì ïðèìåðû ðàçëè÷íûõ ñòàöèîíàðíûõ (íåñòàöèîíàðíûõ) è ýðãîäè÷íûõ (íåýð-

ãîäè÷íûõ)âðåìåííûõ ðÿäîâ :

Ïðèìåð 1 (ñòàöèîíàðíûå è ýðãîäè÷íûå ðÿäû) :

• Zt ∼ iid (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ)

• εt ∼ W hite N oise (Áåëûé Øóì)

• AR(1) : zt = ρzt−1 + εt , |ρ| < 1

• M A(1) : zt = εt + θεt−1

Ïðèìåð 2 (íåñòàöèîíàðíûå è íåýðãîäè÷íûå ðÿäû) :

• Random Walk (Ñëó÷àéíîå áëóæäàíèå) : zt = zt−1 + εt

Äèñïåðñèÿ íàáëþäåíèé ðàñòåò ñî âðåìåíåì : V ar(zt ) = V ar(zt−1 ) + σε2 , ò.å. ðÿä

íåñòàöèîíàðåí. Êðîìå òîãî, øîêè íå çàáûâàþòñÿ ñî âðåìåíåì : zt+k = zt +

Pk
i=1 εt+i , ò.å. ðÿä íåýðãîäè÷åí.

Ïðèìåð 3 (ñòàöèîíàðíûå è íåýðãîäè÷íûå ðÿäû) :

• z ∼ N (0, 1); zt = z + εt , ãäå εt è z íåçàâèñèìû.

Î÷åâèäíî, ÷òî ðÿä ñòàöèîíàðåí, íî íåýðãîäè÷åí.

Ïðèìåð 4 (íåñòàöèîíàðíûå è ýðãîäè÷íûå ðÿäû) :

• Ñåçîííûé ðÿä : zt = s(τ, t) + εt , ãäå s(τ, t) = s(τ, t + τ ).

Ðåçóëüòàò : Åñëè ñëó÷àéíûé ïðîöåññ zt ÿâëÿåòñÿ ñòàöèîíàðíûì è ýðãîäè÷íûì , è

åñëè Yt = f (zt , zt−1 . . .)  ñëó÷àéíàÿ âåëè÷èíà, òî Yt ÿâëÿåòñÿ ñòàöèîíàðíûì è ýðãî-

äè÷íûì ðÿäîì.

Îïðåäåëåíèå : Èíôîðìàöèåé â ìîìåíò âðåìåíè t íàçûâàþòñÿ âñå ðåàëèçîâàâøèåñÿ

çíà÷åíèÿ zk âïëîòü äî zt , ò.å.

It = {zt , zt−1 . . .}.

Îïðåäåëåíèå : Ðÿä zt íàçûâàåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùå-

íèé (MDS) ïî îòíîøåíèþ ê ñâîåìó ïðîøëîìó, åñëè E[zt |It−1 ] = 0.

14
 Ñôîðìóëèðóåì ÇÁ× è ÖÏÒ äëÿ âðåìåííûõ ðÿäîâ.

Òåîðåìà D (Áèðêîôôà-Õèí÷èíà, çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä {Zt }+∞

t=−∞
ñòàöèîíàðåí è ýðãîäè÷åí. Êðîìå òîãî, ïóñòü E|Zt | < ∞, òîãäà

T
1X as
Zt −→ E[Zt ]
T t=1

ïðè T → ∞.
Òåîðåìà G (Áèëëèíãñëåÿ, ïîñëåäîâàòåëüíîñòü ìàðòèíãàëüíûõ ïðèðàùå-
íèé). Ïóñòü ðÿä {Zt }+∞
t=−∞ ñòàöèîíàðåí, ýðãîäè÷åí è ÿâëÿåòñÿ MDS ïî îòíîøåíèþ ê

ñâîåìó ïðîøëîìó. Êðîìå òîãî, ïóñòü σ 2 = E[Zt2 ] < ∞, òîãäà

T
1 X d
√ Zt −→ N (0, σ 2 )
T t=1

ïðè T → ∞.

Òåîðåìà H (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä {Zt }+∞

t=−∞ ñòàöèîíàðåí è ýðãî-

äè÷åí. Êðîìå òîãî, ïóñòü

+∞
X
2
σ = Cov[Zt , Zt−j ] < ∞.
j=−∞

Òîãäà ïðè îïðåäåëåííûõ óñëîâèÿõ,

T
!
√ 1X d
T Zt − E[Zt ] −→ N (0, σ 2 )
T t=1

ïðè T → ∞.

Ïðèâåäåì ïðèìåðû èñïîëüçîâàíèÿ èçëîæåíûõ âûøå òåîðåì äëÿ èññëåäîâàíèÿ àñèì-

òîòè÷åñêèõ ñâîéñòâ îöåíîê âî âðåìåííûõ ðÿäàõ.

Ïðèìåð : Ðàññìîòðèì àâòîðåãðåññèîííûé ïðîöåññ ïåðâîãî ïîðÿäêà ( AR(1)) :

xt = ρxt−1 + εt ; |ρ| < 1; εt ∼ iid(0, σ 2 ).

Íàñ èíòåðåñóþò àñèìòîòè÷åñêèå ñâîéñòâà îöåíêè OLS :

PT PT
x t−1 x t xt−1 εt
ρb = Pt=2
T 2
= ρ + Pt=2
T 2
.
t=2 xt−1 t=2 xt−1

Ïî òåîðåìå Áèðêîôôà-Õèí÷èíà (Òåîðåìà D) :

T
1 X p
xt−1 εt −→ E[xt−1 εt ] = 0,
T − 1 t=2

15
 T
1 X 2 p
xt−1 −→ E[x2t−1 ].
T − 1 t=2
Ñëåäîâàòåëüíî, ïî òåîðåìå Ñëóöêîãî îöåíêà ρb ÿâëÿåòñÿ ñîñòîÿòåëüíîé îöåíêîé, ò.å.
p
ρb −→ ρ.
Òåïåðü íàéäåì àñèìòîòè÷åñêîå ðàñïðåäåëåíèå OLS îöåíêè :

PT
√ √1
t=2 xt−1 εt
r
T −1 T
ρ − ρ) =
T (b PT .
1
T −1
2
t−2 xt−1
T −1
q
T 1
PT 2 p 2
Î÷åâèäíî, ÷òî −→ 1, à T −1
T −1 n→∞ t−2 xt−1 −→ E[xt−1 ] (Òåîðåìà D).
Ïîêàæåì, ÷òî ïîñëåäîâàòåëüíîñòü xt−1 εt ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëü-

íûõ ïðèðàùåíèé (MDS) ïî îòíîøåíèþ ê èíôîðìàöèîííîìó ìíîæåñòâó

It−1 = {xt−2 εt−1 , xt−3 εt−2 . . .}

E[xt−1 εt |It−1 ] = E[E[xt−1 εt |xt−1 , xt−2 εt−1 . . .]|It−1 ] = 0.

Ò.å. ïîñëåäîâàòåëüíîñòü xt−1 εt ÿâëÿåòñÿ MDS. Òàêèì îáðàçîì, ìû ìîæåì ïðèìåíèòü

ÖÏÒ Áèëëèíãñëåÿ äëÿ âðåìåííûõ ðÿäîâ (Òåîðåìà G) :

T
1 X d
√ xt−1 εt −→ N (0, E[x2t−1 ε2t ]).
T − 1 t=2

σ2
Çàìåòèâ, ÷òî E[x2t ] = V ar[xt ] = ρ2 V ar[xt−1 ] + σ 2 = 1−ρ2
, ïîëó÷èì îêîí÷àòåëüíûé

ðåçóëüòàò :
√ d
ρ − ρ) −→ N (0, 1 − ρ2 ).
T (b

Ñîîòâåòñòâóþùàÿ ïèâîòàëüíàÿ ñòàòèñòèêà áóäåò :

√
ρ − ρ) d
T (b
p −→ N (0, 1).
1 − ρb2

 ðåçóëüòàòå, äîâåðèòåëüíûé èíòåðâàë äëÿ ρ:

" r r #
1− ρb2 1− ρb2
CIρ = ρb − 1.96 ; ρb + 1.96 .
T T

Îáðàòèìñÿ åùå ðàç ê òåîðåìå H. Âèä âàðèàöèîííîé ìàòðèöû â àñèìòîòè÷åñêîì

ðàñïðåäåëåíèè îöåíêè òðåáóåò íåêîòîðîãî ïîÿñíåíèÿ. Êîãäà ìû èìååì äåëî ñ ïîñëå-

äîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé Zt , ìàòåìàòè÷åñêîå îæèäàíèå E[Zt Zt−j ]

ðàâíî íóëþ, ò.å. E[Zt Zt−j ] = 0 äëÿ j > 0, ïîýòîìó àñèìòîòè÷åñêàÿ âàðèàöèÿ äëÿ MDS

16
èìååò ïðîñòîé âèä : σ 2 = E[Zt2 ]. Îäíàêî, âñ¼ ñëîæíåå äëÿ áîëåå çàâèñèìûõ íàáëþäå-

íèé :
"T
# " T #
1 X 1 X
V ar √ Zt = V ar Zt =
T t=1 T t=1
1
= [T V ar(Zt ) + (T − 1)Cov(Zt ; Zt+1 ) + (T − 1)Cov(Zt ; Zt−1 ) +
T
+ (T − 2)Cov(Zt ; Zt+2 ) + (T − 2)Cov(Zt ; Zt−2 ) + . . . +
+∞
X
+ Cov(Z1 ; ZT ) + Cov(ZT ; Z1 )] −→ Cov(Zt ; Zt−j ).
T →∞
j=−∞

Ðàññìîòðèì ïðèìåð, ñ çàâèñèìûìè íàáëþäåíèÿìè, êîãäà âàðèàöèîííóþ ìàòðèöó

àñèìòîòè÷åñêîãî ðàñïðåäåëåíèÿ ïðèõîäèòñÿ ñ÷èòàòü ïî óêàçàííîé âûøå ôîðìóëå.

ßñíî, ÷òî â ýòîì ñëó÷àå îøèáêè äîëæíû áûòü ñêîððåëèðîâàíûìè.

Ïðèìåð : Ðàññìîòðèì ïðîöåññ ñêîëüçÿùåãî ñðåäíåãî ïåðâîãî ïîðÿäêà ( M A(1)) :

zt = εt + θεt−1 ; εt ∼ iid(0, σ 2 ).

Çàìåòèì, ÷òî

V ar(zt ) = (1 + θ2 )σ 2 ; Cov(zt ; zt−1 ) = θσ 2 ; Cov(zt ; zt − j) = 0, j > 1.

 ýòîì ñëó÷àå,

+∞
X
Cov(zt ; zt−j ) = (1 + θ2 )σ 2 + 2θσ 2 = (1 + θ)2 σ 2 .
j=−∞

Òîãäà, ñîãëàñíî òåîðåìå H :

T
1 X d
√ zt −→ N (0, (1 + θ)2 σ 2 ).
T t=1

Îáðàòèì âíèìàíèå íà òî, ÷òî â ýòîì ñëó÷àå zt íå ÿâëÿåòñÿ MDS îòíîñèòåëüíî It =

{zt−1 , zt−2 , zt−3 . . .}, ò.ê. E[zt |zt−1 , zt−2 , . . .] = θεt−1 6= 0.

 ñëó÷àå, åñëè íàáëþäåíèÿ ÿâëÿþòñÿ çàâèñèìûìè, äëÿ ïîëó÷åíèÿ ïèâîòàëüíîé ñòà-

òèêè âîçíèêàåò íåîáõîäèìîñòü îöåíèâàíèÿ àñèìòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöû.

Ñîãëàñíî òåîðåìå H, âèä èñêîìîé îöåíêè äîëæåí áûòü :

T T −1 T
1X 0
X 1 X
Ω=
b (Zt − Z)(Zt − Z) + {(Zt − Z)(Zt−j − Z)0 + (Zt − Z)(Zt+j − Z)0 }.
T t=1 j=1
T t=j+1

17
 p
Îäíàêî, òàêàÿ îöåíêà íå áóäåò ñîñòîÿòåëüíîé, ò.å. Ω
b 9 Ω. Äåëî â òîì, ÷òî èç-çà

êîíå÷íîñòè âûáîðêè íåâîçìîæíî îöåíèòü ñîñòîÿòåëüíî êðàéíèå ÷ëåíû ðÿäà. Òàêèì

îáðàçîì (ïîëüçóÿñü ýðãîäè÷íîñòüþ), íåîáõîäèìî îáðåçàòü ðÿä íà êàêîì-òî ÷ëåíå

m
m << T , òàêîì, ÷òîáû ïðè T →∞: ìû èìåëè m→∞ è
T
→ 0.
 1987 ãîäó Íüþè è Âåñò ïðåäëîæèëè ñîñòîÿòåëüíóþ îöåíêó âàðèàöèîííîé ìàòðè-

öû, êîòîðàÿ ïî ïîñòðîåíèþ ÿâëÿåòñÿ ïîëîæèòåëüíî îïðåäåëåííîé :

N   min(T,T +j)
X |j| 1 X
bNW
Ω = 1− (Zt − Z)(Zt−j − Z)0 .
j=−N
m+1 T
t=max(1,1+j)

Äëÿ ïðèëîæåíèé áûëà ïðåäëîæåíà ñëåäóþùàÿ ôîðìóëà âûáîðà m:

"  1/3 #
T
m= 4 .
100

Òàêîé âûáîð m äàåò õîðîøèå ðåçóëüòàòû â ñìûñëå ïîñòðîåíèÿ îöåíîê, çà èñêëþ÷å-

íèåì òåõ ñëó÷àåâ, êîãäà çàòóõàíèå âîçìóùåíèé â ïðîöåññå ïðîèñõîäèò ìåäëåííî, ò.

å., êîðíè ñîîòâåòñòâóþùèõ ïîëèíîìîâ ëåæàò áëèçêî ê åäèíè÷íîìó êðóãó.

Âåðíåìñÿ ê óæå ðàññìîòðåííîìó ïðèìåðó MA(1) : zt = εt +θεt−1 . Ðåçóëüòàò, êîòîðûé

ìû ïîëó÷èëè :
T
1 X d
√ zt −→ N (0, (1 + θ)2 σ 2 ).
T t=1
Äîïóñòèì òåïåðü, ÷òî ìû õîòèì ïîëó÷èòü ñîñòîÿòåëüíóþ îöåíêó äëÿ àñèìòîòè÷åñêîé

äèñïåðñèè. Íà ïðàêòèêå ó íàñ åñòü 3 âîçìîæíûõ ñïîñîáà :

p p
• Ìû ìîæåì ïîëó÷èòü ñîñòîÿòåëüíûå îöåíêè θb −→ θ è b2 −→ σ 2 ,
σ à çàòåì, ñî-

ãëàñíî ïîëó÷åííîìó ðåçóëüòàòó, ñêîíñòðóèðîâàòü ñîñòîÿòåëüíóþ îöåíêó àñèì-

òîòè÷åñêîé äèñïåðñèè : bz2 = (1 + θ)

σ b 2σ
b2 .

• Çíàÿ, ÷òî èñêîìàÿ äèñïåðñèÿ âûðàæàåòñÿ êàê σz2 = V ar(zt ) + 2Cov(zt ; zt−1 ), ìû

ìîæåì ñêîíñòðóèðîâàòü ñîñòîÿòåëüíóþ îöåíêó â âèäå :

bz2 = V\
σ \
ar(zt ) + 2Cov(zt ; zt−1 ), ãäå

T T
\ 1X 2 \ 1X
V ar(zt ) = z ; Cov(zt ; zt−1 ) = zt zt−1 .
T t=1 t T t=2

• Ìû ìîæåì èñïîëüçîâàòü ïðèâåäåííóþ âûøå îöåíêó Íüþè-Âåñòà :

N   min(T,T +j)
X |j| 1 X
bz2
σ = 1− zt zt−j .
j=−N
m+1 T
t=max(1,1+j)

18
8 Ââåäåíèå â àñèìòîòè÷åñêèé ïîäõîä äëÿ íåñòàöèîíàðíûõ ïðî-
öåññîâ

Åñëè âðåìåííîé ðÿä íå îáëàäàåò ñâîéñòâîì ñòàöèîíàðíîñòè, òî ïîñòðîåíèå ñòàòèñòè-

÷åñêèõ âûâîäîâ çíà÷èòåëüíî óñëîæíÿåòñÿ. Çäåñü ìû ðàññìîòðèì ïðîñòåéøèé ïðèìåð

íåñòàöèîíàðíîãî ïðîöåññà. Ïóñòü ïðîöåññ Xt îïèñûâàåòñÿ óðàâíåíèåì ñëó÷àéíîãî

áëóæäàíèÿ, ò.å. :

Xt = Xt−1 + εt ; εt ∼ iid(0, σ 2 ); X0 = 0.
Òîãäà âûáîðî÷íîå ñðåäíåå âûðàæàåòñÿ ñëåäóþùèì îáðàçîì :

T
1X εT 2 T −t+1
Xt = + εT −1 + · · · + εt + · · · + ε1 .
T t=1 T T T

Ñëåäîâàòåëüíî,

T
!  2  2  2 !
1X T −1 2 1
V ar Xt = σ2 1+ + ··· + + .
T t=1 T T T

Òî åñòü !
T
1X (T + 1)(2T + 1)
V ar Xt = σ2 = O(T ).
T t=1 6T
 ðåçóëüòàòå ìû ïîëó÷èì ñëåäóþùèå àñèìïòîòèêè :

T T T
1 X p 1X p 1 X 2 p
Xt −→ V1 ; Xt−1 εt −→ V2 ; 2 Xt−1 −→ V3 ,
T 3/2 t=1
T t=1 T t=1

ãäå V1 , V2 , V3  íåêîòîðûå ñëó÷àéíûå âåëè÷èíû.

Åñëè ìû òåïåðü èñïîëüçóåì OLS îöåíêó, òî àñèìòîòè÷åñêèå ñâîéñòâà ýòîé îöåíêè

áóäóò ñëåäóþùèå :
p V2
ρ − 1) −→
T (b .
V3
Âî-ïåðâûõ, ìû âèäèì, ÷òî OLS îöåíêà â äàííîì ñëó÷àå ñóïåðñîñòîÿòåëüíà , ïîñêîëü-

êó ñêîðîñòü ñõîäèìîñòè ê àñèìòîòè÷åñêîìó ðàñïðåäåëåíèþ åñòü T . Âî-âòîðûõ, àñèì-

òîòè÷åñêîå ðàñïðåäåëåíèå íåñòàíäàðòíî, îíî íîñèò íàçâàíèå ðàñïðåäåëåíèÿ Äèêè-

Ôóëëåðà .

II Áóòñòðàïîâñêèé ïîäõîä

1 Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì

 îñíîâå áóòñòðàïîâñêîãî ïîäõîäà ëåæèò èäåÿ, ÷òî èñòèííîå ðàñïðåäåëåíèå äàííûõ

ìîæåò áûòü àïðîêñèìèðîâàíî ýìïèðè÷åñêèì. Òàêèì îáðàçîì ìîæåò áûòü ïîëó÷åíî

19
ïðèáëèçèòåëüíîå ðàñïðåäåëåíèå èíòåðåñóþùåé íàñ ñòàòèñòèêè. Ïóñòü èç èñõîäíîé

ãåíåðàëüíîé ñîâîêóïíîñòè ñ ðàñïðåäåëåíèåì F (x) áûëà ïîëó÷åíà âûáîðêà ðàçìåðà

1
PT
n. Òîãäà ýìïèðè÷åñêàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ Fn (x) = n i=1 I(Xi 6 x) ðàâíîìåðíî
ïî÷òè íàâåðíîå ñòðåìèòñÿ ê F (x) ïðè n → ∞. È ýòî áëàãîïðèÿòíî îòðàæàåòñÿ íà

ñâîéñòâàõ áóòñòðàïà.

×òîáû áîëåå íàãëÿäíî ïîÿñíèòü áóòñòðàïîâñêèé ìåòîä, ðàññìîòðèì ïðîñòåéøèé

ïðèìåð. Ïóñòü ó íàñ åñòü âñåãî äâà íàáëþäåíèÿ :

       
x1 1 x2 2
= , = .
y1 2 y2 1
Äîïóñòèì, íàñ èíòåðåñóåò êîýôôèöèåíò ðåãðåññèè y íà x, ò.å.

yi = θxi + εi .  ýòîì ñëó÷àå OLS îöåíêà ðàâíà :

x1 y1 + x2 y2 1×2+2×1 4
θb = 2 2
= 2 2
= .
x1 + x2 1 +2 5
Ýìïèðè÷åñêàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ äàííûõ áóäåò :

  (
x (1, 2)0 w/prob 1/2
= .
y (2, 1)0 w/prob 1/2

Ïî îòíîøåíèþ ê ýòîìó ðàñïðåäåëåíèþ, äàííûå èç äâóõ íàáëþäåíèé ðàñïðåäåëåíû

ñëåäóþùèì îáðàçîì :

x∗1 x∗2 1




1.
y1∗
= y2∗
= 2
w/prob 1/4
x∗1 x∗2 2




2.
y1∗
= y2∗
= 1
w/prob 1/4
x∗1 1 x∗2 2





3.
y1∗
= 2
; y2∗
= 1
w/prob 1/4
x∗1 2 x∗2 1





4.
y1∗
= 1
; y2∗
= 2
w/prob 1/4

Ñòðîÿ OLS îöåíêè äëÿ êàæäîé "ïñåâäîâûáîðêè", ïîëó÷èì áóòñòðàïîâñêîå ðàñïðå-

äåëåíèå OLS îöåíêè :


 1/2 w/prob 1/4

∗
θ2 =
b 4/5 w/prob 1/2 .

2 w/prob 1/4


Òåïåðü ñ ïîìîùüþ ýòîãî áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ ìîæíî ïîñòðîèòü äîâåðè-

òåëüíûå èíòåðâàëû èëè òåñòèðîâàòü êàêèå-ëèáî ãèïîòåçû.

Ïðèìåð, ðàññìîòðåííûé íàìè, áûë ÷ðåçâû÷àéíî ïðîñò : ðàçìåð èñõîäíîé âûáîðêè

áûë ðàâåí 2.  îáùåì ñëó÷àå, êîãäà ìû èìååì n íàáëþäåíèé, êîëè÷åñòâî ïñåâäîñòà-

n
òèñòèê èìååò ïîðÿäîê n . Òàêèì îáðàçîì, â âû÷èñëèòåëüíîì ïëàíå çàäà÷à ñèëüíî

óñëîæíÿåòñÿ ïî ìåðå ðîñòà n.

20
2 Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé

Êàê óæå óïîìèíàëîñü, ïðè çíà÷èòåëüíûõ âûáîðêàõ îáúåì âû÷èñëåíèé äëÿ ïîëó÷åíèÿ

áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ ñèëüíî âîçðàñòàåò. Ïîýòîìó, êàê ïðàâèëî, ïðîöåäóðà

áóòñòðàïà îñóùåñòâëÿåòñÿ ñ ïîìîùüþ êîìïüþòåðà. Çäåñü ìû ïðèâåäåì îïèñàòåëüíûé

àëãîðèòì ïîñòðîåíèÿ áóòñòðàïîâñêèõ äîâåðèòåëüíûõ èíòåðâàëîâ.

Áóòñòðàïîâñêèé àëãîðèòì :

1. Âûáèðàåòñÿ êîëè÷åñòâî ïñåâäîâûáîðîê B (îáû÷íî îêîëî 1000). Äëÿ b = 1, 2, . . . , B

ñòðîÿòñÿ ïñåâäîâûáîðêè (z1∗ ; z2∗ ; . . . ; zn∗ )b . Ýëåìåíòû ïñåâäîâûáîðîê âûáèðàþòñÿ

ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì èç èñõîäíîé âûáîðêè (z1 ; . . . ; zn ). Äëÿ êàæ-

äîé ïñåâäîâûáîðêè âû÷èñëÿåòñÿ ïñåâäîñòàòèñòèêà θb = θ((z1∗ ; . . . ; zn∗ )b ).
b∗ b

2. Ïîëó÷åííûå ïñåâäîñòàòèñòèêè θb1∗ . . . θbB

∗
ñîðòèðóþòñÿ â âîçðàñòàþùåì ïîðÿäêå.
∗ ∗
 êà÷åñòâå êâàíòèëåé α1 , α2 áåðóòñÿ ñîîòâåòñòâóþùèå çíà÷åíèÿ θb[Bα 1]
, θb[B(1−α 2 )+1]
.

Òàêèì îáðàçîì, ïîëó÷àåì äîâåðèòåëüíûé èíòåðâàë.

3 Êàêèå ñòàòèñòèêè áóòñòðàïèòü ?

Îòâåò íà âîïðîñ, êàêèå ñòàòèñòèêè ëó÷øå èñïîëüçîâàòü ïðè ïîñòðîåíèè äîâåðèòåëü-

íûõ èíòåðâàëîâ ñ ïîìîùüþ áóòñòðàïà, êðîåòñÿ â äâóõ ïðîñòûõ ñîîáðàæåíèÿõ. Âî-

ïåðâûõ, áóòñòðàïîâñêîå ðàñïðåäåëåíèå öåíòðèðîâàíî íå îêîëî èñòèííîãî çíà÷åíèÿ

ñòàòèñòèêè, à îêîëî åãî âûáîðî÷íîãî àíàëîãà. Âî-âòîðûõ, ïîëàãàåòñÿ áóòñòðàïèðî-

âòü àñèìïòîòè÷åñêè ïèâîòàëüíûå ñòàòèñòèêè.

Ðàññìîòðèì íåñêîëüêî âàðèàíòîâ áóòñòðàïîâñêèõ ñòàòèñòèê, èñïîëüçóåìûõ äëÿ ïî-

ñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è ïîä÷åðêíåì èõ ïîëîæèòåëüíûå è îòðèöàòåëü-

íûå êà÷åñòâà. Ïóñòü íàñ èíòåðåñóåò ñòàòèñòèêà βb.

• Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë :  äàííîì ñëó÷àå, ñòàòèñòèêîé,

èñïîëüçóåìîé ïðè áóòñòðàïå, ÿâëÿåòñÿ èíòåðåñóþùàÿ íàñ ñòàòèñòèêà, ò.å. θb = βb.
Òàêèì îáðàçîì, ìû ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå {θbb∗ = βbb∗ }B
b=1 . Ñîîò-
∗ ∗
âåòñòâóþùèå êâàíòèëè ðàñïðåäåëåíèÿ : qα/2 , q1−α/2 . Äîâåðèòåëüíûé èíòåðâàë :

∗ ∗
CIE = [qα/2 ; q1−α/2 ].

Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë áûë ïîïóëÿðåí, êîãäà áóòñòðàïîâñèé

ïîäõîä òîëüêî íà÷èíàë èñïîëüçîâàòüñÿ. Íà ñàìîì äåëå, ýòîò äîâåðèòåëüíûé

èíòåðâàë äàåò ïëîõóþ àïïðîêñèìàöèþ èñòèííûõ óðîâíåé çíà÷èìîñòè, ïîñêîëü-

êó ñîõðàíÿåò ñìåùåíèå èñõîäíîé âûáîðêè.

21
• Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë : Õîëë ïðåäëîæèë èñïîëüçîâàòü äëÿ
ïîñòðîåíèÿ äîâåðèòåëüíîãî èíòåðâàëà ðåöåíòðèðîâàííóþ ñòàòèñòèêó θb = βb −β ,
÷òî ñíèìàåò ïðîáëåìó ñìåùåíèÿ, ñâÿçàííîãî ñ êîíå÷íîñòüþ âûáîðêè. Òàêèì

îáðàçîì, ïîëó÷àåòñÿ áóòñòðàïîâñêîå ðàñïðåäåëåíèå {θbb∗ = βbb∗ − β}

b B .
b=1 Ñîîòâåò-
∗ ∗
ñòâóþùèå êâàíòèëè : qα/2 , q1−α/2 . Äîâåðèòåëüíûé èíòåðâàë :

∗ ∗
CIH = [βb − q1−α/2 ; βb − qα/2 ].

Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë äàåò ëó÷øóþ, ÷åì Ýôðîíîâñêèé, àïïðîê-

ñèìàöèþ óðîâíåé çíà÷èìîñòè. Äîïîëíèòåëüíûì ïëþñîì èñïîëüçîâàíèÿ Õîë-

ëîâñêîãî äîâåðèòåëüíîãî èíòåðâàëà ÿâëÿåòñÿ îòñóòñòâèå íåîáõîäèìîñòè îöåíè-

âàíèÿ ñòàíäàðòíûõ îøèáîê.

• t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë : Èñïîëüçóåò â êà÷åñòâå áóòñòðà-

β−β
b
ïèðóåìîé ñòàòèñòèêè t-ñòàòèñòèêó. Ò.å. b . Òàêèì îáðàçîì, ïîëó÷àåòñÿ áóò-
se(β)
n b∗ b oB
βb − β
ñòðàïîâñêîå ðàñïðåäåëåíèå ñòàòèñòèêè : . Ñîîòâåòñòâóþùèå êâàíòè-
se(βbb∗ ) b=1
∗ ∗
ëè : qα/2 , q1−α/2 . Äîâåðèòåëüíûé èíòåðâàë :

b ∗
CIt = [βb − se(β)q b ∗
1−α/2 ; β − se(β)qα/2 ].
b

t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åùå ëó÷øå àïïðîêñèìèðóåò èñòèííûå

óðîâíè çíà÷èìîñòè, ÷åì Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Òåì íå ìåíåå, íå

ðåêîìåíäóåòñÿ åãî èñïîëüçîâàòü, åñëè ñòàíäàðòíûå îøèáêè òðóäíî ïîñòðîèòü

êà÷åñòâåííî.

• Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë : Èñïîëüçóåò â

|β−β|
b
êà÷åñòâå áóòñòðàïèðóåìîé ñèììåòðè÷íóþ t-ñòàòèñòèêó : b . Ñîîòâåòñòâóþ-
se(β)
oB
|βbb∗ −β|
n
qα∗ .
b
ùåå ðàñïðåäåëåíèå áóòñòðàïîâñêîé ñòàòèñòèêè : . Êâàíòèëü : Äî-
se(βb∗ )
b b=1
âåðèòåëüíûé èíòåðâàë :

b ∗ ; βb + se(β)q
CI|t| = [βb − se(β)q b ∗ ].
1−α 1−α

Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë èìååò â îïðåäåëåííûõ

ñëó÷àÿõ ïðåèìóùåñòâî ïåðåä t-ïðîöåíòíûì äîâåðèòåëüíûì èíòåðâàëîì. À èìåí-

íî, åñëè àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ñòàòèñòèêè βb−β ñèììåòðè÷íî, òî CI|t|

äàåò ëó÷øóþ àïïðîêñèìàöèþ óðîâíåé çíà÷èìîñòè.

22
 4 Êîððåêòèðîâêà ñìåùåíèÿ

Áóòñòðàï çà÷àñòóþ ïîçâîëÿåò ñêîððåêòèðîâàòü ñìåùåíèå, ñâÿçàííîå ñ êîíå÷íî-

ñòüþ âûáîðêè. Ïóñòü ó íàñ åñòü ñìåùåííàÿ ñòàòèñòèêà :

b 6= β.
βb : E[β]

Òîãäà ìû ìîæåì âûðàçèòü ñìåùåíèå ñëåäóþùèì îáðàçîì :

b − β.
Bias = E[β]

Åñëè ó íàñ åñòü âîçìîæíîñòü ñîñòîÿòåëüíî îöåíèòü ñìåùåíèå, òî ìû ìîæåì

ñêîððåêòèðîâàòü èñõîäíóþ ñòàòèñòèêó :

βe = βb − Bias.
[

Ñìåùåíèå æå îöåíèâàåòñÿ ñ ïîìîùüþ áóòñòðàïà :

B
1 X b∗ b
Bias∗ = E ∗ [βbb∗ ] − βb = β − β.
B b=1 b

Òàêèì îáðàçîì, ñêîððåêòèðîâàííàÿ ñòàòèñòèêà åñòü

B
!
1 X b∗ b
βe = βb − β − β = 2βb − βb∗ .
B b=1 b

5 Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà

Îäíîé èç îñíîâíûõ öåëåé áóòñòðàïà ÿâëÿåòñÿ òåñòèðîâàíèå ðàçëè÷íûõ ãèïîòåç. Èìåí-

íî äëÿ ýòîãî íàì íåîáõîäèìî ñòðîèòü ýìïèðè÷åñêèå ðàñïðåäåëåíèÿ ñòàòèñòèê. Ðàñìîò-

ðèì êàê ñ ïîìîùüþ áóòñòðàïà nòåñòèðóþòñÿ ïðîñòåéøèå ñòàòèñòè÷åñêèå ãèïîòåçû :

Ãèïîòåçà H0 : β = β 0 (ñêàëÿð).

• Àëüòåðíàòèâíàÿ ãèïîòåçà îäíîñòîðîííÿÿ Ha : β > β 0

Áóòñòðàïèì t-ïðîöåíòíóþ ñòàòèñòèêó :

βb − β
θb = .
se(β)
b

Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè è ñîîòâåòñòâóþùèé

êâàíòèëü : ( )B
βb∗ − βb
θbb∗ = b ∗
⇒ q1−α .
se(βb∗ )
b b=1
b 0
β−β ∗
Èòàê, ãèïîòåçà H0 îòâåðãàåòñÿ, åñëè θb0 = se(β)
b > q1−α .

23
 • Àëüòåðíàòèâíàÿ ãèïîòåçà äâóñòîðîííÿÿ Ha : β 6= β 0
 ýòîì ñëó÷àå ìû áóòñòðàïèì ñèììåòðè÷íóþ t-ïðîöåíòíóþ ñòàòèñòèêó :

|βb − β|
θb = .
se(β)
b

Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü :

( )B
|βb∗ − β|
b
θbb∗ = b ∗
⇒ q1−α .
se(βb∗ )
b b=1

b 0|
|β−β ∗
Ãèïîòåçà H0 îòâåðãàåòñÿ, åñëè θb0 = se(β)
b > q1−α .

Ãèïîòåçà H0 : β = β 0 (âåêòîð).  ýòîì ñëó÷àå ìû áóòñòðàïèì Âàëüäîâñêóþ ñòàòè-

ñòèêó :

θb = (βb − β)0 Vbβ−1 (βb − β).

Ñîîòâåòñòâåííî, ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü :

n oB
b 0 Vb ∗−1 (βb∗ − β)
θbb∗ = (βbb∗ − β) b ∗
⇒ q1−α .
β b
b=1

Ãèïîòåçà H0 îòâåðãàåòñÿ, åñëè

θb0 = (βb − β 0 )0 Vbβ−1 (βb − β 0 ) > q1−α

∗
.

Ãèïîòåçà H0 : Rβ = r (ëèíåéíûå îãðàíè÷åíèÿ).  ñëó÷àå ëèíåéíûõ îãðàíè-

÷åíèé, ãäå ñîáñòâåííî R  ìàòðèöà îãðàíè÷åíèé, ñíîâà áóòñòðàïèòñÿ Âàëüäîâñêàÿ

ñòàòèñòèêà :

θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r).

Äàëåå, ðåöåíòðèðóÿ ñòàòèñòèêó, ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå, èç êîòîðî-

ãî íàõîäèì ñîîòâåòñòâóþùèé êâàíòèëü :

n oB
θbb∗ = (Rβbb∗ − Rβ)
b 0 (RVb ∗ R0 )−1 (Rβb∗ − Rβ)
β b
b ∗
⇒ q1−α .
b=1

Çàìåòèì åùå ðàç, ÷òî ÷òîáû èçáàâèòüñÿ îò ñìåùåíèÿ, ñâÿçàííîãî ñ êîíå÷íîñòüþ âû-

áîðêè, ìû ðåöåíòðèðóåì áóòñòðàïîâñêóþ ñòàòèñòèêó. Åñëè áû ìû ýòîãî íå ñäåëàëè,

òî ïîëó÷èëè áû ñìåùåííîå áóòñòðàïîâñêîå ðàñïðåäåëåíèå.

Ãèïîòåçà H0 îòâåðãàåòñÿ, åñëè

θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r) > q1−α

∗
.

24
6 Àñèìòîòè÷åñêîå ðàôèíèðîâàíèå

Èíîãäà ãîâîðÿò, ÷òî ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìòîòè÷åñêîå ðàôèíèðîâà-

íèå.  ýòîì ðàçäåëå ìû îáñóäèì ÷òî òàêîå àñèìòîòè÷åñêîå ðàôèíèðîâàíèå è â êàêèõ

ñëó÷àÿõ îíî ïðîèñõîäèò.

Ïóñòü ó íàñ åñòü íåêîòîðàÿ ñòàòèñòèêà θb, Fθb(x).

èñòèííîå ðàñïðåäåëåíèå êîòîðîé
∗
Òîãäà áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè F b (x). Ãîâîðÿò, ÷òî ñ ïîìîùüþ
θ
áóòñòðàïà äîñòèãàåòñÿ àñèìòîòè÷åñêîå ðàôèíèðîâàíèå, åñëè ïðè óâåëè÷åíèè îáúåìà

âûáîðêè àïïðîêñèìàöèÿ èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì òî÷íåå, ÷åì àñèì-

ïòîòè÷åñêèì (â ñìûñëå îøèáêè àïïðîêñèìàöèè).

Ïðèâåäåì ïðèìåðû, èñïîëüçóþùèå ðàçëîæåíèå Ýäæâîðòà ôóíêöèè ðàñïðåäåëåíèÿ

ñòàòèñòèêè âîêðóã ïðåäåëüíîãî ðàñïðåäåëåíèÿ.

Ïðèìåð 1 : t-ñòàòèñòèêà.
Ïóñòü ñòàòèñòèêà, èíòåðåñóþùàÿ íàñ, åñòü

βb − β
θb = .
se(β)
b

Åå àñèìòîòè÷åñêîå ðàñïðåäåëåíèå, êàê ìû óæå âèäåëè, ÿâëÿåòñÿ ñòàíäàðòíûì íîð-

d
b −→
ìàëüíûì : θ N (0, 1) (ò.å. ñòàòèñòèêà ïèâîòàëüíàÿ). Îáîçíà÷èì òî÷íîå ðàñïðå-
äåëåíèå ñòàòèñòèêè  Fθb(x), à áóòñòðàïîâñêîå  Fθb∗ (x). Äëÿ êóìóëÿòèâíîé ôóíêöèè

ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ èñïîëüçóåì îáû÷íîå îáîçíà÷åíèå : Φ(x).

Èòàê, ðàçëîæèì èñòèííîå è áóòñðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìïòîòè÷åñêî-

ãî :  
h1 (x, F ) h2 (x, F ) 1
Fθb(x) = Φ(x) + √ + +O ;
n n n3/2
 
h1 (x, Fb) h2 (x, Fb) 1
Fθb∗ (x) = Φ(x) + √ + +O .
n n n3/2
Çäåñü h1 (x, F )  ÷åòíàÿ ïî x, íåïðåðûâíàÿ ïî F ôóíêöèÿ ; h2 (x, F )  íå÷åòíàÿ ïî x,
íåïðåðûâíàÿ ïî F ôóíêöèÿ. Îøèáêè àïïðîêñèìàöèè òî÷íîãî ðàñïðåäåëåíèÿ àñèì-

òîòè÷åñêèì è áóòñòðàïîâñêèì, ñîîòâåòñòâåííî :

   
h1 (x, F ) 1 1
Φ(x) − Fθb(x) = √ +O √ =O √ ;
n n n
   
h1 (x, Fb) − h1 (x, F ) 1 1
Fθb∗ (x) − Fθb(x) = √ +O =O .
n n n
Çäåñü ìû âîñïîëüçîâàëèñü òåì ôàêòîì, ÷òî ðàçíîñòü h1 (x, Fb) − h1 (x, F ) èìååò àñèì-
1
ïòîòèêó √ , ïîñêîëüêó
n
n
1X
Fb(x) = 1[xi ≤ x];
n i=1

25
 F (x) = P {xi ≤ x} = E [1[xi ≤ x]] ⇒
√  
d
n Fb(x) − F (x) −→ N (0, P {xi ≤ x}P {xi > x}).

Òàêèì îáðàçîì, â äàííîì ïðèìåðå èñïîëüçîâàíèå áóòñòðàïà ïðèâîäèò ê àñèìòîòè-

÷åñêîìó ðàôèíèðîâàíèþ.

Ïðèìåð 2 : íåïèâîòàëüíàÿ ñòàòèñòèêà. Ðàññìîòðèì ñòàòèñòèêó

√ d
θb = n(βb − β) −→ N (0, Vβ ).

Ñîõðàíèâ îáîçíà÷åíèå êóìóëÿòèâíûõ ôóíêöèé ðàñïðåäåëåíèÿ äëÿ òî÷íîãî ðàñïðå-

äåëåíèÿ è áóòñòðàïîâñêîãî èç ïðåäûäóùåãî ïðèìåðà, îáîçíà÷èì àñèìïòîòè÷åñêîå

ðàñïðåäåëåíèå Φ(x, Vβ ). Çàìåòèì, ÷òî òåïåðü íàøà ñòàòèñòèêà íåïèâîòàëüíàÿ, ò.å.

àñèìòîòè÷åñêîå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà. Àíàëîãè÷íî ïðå-

äûäóùåìó ïðèìåðó, ðàçëîæèì òî÷íîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèì-

òîòè÷åñêîãî :  
h1 (x, F ) 1
Fθb(x) = Φ(x, Vβ ) + √ +O ;
n n
 
∗ ∗ h1 (x, Fb) 1
Fθb (x) = Φ(x, Vβ ) + √ +O .
n n
Îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòè÷åñêîãî è áóòñòðàïîâñêîãî ðàñïðåäåëåíèé ñ÷è-

òàþòñÿ àíàëîãè÷íî ïðåäûäóùåìó ïðèìåðó :

   
h1 (z, F ) 1 1
Φ(x, Vβ ) − Fθb(x) = − √ +O =O √ ;
n n n
   
∗ ∗ 1 1
Fθb (x) − Fθb(x) = Φ(x, Vβb ) − Φ(x, Vβb) + O =O √ .
n n
Êàê âèäíî, â äàííîì ñëó÷àå èñïîëüçîâàíèå áóòñòðàïà íå ïðèâîäèò ê àñèìïòîòè÷åñêî-

ìó ðàôèíèðîâàíèþ. Âîîáùå, êàê ïðàâèëî, áóòñòðàïèðîâàíèå íåïèâîòàëüíûõ îöåíîê

íå äàåò àñèìòîòè÷åñêîãî ðàôèíèðîâàíèÿ.

Ïðèìåð 3 : ñèììåòðè÷íàÿ t-ñòàòèñòèêà. Òåïåðü ðàññìîòðèì â êà÷åñòâå ïðèìåðà

ñèììåòðè÷íóþ t-ñòàòèñòèêó :

|βb − β| d
θb = −→ N (0, 1).
se(β)
b

Ñîõðàíÿÿ îáîçíà÷åíèÿ ïðåäûäóùèõ ïðèìåðîâ, ðàñïèøåì òî÷íîå è áóòñòðàïîâñêîå

ðàñïðåäåëåíèÿ :

b− β  
β 2h2 (x, F ) 1
Fθb(x) = P rob{θb ≤ x} = P rob{−x ≤ ≤ x} = 2Φ(x) − 1 + +O ;
se(β)
b n n3/2

26
  
2h2 (x, Fb) 1
Fθb∗ (x) = 2Φ(x) − 1 + +O .
n n3/2
Òàêèì îáðàçîì, îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòèêè è áóòñòðàïà :
 
1
2Φ(x) − 1 − Fθb(x) = O ;
n
   
∗ 2  1 1
Fθb (x) − Fθb(x) = h2 (x, F ) − h2 (x, F ) + O
b =O .
n n3/2 n3/2
Òàêèì îáðàçîì, ìû ïîëó÷àåì àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå. Çàìåòèì, ÷òî áóò-

ñòðàï ñèììåòðè÷íîãî äâóñòîðîííåãî òåñòà èìååò îøèáêó áîëåå âûñîêîãî ïîðÿäêà,

÷åì áóòñòðàï îäíîñòîðîííåãî òåñòà.

7 Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå (ñëó÷àé íåçàâè-

ñèìûõ íàáëþäåíèé)

Ðàññìîòðèì ñëó÷àé ïðîñòåéøåé ìíîæåñòâåííîé ðåãðåññèè ñ íåçàâèñèìûìè íàáëþäå-

íèÿìè :

yi = x0i β + ei ; E[ei |xi ] = 0; {(xi , yi )} ∼ iid.

Ñóùåñòâóåò íåñêîëüêî àëüòåðíàòòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ ïñåâäîâûáîðêè äëÿ

ýòîé ðåãðåññèè :

1. Íåïàðàìåòðè÷åñêîå ïîñòðîåíèå ïñåâäîâûáîðêè : Èç èñõîäíûõ íàáëþäå-

íèé {(xi , yi )}ni=1 ñëó÷àéíî ñ âîçâðàùåíèåì èçâëåêàþòñÿ n íàáëþäåíèé (x∗i , yi∗ ).

2. Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì : Ñíà÷àëà îöåíèâàåòñÿ ìîäåëü è

íàõîäèòñÿ ñîñòîÿòåëüíàÿ îöåíêà βb. Çàòåì, âû÷èñëÿþòñÿ îñòàòêè : ebi = yi − x0i βb.
Èç ìíîæåñòâà ïàð {(xi , ebi )}ni=1 ñëó÷àéíûì îáðàçîì ñ âîçðâðàùåíèåì âûáèðà-
∗ ∗
åòñÿ ïñåâäîâûáîðêà (xi , e
bi ). Çàòåì âîññòàíàâëèâàåòñÿ íåçàâèñèìàÿ ïåðåìåííàÿ
yi∗ = x0∗ b b∗ . Çàìåòèì, ÷òî äàííûé ìåòîä ïîñòðîåíèÿ ïñåâäîâûáîðêè èäåí-
i β + ei
òè÷åí íåïàðàìåòðè÷åñêîìó ìåòîäó (èäåíòè÷íîñòü ïðîïàäàåò â áîëåå ñëîæíûõ

ñëó÷àÿõ).

3. Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé) : Åñëè

èññëåäîâàòåëþ çàðàíåå èçâåñòíî, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, òî ýô-

ôåêòèâíîñòü áóòñòðàïà ìîæíî óâåëè÷èòü, âûáèðàÿ ñëó÷àéíî ñ âîçâðàùåíèåì

x∗i èç {xi }ni=1 è eb∗i èç ei }ni=1

{b ïî îòäåëüíîñòè.

4. Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé) : Åñëè

èññëåäîâàòåëü çíàåò, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû è, êðîìå òîãî, îøèá-

êè ðàñïðåäåëåíû íîðìàëüíî, ò.å. ei ∼ N (0, σ 2 ), òî ýôôåêòèâíîñòü áóòñòðàïà

27
 ìîæíî óâåëè÷èòü (ïî ñðàâíåíèþ ñ ïðåäûäóùèì ñëó÷àåì), âûáèðàÿ ðåãðåññî-

ðû è îñòàòêè äëÿ ïñåâäîâûáîðêè ïî îòäåëüíîñòè. Êðîìå òîãî, îñòàòêè ñòîèò

âûòÿãèâàòü èç íîðìàëüíîãî ðàñïðåäåëåíèÿ, ò.å. x∗i èçâëåêàþòñÿ ñëó÷àéíî ñ âîç-

n
âðàùåíèåì èç {xi }i=1 , à e∗i èç N (0, σ 2
b ).

8 Ïîñòðîåíèå ïñåâäîâûáîðîê â áóòñòðàïå (ñëó÷àé âðåìåííûõ

ðÿäîâ)

Âðåìåííîé ðÿä îòëè÷àåòñÿ îò íåçàâèñèìûõ íàáëþäåíèé òåì, ÷òî èìååò ñâÿçü ìåæäó

íàáëþäåíèÿìè (íàáëþäåíèÿ çàâèñèìû). Ïîýòîìó ñëó÷àéíîå ïåðåìåøèâàíèå ïðè áóò-

ñòðàïå ìîæåò ðàçðóøèòü âðåìåííóþ ñòðóêòóðó. ×òîáû èçáåæàòü ýòîãî, èñïîëüçóåòñÿ

áëî÷íûé áóòñòðàï, â êîòîðîì ïñåâäîâûáîðêà ñòðîèòñÿ èç ïåðåìåøàííûõ áëîêîâ èñ-

õîäíîé âûáîðêè. Àíàëîãè÷íî ñëó÷àþ íåçàâèñèìûõ ïåðåìåííûõ, âî âðåìåíûõ ðÿäàõ

âîçìîæíî ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì è íåïàðàìåòðè÷åñêîå ïîñòðîåíèå

ïñåâäîâûáîðêè. Îäíàêî, ïîñëåäíåå èñïîëüçóåòñÿ ÷àùå, ïîñêîëüêó îñòàòêè ìîãóò íå

áûòü íåçàâèñèìûìè îäèíàêîâî ðàñïðåäåëåííûìè. Ðàññìîòðèì íåñêîëüêî àëüòåðíà-

òèâíûõ ñïîñîáîâ ïîñòðîåíèÿ áëî÷íîé ïñåâäîâûáîðêè.

1. Ïîñòðîåíèå ïñåâäîâûáîðêè èç ïåðåêðûâàþùèõñÿ áëîêîâ : Èñõîäíàÿ âû-

áîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî ïðåêðûâàþùèõñÿ áëîêîâ îäèíàêîâîé

äëèíû. Äëèíà áëîêà âûáèðàåòñÿ èññëåäîâàòåëåì èñõîäÿ èç âðåìåííîé ñòðóêòó-

ðû ðÿäà. Ïóñòü {yt }Tt=1  èñõîäíàÿ âûáîðêà, à l  äëèíà áëîêà. Òîãäà â ïåð-

âûé áëîê âîéäóò íàáëþäåíèÿ y1 , . . . , y l ; âî âòîðîé  y2 , . . . , yl+1 ; â òðåòèé 

y3 , . . . , yl+2 ; è íàêîíåö â T − l + 1-ûé  íàáëþäåíèÿ yT −l+1 , . . . , yT . Ïðè ïîñòðîå-

íèè ïñåâäîâûáîðêè áëîêè âûáèðàþòñÿ ñëó÷àéíî ñ âîçâðàùåíèåì. Îáû÷íî äëè-

íà ïñåâäîâûáîðêè ñîâïàäàåò ñ äëèíîé èñõîäíîãî ðÿäà.

2. Ïîñòðîåíèå ïñåâäîâûáîðêè èç íåïåðåêðûâàþùèõñÿ áëîêîâ : Â äàííîì

ñëó÷àå èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî íåïåðåêðûâàþùèõ-

ñÿ áëîêîâ ôèêñèðîâàíîé äëèíû. Äëèíà áëîêà òàêæå êàê è â ïðåäûäóùåì ñëó-

÷àå âûáèðàåòñÿ èññëåäîâàòåëåì. Ïóñòü èñõîäíàÿ âûáîðêà ñîñòîèò èç íàáëþäå-

íèé {yt }Tt=1 . Òîãäà â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ y1 , . . . , yl ; âî âòîðîé 

T
yl+1 , . . . , y2l ; è íàêîíåö, â ïîñëåäíèé l -ûé áëîê  íàáëþäåíèÿ y[ T ]−l+1 , . . . , y[ T ] .
l l
Ïðè ïîñòðîåíèè ïñåâäîâûáîðêè áëîêè âûáèðàþòñÿ ñëó÷àéíûì îáðàçîì ñ âîç-

âðàùåíèåì. äëèíà ïñåâäîâûáîðêè ñîâïàäàåò, êàê ïðàâèëî, ñ äëèíîé èñõîäíîãî

ðÿäà.

3. Ïîñòðîåíèå ñòàöèîíàðíîé ïñåâäîâûáîðêè : Ïðåäûäóùèå äâà âàðèàíòà ïî-

ñòðîåíèÿ ïñåâäîâûáîðêè, êàê ïðàâèëî, íàðóøàþò ñòàöèîíàðíîñòü ðÿäà, ò.å. èç

28
 ñòàöèîíàðíîé èñõîäíîé âûáîðêè ïîëó÷àþòñÿ íåñòàöèîíàðíûå ïñåâäîâûáîðêè.

×òîáû ïîëó÷èòü ñòàöèîíàðíóþ ïñåâäîâûáîðêó, áûë ïðåäëîæåí ñïîñîá åå ïî-

ñòðîåíèÿ, îñíîâàííûé íà íåôèêñèðîâàííîé äëèíå áëîêîâ. À èìåííî, çàäàåòñÿ

âåðîÿòíîñòü êîíöà áëîêà p. Òàêèì îáðàçîì, ïåðâûé ýëåìåíò ïñåâäîâûáîðêè âû-

áèðàåòñÿ ñëó÷àéíî. Çàòåì, ñ âåðîÿòíîñòüþ (1 − p) â òåêóùèé áëîê âêëþ÷àåòñÿ

ñëåäóþùèé ýëåìåíò èñõîäíîé âûáîðêè, à ñ âåðîÿòíîñòüþ p íà÷èíàåòñÿ íîâûé

áëîê, ïåðâûé ýëåìåíò êîòîðîãî ñíîâà âûáèðàåòñÿ ñëó÷àéíî èç èñõîäíîé âûáîð-

êè. Òàê ïðîäîëæàåòñÿ, ïîêà â ïñåâäîâûáîðêó íå áóäåò íàáðàíî íóæíîå êîëè÷å-

ñòâî ýëåìåíòîâ (ñîâïàäàþùåå ñ êîëè÷åñòâîì íàáëþäåíèé â èñõîäíîé âûáîðêå).

III Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ

1 Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

Äàííûé ðàçäåë êðàòêî ïîâòîðÿåò îñíîâíûå ïîíÿòèÿ, èçó÷åííûå â êóðñå ñòàòèñòèêè

è òåîðèè âåðîÿòíîñòåé.

Ïóñòü (X, Y )  ñëó÷àéíàÿ ïàðà. Ôóíêöèÿ ñîâìåñòíîé ïëîòíîñòè ðàñïðåäåëåíèÿ

f(X,Y ) (x, y) ≥ 0

îáëàäàåò ñâîéñòâîì íîðìèðîâêè :

Z +∞ Z +∞
f(X,Y ) (x, y)dxdy = 1.
−∞ −∞

Âåðîÿòíîñòü ïîïàñòü â íåêîòîðûé îòðåçîê [a, b] × [c, d], îïðåäåëÿåòñÿ êàê :

Z d Z b
P rob{a ≤ X ≤ b; c ≤ Y ≤ d} = f(X,Y ) (x, y)dxdy.
c a

Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ðàñïðåäåëåíèÿ X çàäàåòñÿ âûðàæåíèåì :

Z +∞
fX (x) = f(X,Y ) (x, y)dy.
−∞

Óñëîâíàÿ ôóíêöèÿ ïëîòíîñòè ðàñïðåäåëåíèÿ Y ïðè X = x:

f(X,Y ) (x, y)
fY |X (x, y) = .
fX (x)

Óñëîâíûå âåðîÿòíîñòè ïîïàäàíèÿ â îòðåçîê îïðåäåëÿþòñÿ âûðàæåèÿìè :

Z d
P rob{c ≤ Y ≤ d | X = x} = fY |X=x (x, y)dy;
c

29
 RdRb
c a
fX,Y (x, y)dxdy
P rob{c ≤ Y ≤ d | a ≤ X ≤ b} = Rb .
f (x)dx
a X
Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå Y ïðè óñëîâèè X = x :
Z +∞
E[Y | X = x] = yfY |X=x (x, y)dy.
−∞

Çàìåòèì, ÷òî ôóíêöèÿ óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ E[Y | X] ÿâëÿåòñÿ ñëó-

÷àéíîé âåëè÷èíîé (ò.ê. X  ñëó÷àåí), êðîìå òîãî, âûïîëíÿåòñÿ çàêîí ïîñëåäîâàòåëü-

íûõ ìàòåìàòè÷åñêèõ îæèäàíèé :

E[h(X, Y )] = E[E[h(X, Y ) | X]],

ãäå h(X, Y )  ïðîèçâîëüíàÿ ôóíêöèÿ îò (X, Y ).  ïðîñòîì (íåïðåðûâíîì) ñëó÷àå

ñïðàâåäëèâîñòü ýòîãî çàêîíà ëåãêî ïîêàçàòü :

Z +∞ Z +∞ Z +∞ Z +∞ 
h(x, y)f(X,Y ) (x, y)dxdy = h(x, y)fY |X (x, y)dy fX (x)dx.
−∞ −∞ −∞ −∞

2 Ïðåäñêàçàíèå

×àñòî â ýêîíîìåòðèêå âñòðå÷àåòñÿ çàäà÷à, êîãäà èññëåäîâàòåëü õî÷åò ïî ïåðåìåííûì

X (ðåãðåññîðû) ïðåäñêàçàòü çíà÷åíèå Y (íåçàâèñèìàÿ ïåðåìåííàÿ).  ñòàòèñòèêå è

òåîðèè âåðîÿòíîñòè ñóùåñòâóåò íåñêîëüêî ðåçóëüòàòîâ, ñâÿçàííûõ ñ òàêîé ïîñòàíîâ-

êîé çàäà÷è.

Òåîðåìà : Îïòèìàëüíûì ïðåäèêòîðîì Y èç X â ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðà-

òè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå E[Y | X].

Äîêàçàòåëüñòâî : Ïóñòü g(X)  íàø ïðåäèêòîð. Òîãäà ñðåäíåêâàäðàòè÷íàÿ îøèáêà
ïðåäñêàçàíèÿ áóäåò âûðàæàòüñÿ ñëåäóþùèì îáðàçîì :

M SP E = E[(Y − g(X))2 ] = E[(Y − E[Y |X] + E[Y |X] − g(X))2 ] =

= E[(Y − E[Y |X])2 ] + E[(E[Y |X] − g(X))2 ] ≥ E[(Y − E[Y |X])2 ]

Çàìåòèì, ÷òî ðàâåíñòâî äîñòèãàåòñÿ ïðè g(X) = E[Y |X], ò.å. óñëîâíîå ìàòåìàòè÷å-

ñêîå îæèäàíèå äåéñòâèòåëüíî ìèíèìèçèðóåò ñðåäíåêâàäðàòè÷íóþ îøèáêó ïðåäñêà-

çàíèÿ.

Îïðåäåëåíèå : Îøèáêîé îïòèìàëüíîãî ïðåäñêàçàíèÿ íàçûâàåòñÿ âåëè÷èíà : e=Y−

E[Y |X].
Îøèáêà îïòèìàëüíîãî ïðåäñêàçàíèÿ îáëàäàåò ñëåäóþùèì ñâîéñòâîì :

E[e|X] = 0; ⇒ E[e] = 0; ⇒ E[eh(X)] = 0.

30
Ò.å. óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå ÿâëÿåòñÿ íåñìåùåííûì ïðåäèêòîðîì.

Îïðåäåëåíèå : Ëèíåéíûì ïðåäèêòîðîì Y ïî X íàçûâàåòñÿ ëþáàÿ ëèíåéíàÿ ôóíê-

öèÿ îò X : g(X) = a + bX.

Òåîðåìà : Îïòèìàëüíûì ëèíåéíûì ïðåäèêòîðîì Y ïî X â ñìûñëå ìèíèìèçàöèè

ñðåäíåêâàäðàòè÷íîé îøèáêè ïðåäñêàçàíèÿ íàçûâàåòñÿ íàèëó÷øèé ëèíåéíûé ïðåäèê-

òîð (BLP) :

cov(X, Y )
BLP (Y |X) = α + βX; β= ; α = E[Y ] − βE[X].
var(X)

Äîêàçàòåëüñòâî :
M SP E = E[(Y − a − bX)2 ] −→ min
a,b

Óñëîâèÿ ïåðâîãî ïîðÿäêà :

−E[2(Y − a − bX)] = 0;

−E[2(Y − a − bX)X] = 0.

Ñëåäîâàòåëüíî, ìû ïîëó÷àåì α è β èç óñëîâèÿ òåîðåìû.

Òåîðåìà : Íàèëó÷øåé ëèíåéíîé àïïðîêñèìàöèåé äëÿ óñëîâíîãî ñðåäíåãî E[Y |X] â

ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè àïïðîêñèìàöèè ÿâëÿåòñÿ íàèëó÷-

øèé ëèíåéíûé ïðåäèêòîð BLP (Y |X).

Äîêàçàòåëüñòâî : Àíàëîãè÷íî äîêàçàòåëüñòâó ïðåäûäóùåé òåîðåìû íóæíî ðåøèòü
îïòèìèçàöèîííóþ çàäà÷ó :

M SAE = E[(E[Y |X] − a − bX)2 ] −→ min.

a,b

Ïîëó÷èì α è β èç óñëîâèÿ òåîðåìû, ò.å. BLP (Y |X).

Îïðåäåëåíèå : Îøèáêîé íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ íàçûâàåòñÿ âåëè÷è-

íà : u = Y − BLP (Y |X).
Îíà îáëàäàåò ñëåäóþùèì ñâîéñòâîì :

E[u] = 0; E[uX] = 0.

Òåîðåìà : Åñëè óñëîâíîå ñðåäíåå E[Y |X] ëèíåéíî ïî X, òî :

E[Y |X] = BLP (Y |X).

31
3 Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

Ðàññìîòðèì äâóìåðíóþ âåëè÷èíó, ðàñïðåäåëåííóþ íîðìàëüíî :

"  !#
σY2
 
Y µY ρσX σY
∼N ; .
X µX ρσX σY σY2

Åå ïëîòíîñòü ðàñïðåäåëåíèÿ çàäàåòñÿ ñëåäóþùèì âûðàæåíèåì :

  2  2 
1
x−µX
σX
+ y−µY
σY
− 2ρ (x−µσXX)(y−µ
σY
Y)

f(X,Y ) (x, y) = exp − .

 
p
2πσX σY 1 − ρ 2 2(1 − ρ2 )

Íèæå ïåðå÷èñëåíû ñâîéñòâà òàêîãî ðàñïðåäåëåíèÿ :

1. Êàæäàÿ èç êîìïîíåíò äâóìåðíîé íîðìàëüíîé âåëè÷èíû ðàñïðåäåëåíà íîðìàëü-

íî :
2
X ∼ N (µX , σX ).

2. Óñëîâíîå ðàñïðåäåëåíèå Y |x íîðìàëüíî :

 
σY 2 2
Y |x ∼ N µY + ρ (x − µX ), σY (1 − ρ ) .
σX

Èç ýòîãî ñâîéñòâà òàêæå âûòåêàåò óñëîâíàÿ ãîìîñêåäàñòè÷íîñòü è E[Y |X] =

BLP [X|Y ].

3. Åñëè êîððåëÿöèÿ ρ = 0, òî Y è X íåçàâèñèìû.

4. Ëèíåéíàÿ ôóíêöèÿ îò íîðìàëüíîé ñëó÷àéíîé âåëè÷èíû ÿâëÿåòñÿ òàêæå íîð-

ìàëüíîé ñëó÷àéíîé âåëè÷èíîé :

! !
σY2
   
Y µY ρσX σY
A ∼N A , A A0 .
X µX ρσX σY σY2

Çäåñü A  2×2 ìàòðèöà ëèíåéíîãî ïðåîáðàçîâàíèÿ.

4 Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

Ïóñòü Y  ìíîãîìåðíàÿ íîðìàëüíàÿ âåëè÷èíà, ò.å.

Y ∼ N (µ, Σ),

ãäå µ  âåêòîð ñðåäíèõ k × 1; Σ  âàðèàöèîííàÿ ìàòðèöà k × k.

32
 Ïëîòíîñòü ðàñïðåäåëåíèÿ Y :

(y − µ)0 Σ−1 (y − µ)
 
1
fY (y) = exp − .
(2π)k/2 |Σ|1/2 2
Ïðåäñòàâèì Y â âèäå 2-õ ÷àñòåé :

    !!
Y1 µ1 Σ11 Σ12
Y = ∼N , = N (µ, Σ)
Y2 µ2 Σ21 Σ22
Òîãäà ìíîãîìåðíîå íîðìàëüíîå ðàñïðåäåëåíèå îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè :

1. Y1 ∼ N (µ1 , Σ11 ).

2. Y2 |y1 ∼ N (µ2 + B 0 (y1 − µ1 ), Σ22 − B 0 Σ11 B), ãäå B = Σ−1

11 Σ12 .

3. Åñëè Σ12 = 0, òî Y1 è Y2 íåçàâèñèìû.

4. g + HY ∼ N (g + Hµ, HΣH 0 ), ãäå g  ôèêñèðîâàííûé âåêòîð, à H  ìàòðèöà

ëèíåéíîãî ïðåîáðàçîâàíèÿ .

5 Ïðèíöèï àíàëîãèé

Ïðè ïîñòðîåíèè âñåâîçìîæíûõ îöåíîê èñïîëüçóþò ïðèíöèï àíàëîãèé, îñíîâíàÿ èäåÿ

êîòîðîãî â çàìåíå èñòèííîé ôóíêöèè ðàñïðåäåëåíèÿ ýìïèðè÷åñêîé. Ïóñòü èíòåðåñó-

þùèé íàñ ïàðàìåòð θ èçâåñòíûì îáðàçîì çàâèñèò îò ôóíêöèè ðàñïðåäåëåíèÿ X,

FX (x). Òîãäà, ñîãëàñíî ïðèíöèïó àíàëîãèé, îöåíêó θb ìîæíî ïîñòðîèòü, çàìåíèâ èñ-

òèííóþ ôóíêöèþ ðàñïðåäåëåíèÿ X íà åå âûáîðî÷íûé àíàëîã :

n
1X
Fn (x) = I[xi ≤ x].
n i=1

Ïðèâåäåì ñîîòâåòñòâóþùèå ïðèìåðû :

Ïðèìåð 1 : Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð :

Z +∞
θ = E[X] = xdF (x),
−∞

òîãäà, ïî ïðèíöèïó àíàëîãèé, åãî îöåíêà áóäåò :

Z +∞ n
1X
θb = xdFn (x) = xi .
−∞ n i=1

Ïðèìåð 2 (Îöåíêà OLS) : Ïîêàæåì, ÷òî îöåíêà OLS òàêæå ÿâëÿåòñÿ àíàëîãîâîé
îöåíêîé. Èñõîäíàÿ ðåãðåññèîííàÿ ìîäåëü :

yi = x0i β + ei ; E[ei xi ] = 0.

33
Òîãäà ïàðàìåòð β íàõîäèòñÿ èç óñëîâèÿ : E[(yi − x0i β)xi ] = 0. Åãî âèä :

β = (E(xi x0i ))−1 E(xi yi ).

Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì OLS îöåíêó :

n
!−1 n
!
1X 1X
βb = xi x0i xi yi .
n i=1 n i=1

Ïðèìåð 3 (Îöåíêà OLS) : Îöåíêó OLS ìîæíî ïîëó÷èòü êàê àíàëîãîâóþ è èç

óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè. Èñõîäíàÿ ðåãðåññèîííàÿ ìîäåëü

â ýòîì ñëó÷àå :

yi = x0i β + ei ; E[ei |xi ] = 0.

Ïîñëåäíåå óñëîâèå ìîæíî âûðàçèòü êàê :

E[yi − x0i β|xi ] = 0; ⇒ E[yi |xi ] = x0i β.

Ïàðàìåòð β íàõîäèòñÿ èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè :

β = arg minE[(yi − x0i b)2 ].

b

Ñîîòâåòñòâóþùåå àíàëîãîâîå óñëîâèå çàïèñûâàåòñÿ â âèäå :

n
1 X
βb = arg min (yi − x0i b)2 .
b n i=1

Î÷åâèäíî, ÷òî ðåçóëüòàòîì ðåøåíèÿ ýòîé ýêñòðåìàëüíîé çàäà÷è ÿâëÿåòñÿ OLS îöåí-

êà.

6 Ðåãðåññèÿ (îñíîâíûå ïîíÿòèÿ)

Ïóñòü ó íàñ åñòü ïàðà (y, x), ãäå y  ñêàëÿð, à x  âåêòîð.

Îïðåäåëåíèå : Ðåãðåññèåé íàçûâàåòñÿ íåêîòîðîå ñâîéñòâî óñëîâíîãî ðàñïðåäå-

ëåíèÿ y ïðè çàäàííîì x.
Ïðèâåäåì íåñêîëüêî ïðèìåðîâ ðåãðåññèé :

Ïðèìåð 1 (Ðåãðåññèÿ óñëîâíîãî ñðåäíåãî) : Íàñ èíòåðåñóåò E[y|x].

Ïðèìåð 2 (Ìåäèàííàÿ ðåãðåññèÿ) : Íàñ èíòåðåñóåò M ed[y|x].

Ïðèìåð 3 (Êâàíòèëüíàÿ ðåãðåññèÿ) : Íàñ èíòåðåñóåò qα [y|x].

34
 Ïðèìåð 4 (Ðåãðåññèÿ ìîäû) : Íàñ èíòåðåñóåò M ode[y|x].

Ðàññìîòðèì ïîäðîáíåå ðåãðåññèþ óñëîâíîãî ñðåäíåãî , êîòîðàÿ íàèáîëåå ÷àñòî èñ-

ïîëüçóåòñÿ â ýêîíîìåòðè÷åñêîì àíàëèçå. Îøèáêîé ðåãðåññèè ñðåäíåãî íàçûâàåòñÿ

âåëè÷èíà, çàäàâàåìàÿ âûðàæåíèåì :

e = y − E[y|x.]

Ýòà îøèáêà îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè :

• E[e|x] = 0;

• E[e] = 0;

• E[eh(x)] = 0 äëÿ ëþáîé ôóíêöèè h(x) ;

• Ðåãðåññîðû x è îøèáêà e ìîãóò íå áûòü íåçàâèñèìûìè.

Òàêèì îáðàçîì, ðåãðåññèîííàÿ ìîäåëü óñëîâíîãî ñðåäíåãî çàïèñûâàåòñÿ :

y = E[y|x] + e; E[e|x] = 0.

Îáû÷íî èññëåäîâàòåëü, îáëàäàÿ íåêîòîðîé ñîâîêóïíîñòüþ íåçàâèñèìûõ íàáëþäåíèé

{(yi , xi )}ni=1 , âûáðàíûõ ñëó÷àéíûì îáðàçîì èç ãåíåðàëüíîé ñîâîêóïíîñòè (y, x), õî÷åò
îöåíèòü, èñïîëüçóÿ ýòè äàííûå, ôóíêöèþ E[y|x]. Ñóùåñòâóåò íåñêîëüêî ðàçëè÷íûõ

ïîäõîäîâ ê äàííîé çàäà÷å :

1. Íåïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå åäèíñòâåííûì îãðà-

íè÷åíèåì íà ìîäåëü ÿâëÿåòñÿ ïðåäïîëîæåíèå î ãëàäêîñòè ôóíêöèè E[y|x].

2. Ïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå ïðåäïîëàãàåòñÿ èçâåñò-

íûì âèä ôóíêöèè E[y|x] = g(x, β), êîòîðàÿ ïî ïðåäïîëîæåíèþ çàâèñèò îò íåèç-
âåñòíûõ ïàðàìåòðîâ β ∈ Rk . Ýòè ïàðàìåòðû îöåíèâàþòñÿ, ÷òî äà¼ò îöåíêó äëÿ
g(x, β). Òàêèì îáðàçîì, ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçóåòñÿ, îòñþäà

è íàçâàíèå ìåòîäà.

Íóæíî îòìåòèòü, ÷òî ïàðàìåòðè÷åñêèé ìåòîä îöåíèâàíèÿ ÿâëÿåòñÿ áîëåå ýô-

ôåêòèâíûì, ÷åì íåïàðàìåòðè÷åñêèé, åñëè ñïåöèôèêàöèÿ ìîäåëè ïðàâèëüíàÿ,

ò.å. èññëåäîâàòåëü ïðåäïîëîæèë ïðàâèëüíûé âèä ôóíêöèè g(x, β). Îäíàêî, åñ-

ëè ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçîâàíà íåâåðíî, òî ïàðàìåòðè÷åñêîå

îöåíèâàíè ïðèâîäèò ê íåñîñòîÿòåëüíûì ðåçóëüòàòàì .

35
 3. Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíè ïðåä-
ñòàâëÿåò ñîáîé íå÷òî ñðåäíåå ìåæäó ïàðàìåòðè÷åñêèì è íåïàðàìåòðè÷åñêèì

ïîäõîäàìè. ×òîáû ïðîÿñíèòü ñèòóàöèþ, ïðèâåäåì ïðèìåð. Ìû ïðåäïîëàãàåì,

÷òî âèä ôóíêöèè óñëîâíîãî ñðåäíåãî íàì íåèçâåñòåí, îäíàêî èçâåñòíî, ÷òî îíà

çàâèñèò îò ëèíåéíîé êîìáèíàöèè ðåãðåññîðîâ è íåèçâåñòíûõ ïàðàìåòðîâ, ò.å. :

E[y|x] = g(x0 β), ãäå âèä g() íåèçâåñòåí, îäíàêî èçâåñòíî, ÷òî ýòà ôóíêöèÿ çà-

âèñèò îò ñêàëÿðíîãî ïðîèçâåäåíèÿ x0 β , ãäå β  âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ.

IV Ðåãðåññèÿ ëèíåéíîãî ñðåäíåãî

1 Îöåíêà ïî ìåòîäó íàèìåíüøèõ êâàäðàòîâ OLS

Ïóñòü E[y|x] = x0 β , òîãäà ìîäåëü ðåãðåññèè óñëîâíîãî ñðåäíåãî çàïèñûâàåòñÿ ñëåäó-

þùèì îáðàçîì :

yi = x0i β + ei ; E[ei |xi ] = 0; {(yi , xi )}ni=1 ∼ iid.

Ïðåäïîëîæèì, ÷òî ìàòðèöà E[xi x0i ]  íåâûðîæäåííàÿ. Òîãäà ïàðàìåòð β, ìèíèìèçè-

ðóþùèé ñðåäíåêâàäðàòè÷íóþ îøèáêó áóäåò ðåøåíèåì çàäà÷è :

β = arg minE[(yi − x0i b)2 ].

b

Ïîëüçóÿñü ïðèíöèïîì àíàëîãèé, ìîæíî ïåðåïèñàòü ýêñòðåìàëüíóþ çàäà÷ó â ñëåäó-

þùåì âèäå :

n n
!−1 n
1X 1X 1X
βb = arg min (yi − x0i b)2 = xi x0i xi yi .
b n i=1 n i=1 n i=1

Ñîáñòâåííî ýòî è åñòü îöåíêà íàèìåíüøèõ êâàäðàòîâ (OLS).

2 Àñìòîòè÷åñêèå ñâîéñòâà îöåíêè OLS

Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà OLS îöåíêè, äëÿ ýòîãî ïåðåïèøåì åå â ñëå-

äóþùåì âèäå :
n
!−1 n
1X 1X
βb = β + xi x0i xi ei .
n i=1 n i=1
p
Êàê ìû óæå çíàåì, îöåíêà OLS ñîñòîÿòåëüíà, ò.å. βb −→ β . Êðîìå òîãî, OLS îöåíêà

àñèìïòîòè÷åñêè ðàñïðåäåëåíà íîðìàëüíî :

n
!−1 n
√ 1X 1 X d
xi x0i xi ei −→ N 0, Q−1 −1


n(βb − β) = √ xx Qe2 xx Q
xx ,
n i=1 n i=1

36
ãäå ìû èñïîëüçîâàëè ñëåäóþùèå îáîçíà÷åíèÿ :

Qxx = E[xi x0i ]; Qe2 xx = E[e2i xi x0i ] = V ar[xi ei ].

Î÷åâèäíî, ÷òî ïðèâåäåííûå àñèìïòîòè÷åñêè ñâîéñòâà ñëåäóþò èç ÖÏÒ è ÇÁ×. ßñíî,

÷òî çàêîíà áîëüøèõ ÷èñåë ñëåäóåò :

n
1X p
xi x0i −→ E[xi x0i ] = Qxx ;
n i=1
n
1X p
xi ei −→ E[xi ei ] = E[xi E[ei |xi ]] = 0,
n i=1
÷òî âëå÷¼ò ñîñòîÿòåëüíîñòü OLS îöåíêè. Êðîìå òîãî, èç öåíòðàëüíîé ïðåäåëüíîé

òåîðåìû äëÿ íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ âåëè÷èí ñëåäóåò :

n
1 X d
√ xi ei −→ N (0, V ar[xi ei ]) = N (0, Qe2 xx ) ,
n i=1

÷òî ïðèâîäèò ê àñèìïòîòè÷åñêîé íîðìàëüíîñòè OLS îöåíêè.

Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé, êîãäà îøèáêà ëèíåéíîé ðåãðåññèè óñëîâíî ãî-

ìîñêåäàñòè÷íà, ò.å.

E[e2i |xi ] = σ 2 = const.

 ýòîì ñëó÷àå Qe2 xx = σ 2 Qxx è àñèìòîòè÷åñêîå ðàñïðåäåëåíèå OLS îöåíêè èìååò

âàðèàöèîííóþ ìàòðèöó óïðîùåííîãî âèäà :

√ d
n(βb − β) −→ N 0, σ 2 Q−1


xx .

Êðîìå òîãî, ëåãêî ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó ýòîé âàðèàöèîííîé ìàòðèöû :

n
bxx = 1 p
X
Q xi x0i −→ Qxx ;
n i=1
n
1X p
σ2
b = (yi − x0i β)
b 2 −→ σ2.
n i=1
Ïîñëåäíåå äîâîëüíî ëåãêî ïîêàçàòü :

n
1X
(yi − x0i β)
b2=
n i=1
n n n
1X 1X 0 b2+ 2
X
= (yi − x0i β)2 + (xi β − x0i β) (yi − x0i β)(x0i β − x0i β)
b =
n i=1 n i=1 n i=1
n n
! n
1X 0 0 1 X
0 2X
= 2
(yi − xi β) + (β − β) b xi xi (β − β) +
b (yi − x0i β)x0i (β − β).
b
n i=1 n i=1 n i=1

37
Äàëåå, ïðèìåíÿÿ ÇÁ× è òåîðåìó Ñëóöêîãî, ïîëó÷èì :
n
1X p
(yi − x0i β)2 −→ σ 2 ;
n i=1
n
!
b0 1 X p
(β − β) xi x0i (β − β)
b −→ 0;
n i=1
n
2X p
(yi − x0i β)x0i (β − β)
b −→ 0.
n i=1
Ò.å. ýòî è îçíà÷àåò ñîñòîÿòåëüíîñòü îöåíêè óñëîâíîé äèñïåðñèè ðåãðåññèîííîé îøèá-

êè :
n
1X p
(yi − x0i β)
b 2 −→ σ2.
n i=1

Òåïåðü ðàññìîòðèì îáùèé ñëó÷àé ãåòåðîñêåäàñòè÷íîñòè.  ýòîì ñëó÷àå íàì íóæíî

ñîñòîÿòåëüíî îöåíèòü ìàòðèöó Qe2 xx . Ìîæíî ïîêàçàòü, ÷òî ñîñòîÿòåëüíîé îöåíêîé

ýòîé ìàòðèöû áóäåò ñëåäóþùàÿ :

n
be2 xx = 1 p
X
Q xi x0i (yi − x0i β)
b 2 −→ Qe2 xx .
n i=1
Èòàê, ñîñòîÿòåëüíàÿ îöåíêà âàðèàöèîííîé ìàòðèöû OLS îöåíêè â ñëó÷àå ãåòåðîñêå-

äàñòè÷íîñòè çàïèøåòñÿ êàê :

b−1
Vbβ = Q b−1
xx Qe2 xx Qxx =
b
n
!−1 n
! n
!−1
1X 1X 1X
xi x0i xi x0i (yi − x0i β)
b2 xi x0i .
n i=1 n i=1 n i=1

Áóäåì íàçûâàòü ñòàíäàðòíîé îøèáêîé ïàðàìåòðà βbi âåëè÷èíó :

r
  1 hb i
se βi =
b Vβ .
n jj

Òîãäà t-ñòàòèñòèêà áóäåò ïèâîòàëüíîé îöåíêîé, àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå

êîòîðîé ÿâëÿåòñÿ ñòàíäàðòíûì íîðìàëüíûì :

βbj − βj d
tj = −→ N (0, 1).
se(βbj )

Âàëüäîâñêàÿ ñòàòèñòèêà äëÿ îãðàíè÷åíèé îáùåãî âèäà h(β) = 0, ãäå ÷èñëî îãðàíè-

÷åíèé l ≤ k, èìååò ðàñïðåäåëåíèå Õè-êâàäðàò :

h i−1
b0 H b0 d
W = h(β) b Vbβ H b −→
h(β) χ2 (l).
Çäåñü èñïîëüçîâàíî îáîçíà÷åíèå :

∂h(β)
H= .
∂β 0

38
3 Ñâîéñòâà OLS îöåíêè â êîíå÷íûõ âûáîðêàõ

Âûåäåì ñëåäóþùèå îáîçíà÷åíèÿ :

X = (x1 , x2 , . . . , xn )0 ; Y = (y1 , y2 , . . . , yn )0 ; ε = (e1 , e2 , . . . , en )0 .

Òîãäà óæå çíàêîìóþ íàì ðåãðåññèîííóþ ìîäåëü ëèíåéíîãî óñëîâíîãî ñðåäíåãî ìîæíî

ïåðåïèñàòü â ìàòðè÷íîì âèäå :

Y = Xβ + ε; E[ε|X] = 0.

Îöåíêà OLS â òàêîì ñëó÷àå çàïèøåòñÿ êàê

βb = (X 0 X)−1 X 0 Y = β + (X 0 X)−1 X 0 ε.

Ýòà îöåíêà îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè :

• Óñëîâíàÿ íåñìåùåííîñòü :

E[β|X]
b = β + (X 0 X)−1 X 0 E[ε|X] = β.

• Áåçóñëîâíàÿ íåñìåùåííîñòü (ñëåäóåò èç óñëîâíîé íåñìåùåííîñòè).

• Óñëîâíàÿ âàðèàöèÿ îöåíêè :

V ar[β|X]
b = (X 0 X)−1 X 0 ΩX(X 0 X)−1 ,

ãäå Ω = V ar[Y |X] = E[εε0 |X].

4 Îöåíêà ïî îáîáùåíîìó ìåòîäó íàèìåíüøèõ êâàäðàòîâ (GLS)

Îïðåäåëåíèå 1 (êëàññ ëèíåéíûõ îöåíîê) : Ïóñòü E[Y |X] = Xβ . Êëàññîì ëè-

íåéíûõ îöåíîê β íàçûâàåòñÿ êëàññ, ñîäåðæàùèé îöåíêè âèäà A(X)Y , ãäå A(X) 

ìàòðèöà k × n, êîòîðàÿ çàâèñèò òîëüêî îò X.

Ïðèìåð : Äëÿ OLS îöåíêè : A(X) = (X 0 X)−1 X 0 .

Îïðåäåëåíèå 2 (êëàññ ëèíåéíûõ íåñìåùåííûõ îöåíîê) :

Ïóñòü E[Y |X] = Xβ . Êëàññîì ëèíåéíûõ íåñìåùåííûõ îöåíîê β íàçûâàåòñÿ êëàññ,

ñîäåðæàùèé îöåíêè âèäà A(X)Y , ãäå A(X)  ìàòðèöà k × n, çàâèñÿùàÿ òîëüêî îò X

è óäîâëåòâîðÿþùàÿ óñëîâèþ A(X)X = Ik .
Ïðèìåð : Äëÿ OLS îöåíêè : A(X)X = (X 0 X)−1 X 0 X = Ik .

Çàìåòèì, ÷òî V ar[A(X)Y |X] = A(X)ΩA(X)0 . Ìû õîòèì íàéòè íàèëó÷øóþ ëèíåé-

íóþ íåñìåùåííóþ îöåíêó, êîòîðàÿ ìèíèìèçèðóåò V ar[A(X)Y |X].

39
Òåîðåìà (Ãàóññà-Ìàðêîâà) : Íàèëó÷øåé ëèíåéíîé íåñìåùåííîé îöåíêîé (BLUE)
ëèíåéíîé ðåãðåññèè óñëîâíîãî ñðåäíåãî ÿâëÿåòñÿ îöåíêà :

βe = A∗ (X)Y ;

A∗ (X) = (X 0 Ω−1 X)−1 X 0 Ω−1 .

 ýòîì ñëó÷àå âàðèàöèîííàÿ ìàòðèöà îöåíêè èìååò âèä :

V ar[β|X]
e = (X 0 Ω−1 X)−1 .

Äîêàçàòåëüñòâî : Î÷åâèäíî, ÷òî îöåíêà βe ïðèíàäëåæèò êëàññó ëèíåéíûõ íåñìå-

ùåííûõ îöåíîê :

A∗ (X)X = Ik .

Âîçüìåì ïðîèçâîëüíóþ ìàòðèöó A(X), òàêóþ, ÷òî A(X)X = Ik .  ýòîì ñëó÷àå èìåþò
ìåñòî ñëåäóþùèå ðàâåíñòâà :

(A(X) − A∗ (X))X = 0;

(A(X) − A∗ (X))ΩA∗ (X)0 = (A(X) − A∗ (X))ΩΩ−1 X(X 0 Ω−1 X)−1 = 0.

Òîãäà :

V ar[A(X)Y |X] = A(X)ΩA(X)0 =

= (A(X) − A∗ (X) + A∗ (X))Ω(A(X) − A∗ (X) + A∗ (X))0 =
= (A(X) − A∗ (X))Ω(A(X) − A∗ (X))0 + V ar[A∗ (X)Y |X] ≥ V ar[β|X].
e

Ñëåäîâàòåëüíî, îöåíêà βe ÿâëÿåòñÿ íàèëó÷øåé â êëàññå ëèíåéíûõ íåñìåùåííûõ îöå-

íîê. Èìåííî ýòà îöåíêà è íàçûâàåòñÿ îöåíîêîé îáîáùåííîãî ìåòîäà íàèìåíüøèõ

êâàäðàòîâ (GLS).

Ñëåäñòâèå 1 : Îöåíêà GLS βe ÿâëÿåòñÿ ýôôåêòèâíîé â êëàññå ëèíåéíûõ íåñìåùåí-

íûõ îöåíîê.

Ñëåäñòâèå 2 : Åñëè îøèáêà ëèíåéíîé ðåãðåññèè óñëîâíîãî ñðåäíåãî îáëàäàåò ñâîé-

ñòâîì óñëîâíîé ãîìîñêåäàñòè÷íîñòè, òî βeGLS = βbOLS . Ò.å. OLS è GLS îöåíêè ñîâïà-

äàþò.

Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ óñëîâíûå âàðèàöèîííûå ìàòðèöû îöåíîê

OLS è GLS â êîíå÷íûõ âûáîðêàõ äëÿ ñëó÷àåâ ãåòåðî è ãîìîñêåäàñòè÷íîñòè :

OLS GLS
0 −1
Ãîìîñêåäàñòè÷íîñòü
2
σ (X X) σ 2 (X 0 X)−1
Ãåòåðîñêåäàñòè÷íîñòü (X 0 X)−1 X 0 ΩX(X 0 X)−1 (X 0 Ω−1 X)−1

40
Çàìå÷àíèå 1 : Îöåíêà GLS βe ÿâëÿåòñÿ íåäîñòóïíîé , ïîñêîëüêó ìàòðèöà Ω íåèç-

âåñòíà.

Çàìå÷àíèå 2 : Îöåíêà GLS βe ÿâëÿåòñÿ ÷àñòíûì ñëó÷àåì îöåíêè âçâåøåííîãî ìåòîäà

íàèìåíüøèõ êâàäðàòîâ WLS :

βbW LS = (X 0 W X)−1 X 0 W Y,

ãäå W  ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà.

5 Àñèìòîòè÷åñêèå ñâîéñòâà îöåíîê GLS

Ðàññìîòðèì àñèìòîòè÷åñêèå ñâîéñòâà GLS îöåíêè. Äëÿ ýòîãî ïðåäñòàâèì åå â ñëåäó-

þùåì âèäå :
n
!−1 n
1 X xi x0i 1 X xi ei
βe = β + .
n i=1 σ 2 (xi ) n i=1 σ 2 (xi )
Ïîëüçóÿñü çàêîíîì áîëüøèõ ÷èñåë è öåíòðàëüíîé ïðåäåëüíîé òåîðåìîé, ïîëó÷èì :

n
1 X xi x0i xi x0i
 
p
−→ Q σxx2 = E 2 ;
n i=1 σ 2 (xi ) σ (xi )
n  
1 X xi ei p xi ei
−→ E 2 = 0;
n i=1 σ 2 (xi ) σ (xi )
n
1 X xi ei d
 
√ −→ N 0, Q σ2 .
xx
n i=1 σ 2 (xi )
Ïîñëåäíåå âûðàæåíèå ñëåäóåò èç òîãî, ÷òî :
" 2 #
xi x0i
 
xi ei 2
E =E 2 E[ei |xi ] = Q σxx2 .
σ 2 (xi ) σ (xi )

Òàêèì îáðàçîì, îöåíêà GLS ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìòîòè÷åñêè íîðìàëüíîé.

Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ àñèìòîòè÷åñêèå âàðèàöèîííûå ìàòðèöû îöå-

íîê OLS è GLS äëÿ ñëó÷àåâ ãåòåðî è ãîìîñêåäàñòè÷íîñòè :

OLS GLS

Ãîìîñêåäàñòè÷íîñòü σ 2 Q−1
xx Q−1 2 −1
xx = σ Qxx
σ2
−1
Ãåòåðîñêåäàñòè÷íîñòü Q−1 −1
xx Qe2 xx Qxx Q xx
σ2

Òåîðåìà : Îöåíêà GLS βe àñèìïòîòè÷åñêè ýôôåêòèâíà â êëàññå îöåíîê âèäà :

n
!−1 n
1X 0 1X
βbIV = zi xi zi yi ,
n i=1 n i=1

41
ãäå zi = f (xi ) äëÿ ëþáîé ôóíêöèè f : Rk → Rk .
Äîêàçàòåëüñòâî : Çàìåòèì, ÷òî îöåíêè OLS è GLS ïðèíàäëåæàò óêàçàííîìó êëàññó,
xi
ò.ê. äëÿ OLS zi = xi , à äëÿ GLS zi = σ 2 (xi )
. Ðàññìîòðèì îöåíêó :

n
!−1 n
1X 0 1X
βbIV = zi xi zi yi .
n i=1 n i=1

Ëåãêî ïîêàçàòü, ÷òî îíà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà. Àñèìòîòè÷åñêàÿ

âàðèàöèîííàÿ ìàòðèöà ýòîé îöåíêè âûãëÿäèò ñëåäóþùèì îáðàçîì :

Vzz = Q−1 −1
zx Qe2 zz Qxz ,

ãäå Qzx = E[zi x0i ], à Qe2 zz = E[zi zi0 e2i ] = E[zi zi0 σ 2 (xi )]. Çíàÿ, ÷òî àñèìïòîòè÷åñêàÿ
−1
âàðèàöèÿ îöåíêè GLS ðàâíà Q xx , ðàññìîòðèì ðàçíîñòü :
σ2

−1
xi x0i
 
−1 −1 −1
Vzz − Q xx = (E[zi x0i ]) E[zi zi0 σ 2 (xi )] (E[xi zi0 ]) − E 2 =
σ2 σ (xi )
−1 −1 −1
= (E[vi u0i ]) E[vi vi0 ] (E[ui vi0 ]) − (E[ui u0i ]) =
h i
−1 −1 −1
= (E[vi u0i ]) E[vi vi0 ] − E[vi u0i ] (E[ui u0i ]) E[ui vi0 ] (E[ui vi0 ]) =
−1 −1
= (E[vi u0i ]) E[wi wi0 ] (E[ui vi0 ]) ≥ 0.

xi
Çäåñü vi = zi σ(xi ); ui = σ(xi )
; wi = vi − E[vi u0i ](E[ui u0i ])−1 ui . Òàêèì îáðàçîì, ìû

ïîêàçàëè, ÷òî îöåíêà GLS àñèìïòîòè÷åñêè ýôôåêòèâíà.

Ðåçóëüòàò : Îöåíêà GLS ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé, ïîëó÷åííîé ïî ïðèíöèïó àíà-

ëîãèé. À èìåííî, îöåíêà GLS ïîëó÷àåòñÿ èç óñëîâèÿ :

  n
xi 1X e xi = 0.
E ei = 0; ⇒ (yi − x0i β)
σ(xi ) n i=1 σ(xi )

Îòñþäà ïîëó÷àåòñÿ îöåíêà GLS βe.

6 Äîñòóïíàÿ îöåíêà GLS

Êàê óæå áûëî çàìå÷åíî, äëÿ òîãî, ÷òîáû ïîëó÷èòü îöåíêó GLS íàì íåîáõîäèìî çíàòü

âàðèàöèîííóþ ìàòðèöó îøèáîê Ω (èëè σ 2 (xi )). Åñòåñòâåííî ïîëàãàòü, ÷òî ýòè ïàðà-

ìåòðû ÿâëÿþòñÿ íåèçâåñòíûìè àïðèîðè, ïîýòîìó îíè äîëæíû áûòü îöåíåíû.

Îáû÷íî â òàêèõ ñëó÷àÿõ ïðåäïîëàãàþò, ÷òî äèñïåðñèÿ îøèáîê åñòü ëèíåéíàÿ ôóíê-

öèÿ îò íåêîòîðîé òðàíñôîðìàöèè xi :

σ 2 (xi ) = E[e2i |xi ] = zi0 γ,

42
ãäå zi åñòü íåêîòîðàÿ òðàíñôîðìàöèÿ xi , íàïðèìåð zi = xi èëè zi = x2i . Åñëè ïðåäïî-

ëîæåíèå ïðàâèëüíîå, òî ìîæíî ïîñòðîèòü ðåãðåññèþ íà îñòàòêàõ, à èìåííî :

e2i = zi0 γ + εi ; E[ε|zi ] = 0.

Çàòåì, îöåíèâ èñõîäíóþ ðåãðåññèþ è ðåãðåññèþ íà îñòàòêàõ, èìååì :

ebi = yi − x0i βb = ei + x0i (β − β);

b
!−1 !
p
X X X X
γ
b= zi zi0 zi e2i + 2 zi x0i (β − β)e
b i+ zi (x0i (β − β))
b 2 −→ γ.
i i i i

Òàêèì îáðàçîì, ìû ïîëó÷àåì ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè îøèáêè :

b2 (xi ) = zi0 γ
σ b,

ïîñëå ÷åãî, ìû ìîæåì ïîñòðîèòü äîñòóïíóþ îöåíêó îáîáùåííîãî ìåòîäà íàèìåíüøèõ

êâàäðàòîâ (FGLS) :

n
!−1 n
X xi x0i X xi yi
βeF = = (X 0 Ω
b −1 X)−1 X 0 Ω
b −1 Y.
i=1
b2 (xi )
σ i=1
σ 2
b (xi )

Ïðèâåäåì àëãîðèòì ïîñòðîåíèÿ îöåíêè FGLS :

1. Èñïîëüçóÿ ìåòîä OLS îöåíèòü èñõîäíóþ ðåãðåññèþ è ïîëó÷èòü îñòàòêè ebi äëÿ

i = 1, . . . , n. Ïðîãíàòü ðåãðåññèþ íà îñòàòêàõ, ïîëó÷èòü îöåíêè γ

b è ïîñòðîèòü
2
îöåíêè äèñïåðñèè îøèáîê σ
b (xi ) èëè Ω
b.

2. Ïîñòðîèòü îöåíêó FGLS :

n
!−1 n
X xi x0i X x i yi
βeF = = (X 0 Ω
b −1 X)−1 X 0 Ω
b −1 Y.
i=1
b2 (xi )
σ i=1
σ
b 2 (x )
i

Âîîáùå ãîâîðÿ, òàêîé àëãîðèòì ïîñòðîåíèÿ îöåíîê äèñïåðñèè îøèáîê íå ãàðàíòè-

ðóåò èõ ïîëîæèòåëüíîñòü. Íèæå ïðèâåäåíû ñïîñîáû êàê èçáåæàòü b2 (xi ) < 0.

σ

1. Âûáðàòü íåêîòîðîå δ > 0. Çàòåì, ïîëîæèòü :

b2 (xi ) = max(zi0 γ
σ b; δ).

2. Âûáðîñèòü íàáëþäåíèÿ, äëÿ êîòîðûõ b2 (xi ) < 0.

σ
1
Pn 0
3. Ïîëîæèòü b2 (xi ) =
σ n j=1 zj γ
b äëÿ òåõ íàáëþäåíèé, äëÿ êîòîðûõ b2 (xi ) < 0.
σ

43
Ðåçóëüòàò : Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ (çàâèñèìîñòü óñëîâíîé äèñïåðñèè îøèáîê
îò xi ) ïðàâèëüíî îïðåäåëåíà, òî îöåíêà äîñòóïíîãî ìåòîäà GLS βeF àñèìïòîòè÷åñêè

ýêâèâàëåíòíà îöåíêå GLS βe. Ò.å. :

√ d
n(βeF − β) −→ N (0, Q−1
xx ).
σ2

Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé âàðèàöèè â ýòîì ñëó÷àå ðàâíà :

n
!
X xi x0i
Vβ = n
b .
i=1
b2 (xi )
σ

Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ îïðåäåëåíà íåïðàâèëüíî, òî îöåíêà βeF , òåì íå ìåíåå,

îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :

√ d

−1 xx −1

n(βF − β) −→ N 0, Q xx Q 4 e2 Q xx ,
e
σ2 σ σ2

ãäå èñïîëüçîâàíû ñëåäóþùèå îáîçíà÷åíèÿ :

xi x0i xi x0i 2
  
Q σxx2 =E ; Q xx4 e2 =E e .
zi0 γ σ (zi0 γ)2 i

Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé âàðèàöèè â ýòîì ñëó÷àå ðàâíà :

!−1 !−1
X xi x0 X xi x0 X xi x0
i i 2 i
Vbβ = n 0 2 i
eb .
i
zi0 γ
b i
(zi γ
b ) i
zi0 γ
b

7 Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé

 ñëó÷àå, êîãäà íàáëþäåíèÿ ïðåäñòàâëÿþò ñîáîé íåñëó÷àéíóþ âûáîðêó, âàðèàöèîí-

íàÿ ìàòðèöà îøèáîê Ω = V ar[Y |X] íå ÿâëÿåòñÿ äèàãîíàëüíîé. Âàðèàöèÿ OLS îöåíêè
βb = (X 0 X)−1 X 0 Y â ýòîì ñëó÷àå :

V ar[β|X]
b = (X 0 X)−1 X 0 ΩX(X 0 X)−1 .

Âàðèàöèÿ GLS îöåíêè βe = (X 0 Ω−1 X)−1 X 0 Ω−1 Y :

V ar[β|X]
e = (X 0 Ω−1 X)−1 .

Òàêèì îáðàçîì, ÷òîáû ïîñòðîèòü ïèâîòàëüíóþ ñòàòèñòèêó â ñëó÷àå íåñëó÷àéíûõ íà-

áëþäåíèé íåîáõîäèìî ïàðàìåòðèçîâàòü âàðèàöèîííóþ ìàòðèöó îøèáîê Ω íåáîëü-

øèì ÷èñëîì ïàðàìåòðîâ.

44
8 OLS è GLS âî âðåìåííûõ ðÿäàõ

Ðàññìîòðèì ñëåäóþùóþ ðåãðåññèîííóþ ìîäåëü :

yt = x0t β + et ; E[et |It−1 ] = 0; E[e2t |It−1 ] = σ 2 (It−1 ),

ãäå {(xt , yt )}Tt=1  ñòàöèîíàðíûé è ýðãîäè÷íûé ïðîöåññ, à

It−1 = {yt−1 , yt−2 , . . . ; xt , xt−1 , . . .}

Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü ñëåäóþùèå :

• AR(p) - ïðîöåññ, êîãäà xt = (yt−1 , yt−2 , . . . , yt−p )0 .

• Ìîäåëü ôîðìèðîâàíèÿ îáìåííîãî êóðñà âàëþò :

st+1 − st = α + β(ft − st ) + et ; E[et |It−1 ] = 0.

Çäåñü ft  öåíà ôîðâàðäíîãî êîíòðàêòà, à st  òåêóùèé îáìåííûé êóðñ.

• Ìîäåëü ôîðìèðîâàíèÿ èíôëÿöèè :

πt+1 = α + βit + et ; E[et |It−1 ] = 0.

Çäåñü πt+1  èíôëÿöèÿ, à it  ïðîöåíòíàÿ ñòàâêà.

Çàìåòèì, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå íà X : E[Y |X] 6= Xβ .

Ðàññìîòðèì ñâîéñòâà îöåíîê OLS è GLS â óêàçàííîé âûøå ìîäåëè.

OLS îöåíêà : ßñíî, ÷òî îöåíêà OLS ñîñòîÿòåëüíà :

T
!−1 T
p
X X
βb = xt x0t xt yt −→ β.
t=1 t=1

Ýòî ñëåäóåò èç òîãî, ÷òî :

E[xt et ] = E[E[xt et |It−1 ]] = E[xt E[et |It−1 ]] = 0.

Êðîìå òîãî, èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ ïîñëåäîâàòåëüíîñòè ìàðòèí-

ãàëüíûõ ïðèðàùåíèé ñëåäóåò àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü OLS îöåíêè :

√ d
T (βb − β) −→ N (0, Vβ ); Vβ = Q−1 −1
xx Qe2 xx Qxx ,

45
ãäå Qxx = E[xt x0t ]; Qe2 xx = E[xt x0t e2t ]. Íåäèàãîíàëüíûå ýëåìåíòû ìàòðèöû Qe2 xx
ðàâíû 0, ïîñêîëüêó :

E[xt et x0t−j et−j ] = E[E[xt et x0t−j et−j |It−1 ]] = E[xt E[et |It−1 ]x0t−j et−j ] = 0.

GLS îöåíêà : Îöåíêà GLS â ìîäåëÿõ ñ îòñóòñòâóþùåé ñåðèéíîé êîððåëÿöèåé îøè-

áîê, î÷åâèäíî, òîæå áóäåò ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà. Âûãëÿäèò GLS

îöåíêà ñëåäóþùèì îáðçîì :

T
!−1 T
X xt X xt
βe = x0 yt .
t=1
σ (It−1 ) t
2
t=1
σ 2 (It−1 )

Íà ïðàêòèêå GLS îöåíêà ðåäêî èñïîëüçóåòñÿ âî âðåìåííûõ ðÿäàõ, ïîñêîëüêó òðåáó-

åò çíàíèÿ èëè ñîñòîÿòåëüíîãî îöåíèâàíèÿ ñêåäàñòè÷íîé ôóíêöèè σ 2 (It−1 ), êîòîðàÿ

ïîòåíöèàëüíî çàâèñèò îò âñåé ïðåäûñòîðèè.

Òåïåðü ðàññìîòðèì îáùóþ ðåãðåññèîííóþ ìîäåëü âðåìåííûõ ðÿäîâ ñ ñåðèéíîé êîð-

ðåëÿöèåé îøèáîê :

yt = x0t β + et ; E[et |It−q ] = 0; E[e2t |It−q ] = σ 2 (It−q ),

ãäå It−q = {yt−q , yt−q−1 , . . . ; xt , xt−1 , . . .}.

Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü ñëåäóþùèå :

• Ìîäåëü ARM A(p, q) : xt = (yt−q , yt−q−1 , . . . , yt−q−p+1 )0 .

• Ìîäåëü ôîðìèðîâàíèÿ îáìåííîãî êóðñà âàëþò :

st+q − st = α + β(ft;q − st ) + et ; E[et |It−q ] = 0.

Çäåñü ft;q  öåíà ôîðâàðäíîãî êîíòðàêòà íà q ïåðèîäîâ âïåðåä, à st  òåêóùèé

îáìåííûé êóðñ.

• Ìîäåëü ôîðìèðîâàíèÿ èíôëÿöèè :

πt+q = α + βit;q + et ; E[et |It−q ] = 0.

Çäåñü πt+q  èíôëÿöèÿ, à it;q  ïðîöåíòíàÿ ñòàâêà íà q ïåðèîäîâ âïåðåä.

46
OLS îöåíêà :
T
!−1 T
X X
βb = xt x0t xt yt .
t=1 t=1

Îöåíêà îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé, ò.å. :

√ d
T (βb − β) −→ N (0, Vβ ); Vβ = Q−1 −1
xx Qe2 xx Qxx ,

ãäå ìàòðèöà Qe2 xx ñ÷èòàåòñÿ ïî ôîðìóëå :

q−1
X
Qe2 xx = E[xt x0t e2t ] + (E[xt x0t−j et et−j ] + E[xt x0t+j et et+j ]).
j=1

Äëÿ j > q − 1:

E[xt x0t−j et et−j ] = E[E[xt Xt−j

0
et et−j |It−q ]] = E[xt x0t−j E[et |It−q ]et−j ] = 0.

×òîáû ñîñòîÿòåëüíî îöåíèòü àñèìïòîòè÷åñêóþ âàðèàöèþ îöåíêè OLS Vβ â ñëó÷àå

ñåðèéíîé êîððåëÿöèè îøèáîê íóæíî ïîëüçîâàòüñÿ ôîðìóëîé Íüþè-Âåñòà .

GLS îöåíêà : Îöåíêà GLS íå èñïîëüçóåòñÿ â ìîäåëÿõ ñ ñåðèéíîé êîððåëÿöèåé îøè-

áîê. Çàìåòèì,÷òî â ýòîì ñëó÷àå :

T
!−1 T
X xt X xt
βe 6= 2
x0t 2
yt .
t=1
σ (It−1 ) t=1
σ (It−1 )

V Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåí-

íûìè

1 Ýíäîãåííûå ïåðåìåííûå

Áûâàþò ñëó÷àè, êîãäà óñëîâíîå ñðåäíåå íà íåçàâèñèìîé ïåðåìåííîé íà ðåãðåññîðàõ

E[y|x] íå ÿâëÿåòñÿ èíòåðåñóþùèì íàñ îáúåêòîì. Ïðèâåäåì íåñêîëüêî ïðèìåðîâ :

Ïðèìåð 1 : Ïóñòü E[y|x∗ ] = (x∗ )0 β , îäíàêî ïåðåìåííûå x∗ ÿâëÿþòñÿ íåíàáëþäàåìû-

ìè. Âìåñòî ýòîãî, èññëåäîâàòåëü íàáëþäàåò ïåðåìåííûå x = x ∗ + u, ãäå u  íåçàâè-

ñèìà îò x∗ è y.  ýòîì ñëó÷àå, êàê ëåãêî ïîêàçàòü, ðåãðåññèîííàÿ îöåíêà OLS áóäåò

íåñîñòîÿòåëüíîé :

y = (x∗ )0 β + e = (x − u)0 β + e;

y = x0 β + v; v = e − u0 β; E[xv] = E[(x∗ + u)(e − u0 β)] = −E[uu0 ] 6= 0;

p
E[v|x] 6= 0 ⇒ βb 9 β.

47
Â òàêîé ñèòóàöèè ìû èìååì ñìåùåííîñòü îöåíêè, ñâÿçàííóþ ñ îøèáêîé èçìåðåíèÿ.

Ïðèìåð 2 : Ïóñòü ó íàñ åñòü ñèñòåìà ëèíåéíûõ óðàâíåíèé :

Cïðîñ : Q = −β1 P + e1 ;
Ïðåäëîæåíèå : Q = β2 P + e2 ;
 
e1
ãäå ∼ iid(0, I2 ).
e2
Î÷åâèäíî, ÷òî â ýòîì ñëó÷àå ðåãðåññîðû êîððåëèðóþò ñ îøèáêàìè, ò.å. :

E[e1 |P ] 6= 0; E[e2 |P ] 6= 0.

Òîãäà, èñïîëüçóÿ îöåíêó OLS â ðåãðåññèè Q íà P, ïîëó÷èì :

p E[QP ]
βb −→ .
E[P 2 ]
Ðåøàÿ èñõîäíóþ ñèñòåìó ëåãêî ïîëó÷èòü :

  ! 
Q 1 β2 β1 e1
= ,
P β1 + β2 1 −1 e2

Îòêóäà ñðàçó æå ñëåäóåò :

β2 − β1 2
E[QP ] = ; E[P 2 ] = .
β1 + β2 β1 + β2
Òàêèì îáðàçîì, îöåíêà OLS íåñîñòîÿòåëüíà íè äëÿ β1 , íè äëÿ β2 :

p E[QP ] β2 − β1
βb −→ 2
= .
E[P ] 2

 îáîèõ ïðèìåðàõ ïåðåìåííûå, êîððåëèðóþùèå ñ îøèáêàìè, ÿâëÿþòñÿ ýíäîãåíûìè.

Îïðåäåëåíèå : Ïåðåìåííàÿ x íàçûâàåòñÿ ýíäîãåííîé â ñòðóêòóðíîì óðàâíåíèè y=

0
x β + e, åñëè E[e|x] 6= 0.

Îïðåäåëåíèå : Âåêòîð z ðàçìåðíîñòè l íàçûâàåòñÿ èíñòðóìåíòîì äëÿ ðåãðåññèîí-

0
íîãî óðàâíåíèÿ y = x β + e, åñëè E[e|z] = 0, ò.å. z  ýêçîãåííàÿ ïåðåìåííàÿ.

Çàìåòèì, ÷òî â îáû÷íîé ðåãðåññèè óñëîâíîãî ñðåäíåãî ðåãðåññîðû ÿâëÿþòñÿ ýêçî-

ãåííûìè ïåðåìåííûìè. Ò.å. äëÿ ìîäåëè :

y = x0 β + e; E[e|x] = 0; E[e2 |x] = σ 2 (x),

z=x ÿâëÿåòñÿ èíñòðóìåíòîì è ýêçîãåííîé ïåðåìåííîé.

48
2 Ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ è ðåãðåññîðîâ ñîâ-
ïàäàåò

Ðàññìîòðèì ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ l ñîâïàäàåò ñ êîëè÷åñòâîì ðå-

0
ãðåññîðîâ k, ò.å. l = k. Ïóñòü ìàòðèöà Qzz = E[zz ] íåâûðîæäåíà. Èç îïðåäåëåíèÿ

èíñòðóìåíòîâ ñëåäóåò :

E[e|z] = 0 ⇒ E[ze] = 0.

Ïîñëåäíåå óñëîâèå íîñèò íàçâàíèå óñëîâèÿ âàëèäíîñòè èíñòðóìåíòîâ . Ïðèìåíÿÿ ê

íåìó ïðèíöèï àíàëîãèé, ïîëó÷èì óñëîâèå :

n
1X
zi (yi − x0i βbIV ) = 0.
n i=1

Èç ýòîãî óñëîâèÿ, ïîëó÷àåì èíñòðóìåíòàëüíóþ îöåíêó :

n
!−1 n
X X
βbIV = zi x0i zi yi .
i=1 i=1

Çàìåòèì, ÷òî äëÿ òîãî, ÷òîáû ïîëó÷èòü èíñòðóìåíòàëüíóþ îöåíêó íåîáõîäèìî âû-

ïîëíåíèå óñëîâèÿ ðåëåâàíòíîñòè , ò.å. ìàòðèöà E[zx0 ] äîëæíà áûòü íåâûðîæäåííîé.

 ìàòðè÷íîì âèäå èíñòðóìåíòàëüíàÿ îöåíêà âûãëÿäèò ñëåäóþùèì îáðàçîì :

βbIV = (Z 0 X)−1 Z 0 Y ; Z = (z10 , z20 , . . . , zn0 )0 .

 êîíå÷íûõ âûáîðêàõ èíñòðóìåíòàëüíàÿ îöåíêà ñìåùåíà, îäíàêî ÿâëÿåòñÿ ñîñòîÿ-

òåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :

E[βbIV |Z, X] = (Z 0 X)−1 Z 0 E[Y |Z, X] 6= β;

√ d
n(βbIV − β) → N (0, Vβ ); Vβ = Q−1 −1
zx Qe2 zz Qxz .

Ñîñòîÿòåëüíûå îöåíêè ìàòðèö Qzx , Qe2 zz :

n n
bzx = 1 be2 zz = 1
X X
Q zi x0i ; Q zi zi0 eb2i ; ebi = yi − x0i βbIV .
n i=1 n i=1

Çàìå÷àíèå : Äîìíîæåíèå èíñòðóìåíòàëüíûõ ïåðåìåííûõ íà ëþáóþ ñîðàçìåðíóþ

íåâûðîæäåííóþ ìàòðèöó êîíñòàíò C íå ìåíÿåò âèäà èíñòðóìåíòàëüíîé îöåíêè βbIV .

49
3 Ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ ïðåâûøàåò êîëè-
÷åñòâî ðåãðåññîðîâ

Ðàññìîòðèì ñëó÷àé, êîãäà l > k. Ïóñòü ìàòðèöà E[zi zi0 ] = Qzz íåâûðîæäåíà. Èäåÿ

ïîñòðîåíèÿ èíñòðóìåíòàëüíîé îöåíêè â ýòîì ñëó÷àå ñîñòîèò â òîì, ÷òîáû íàéòè ëè-

íåéíûé ïðåäèêòîð x ñ ïîìîùüþ z:

xi = Γzi + ui ; E[zi u0i ] = 0.

Èç ïîñëåäíåãî óñëîâèÿ íàõîäèì Γ:

E[zi (xi − Γzi )0 ] = 0;

⇒ Γ0 = (E[zi zi0 ])−1 E[zi x0i ] = Q−1

zz Qzx .

Òåïåðü, âîçâðàùàÿñü ê èñõîäíîé ñòðóêòóðíîé ôîðìå ìîæåì ïåðåïèñàòü :

yi = x0i β + ei ; E[ei |zi ] = 0;

⇒ yi = (Γzi + ui )0 β + ei = (Γzi )0 β + vi ; vi = ei + u0i β.

Î÷åâèäíî, âûïîëíÿþòñÿ ñëåäóþùèå ñîîòíîøåíèÿ :

E[Γzi vi ] = ΓE[zi (ei + u0i β)] = 0.

Òîãäà, ïàðàìåòð ñòðóêòóðíîé ðåãðåññèè ìîæíî çàïèñàòü :

β = (E[Γzi (Γzi )0 ])−1 E[Γzi yi ] = (Qxz Q−1 −1 −1

zz Qzx ) Qxz Qzz Qzy .

Ïðèìåíÿÿ ïðèíöèï àíàëîãèé ïîëó÷èì èíñòðóìåíòàëüíóþ îöåíêó äëÿ ñëó÷àÿ, êîãäà

÷èñëî èíñòðóìåíòîâ ïðåâûøàåò ÷èñëî ðåãðåññîðîâ :

 !−1 −1 !−1

n
X n
X n
X n
X n
X n
X
βb2SLS =  xi zi0 zi zi0 zi x0i  xi zi0 zi zi0 zi yi .
i=1 i=1 i=1 i=1 i=1 i=1

Èëè â ìàòðè÷íîé ôîðìå :

βb2SLS = (X 0 Z(Z 0 Z)Z 0 X)−1 X 0 Z(Z 0 Z)Z 0 Y.

Ýòà èíñòðóìåíòàëüíàÿ îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà, îäíàêî íå

ÿâëÿåòñÿ ýôôåêòèâíîé â îáùåì ñëó÷àå.

p
E[zi ei ] = 0 ⇒ βb2SLS → β;
√ d
n(βb2SLS − β) → N (0, V2SLS );

50
 V2SLS = (Qxz Q−1 −1 −1 −1 −1 −1
zz Qzx ) Qxz Qzz Qe2 zz Qzz Qzx (Qxz Qzz Qxz ) .

Îñîáûì ñëó÷àåì ÿâëÿåòñÿ ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè, êîãäà E[e2i |zi ] =

σ 2 = const.  ýòîì ñëó÷àå àñèìïòîòè÷åñêàÿ âàðèàöèîííàÿ ìàòðèöà óïðîùàåòñÿ :

V2SLS = σ 2 (Qxz Q−1 −1

zz Qzx ) ,

ïîñêîëüêó Qe2 zz = σ 2 Qzz .

Çàìåòèì, ÷òî äëÿ òîãî, ÷òîáû ïîñòðîèòü îöåíêó βb2SLS , íåîáõîäèìî âûïîëíåíèå

óñëîâèÿ èäåíòèôèêàöèè , ò.å. ðàíã ìàòðèöû Qxz äîëæåí áûòü ðàâåí êîëè÷åñòâó ðå-

ãðåññîðîâ k:
rank(Qxz ) = k.

Çàìå÷àíèå : Îöåíêó βb2SLS ìîæíî âûðàçèòü ñëåäóþùèì îáðàçîì :

n
!−1 n
X X
βb2SLS = ξi x0i ξi yi ,
i=1 i=1

n n
!−1
X X
ξi = xj zj0 zj zj0 zi .
j=1 j=1

Çäåñü ξi  èíñòðóìåíòû. Ñ òî÷êè çðåíèÿ ýôôåêòèâíîñòè ïîëó÷åííîé îöåíêè èíñòðó-

ìåíòû ξi ÿâëÿþòñÿ íåîïòèìàëüíûìè.

4 Ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ ìåíüøå ÷èñëà ðå-

ãåññîðîâ

Åñëè ìàòðèöà Qzx èìååò ðàíã, ìåíüøèé k, òî óñëîâèå èäåíòèôèêàöèè íå âûïîëíåíî.

 ýòîì ñëó÷àå, ïîñòðîåííûå èíñòðóìåíòàëüíûå îöåíêè áóäóò èìåòü äðóãèå (ïëîõèå)

àñèìïòîòè÷åñêèå ñâîéñòâà.

Ïðèìåð : Ðàññìîòðèì ñëåäóþùóþ ìîäåëü :

l = k = 1; yi = βxi + ei ; E[ei |zi ] = 0; E[xi zi ] = 0.

Ïîñëåäíåå âûðàæåíèå îçíà÷àåò, ÷òî íå âûïîëíåíî óñëîâèå ðåëåâàíòíîñòè èíñòðóìåí-

òîâ. Ñîãëàñíî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå âûïîëíÿþòñÿ ñëåäóþùèå ñîîòíîøå-

íèÿ :
n n
1 X d 1 X d
√ zi ei → N (0, Qz2 e2 ); √ zi xi → N (0, Qz2 x2 ).
n i=1 n i=1

51
Òàêèì îáðàçîì, èíñòðóìåíòàëüíàÿ îöåíêà óæå íå áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé :

√1
P
i zi ei
P
zi yi n d
βbIV =P =β+ → β + Cauchy.
√1
P
zi xi n i zi xi

Ò.å., àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå îöåíêè íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëü-

íûì è íå èìååò ñðåäíåãî.

Åñëè ó íàñ åñòü ïîäîçðåíèå, ÷òî èíñòðóìåíòû íåðåëåâàíòíûå, ñòîèò âíà÷àëå ïðî-

òåñòèðîâàòü ãèïîòåçó : H0 : E[xi zi ] = 0. Åñëè ãèïîòåçà îòâåðãàåòñÿ, òî èíñòðóìåíò

ðåëåâàíòíûé.

5 Áóòñòðàïèðîâàíèå îöåíîê èíñòðóìåíòàëüíûõ ïåðåìåííûõ

Ïðîöåäóðà áóòñòðàïà äëÿ èíñòðóìåíòàëüíûõ îöåíîê ïðàêòè÷åñêè íè÷åì íå îòëè÷àåò-

ñÿ îò ïîñòðîåíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ äëÿ îáû÷íîé ñòàòèñòèêè íåçàâèñè-

ìûõ íàáëþäåíèé. Èç èñõîäíîé âûáîðêè (xi , yi , zi ) ñòðîèòñÿ ïñåâäîâûáîðêà {(x∗i , yi∗ , zi∗ )}ni=1 .
Ñëó÷àé l=k (Just ID) :
X −1 X
βbIV = zi x0i zi yi ;
X −1 X
∗
βbIV = zi∗ x0∗
i zi∗ yi∗ ;

Àñèìïòîòè÷åñêàÿ âàðèàöèîííàÿ ìàòðèöà :

X −1 X X −1
VbIV = n zi x0i zi zi0 eb2i xi zi0 ;

ż áóòñòðàïîâñêèé àíàëîã :

X −1 X X −1
∗
VbIV =n zi∗ x0∗
i zi∗ zi0∗ eb∗2
i x∗i zi0∗ .

Ñëó÷àé l>k (Over ID) : Ñðàçó çàìåòèì, ÷òî õîòÿ â ïîïóëÿöèè âûïîëíåíî óñëîâèå
E[zi ei ] = 0, äëÿ ýìïèðè÷åñêîé ôóíêöèè ðàñïðåäåëåíèÿ îíî íàðóøàåòñÿ, ò.å.

n
1X
zi ebi 6= 0.
n i=1

Òàêèì îáðàçîì, äåëàÿ áóòñòðàï, íå íóæíî çàáûâàòü ïðî ðåöåíòðèðîâàíèå. Èòàê, èí-

ñòðóìåíòàëüíûå îöåíêè :

X X −1 X
βb2SLS = (. . .)−1 xi zi0 zi zi0 zi yi ;

X X −1 X X 
∗
βb2SLS = (. . .∗ )−1 x∗i zi0∗ zi∗ zi0∗ zi∗ yi∗ − zi ebi .

52
Àñèìïòîòè÷åñêèå âàðèàöèîííûå ìàòðèöû :

X X −1 X X −1 X
Vb2SLS = n(. . .)−1 xi zi0 zi zi0 zi zi0 eb2i zi zi0 zi x0i (. . .)−1 ;

X X −1 X X −1 X
∗
Vb2SLS = n(. . .∗ )−1 x∗i zi0∗ zi∗ zi0∗ u∗i u0∗
i z ∗ 0∗
z
i i zi∗ x0∗ ∗ −1
i (. . . ) .

∗
bi − n1 nj=1 zj ebj .
∗ ∗
P
Çäåñü ui = zi e

6 Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ

Ðàññìîòðèì ñëåäóþùóþ ìîäåëü âðåìåííîãî ðÿäà :

yt = x0t β + et ; E[et |It−1 ] = 0;

It−1 = {yt−1 , yt−2 . . . ; xt , xt−1 , . . .};

zt = (yt−1 , yt−2 , . . . , yt−ly ; x0t , x0t−1 , . . . , x0t−lx )0 .

Ðåçóëüòàò : Îöåíêà βb2SLS ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :

p √ d
βb2SLS → β; T (βb2SLS − β) → N (0, V2SLS ).

Èíñòðóìåíòàëüíàÿ îöåíêà βb2SLS ÿâëÿåòñÿ àñèìïòîòè÷åñêè áîëåå ýôôåêòèâíîé, ÷åì

îöåíêà OLS.

Òåïåðü ðàññìîòðèì ìîäåëü, äîïóñêàþùóþ àâòîêîððåëÿöèþ îøèáîê :

yt = x0t β + et ; E[et |It−q ] = 0; zt = {yt−q , . . . , yt−ly ; x0t , . . . , x0t−lx }0 .

Õîòÿ îáùèå ðåçóëüòàòû çäåñü òàêèå-æå, êàê è â ïðåäûäóùåì ñëó÷àå, äëÿ âû÷èñëå-

íèÿ àñèìïòîòè÷åñêîé âàðèàöèè íåîáõîäèìî èñïîëüçîâàòü ôîðìóëó Íüþè-Âåñòà èç-çà

ñåðèéíîé êîððåëÿöèè îøèáîê.

VI Îöåíêà ðåãðåññèîííûõ ìîäåëåé ñ íåëèíåéíûì ñðåä-

íèì

1 Íåëèíåéíîñòè â ðåãðåññèÿõ

Ïóñòü óñëîâíîå ñðåäíåå E[y|x] = g(x, β), ãäå g(·, ·)  íåëèíåéíàÿ ôóíêöèÿ. Â ýòîì

ñëó÷àå ìû èìååì äåëî ñ íåëèíåéíîé ìîäåëüþ. Òåì íå ìåíåå, ñóùåñòâóþò ñëó÷àè

íåëèíåéíîñòåé â ðåãðåññèÿõ, ñâîäÿùèåñÿ ê ëèíåéíîìó ñëó÷àþ ñ ïîìîùüþ òðàíñôîð-

ìàöèé :

53
1. Ïóñòü g(x, β) íåëèíåéíà ïî ðåãðåññîðàì x è ëèíåéíà ïî ïàðàìåòðàì β, òîãäà
0
ìîæíî âûïîëíèòü òàêóþ òðàíñôîðìàöèþ x → z, ÷òî E[y|z] = z β .

Ïðèìåð 1 : Ïóñòü óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé ðåãðåñ-

ñîðîâ ñëåäóþùåãî âèäà :

g(x, β) = β0 + β1 x1 + β2 x2 + β3 x1 x2 + β4 x21 + β5 x22 .

Òîãäà ïîäõîäÿùåé òðàíñôîðìàöèåé áóäåò :

z = {1, x1 , x2 , x1 x2 , x21 , x22 }.

Ïðèìåð 2 : Óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé ðåãðåññîðîâ

ñëåäóþùåãî âèäà :

g(x, β) = β0 + β1 x + β2 x2 + · · · + βp xp .

Ñîîòâåòñòâóþùàÿ òðàíñôîðìàöèÿ ðåãðåññîðîâ :

z = {1, x, . . . , xp }.

Òóò, îäíàêî, íåîáõîäèìî îòìåòèòü, ÷òî âîçíèêàåò ñëîæíîñòü â èíòåðïðåòàöèè

êîýôôèöèåíòîâ :
∂g(x, β)
= β1 + 2β2 x + · · · + pβp xp−1 .
∂x
Íåÿñíî, êàêîå x ïîäñòàâëÿòü â äàííóþ ôîðìóëó, ÷òîáû ïîëó÷èòü ÷èñëåííîå

çíà÷åíèå. Âàðèàíòû :

• Îöåíèòü â êàêîì-òî êîíêðåòíîì x, êîòîðîå îïðåäåëÿåòñÿ èç êîíòåêñòà çà-

äà÷è.

• Èñïîëüçîâàòü ñðåäíåå çíà÷åíèå x.

• Èñïîëüçîâàòü ñðåäíèå çíà÷åíèÿ ñòåïåíåé x, x2 , . . . , xp−1 .

 ëþáîì ñëó÷àå, êîýôôèöèåíòû β1 , β2 , . . . , βp íå èìåþò ýêîíîìè÷åñêîãî ñìûñëà.

Èìååò ñìûñë òîëüêî èõ íåêîòîðàÿ êîìáèíàöèÿ.

2. Ïî-ñóùåñòâó ëèíåéíûå ìîäåëè

Ðàññìîòðèì òàêîé ïðèìåð :

yi = Ai Kiα L1−α
i exp(ei ); E[ei |Ai , Ki , Li ] = 0.

 äàííîì ïðèìåðå ëîãàðèôìè÷åñêàÿ òðàíñôîðìàöèÿ ìîäåëè ñâîäèò åå ê ëèíåé-

íîìó ñëó÷àþ :

E[log Yi | log Ai , log Ki , log Li ] = log Ai + α log Ki + (1 − α) log Li .

54
2 Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè

 äàííîì ðàçäåëå ðàññìîòðèì ñóùåñòâåííî íåëèíåéíûå ìîäåëè, êîòîðûå íå ïðèâî-

äÿòñÿ ê ëèíåéíûì, ò.å. :

E[y|x] = g(x0 β) 6= z 0 β

äëÿ ëþáîé ôóíêöèè z(x).

Ïðèìåðû :

• g(x, β) = β1 + β2 1+βx 3 x ;

• g(x, β) = β1 + β2 eβ3 x ;

• g(x, β) = (β1 + β2 x1 )1[x2 ≤ β3 ] + (β4 + β5 x1 )1[x2 > β3 ].

Ïóñòü ôóíêöèÿ g(x, β) äèôôåðåíöèðóåìà ïî îáîèì àðãóìåíòàì.

∂g(x,β)
Îïðåäåëåíèå : Âåëè÷èíà ∂β 0
= gβ (x, β) íàçûâàåòñÿ ïñåâäîðåãðåññîðîì .

Ïðèìåð :  êà÷åñòâå ïðèìåðà ðàññìîòðèì îáû÷íóþ ëèíåéíóþ ðåãðåññèþ, ò.å. :

g(x, β) = x0 β ⇒ gβ (x) = x.

 äàííîì ïðèìåðå ïñåâäîðåãðåññîð íå çàâèñèò îò ïàðàìåòðà β, îäíàêî, â îáùåì ñëó-

÷àå, ïñåâäîðåãðåññîðû çàâèñÿò îò ïàðàìåòðîâ ìîäåëè.

3 Îöåíêà íåëèíåéíîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (NLLS)

Ìû çíàåì, ÷òî ïàðàìåòð β åñòü ðåøåíèå ìèíèìèçàöèîííîé çàäà÷è :

β = arg minE[(yi − g(xi , b))2 ].

b

Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì îöåíêó íåëèíåéíîãî ìåòîäà íàèìåíüøèõ êâà-

äðàòîâ (NLLS) :
n
1X
β = arg min (yi − g(xi , b))2 .
b n i=1
Óñëîâèå ïåðâîãî ïîðÿäêà :

n
1X
(yi − g(xi , β))g
b β (xi , β)
b = 0.
n i=1

ßñíî, ÷òî òî÷íîå àíàëèòè÷åñêîå âûðàæåíèå äëÿ βb ïîëó÷èòü â îáùåì ñëó÷àå íåâîç-

ìîæíî, ïîýòîìó îáû÷íî äëÿ ïîñòðîåíèÿ NLLS îöåíîê ïîëüçóþòñÿ ÷èñëåííûìè ìåòî-

äàìè.

55
Ïîëó÷åíèå îöåíêè NLLS ìåòîäîì êîíöåíòðàöèè :
Îäíèì èç âîçìîæíûõ ÷èñëåííûõ ìåòîäîâ ïîëó÷åíèÿ NLLS îöåíêè ÿâëÿåòñÿ ìåòîä

êîíöåíòðàöèè. Ðàçäåëèì ïàðàìåòðû çàäà÷è íà äâå ãðóïïû, óäîâëåòâîðÿþùèå óñëî-

âèÿì :

β = (γ10 , γ20 );
g(x, β) = γ10 x(γ2 ).
Ò.å. ãðóáî ãîâîðÿ, óñëîâíîå ñðåäíåå ëèíåéíî ïî ïàðàìåòðàì γ1 è íåëèíåéíî ïî ïàðà-

ìåòðàì γ2 . Êðîìå òîãî, ïðåäïîëàãàåòñÿ, ÷òî ÷èñëî ïàðàìåòðîâ γ2 íåâåëèêî : k2 = 1

èëè k2 = 2.
Ïðèìåð :  êà÷åñòâå ïðèìåðà ïðèâåäåì ñëåäóþùóþ ìîäåëü :

g(x, β) = β1 + β2 eβ3 x x.

Òîãäà ñîîòâåòñòâóþùåå ðàçäåëåíèå ïàðàìåòðîâ ñëåäóþùåå :

γ1 = (β1 , β2 )0 ; γ2 = β3 ⇒ x(γ2 ) = (1, xeβ3 x )0 .

 ïîäîáíûõ ñëó÷àÿõ èñïîëüçóåòñÿ 2-õ øàãîâàÿ ïðîöåäóðà îöåíèâàíèÿ ïàðàìåòðà :

" n
#
1 X
0 2
βb = arg min min (yi − γ1 xi (γ2 )) .
γ2 γ1 n
i=1

1. Ïðè ôèêñèðîâàííîì ïàðàìåòðå γ2 ïàðàìåòð γ1 îöåíèâàåòñÿ ìåòîäîì OLS :

b1 (γ2 ) = (X 0 (γ2 )X(γ2 ))−1 X 0 (γ2 )Y ;

γ X(γ2 ) = (x1 (γ2 ), . . . , x2 (γ2 ))0 .

2. ×èñëåííî ðåøàåòñÿ îïòèìèçàöèîííàÿ çàäà÷à :

n
" #
1X
γ
b2 = arg min b10 xi (γ2 ))2 .
(yi − γ
γ2 n i=1

Ïîñêîëüêó ðàçìåðíîñòü γ2 ìàëåíüêàÿ, òî îïòèìóì ëåãêî íàõîäèòñÿ íà ñåòêå.

Ïðèâåäåì àëãîðèòì ìåòîäà êîíöåíòðàöèè :

• Äëÿ ïàðàìåòðà γ2 íà íåêîòîðîì èíòåðâàëå [γ 2 , γ 2 ] áåðåòñÿ ñåòêà.

• Äëÿ êàæäîãî γ2 íà ýòîé ñåòêå îöåíèâàåòñÿ γ

b1 (γ2 ) ìåòîäîì OLS è âû÷èñëÿåòñÿ
1
b1 (γ2 )0 xi (γ2 ))2 .
P
÷èñëåííîå öåëåâîå çíà÷åíèå
n
(yi − γ

• Èç âñåõ çíà÷åíèé γ2 íà ñåòêå âûáèðàåòñÿ òî, äëÿ êîòîðîãî öåëåâîå çíà÷åíèå

íàèìåíüøåå.

56
 • Åñëè íåîáõîäèìî, â îêðåñòíîñòè ïîëó÷åííîãî çíà÷åíèÿ γ2 ñòðîèòñÿ áîëåå ìåëêàÿ
ñåòêà, è ïðîöåäóðà ïîâòîðÿåòñÿ.

Ïîëó÷åíèå îöåíêè NLLS ìåòîäîì ëèíåàðèçàöèè :

Äðóãèì âîçìîæíûì ÷èñëåííûì ìåòîäîì ïîëó÷åíèÿ NLLS îöåíêè ÿâëÿåòñÿ ëèíå-

àðèçàöèÿ óñëîâèÿ ïåðâîãî ïîðÿäêà. Äîïóñòèì, ÷òî βb1  íà÷àëüíîå ïðåäïîëîæåíèå î

÷èñëåííîì çíà÷åíèè îöåíèâàåìûõ ïàðàìåòðîâ. Òîãäà, ñ ïîìîùüþ ëèíåàðèçàöèè ïðåä-

ëàãàåòñÿ èòåðàòèâíàÿ ïðîöåäóðà ïåðåõîäà βbj → βbj+1 . Ýòà ïðîöåäóðà ïðîäîëæàåòñÿ

äî òåõ ïîð, ïîêà äëÿ äîñòàòî÷íî ìàëîãî ε íå áóäåò âûïîëíåíî óñëîâèå : |βbj+1 − βbj | < ε.
Áîëåå ïîäðîáíî, ëèíåàðèçîâàííîå óñëîâèå ïåðâîãî ïîðÿäêà äëÿ îöåíêè NLLS :

n
1X
(yi − g(xi , βbj ) − gβ (xi , βbj )(βbj+1 − βbj ))gβ (xi , βbj ) ≈ 0.
n i=1

Ââîäÿ îáîçíà÷åíèå :

n
!−1 n
X X
dj = gβ (xi , βbj )gβ (xi , βbj )0 gβ (xi , βbj )(yi − g(xi , βbj )),
i=1 i=1

ïîëó÷èì èòåðàòèâíóþ ïðîöåäóðó â âèäå :

βbj+1 = βbj + dj .

Åñëè dj ñëèøêîì âåëèêî (ïðîöåäóðà íå ñõîäèòñÿ), òî âûáèðàåòñÿ íåêîòîðîå λj ∈ [0, 1],

òàêîå, ÷òîáû öåëåâàÿ ôóíêöèÿ áûëà ìèíèìàëüíîé, à ïðîöåäóðà èçìåíÿåòñÿ :

βbj+1 = βbj + λj dj .

4 Àñèìïòîòè÷åñêèå ñâîéñòâà îöåíêè NLLS

Îïðåäåëåíèå : Ãîâîðÿò, ÷òî çàäà÷à óäîâëåòâîðÿåò óñëîâèþ èäåíòèôèêàöèè , åñëè

b=β òîãäà è òîëüêî òîãäà, êîãäà g(x, β) = g(x, b) ñ âåðîÿòíîñòüþ 1.

Ìîæíî ïåðåïèñàòü îïòèìèçàöèîííóþ àäà÷ó íàõîæäåíèÿ ïàðàìåòðà â ýòîì ñëó÷àå

êàê :

β = arg minE[(y − g(x, b))2 ] = arg min E[(y − g(x, β))2 ] + E[(g(x, β) − g(x, b))2 ] .
 
b b

Ïðèìåðû :

57
 • Ðàññìîòðèì â êà÷åñòâå ïðèìåðà èäåíòèôèêàöèè ëèíåéíûé ñëó÷àé. Ïóñòü ìàò-

ðèöà Qxx = E[xx0 ]  íåâûðîæäåíà. Òîãäà, åñëè β 6= b, âûïîëíÿåòñÿ ñîîòíîøåíèå :

E[(x0 β − x0 b)2 ] = (β − b)0 Qxx (β − b) > 0.

Ñëåäîâàòåëüíî, x0 β 6= x0 b.

• Ðàññìîòðèì òåïåðü ïðèìåð, ãäå íåò èäåíòèôèêàöèè :

g(x, β) = β1 + β2 eβ4 +β3 x = β1 + elog β2 +β4 +β3 x .

Î÷åâèäíî, ÷òî èäåíòèôèöèðîâàòü ïàðàìåòðû β2 è β4 îäíîâðåìåííî íåâîçìîæ-

íî.

Îïðåäåëåíèå : Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ ôóíêöèé {zi (θ)}ni=1 óäîâëåòâîðÿåò

ðàâíîìåðíîìó çàêîíó áîëüøèõ ÷èñåë (ÐÇÁ×), åñëè :

n n
1X 1X p
supk zi (θ) − p lim zi (θ)k → 0.
θ n i=1 n i=1

p
Ëåììà : Åñëè ïîñëåäîâàòåëüíîñòü {zi (θ)}ni=1 óäîâëåòâîðÿåò ÐÇÁ× è θb → θ, òî :

n n
1X b p 1X
zi (θn ) → p lim zi (θ).
n i=1 n i=1

Äîêàçàòåëüñòâî : Çàïèøåì ïîñëåäîâàòåëüíîñòü íåðàâåíñòâ, âîñïîëüçîâàâøèñü ÐÇ-

Á× è òåîðåìîé Ìàííà-Âàëüäà :

1 X n n
1 X
zi (θbn ) − p lim zi (θ) ≤

n n


i=1 " i=1
#
1 X n n
1 X
≤ zi (θbn ) − p lim zi (θ) +

n n


i=1 i=1 θbn
" n
# n

1 X 1 X
+ p lim zi (θ) − p lim zi (θ) ≤

n i=1 n i=1
θbn

1 X n n
1X
≤ sup zi (θ) − p lim zi (θ) +

θ n i=1 n i=1
" #
n n
1X 1X
p
+ p lim zi (θ) − p lim zi (θ) −→ 0.

n i=1
n i=1

bθn

58
Ñëåäñòâèÿ : Ñëåäñòâèÿìè äîêàçàííîé ëåììû ÿâëÿþòñÿ :

n
be2 xx = 1 p
X
Q xi x0i eb2i → Qe2 xx ;
n i=1

n
bgg = 1 p
X
Q gβ (xi , β)g b0→
b β (xi , β) Qgg ,
n i=1
ãäå Qgg = E[gβ (x, β)gβ (x, β)0 ].

Òåîðåìà : Ïóñòü âûïîëíåíû ñëåäóþùèå òðåáîâàíèÿ :

1. Âûïîëíåíî óñëîâèå èäåíòèôèêàöèè : g(x, β) = g(x, b) ïðè b = β.

2. Ôóíêöèÿ g(x, β) äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìà ïî b.

3. Äëÿ ñëåäóþùèõ ïîñëåäîâàòåëüíîñòåé âûïîëíÿåòñÿ ÐÇÁ× :

∂gβ (xi , β)
(yi − g(xi , β))2 ; gβ (xi , β)gβ (xi , β)0 ; (yi − g(xi , β)) .
∂β 0

4. Ìàòðèöà Qgg íåâûðîæäåíà :

Qgg = E[gβ (x, β)gβ (x, β)0 ].

5. Ñóùåñòâóåò ìàòðèöà :

Qe2 gg = E[gβ (x, β)gβ (x, β)0 e2 ].

Òîãäà äëÿ îöåíêè NLLS âûïîëíåíû ñëåäóþùèå ñîîòíîøåíèÿ :

p √ d
βb → β; n(βb − β) → N (0, Q−1 −1
gg Qe2 gg Qgg ).

Äîêàçàòåëüñòâî :

1. Ñîñòîÿòåëüíîñòü : Äëÿ ëþáîãî ε > 0 ñ âåðîÿòíîñòüþ, ñòðåìÿùåéñÿ ê 1 ïðè

n → ∞, ìû èìååì :

n n
1X b 2< 1
X ε
(yi − g(xi , β)) (yi − g(xi , β))2 + ,
n i=1 n i=1 3

ò.ê. îöåíêà βb ìèíèìèçèðóåò âûðàæåíèå :

n
1X
(yi − g(xi , b))2 .
n i=1

59
 Ïîñêîëüêó ÐÇÁ× âûïîëíÿåòñÿ äëÿ (yi − g(xi , β))2 , òî :

n
b 2] < 1 b 2 + ε.
X
E[(yi − g(xi , β)) (yi − g(xi , β))
n i=1 3

Àíàëîãè÷íî :
n
1X ε
(yi − g(xi , β))2 < E[(yi − g(xi , β))2 ] + .
n i=1 3
Ñóììèðóÿ ýòè òðè íåðàâåíñòâà, ïîëó÷àåì :

b 2 ] < E[(y − g(xi , β))2 ] + ε.

E[(y − g(xi , β))

Òåïåðü îïðåäåëèì ε. Äëÿ ýòîãî âûáåðåì îòêðûòóþ îêðåñòíîñòü β N (β). Ïî-

ñêîëüêó β ðåøàåò çàäà÷ó ìèíèìèçàöèè, òî äîëæíî áûòü âûïîëíåíî ñëåäóþùåå

ñîîòíîøåíèå :

inf E[(y − g(x, b))2 ] > E[(y − g(x, β))].

b∈N (β)c

Òîãäà âûáåðåì ñëåäóþùåå ε:

ε= inf E[(y − g(x, b))2 ] − E[(y − g(x, β))].

b∈N (β)c

Ñîîòâåòñòâåííî, âûïîëíåíî ñëåäóþùåå ñîîòíîøåíèå :

b 2] <
E[(y − g(x, β)) inf E[(y − g(x, b))2 ],
b∈N (β)c

p
÷òî ñîáñòâåííî îçíà÷àåò, ÷òî βb ∈ N (β). Ñëåäîâàòåëüíî, βb → β .

2. Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü : Ðàçëîæèì óñëîâèå ïåðâîãî ïîðÿäêà â ðÿä

Òýéëîðà âîêðóã β:
n
1X
(yi − g(xi , β))gβ (xi , β) +
n i=1
n
" #
1 X
b ∂gβ (xi , β) − gβ (xi , β)g
b
e 0 (βb − β) = 0,
+ (yi − g(xi , β)) 0
e β (xi , β)
n i=1 ∂β

ãäå β ëåæèò ìåæäó β

βe ïîêîìïîíåíòíî. Ñëåäîâàòåëüíî :
è
( n " #)−1
√ 1X ∂g β (x i , β)
b
n(βb − β) = (yi − g(xi , β))
b − gβ (xi , β)g e0
e β (xi , β) ×
n i=1 ∂β 0
n
1 X p
× √ (yi − g(xi , β))gβ (xi , β) −→
n i=1
  −1
p ∂gβ (x, β) 0
−→ − E (yi − g(xi , β)) − gβ (x, β)gβ (x, β) N (0, Qe2 gg ) =
∂β 0
= N Q−1 −1


gg Q e2 qq Q
gg .

60
 Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé :

E[e2i |xi ] = σ 2 = const.

 ýòîì ñëó÷àå àñèìïòîòè÷åñêàÿ äèñïåðñèîííàÿ ìàòðèöà èìååò óïðîùåííóþ ôîðìó :

√ d
Qe2 gg = σ 2 Qgg ; ⇒ n(βb − β) → N (0, σ 2 Q−1
gg ).

5 Ýôôåêòèâíîñòü è âçâåøåííàÿ îöåíêà NLLS

Êàê óæå ãîâîðèëîñü, îöåíêà NLLS ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé, ïîëó÷åííîé èç óñëî-

âèÿ : E[egβ (x, β)] = 0. Îêàçûâàåòñÿ, ìîæíî ïîñòðîèòü äðóãóþ àíàëîãîâóþ îöåíêó

íåñêîëüêî èçìåíèâ óñëîâèå :  

gβ (x, β)
E e 2 = 0.
σ (x)
Èç ïðèíöèïà àíàëîãèé, ñîîòâåòñòâåííî :

n
1X e gβ (xi , β) = 0.
e
(yi − g(xi , β))
n i=1 σ 2 (xi )

Îöåíêà βe, ïîëó÷åííàÿ èç ýòîãî óñëîâèÿ ÿâëÿåòñÿ âçâåøåííîé íåëèíåéíîé îöåíêîé

ìåòîäà íàèìåíüøèõ êâàäðàòîâ. Ýòà îöåíêà ÿâëÿåòñÿ ðåøåíèåì ìèíèìèçàöèîííîé

çàäà÷è :
n
1 X (yi − g(xi , b))
βe = arg min .
b n i=1
σ 2 (xi )

Îöåíêà WNLLS βe ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :

p √ d
βe → β; n(βe − β) → N (0, Q−1
gg );
σ2

gβ (x, β)gβ (x, β)0

 
Q gg2 =E .
σ σ 2 (x)

Ðåçóëüòàò : Îöåíêà WNLLS βe ÿâëÿåòñÿ àñèìïòîòè÷åñêè ýôôåêòèâíîé â êëàññå îöå-

íîê, óäîâëåòâîðÿþùèõ óñëîâèþ :

n
1X
(yi − g(xi , βbIV ))zi = 0,
n i=1

ãäå zi  ïðîèçâîëüíàÿ ôóíêöèÿ îò xi , èìåþùàÿ òó æå ðàçìåðíîñòü k × 1.

61
6 Ïðèëîæåíèå : Ìîäåëü áèíàðíîãî âûáîðà.

Ðàññìîòðèì ñëåäóþùóþ íåëèíåéíóþ ìîäåëü :

(
1 x0i β + ei ≥ 0;
yi = ei |xi ∼ N (0, 1).
0 èíà÷å;

Òîãäà óñëîâíîå ñðåäíåå :

E[yi |xi ] = P {x0i β + ei ≥ 0|xi } = P {ei ≥ −x0i β|xi } = Φ(x0i β).

Îöåíêà NLLS â ýòîì ñëó÷àå :

n
1 X
βb = arg min (yi − Φ(x0i b))2 ;
b n i=1

p √ d
βb → β; n(βb − β) → N (0, Q−1 −1
gg Qe2 gg Qgg );

Qgg = E[f (x0i β)2 xi x0i ]; gβ (xi , β) = f (x0i β)xi ;

Qe2 gg = E[f (x0i β)2 (yi − Φ(x0i β))2 xi x0i ].

Ýôôåêòèâíàÿ îöåíêà WNLLS :

σ 2 (xi ) = V ar[yi |xi ] = Φ(x0i β)(1 − Φ(x0i β)) 6= const;

n
1 X (yi − Φ(x0i b))2
βe = arg min .
b n i=1 Φ(x0 β)(1
b − Φ(x0 β))
i
b
i

Åå àñèìïòîòè÷åñêèå ñâîéñòâà :

−1 !
f (x0i β)2 xi x0i
 
p p d
βe → β; (βe − β) → N 0, E .
Φ(x0i β)(1 − Φ(x0i β))

7 Ñòàòèñòè÷åñêèå âûâîäû, êîãäà ïðè íóëåâîé ãèïîòåçå îäèí

èç ïàðàìåòðîâ íåèäåíòèôèöèðîâàí.

Ñóùåñòâóåò îñîáàÿ ñèòóàöèÿ, êîãäà òåñòèðîâàíèå ñòàòèñòè÷åñêèõ ãèïîòåç íåñòàí-

äàðòíî. Ðàññìîòðèì äâà ïðèìåðà :

Ïðèìåð 1 :

1
yi = (β1 + β2 xi ) + (β3 + β4 xi ) + ei ; E[ei |xi ] = 0.
1 + exi −β5
Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â òîì, ÷òî β3 = β4 = 0, òî ïðè ýòîé íóëåâîé ãèïî-

òåçå ïàðàìåòð β5 íå èäåíòèôèöèðóåòñÿ. Òàêàÿ ñèòóàöèÿ ïðèâîäèò ê íåñòàíäàðòíîé

ïðîöåäóðå ïîñòðîåíèÿ òåñòà.

62
Ïðèìåð 2 : Ðàññìîòðèì âàðèàíò ARCH-M ìîäåëè :

yt = β0 + x0t β1 + γσt2 + et ; E[et |It−1 ] = 0;

E[e2t |It−1 ] = σt2 = α0 + α1 e2t−1 .

Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â îòñóòñòâèè ARCH ýôôåêòà, ò.å. H0 : α1 = 0, òî ïðè

íóëåâîé ãèïîòåçå ïàðàìåòð γ íå èäåíòèôèöèðóåòñÿ.

Ðåøåíèå ïðîáëåìû : Ïóñòü β = (β10 , β20 ), ãäå β1 èäåíòèôèöèðóåòñÿ ïðè íóëåâîé

ãèïîòåçå, à β2  íåò. Ïîñòîèì Âàëüäîâñêóþ ñòàòèñòèêó W (β2 ) äëÿ âñåõ âîçìîæíûõ

çíà÷åíèé β2 . Òîãäà ñòàòèñòèêà :

sup W = supW (β2 )

β2

ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê íåêîòîðîìó íåñòàíäàðòíîìó ðàñïðåäåëåíèþ, êîòîðîå

ïîëó÷àþò ñ ïîìîùüþ ñèìóëÿöèé.

63