Теория вероятностей и математическая статистика 2013 PDF

В. М.
БУРЕ,
Е. М. ПАРИЛИНА
ТЕОРИЯ
ВЕРОЯТНОСТЕЙ
И МАТЕМАТИЧЕСКАЯ
СТАТИСТИКА
ÄÎÏÓÙÅÍÎ
ÓÌÎ ïî êëàññè÷åñêîìó óíèâåðñèòåòñêîìó îáðàçîâàíèþ
â êà÷åñòâå ó÷åáíèêà äëÿ ñòóäåíòîâ âóçîâ,
îáó÷àþùèõñÿ ïî íàïðàâëåíèÿì ÂÏÎ
010400 «Ïðèêëàäíàÿ ìàòåìàòèêà è èíôîðìàòèêà»
è 010300 «Ôóíäàìåíòàëüíàÿ èíôîðìàòèêà
è èíôîðìàöèîííûå òåõíîëîãèè»
САНКТПЕТЕРБУРГ•
МОСКВА•
КРАСНОДАР•
2013•
ББК 22.17я73
К 60
Буре В. М., Парилина Е. М.
К 60 Теория вероятностей и математическая стати"
стика: Учебник. — СПб.: Издательство «Лань», 2013. —
416 с.: ил. — (Учебники для вузов. Специальная ли"
тература).
ISBN 9785811415083
В книге изложены основные разделы современного курса теории
вероятностей и математической статистики, включая условные рас"
пределения, основные предельные теоремы, метод характеристи"
ческих функций, принципы статистического оценивания, методы
построения доверительных интервалов, методы проверки стати"
стических гипотез, регрессионный анализ и бинарная регрессия.
Книга предназначена для студентов, изучающих методы теории
вероятностей, математической статистики.
ББК 22.17я73
Рецензент:
А. В. ФЛЕГОНТОВ — доктор физико"математических наук, про"
фессор, зав. кафедрой информационных систем и программного
обеспечения факультета информационных технологий РГПУ
им. А. И. Герцена.
Обложка
Е. А. ВЛАСОВА
Охраняется законом РФ об авторском праве.

Воспроизведение всей книги или любой ее части запрещается без
письменного разрешения издателя.
Любые попытки нарушения закона
будут преследоваться в судебном порядке.
© Издательство «Лань», 2013

© В. М. Буре, Е. М. Парилина, 2013
© Издательство «Лань»,
художественное оформление, 2013
ПРЕДИСЛОВИЕ
Настоящее пособие содержит подробное изложение уни-

верситетского курса теории вероятностей и математической
статистики.
В книге представлены основные разделы курса теории ве-
роятностей: свойства вероятностной меры, основные формулы
элементарной вероятности, классическое определение вероят-
ности, геометрическая вероятность, различные вероятностные
пространства, классические предельные теоремы для схемы
Бернулли, цепи Маркова, математическое ожидание как ин-
теграл Лебега, условные распределения и условные матема-
тические ожидания, виды сходимостей случайных величин,
характеристические функции, классические предельные тео-
ремы, некоторые специальные распределения.
При написании раздела, посвященного теории вероятно-
стей, были использованы материалы из книг А. Н. Ширяева
[35], А. А. Боровкова [4], Б. А. Севастьянова [30], К. Парта-
сарати [27], В. В. Петрова [28], В. Феллера [33], В. Б. Невзо-
рова [25]. Необходимо также отметить книги [2, 6, 13, 15, 19,
21, 22, 24, 31].
В раздел математической статистики также вошли основ-
ные разделы курса, включая: выборочное пространство, пре-
дельные распределения ряда статистик, критерии согласия для
простых и сложных гипотез, точечные оценки и методы их по-
строения, приближенные и точные доверительные интервалы,
различные статистические критерии, таблицы сопряженности,
регрессионный анализ, логит и пробит модели.
При написании раздела курса, посвященного математи-
ческой статистике, были использованы материалы из книг
А. А. Боровкова [5], Б. А. Севастьянова [30], С. С. Валландера
[11], С. Р. Рао [29], С. М. Ермакова и А. А. Жиглявского [14],
4 Предисловие
И. А. Ибрагимова и Р. З. Хасьминского [17], Я. Ю. Никитина

[26], Г. Крамера [20], P. E. Greenwood, M. S. Nikulin [47], так-
же отметим книги [1, 3, 6, 10, 18, 23, 32, 34, 41, 43, 46, 49, 51].
Вопросам практического применения различных статисти-
ческих методик посвящены следующие работы [3, 6, 9, 32, 34,
36, 38, 42, 44, 50, 52], которые могут быть использованы при
проведении практических занятий по курсу теории вероятно-
стей и математической статистики.
Представленный курс теории вероятностей и математиче-
ской статистики читался в течение многих лет на факульте-
те прикладной математики — процессов управления Санкт-
Петербургского государственного университета.
Авторы книги стремились сделать изложение понятным и
доступным самому широкому кругу студентов, изучающих ос-
новы теории вероятностей и математической статистики, со-
хранить все базовые теоремы и подробно изложить теоре-
тические основы курса, включая интеграл Лебега, а также
включить в курс широкий круг методик статистического ана-
лиза данных, часто применяемых в прикладных статистиче-
ских исследованиях. Для проведения практических занятий
по курсу теории вероятностей и математической статистики
авторы рекомендуют использовать задачники Г. В. Емельяно-
ва и В. П. Скитовича [12] и А. М. Зубкова, Б. А. Севастьянова
и В. П. Чистякова [16].
В классических учебниках по теории вероятностей и ма-
тематической статистике редко можно встретить изложение
основ регрессионного анализа. Однако в связи с большим при-
кладным значением этого раздела математической статистики
авторы сочли необходимым включить его в настоящую кни-
гу. При написании раздела использовался материал из книг
С. С. Валландера [11] и W. H. Greene [46]. Еще одной важ-
ной прикладной методикой анализа данных является бинар-
ная регрессия, в частности, модели логит и пробит анализов.
При написании главы 19 использовались статьи и монографии
[39, 46], [48]-[52].
Авторы признательны студентам Рубша Алене, Манушки-
ной Таисе, Хамматовой Гузель и Буре Артему, участвовавшим
в подготовке рукописи.
Глава 1
ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
§ 1. СЛУЧАЙНЫЕ СОБЫТИЯ
Пусть проводится некоторый опыт, в результате которо-
го может произойти одно из элементарных событий. Под
элементарными событиями будем понимать события (исходы),
которые нельзя разделить на «составные части», также явля-
ющиеся событиями. Объединение элементарных событий об-
разует пространство (множество) элементарных событий, ко-
торое обычно обозначается через Ω.
Пример 1.1. Пусть проводится эксперимент, в котором под-

кидывается 2 кубика. Тогда
Ω = {(a1 , a2 ) : ai = 1, . . . , 6},
где ai — число очков, выпавших на i-ом кубике.

В этом случае мощность множества Ω конечна и равна 36.
Пример 1.2. Проведем другой статистический эксперимент,

в котором человек приходит на остановку и ждет прихода ав-
тобуса. Предположим, что автобус гарантированно приходит
в промежутке времени [0, T ]. Тогда моменты времени, когда
приедет автобус, образуют множество элементарных исходов
Ω = [0, T ]. В этом случае Ω более, чем счетно, т. е. множество
Ω имеет мощность континуум.
Если в примере 1.1 нас интересует событие, которое за-

ключается в том, что на обеих гранях выпадает четное число
6 Глава 1. Вероятностное пространство
очков, тогда событие A можно описать следующим образом:

{(2k, 2l) : k, l = 1, 2, 3}. Если в примере 1.2 наложить условие,
что время ожидания автобуса не превышает 15 минут, тогда
событие B представляет собой отрезок [0, 15].
События A и B не являются элементарными. Любое собы-
тие — совокупность элементарных событий, т. е. любое собы-
тие A ⊂ Ω.
Будем говорить, что событие A произошло в том и только
в том случае, если произошло элементарное событие ω ∈ A.
Событие, заключающееся в том, что происходит хотя бы одно
из событий A или B, обозначим через A ∪ B = {ω : (ω ∈
∈ A) или (ω ∈ B)} (рис. 1.1). Событие, которое происходит,
когда происходят одновременно и событие A, и событие B,
обозначим через A ∩ B = {ω : (ω ∈ A) и (ω ∈ B)}.
Рис. 1.1
Диаграммы Венна
Если A∩B = ∅, то события A и B называют несовместны-

ми. Пустое множество ∅ в теории вероятности принято назы-
вать невозможным событием, а множество Ω — достоверным
событием.
Обозначим через Ā = Ω \ A = {ω : ω ∈ / A} дополнение
события A. События A и Ā — несовместные события, т. е.
A ∩ Ā = ∅. Также верны следующие равенства:
A = Ā¯ = Ω \ Ā,
A ∪ Ā = Ω.
Через A \ B обозначим множество точек из множества Ω, при-
надлежащих A, но не принадлежащих B, т. е. A\B = {ω : (ω ∈
∈ A) и (ω ∈/ B)}.
§ 2. Аксиоматика 7
§ 2. АКСИОМАТИКА
Рассмотрим множества A1 , . . . , Am такие, что выполнены
следующие условия:
1. Пересечение любых двух различных множеств является
пустым множеством: Ai ∩ Aj = ∅ для всех i, j, i = j.
2. Объединение всех множеств A1 ∪ A2 ∪ · · · ∪ Am совпадает
с множеством Ω.
Определение 2.1. Система множеств {Ai }m i=1 , удовлетворяю-
щая условиям 1 и 2, называется разбиением множества Ω или
полной группой событий.
Определение 2.2. Совокупность A подмножеств множества
Ω называется алгеброй, если выполнены следующие условия:
1. Множество Ω принадлежит совокупности A.
2. Если множества A и B принадлежат совокупности A,
тогда их объединение A ∪ B также принадлежит A.
3. Для любого множества A из A его дополнение Ā = Ω\A
также принадлежит A.
Множества, входящие в алгебру A, будем называть события-
ми.
Пример 2.1. Приведем несколько примеров алгебр событий:
1. A0 = {∅, Ω}.
2. A1 = 2Ω = {A : A ⊂ Ω} — алгебра, содержащая все
подмножества Ω.
3. A2 = {A, Ā, ∅, Ω}, где A ⊂ Ω.
Пусть существуют множества {Aγ } ⊂ Ω, γ ∈ Γ. Справед-
ливы законы двойственности:

Aγ = Āγ . (2.1)
γ∈Γ γ∈Γ

Aγ = Āγ . (2.2)
γ∈Γ γ∈Γ
Доказательство. Докажем равенство(2.1). Покажем, что

множество слева от знака равенства γ∈Γ Aγ является под-

множеством множества справа от знака равенства γ∈Γ Āγ ,
и наоборот. Рассмотрим
произвольное элемнтарное событие ω
из множества γ∈Γ Aγ . Очевидно, что событие ω не принад-
лежит объединению γ∈Γ Aγ , что означает, что событие ω не
принадлежит ни одному множеству Aγ , γ ∈ Γ. Следовательно,
событие ω принадлежит всем дополнениям Āγ для любого γ ∈
∈ Γ. Это означает,
что событие ω принадлежит и пересечению
этих событий γ∈Γ Āγ .
Докажем включение вобратную сторону. Рассмотрим со-
бытие ω из пересечения γ∈Γ Āγ . Очевидно, что ω ∈ Āγ для
всех γ ∈ Γ, из чего следует, что событие ω не принадлежит ни
одному из множеств Aγ , γ ∈ Γ. Тогда можно утверждать, что
ω не принадлежит и объединению γ∈Γ Aγ . Следовательно,

ω ∈ γ∈Γ Aγ .
Аналогично доказывается утверждение (2.2).
Используя законы двойственности, легко показать, что
всякая алгебра замкнута относительно операции конечного
пересечения своих элементов. Т.е. для любой алгебры A спра-
ведливо, что, если A ∈ A и B ∈ A, тогда A ∩ B ∈ A. Для до-
казательства рассмотрим выражение A ∩ B. Применим второе
утверждение законов двойственности: A ∩ B = Ā ∪ B̄ ∈ A. По
определению алгебры (определение 2.2) A ∩ B ∈ A ⇒ A ∩ B ∈
∈ A.
Определение 2.3. Алгеброй, порожденной множеством B ⊂

⊂ Ω, называется система подмножеств α(B) = {B, B̄, ∅, Ω}.
Рассмотрим некоторое событие A ∈ A. Проведем статисти-

ческий эксперимент N раз. В этом эксперименте событие A
произошло N (A) раз. Тогда отношение N (A)/N — это отно-
сительная частота появления события A. При N → ∞ отно-
сительная частота стабилизируется, но о сходимости говорить
нельзя. Можно говорить о «статистической устойчивости» от-
носительных частот. Вероятность появления события A, кото-
рую обозначим через p, приближенно равна N (A)/N .
Замечание 2.1. Теория вероятностей может применяться

только к тем экспериментам, в которых наблюдается «ста-
тистическая устойчивость» относительных частот.
§ 2. Аксиоматика 9
Определение 2.4. Пусть A — алгебра подмножеств множе-

ства Ω. Числовая функция μ(·), заданная на алгебре A, на-
зывается конечно-аддитивной мерой, если выполнены следую-
щие условия:
1. Для любого множества A ∈ A: μ(A) 0.
2. Для любых множеств A1 , A2 ∈ A таких, что A1 ∩A2 = ∅,
имеет место равенство:
μ(A1 ∪ A2 ) = μ(A1 ) + μ(A2 ).
3. Значение функции μ для пустого множества равно нулю.
Конечно-аддитивная мера μ называется конечной, если μ(Ω)
конечно. Если μ(Ω) = 1, то конечно-аддитивная мера μ назы-
вается конечно-аддитивной вероятностной мерой и обычно
обозначается через P .
Замечание 2.2. Конечно-аддитивная вероятностная мера P ,
определенная на алгебре A, обладает следующими свойства-
ми:
1. Вероятность P (A) события A неотрицательна для любо-
го A ∈ A.
2. Вероятность множества Ω равна единице, P (Ω) = 1.
имеет место равенство P (A1 ∪ A2 ) = P (A1 ) + P (A2 ).
Определение 2.5. Пусть A — алгебра подмножеств множе-
ства Ω. Конечно-аддитивная мера μ(·), заданная на алгебре
A, называется счетно-аддитивной (σ-аддитивной) мерой, ес-
ли выполнено следующее условие: если имеется счетная со-
вокупность событий {Ai }∞
i=1 , где Ai ∈ A для любого i, что
∞
i=1 Ai ∈ A, A i ∩ A j = ∅ для всех i = j, тогда имеет место
равенство: ∞
∞
μ Ai = μ(Ai ).
i=1 i=1
Определение 2.6. Счетно-аддитивная мера μ называется σ-

конечной, если существует такое счетное разбиение множе-

∞
ства Ω = Di , причем для любого i: Di ∈ A и Di ∩ Dj = ∅
i=1
для i = j, что μ(Di ) < ∞.
Определение 2.7. Счетно-аддитивная мера μ называется ко-

нечной счетно-аддитивной, если μ(Ω) < ∞. Если μ(Ω) = 1,
то счетно-аддитивная мера μ называется счетно-аддитивной
вероятностной мерой или вероятностью.
Замечание 2.3. Счетно-аддитивная вероятностная мера P ,

определенная на A, обладает следующими свойствами:
1. Вероятность любого события неотрицательна P (A) 0
для любого множества A ∈ A.
2. Вероятность множества Ω равна единице, P (Ω) = 1.
имеет место равенство P (A1 ∪ A2 ) = P (A1 ) + P (A2 ).
4. Если {Ai }∞ ∞ событий, где Ai ∈ A
i=1 — последовательность
для любого i, и выполняется: i=1 Ai ∈ A, и Ai ∩ Aj = ∅
для всех i = j, тогда справедливо равенство:
∞ ∞

P Ai = P (Ai ).
i=1 i=1
§ 3. СВОЙСТВА ВЕРОЯТНОСТЕЙ
Сформулируем и докажем свойства, которыми обладает ве-
роятностная мера.
1. Вероятность невозможного события равна нулю, P (∅) =
= 0.
Доказательство. Очевидны следующие равенства: Ω ∪
∪ ∅ = Ω, Ω∩∅ = ∅. Так как вероятностная мера P являет-
ся конечной, то из свойства аддитивности получаем сле-
дующие равенства: P (Ω) = P (Ω ∪ ∅) = P (Ω) + P (∅) = 1.
Окончательно получаем: P (∅) = 0.
2. Для любого события A ∈ A вероятность P (A) равна
1 − P (Ā).
Доказательство. Так как A ∪ Ā = Ω, тогда выполняется
следующее равенство: P (A) + P (Ā) = P (Ω) = 1, следо-
вательно, P (A) = 1 − P (Ā).
3. Для событий A, B ∈ A, A ⊂ B, справедливо неравен-
ство: P (A) P (B).
§ 3. Свойства вероятностей 11
Доказательство. Поскольку A ⊂ B, то множество B

можно представить следующим образом: B = A∪(B \A),
где B \ A = {ω : ω ∈ B, ω ∈ / A}. Из условия аддитив-
ности вероятностной меры следует равенство P (B) =
= P (A) + P (B \ A). При этом P (B \ A) 0. Заметим,
что A = B ∪ (A \ B), так как A \ B = ∅.
4. Формула сложения вероятностей. Для любых событий

A и B из A справедливо равенство:
P (A ∪ B) = P (A) + P (B) − P (A ∩ B).
Доказательство. Представим событие A ∪ B в следую-

щем виде (A\B)∪(B\A)∪(A∩B). Имеет место равенство
P (A ∪ B) = {P (A \ B) + P (A ∩ B)} + {P (B \ A) + P (A ∩
∩ B)} − P (A ∩ B). Так как P (A \ B) + P (A ∩ B) = P (A) и
P (B\A)+P (A∩B) = P (B), можно утверждать, что спра-
ведливо равенство P (A ∪ B) = P (A) + P (B) − P (A ∩ B).
5. Для любых событий A1 , . . . , Am ∈ A выполняется нера-

венство:
m

m
P Ai P (Ai ).
i=1 i=1
Доказательство. Введем систему событий B1 = A1 ,

B = A \ A1 , B3 = A3 \ (A1 ∪ A2 ), . . . , Bm = Am \
2m−1 2 m
mAi . Очевидно, что Bj ∩ Bk = ∅, j = k и i=1 Ai =
i=1
= i=1 Bi . Тогда имеют место следующие равенства:
m m

m
P Ai =P Bi = P (Bi ).
i=1 i=1 i=1
Так как событие Bi является подмножеством события Ai

для любого i = 1, . . . , m, то по
третьему свойству вероят-
m m
ностной меры i=1 P (Bi ) i=1 P (Ai ), что позволяет
m m
утверждать, что P ( i=1 Ai ) i=1 P (Ai ).
6. Для любых событий A1 , . . . , Am ∈ A справедливо равен-

ство:
m

m
P Ai = P (Ai ) − P (Ai1 ∩ Ai2 )+
i=1 i=1 1i1 <i2 m

+ P (Ai1 ∩Ai2 ∩Ai3 )−. . .+(−1)m−1 P (A1 ∩· · ·∩Am ).
1i1 <i2 <i3 m
Это утверждение можно доказать, используя метод ма-

тематической индукции с базой m = 2.
7. Пусть {Ai }∞
i=1 — последовательность событий такая, что
A
∞i ∈ A для любого i, и объединение этих событий
i=1 Ai принадлежит A, тогда имеет место следующее
неравенство:
∞ ∞

P Ai P (Ai ). (3.1)
i=1 i=1
Доказательство. Введем систему событий B1 = A1 ,

B2 = A2 \ A1 , B3 = A3 \ (A1 ∪ A2 ), . . . , Bm =
m−1
= Am \ i=1 Ai , . . . Очевидно,
∞ события B1 , . . . , Bm , . . .
что
∞
непересекающиеся, и i=1 Ai = l=1 Bl . Справедливы
следующие равенства:
∞ ∞ ∞

P Ai = P Bl = P (Bl ).
i=1 l=1 l=1
∞ ∞
Поскольку Bl ⊂ Al , то l=1 P (Bl ) l=1 P (Al ), из
чего следует справедливость неравенства (3.1).
Замечание 3.1. Свойства 1–6 справедливы для любой конечно-

аддитивной вероятностной меры. Свойство 7 предполагает
счетную аддитивность вероятностной меры.
Теорема 3.1 (о непрерывности вероятностной меры).
Пусть A — алгебра подмножеств множества Ω, P —
конечно-аддитивная вероятностная мера, заданная на ал-
гебре A. Следующие утверждения эквивалентны:
§ 3. Свойства вероятностей 13
1. Вероятностная мера P — счетно-аддитивная.

2. Конечно-аддитивная вероятностная мера P непре-
рывна «сверху», т. е. для любой последовательности
множеств {An}∞n=1 такой, что для любого n множе-
∞
ство An ∈ A, i=1 Ai ∈ A и An ⊂ An+1 , выполняется:
∞

P (An ) −−−−→ P Am .
n→∞
m=1
3. Конечно-аддитивная вероятностная мера P непре-

рывна «снизу», т. е. для любой последовательности
событий{An }∞
n=1 такой, что для любого n событие
∞
An ∈ A, i=1 Ai ∈ A и An ⊃ An+1 , выполняется:
∞

P (An ) −−−−→ P Am .
n→∞
m=1
4. Конечно-аддитивная вероятностная мера P «непре-

рывна в нуле», т. е. для любой последовательности
событий{An }∞
n=1 такой, что для любого n событие
∞
An ∈ A, i=1 Ai = ∅ и An ⊃ An+1 , выполняется:
P (An ) −−−−→ 0.
n→∞
Доказательство. Покажем, что из утверждения 1 следу-

ет утверждение 2, далее из 2 следует 3, из 3 следует 4, и,
наконец, из 4 следует 1.
1. Покажем, что из 1 следует 2. Считаем, что выполне-
но первое утверждение теоремы. Рассмотрим произвольную
последовательность событий {An }∞ n=1 такую, что выполне-
ны все требования п.2 теоремы. Определим систему событий
D1 = A1 , D2 = A2 \ A1 , D3 = A3 \ A2 , . . . , Dk = Ak \ Ak−1 ,
. . .. Очевидно, ∩ Dm = ∅ для всех l = m, и имеет место
∞ что Dl ∞
равенство
∞ A
k=1 k = l=1 Dl . Вычислим вероятность события
A
k=1 k . Очевидны следующие равенства:
∞ ∞

P Ak = P (Dl ) = lim P (An ).
n→∞
k=1 l=1
2. Покажем, что из 2 следует 3. Рассмотрим последова-

тельность событий {An }, для которой выполнены все требова-
ния п. 3, тогда для последовательности {Ān }∞ n=1 выполнено:
∞ ∞
Ān ⊂ Ān+1 и n=1 Ān = n=1 An принадлежит алгебре A.
Согласно утверждению

2 теоремы имеет место сходимость:
∞
P (Ān ) −−−−→ P n=1 An , что эквивалентно следующей схо-
n→∞ ∞
димости: 1 − P (An ) −−−−→ 1 − P ( n=1 An ), из чего следует
n→∞ ∞
утверждение 3 теоремы: P (An ) −−−−→ P ( n=1 An ).
n→∞
3. Поскольку четвертое утверждение теоремы является
частным случаем третьего утверждения, то очевидно, что из
утверждения 3 следует утверждение 4.
4. Покажем, что из 4 следует 1. Рассмотрим произвольную
последовательность {Bn }∞ n=1 такую, что для любого ∞n собы-
тие Bn ∈ A и Bk ∩Bm = ∅ для всех номеров k = m, n=1 Bn ∈
∞ k ∞
∈ A. Очевидно, что n=1 Bn = n=1 Bn + l=k+1 Bl . Так как
∞ k ∞
n=1 Bn ∈ A и n=1 Bn ∈ A, то и l=k+1 Bl ∈ A. Из того,
что P — конечно-аддитивная мера, следует равенство:
∞ ∞
k
P Bn = P (Bn ) + P Bl .
n=1 n=1 l=k+1
Покажем, что ∞

lim P Bl = 0,
k→∞
l=k+1
∞ ∞
т. е. P l=k+1 Bl −−−−→ 0. Пусть l=k+1 Bl = Ak+1 . Оче-
k→∞ ∞
видно, что An ⊃ An+1 . Если k=1 Ak+1 = ∅, то получаем,
∞ из 4 следует утверждение 1 теоремы.
что ∞ Предположим, что
A
k=1 k+1
= ∅, т. е. существует ω̃ ∈
∞ k=1 Ak+1 . Следователь-
но, ω̃ ∈ An для всех n, ω̃ ∈ l=n Bl означает, что собы-
тие ω̃ должно принадлежать хотя бы одному множеству из
объединения, но так как эти множества попарно несовместны
(Bk ∩ Bm = ∅, k = m), то ω̃ должно принадлежать какому-
нибудь одному множеству: ω̃ ∈ Bi и ω̃ ∈ / Bj , j > i, из чего
следует, что ω̃ ∈
/ Aj . Пришли к противоречию, так как событие
ω̃ должно принадлежать
∞ An для любого n. Значит, предполо-
жение о том, что k=1 Ak+1 = ∅ неверно.
§ 4. Классическое определение вероятности 15
Определение 3.1. Алгебра F подмножеств множества Ω на-

зывается σ-алгеброй, если она замкнута относительно объеди-
нения счетной совокупности множеств, т. е. если {An }∞
n=1 —
последовательность
∞ событий, где для любого n событие An ∈
∈ F, тогда n=1 An ∈ F.
Пусть на σ-алгебре F задана счетно-аддитивная вероят-
ностная мера P , тогда считается заданным вероятностное
пространство (Ω, F, P ). Сформулированные выше определе-
ния составляют систему аксиом Колмогорова.
Замечание 3.2. В дальнейшем, в качестве вероятностно-

го пространства будем рассматривать систему (Ω, F , P ), где
Ω — множество элементарных событий, F — σ-алгебра, P —
счетно-аддитивная вероятностная мера.
§ 4. КЛАССИЧЕСКОЕ ОПРЕДЕЛЕНИЕ
ВЕРОЯТНОСТИ
Рассмотрим множество Ω = {ω1 , . . . , ωm }. Пусть все эле-
ментарные события равновероятны, т. е. P (ωi ) = P (ωj ) = p
для любых индексов i и j. По свойству вероятности спра-
ведливо равенство P (Ω) = 1. В силу аддитивности вероят-
ностной
m меры можно записать следующее равенство: P (Ω) =
i=1 P (ω i ) = mp. Следовательно, вероятность любого эле-
ментарного события ωi может быть вычислена по формуле:
p = 1/m = 1/| Ω |.
В качестве алгебры A рассмотрим множество всех подмно-
жеств множества Ω, которое обозначим через 2Ω . Рассмот-
рим некоторое событие A ⊂ Ω, A = {ωi1 , . . . , ωik }. Вероят-
ность наступления этого события в силу свойства аддитивно-
сти вероятностной меры может быть вычислена по формуле:
k
P (A) = j=1 P (ωij ) = k/| Ω | = | A |/| Ω |.
Определение 4.1. Формулу
|A|
P (A) = (4.1)
|Ω|
называют классическим определением вероятности.
Теорема 4.1 (правило умножения в комбинаторике). Пусть

имеется r групп различных объектов. В первую группу вхо-
дит n1 объектов, во вторую — n2 объектов, . . ., в послед-
нюю — nr объектов. Будем составлять различные комби-
нации этих объектов следующим образом: последователь-
но из групп будем выбирать по одному объекту и распо-
лагать их в порядке появления (т. е. сначала элемент из
первой группы, потом из второй, . . ., из r-ой группы). То-
гда всего возможно n1 n2 · . . . · nr различных комбинаций.
Доказательство. Обозначим группы объектов следующим

образом:
(1) (1)
X1 = {x1 , x2 , . . . , x(1)
n1 }, |X1 | = n1 ;
(2) (2)
X2 = {x1 , x2 , . . . , x(2)
n2 }, |X2 | = n2 ;
...
(r) (r)
Xr = {x1 , x2 , . . . , x(r)
nr }, |Xr | = nr .
Рассмотрим случай, когда r = 2. Изобразим всевозможные
комбинации объектов этих двух групп в виде таблицы, в кото-
рых столбцам соответствуют объекты группы X2 , а строкам —
объекты группы X1 (табл. 1.1).
(2) (2) (2)
x1 x2 ... xn2
(1) (1) (2) (1) (2) (1) (2)
x1 x1 x1 x1 x2 ... x1 xn2
(1) (1) (2) (1) (2) (1) (2)
x2 x2 x1 x2 x2 ... x2 xn2
.. .. .. ..
. . . .
(1) (1) (2) (1) (2) (1) (2)
xn1 xn1 x1 xn1 x2 ... xn1 xn2
Таблица 1.1
Всевозможные комбинации объектов
Таким образом, каждая клетка таблицы соответствует од-

ной возможной комбинации объектов. Количество всевозмож-
ных комбинаций объектов совпадает с количеством клеток
§ 4. Классическое определение вероятности 17
таблицы и равняется n1 n2 . Для случая r = 2 теорема вер-

на.
Рассмотрим случай r = 3. Любую комбинацию объектов
из групп X1 , X2 , X3 можем записать в виде:
(1) (2) (3) (1) (2) (3)
(xi1 , xi2 , xi3 ) = ((xi1 , xi2 ), xi3 ),
применив доказанное утверждение для случая r = 2 два раза.

Количество всевозможных комбинаций объектов (n1 n2 )n3 =
= n1 n2 n3 , что доказывает теорему для случая r = 3.
Для доказательства теоремы для случая r = m можно при-
менять предложенную схему рассуждения m − 1 раз.
Рассмотрим несколько вариантов определения вероятност-
ных пространств, когда осуществляется случайный выбор
объектов.
I. Упорядоченный выбор с возвращением
Пусть имеется урна с n шарами. Каждый шар имеет свой
номер от 1 до n. Произведем из них последовательный слу-
чайный выбор r шаров, при этом возвращая каждый выну-
тый шар обратно. Тогда элементарным событием будет вектор
(a1 , . . . , ar ), ai = 1, . . . , n, шары могут совпадать. Мощность
пространства элементарных событий Ω = {(a1 , . . . , ar ) | ai =
= 1, . . . , n} в данном случае равна nr , это следует из теоре-
мы 4.1. В качестве вероятностной меры (вероятности элемен-
тарного события) возьмем отношение 1/| Ω | или P (ω) = 1/nr .
II. Упорядоченный выбор без возвращения
В этом случае вынутые на каждом шаге шары не возвра-
щаются в урну. Пространство элементарных событий может
быть определено следующим образом: Ω = {(a1 , . . . , ar ) | ai =
= 1, . . . , n, ai = aj , i = j}. Мощность этого множества рав-
на n(n − 1) . . . (n − r + 1) = Arn . Это число называют числом
размещений из n по r. Вероятность определяется следующим
образом: P (ω) = 1/Arn .
III. Неупорядоченный выбор без возвращения
Пространство элементарных событий может быть опреде-
лено следующим образом: Ω = {[a1 , . . . , ar ] | ai = 1, . . . , n, ai =
= aj , i = j}. Квадратные скобки означают, что порядок
появления шаров неизвестен. Мощность этого множества
называют числом сочетаний из n по r и обозначают через Cnr .

Число сочетаний и число размещений связаны равенством:
Arn = Cnr · r! Следовательно,
n(n − 1) · . . . · (n − r + 1)(n − r)! n!

Cnr = = .
r!(n − r)! r!(n − r)!
В этом случае вероятность определяется равенством: P (ω) =

= 1/Cnr .
Определение 4.2. Любую числовую функцию, заданную на

конечном множестве элементарных событий Ω, будем назы-
вать случайной величиной.
Рассмотрим случайную величину ξ, равную числу белых

шаров в выборке без возвращения объема n из урны, содер-
жащей M белых и N − M черных шаров. Нетрудно заметить,
что
C m C n−m
−M
P {ξ = m} = M N n ,
CN
где m = 0, 1, . . . , min(n, M ), n N − M .
Говорят, что случайная величина ξ подчиняется гипергео-
метрическому распределению.
IV. Неупорядоченный выбор с возвращением
Пространство элементарных событий может быть опреде-
лено следующим образом: Ω = {[a1 , . . . , ar ] : ai = 1, . . . , n}.
Порядок появления шаров неизвестен. Так как | Ω |< ∞, и все
элементарные события равновероятны, P (ω) = 1/| Ω |. Найдем
мощность множества Ω.
Пусть r1 0 — число появлений в выборке шара a1 , . . .,
r n 0 — число появлений в выборке шара an , при этом
n
i=1 ri = r и ri ∈ {0, . . . , r}. Посчитаем количество набо-
n (r1 , . . . , rn ), т. е. найдем количество решений уравнения
ров
i=1 ri = r. Прибавим к обеим частям уравнения по n, полу-
чим:
(r1 + 1) + (r2 + 1) + . . . + (rn + 1) = r + n.
Число решений этого уравнения совпадает с числом разбиений
отрезка [0, r + n] на n частей. Необходимо выбрать n − 1 точку
§ 5. Геометрические вероятности 19
n−1
дробления, такие точки можно выбрать Cr+n−1 способами.
l k−l k! n−1 r
Так как Ck = Ck = l!(k−l)! , получаем Cr+n−1 = Cr+n−1 =
= | Ω |. Вероятность P (ω) = 1/Cr+n−1 .
n−1
§ 5. ГЕОМЕТРИЧЕСКИЕ ВЕРОЯТНОСТИ.
ЗАДАЧА О ВСТРЕЧЕ. ПАРАДОКС БЕРТРАНА.
ЗАДАЧА БЮФФОНА
Рассмотрим числовую прямую и отрезок [a, b] = Ω. Пусть
случайным образом выбирается точка из этого отрезка. Это
означает, что любая точка отрезка [a, b] может появиться в
результате эксперимента с равными шансами.
Зададим вероятностную меру для любого множества A ∈
∈ F[a,b] , где F[a,b] — сигма-алгебра подмножеств отрезка [a, b],
измеримых по Лебегу. Вероятностная мера, называемая гео-
метрической вероятностью, может быть определена следую-
щим образом:
μ(A) μ(A)
P (A) = = ,
μ[a, b] b−a
где через μ(A) обозначена мера Лебега множества A.
Замечание 5.1. В качестве σ-алгебры событий нельзя рас-
сматривать множество всех подмножеств множества Ω, так
как не все подмножества множества Ω измеримы по Лебегу.
В более общем случае геометрическая вероятность опре-
деляется аналогично. В качестве множества элементарных со-
бытий рассмотрим некоторую область измеримую по Лебегу
Ω ⊂ Rk . Через μ(Ω) обозначим меру Лебега в Rk множества
Ω. Используя принцип геометрической вероятности по отно-
шению к мере Лебега μ, можно определить вероятностную
меру для любого измеримого по Лебегу множества A ⊂ Ω ⊂
⊂ Rk следующим образом:
μ(A)
P (A) = . (5.1)
μ(Ω)
Равенство (5.1) принято называть определением геометриче-

ской вероятности.
Пример 5.1. Задача о встрече. Два лица A и B условились

встретиться в определенном месте между 12 и 13 часами дня.
Пришедший первым ждет другого в течение 20 минут, после
чего уходит. Требуется вычислить вероятность встречи лиц A
и B, если приход каждого из них в течение указанного часа
происходит наудачу случайным образом, и моменты прихода
независимы.
Обозначим моменты прихода лица A через x и лица B
через y. Для того чтобы встреча произошла, необходимо и
достаточно, чтобы
|x − y| 20.
Рис. 1.2
Задача о встрече
Изобразим x и y на декартовой плоскости (рис. 1.2), в

качестве единицы масштаба выберем минуту. Возможные ис-
ходы могут быть изображены квадратом со сторонами 60, бла-
гоприятствующие встрече исходы — в области S. Вероятность
встречи лиц A и B равна отношению площади фигуры S к
площади всего квадрата:
602 − 402 5
p= 2
= .
60 9
Пример 5.2. Парадокс Бертрана. Рассматривается окруж-
ность радиуса R, в которую вписан равносторонний треуголь-
ник. Случайным образом в данной окружности выбирается
хорда. Какова вероятность того, что длина хорды окажется
больше стороны равностороннего треугольника, вписанного в

эту окружность (рис. 1.3)?
Рис. 1.3
Парадокс Бертрана
Данную задачу можно решить тремя способами.

Решение 1. Из геометрических соображений: для того,
чтобы длина хорды окружности радиуса R была больше
стороны равностороннего треугольника, вписанного в эту
окружность, необходимо, чтобы центр хорды оказался внутри
окружности, вписанной в равносторонний треугольник. По-
следняя окружность будет иметь радиус R/2 (рис. 1.4).
Рис. 1.4
Парадокс Бертрана. Решение 1
Таким образом, искомая вероятность определяется как от-

ношение площадей окружностей радиуса R/2 и радиуса R
соответственно: 2
SR πR 1
2
= 42 = .
SR πR 4
Решение 2. Из соображений симметрии: пусть один ко-
нец хорды закреплен в одной из вершин равностороннего тре-
угольника.
Вершины треугольника разбивают дугу окружности на три
равные части. Длина хорды будет больше стороны равносто-
роннего треугольника, если другой конец хорды будет ле-
жать на дуге между двумя другими вершинами треугольника.
Тогда искомая вероятность определяется как отношение длин
соответствующих дуг и равна 1/3 (рис. 1.5).
Рис. 1.5
Решение 3. В окружности радиуса R произвольным обра-

зом проведем диаметр. Отметим точку, в которой рассматри-
ваемая хорда пересекает диаметр. Рассматриваем хорды, пер-
пендикулярные диаметру (рис. 1.6).
Следовательно, по расстоянию ρ от центра окружности до
точки пересечения хорды и диаметра можем судить о длине
хорды: длина хорды будет больше стороны равностороннего
треугольника, если расстояние ρ < R/2. Искомая вероятность
определяется как отношение соответствующих расстояний:
μ(0, R2 ) R
1
= 2 = .
R R 2
Рис. 1.6
Причина возникновения парадокса связана с неоднозначно-

стью математической формализации поставленной задачи.
Пример 5.3. Задача Бюффона. На плоскость, разлинеенную
параллельными прямыми, отстоящими друг от друга на рас-
стоянии 2a, наудачу бросается игла длиною 2l < 2a. Требуется
найти вероятность того, что игла пересечет одну из параллель-
ных прямых (рис. 1.7).
Рис. 1.7
Задача Бюффона
Решение. Пусть y — расстояние от середины иглы до бли-

жайшей из параллельных прямых, x — острый угол между
иглой и перпендикуляром, проведенным к параллельным пря-
мым. Координаты (x, y) определяют положение иглы относи-
тельно параллельных прямых на плоскости, 0 x π/2,
0 y a. Предполагается, что точка (x, y) распределена рав-
номерно в соответствующем прямоугольнике.
Событие, заключающееся в том, что игла пересечет какую-
либо параллельную прямую, можно записать следующим
Рис. 1.8
Задача Бюффона
образом:
A = {(x, y) : 0 y l cos x}.
Тогда искомая вероятность определяется как отношение пло-
щадей (рис. 1.8), соответствующих благоприятствующим и
всем возможным исходам, и равна
π
2
l cos xdx
μ(A) 0 2l
= = .
μ(Ω) a· π
2 aπ
§ 6. УСЛОВНЫЕ ВЕРОЯТНОСТИ
Рассмотрим вероятностное пространство (Ω, F , P ). Выбе-
рем некоторое событие B ∈ F такое, что P (B) > 0. Опреде-
лим вероятность события A ∈ F при условии, что произошло
событие B.
Проведем эксперимент N раз. Обозначим через N (B) ко-
личество экспериментов, в которых произошло событие B,
N (A ∩ B) — количество экспериментов, в которых произошли
оба события и A, и B. Относительная частота события A, ес-
ли известно, что произошло событие B, будет определяться
отношением N (A ∩ B)/N (B). Поделим числитель и знамена-
тель этого отношения на N , получаем:
N (A ∩ B)/N P (A ∩ B)
≈ .
N (B)/N P (B)
§ 6. Условные вероятности 25
Приближенное равенство следует из свойства «статистической

устойчивости» относительных частот. Пусть множество Ω ко-
нечно, и вероятность любого элементарного события ω ∈ Ω
равна p(ω) = p = const. Пусть произошло событие B, что
означает, что событие B стало достоверным. Воспользуемся
классическим определением вероятности. Посчитаем количе-
ство элементарных событий в множествах A ∩ B и B. Полу-
чаем отношение:
|A ∩ B|/|Ω| P (A ∩ B)
= .
|B|/|Ω| P (B)
Полученные равенства приводят к определению.
Определение 6.1. Если вероятность события B отлична от
нуля, то условная вероятность события A при условии, что
событие B произошло, определяется формулой
P (A ∩ B)
P (A/B) = .
P (B)
Выберем событие B ∈ F, P (B) > 0. Рассмотрим веро-
ятность P (A/B), где A ∈ F. Определим функцию P (·/B):
F −→ [0, 1]. Функция P (·/B) обладает следующими свойства-
ми, т. е. она является вероятностной мерой на (Ω, F):
1. Если A совпадает с множеством Ω, то P (Ω/B) = 1.
2. Для любого события A ∈ F вероятность P (A/B) неот-
рицательна.
3. Для любых несовместных событий A1 и A2 вероятность
P (A1 ∪ A2 /B) равна сумме вероятностей P (A1 /B) +
+ P (A2 /B).
Наличие первых трех свойств означает, что условная
вероятность — конечно-аддитивная вероятностная мера.
Если P — счетно-аддитивная вероятность, то и услов-
ная вероятность P (·/B) обладает свойством счетной ад-
дитивности.
4. Для последовательности попарно несовместных событий
{An }∞n=1 справедливо равенство:
∞ ∞

P Ai /B = P (Ai /B).
i=1 i=1
Из определения условной вероятности следует формула

умножения вероятностей:
P (A ∩ B) = P (B)P (A/B).
Обобщим формулу умножения вероятностей на случай n

событий. Для событий A1 , . . . , An ∈ F, для которых P (A1 ∩
· · · ∩ An−1 ) > 0, имеет место равенство:
P (A1 ∩ · · · ∩ An ) =
P (A1 )P (A2 /A1 ) . . . P (An /A1 ∩ A2 ∩ · · · ∩ An−1 ).
§ 7. НЕЗАВИСИМОСТЬ СОБЫТИЙ
Выберем некоторое событие B ∈ F, вероятность которого
положительна. Если событие A ∈ F не зависит от появле-
ния события B, то P (A/B) = P (A). Используя определение
условной вероятности, получаем равенство: P (A ∩ B)/P (B) =
= P (A). Следовательно, вероятность совместного появле-
ния событий P (A ∩ B) равна произведению вероятностей
P (A)P (B). Пусть P (A) > 0, тогда P (B/A)=P (B ∩ A)/P (A)=
= P (B). Следовательно, если событие A не зависит от собы-
тия B, то и событие B не зависит от события A. Сформули-
руем определение независимости событий.
Определение 7.1. События A и B независимы, если справед-

ливо следующее равенство:
P (A ∩ B) = P (A)P (B). (7.1)
Замечание 7.1. Определение 7.1 не нуждается в предполо-

жении о положительности P (A) и P (B).
Замечание 7.2. Если предположить, что события A и B

несовместны, и P (A) > 0, P (B) > 0, тогда A и B — зави-
симые события.
Определение 7.2. События A1 ,. . .,An называются независи-

мыми в совокупности, если для любых m событий Ai1 , . . . , Aim,
§ 7. Независимость событий 27
m = 2, . . . , n, выполнено:

m
P (Ai1 ∩ Ai2 ∩ . . . ∩ Aim ) = P (Aik ). (7.2)
k=1
Если события независимы в совокупности, то они незави-

симы попарно. Обратное не верно: из попарной независимости
не следует независимость в совокупности.
Пример 7.1. Рассмотрим пространство элементарных собы-

тий Ω = {ω1 , ω2 , ω3 , ω4 }. Пусть p(ωi ) = 1/4, i = 1, . . . , 4.
Определим следующие события: A = {ω1 , ω2 }, B = {ω1 , ω3 },
C = {ω1 , ω4 }. Покажем, что события A, B, C попарно незави-
симы, но в совокупности зависимы. Очевидно, что справедли-
вы равенства:
1
P (A) = P (B) = P (C) = .
2
Покажем попарную независимость на примере событий A и B:

P (A ∩ B) = p(ω1 ) = 1/4 = P (A)P (B). Аналогично попар-
ную независимость можно показать и для пар A и C, B
и C. Посчитаем вероятность P (A ∩ B ∩ C) = p(ω1 ) = 1/4 =
= P (A)P (B)P (C) = 1/8, что означает зависимость в совокуп-
ности.
Определение 7.3. Рассмотрим вероятностное пространство

(Ω, F, P ), пусть алгебры A1 , . . ., An являются подалгебра-
ми σ-алгебры F. Говорят, что алгебры A1 , . . ., An независи-
мы или независимы в совокупности, если для любых событий
A1 ∈ A1 , . . ., An ∈ An имеет место равенство:

n
P (A1 ∩ . . . ∩ An ) = P (Ai ). (7.3)
i=1
Замечание 7.3. Определение 7.3 относится и к σ-алгебрам,

так как σ-алгебра — частный случай алгебры.
§ 8. ФОРМУЛА ПОЛНОЙ ВЕРОЯТНОСТИ.

ФОРМУЛЫ БАЙЕСА
Рассмотрим вероятностное пространство (Ω, F, P ). Пусть
задано разбиение множества Ω на события B1 , . . . , Bm ; B1 ∈
∈ F, . . ., Bm ∈ F такие,
m что P (Bi ) > 0 для всех i, Bi ∩ Bj = ∅
для любых i = j, Ω = i=1 Bi .
Рассмотримm некоторое событие A ∈ F. Представим его в
виде: A = i=1 (A ∩ Bi ). По свойству аддитивности получаем:

m
m
P (A) = P (A ∩ Bi ) = P (Bi )P (A/Bi ).
i=1 i=1
Формула

m
P (A) = P (Bi )P (A/Bi ) (8.1)
i=1
называется формулой полной вероятности.

Дополнительно предположим, что P (A) > 0. Найдем веро-
ятность события Bj при условии, что произошло событие A.
Имеет место равенство:
P (Bj ∩ A) P (Bj )P (A/Bj )

P (Bj /A) = =
m .
P (A)
P (Bi )P (A/Bi )
i=1
Формулы
P (Bj )P (A/Bj )
P (Bj /A) =
m , j = 1, 2, . . . , m (8.2)
P (Bi )P (A/Bi )
i=1
называются формулами Байеса. Вероятности P (Bi ), i =

= 1, . . . , m называются априорными вероятностями. По фор-
муле (8.2) можно вычислить вероятность наступления собы-
тия Bi при условии, что произошло событие A. Вероятности
P (Bi /A), i = 1, . . . , m называются апостериорными вероятно-
стями.
Глава 2
СХЕМА БЕРНУЛЛИ
§ 1. СХЕМА БЕРНУЛЛИ. БИНОМИАЛЬНОЕ

И ПОЛИНОМИАЛЬНОЕ РАСПРЕДЕЛЕНИЯ
Пусть проводится n независимых испытаний, причем, в
каждом испытании возможны два исхода: «1» — успех и
«0» — неудача. Обозначим через p вероятность успеха, через
q = 1 − p — вероятность неудачи.
Для определения вероятностного пространства рассмотрим
элементарное событие ω = (a1 , . . . , an ), где ai = 1 или 0. Тогда
|Ω| = 2n , в качестве σ-алгебры возьмем F = 2Ω . Вероятность
элементарного события ω вычислим по формуле

n
n
ai n− ai
p(ω) = pi=1 q i=1 ,
n
где i=1 ai — количество единиц в векторе (a1 , . . . , an ).
Напомним, что если множество элементарных событий ко-
нечно, то случайной величиной называется любая числовая
функция ξ : Ω → R. n
Пусть μ(a1 , . . . , an ) = μ(ω) = i=1 ai — количество успе-
хов в серии из n независимых испытаний. Величина μ(ω)
является случайной величиной. Нас интересует вероятность
следующего события: μ = m, т. е. вероятность события, что в
серии из n независимых испытаний произойдет ровно m успе-
хов, P {μ = m}.
Случайная величина μ принимает в данном случае зна-
чение из конечной совокупности {0, 1, . . . , n}. Вероятность
30 Глава 2. Схема Бернулли
события μ = m можно вычислить по формуле:

n n
P {μ = m} = P (ω) = p i=1 ai n−
q i=1 ai
=
ω:μ(ω)=m
n
ω: ai =m
i=1

= pm q n−m 1 = Cnm pm q n−m . (1.1)

n
ω: ai =m
i=1
Найдем сумму вероятностей при m, пробегающем значения

от 0 до n, получаем:

n
n
P {μ = m} = Cnm pm q n−m = (p + q)n = 1. (1.2)
m=0 m=0
Дискретное распределение — набор (конечный или беско-

нечный) вероятностей несовместных событий, которые в сум-
ме дают единицу.
Определение 1.1. Распределение случайной величины μ, рав-
ной количеству успехов в серии из n независимых испытаний,
называется биномиальным распределением.
Рассмотрим более общую схему. Пусть производится n
независимых испытаний, каждое из которых может закончит-
ся одним из r исходов из множества {1, . . . , r}. Исходу
r i соот-
ветствует вероятность pi , i = 1, . . . , r. При этом, i=1 pi = 1.
Пусть набор (a1 , . . . , an ) — упорядоченный набор чисел из
множества {1, . . . , r}. Определим пространство элементарных
событий Ω и σ-алгебру F подмножеств множества Ω следую-
Ω = {(a1 , . . . , an ) : ai = 1, . . . , r},
F = {A : A ⊂ Ω} = 2Ω .
Вероятность события (a1 , . . . , an ) определим так, чтобы по-
следовательные испытания оказались независимыми:
1 · . . . · pr ,
P {(a1 , . . . , an )} = pm 1 mr
§ 2. Теорема Пуассона 31
где m1 — количество исходов «1» в (a1 , . . . , an ), . . ., mr – ко-

личество исходов «r» в (a1 , . . . , an ). Причем, m1 + . . . + mr =
= n. Найдем вероятность следующего события: в n незави-
симых испытаниях m1 раз выпал исход «1», . . ., mr раз вы-
пал исход «r». Обозначим вероятность этого события через
Pn (m1 , . . . , mr ), как легко видеть:
1 · . . . · pr ,
Pn (m1 , . . . , mr ) = Dm1 ,...,mr pm 1 mr
где
m2 mr
Dm1 ,...,mr = Cnm1 Cn−m 1
. . . Cn−m 1 −...−mr−1
=
n! (n − m1 )! n!
= ·...·1 = .
m1 !(n − m1 )! m2 !(n − m1 − m2 )! m1 !m2 ! . . . mr !
Получаем выражение для вероятности Pn :
n!
Pn (m1 , . . . , mr ) = pm1 . . . pm r
r . (1.3)
m1 !m2 ! . . . mr ! 1
Определение 1.2. Распределение, определяемое формулой

(1.3), называется полиномиальным распределением.
§ 2. ТЕОРЕМА ПУАССОНА
Рассмотрим схему Бернулли с n независимыми испытани-
ями, в каждом из которых возможны два исхода: «1» — успех
и «0» — неудача. Вероятность успеха обозначим через p, а ве-
роятность неудачи через q = 1−p. Эти вероятности не зависят
от номера испытания. Введем случайную величину μ, равную
количеству успехов в n испытаниях.
Теорема 2.1. (Теорема Пуассона) Пусть в схеме Бернулли

число испытаний n → ∞ и при этом np −−−−→ λ > 0. Тогда
n→∞
для любого m = 0, 1, 2, . . . выполнено:
λm −λ
P {μ = m} = Cnm pm q n−m −−−−→ e . (2.1)
n→∞ m!
Доказательство. Справедливы следующие равенства:
n! (1 − p)n
Cnm pm q n−m = pm =
m!(n − m)! (1 − p)m
(np) n ln (1−p) 1(1 − n1 ) . . . (1 − m−1
m
n ) λm −λ
= e −
− −−→ e ,
m! (1 − p)m n→∞ m!
Утверждение справедливо, поскольку (np)m /m! −−−−→ λm /m!

n→∞
1
1·(1− n )·...·(1− m−1
n )
и (1−p)m −−−−→ 1, а также в силу того, что ln(1 −
n→∞
o(p)
− p) = −p + o(p) и en ln (1−p) = e−np+np p −−−−→ e−λ .
n→∞
Замечание 2.1. Можно доказать более сильное утверждение:

(np)m
−np
m m n−m
Cn p q − e np2 ,
m!
m∈B m∈B
где B — любое множество на положительной части числовой

прямой.
Если вероятность p близка к 0, то есть p 1, а n 1,
то теорема дает «хорошую» аппроксимацию для соответству-
ющей вероятности. Эта аппроксимация называется аппрокси-
мацией Пуассона.
Замечание 2.2. Используя формулу разложения экспоненты в
∞ m
ряд Тейлора, получаем равенство: m=0 λm! e−λ = e−λ eλ = 1.
Таким образом, правая часть (2.1) определяет некоторое рас-
пределение, которое носит название распределение Пуассона.
Это распределение зависит от положительного параметра λ.
§ 3. ЛОКАЛЬНАЯ И ИНТЕГРАЛЬНАЯ ТЕОРЕМЫ

МУАВРА–ЛАПЛАСА
Рассмотрим схему Бернулли с n независимыми испытани-
ями, в каждом из которых возможны два исхода: «1» — успех
и «0» — неудача. Вероятность успеха обозначим через p, а
вероятность неудачи через q = 1 − p, причем, вероятности не
зависят от номера испытания. Обозначим через μ случайную
величину, равную количеству успехов в n испытаниях.
§ 3. Локальная и интегральная теоремы Муавра–Лапласа 33
Теорема 3.1 (локальная предельная теорема Муавра–Ла-

√
пласа). Пусть σ = npq −−−−→ ∞, тогда для любой кон-
n→∞
станты c > 0 равномерно по x = (m − np)/σ таким, что
|x| c, выполняется
1 x2
P {μ = m} = Cnm pm q n−m = √ e− 2 (1 + o(1)), (3.1)
2πσ
где o(1) −−−−→ 0.
n→∞
Замечание 3.1. Утверждение теоремы можно записать в сле-

дующем виде:
P {μ = m}
x2
−−−−→ 1.
√ 1 e− 2 n→∞
2πσ
Доказательство. Учитывая, что x = (m − np)/σ, |x| c и

√
σ = npq, получаем:
xq
m = np + σx = np(1 + ).
σ
Пусть k = n − m. Очевидно, что k = nq − σx = nq(1 − xp/σ).
При n → ∞, σ → ∞, получаем, что m → ∞ и k → ∞.
Воспользуемся формулой Стирлинга:
√
n! = 2πnnn e−n+Θn ,
где Θn = O(1/n) при n → ∞. Вычислим логарифм вероятно-

сти P {μ = m}, получаем следующее равенство:
ln Cnm pm q k = ln n! − ln m! − ln k! + m ln p + k ln q. (3.2)
Найдем логарифмы факториалов из правой части равенства

(3.2), используя формулу Стирлинга:
√ ln n
ln n! = ln 2π + + n ln n − n + Θn . (3.3)
2
Аналогичным образом получаем равенства:
√ ln k
ln k! = ln 2π + + k ln k − k + Θk , (3.4)
2
√
ln m
ln m! = ln + m ln m − m + Θm .
2π + (3.5)
2
Вычислим разность ln n! − ln m! − ln k!, используя равенства
(3.3), (3.4) и (3.5), получаем:
ln n! − ln k! − ln m! =

1 1 mk m k 1
= ln √ − ln − m ln − k ln + O .
2π 2 n n n σ2
Подставив это выражение в (3.2), получаем:
1 1

xq
xp
ln Cnm pm q k = ln √ − ln σ 2 1 + 1− −
2π 2 σ σ

m k 1
− m ln − k ln +O 2 =
np nq σ
1 1
xq 1
xp
= ln √ − ln 1 + − ln 1 − −
2πσ 2 σ 2 σ

xq
xp 1
− (np + σx) ln 1 + + (nq − σx) ln 1 − +O .
σ σ σ2
Преобразуя выражение в квадратных скобках, получаем ра-
венство:

1 x2 1
ln Cn p q = ln √
m m k
− +O ,
2πσ 2 σ
откуда следует утверждение теоремы:
1 x2
Cnm pm q k = √ e− 2 eO(1/σ) ,
σ 2π
где eO(1/σ) = 1 + O(1/σ).
x2
Замечание 3.2. Рассмотрим функцию ϕ(x) = √12π e− 2 . Вы-
∞
числим интеграл −∞ ϕ(x)dx. Для этого вычислим
∞ 2 ∞ ∞
x2 x2 y2
e− 2 dx = e− 2 dx e− 2 dy.
−∞ −∞ −∞
§ 3. Локальная и интегральная теоремы Муавра–Лапласа 35
Используя теорему о повторном интегрировании, получаем

∞ ∞ − x2 +y2
−∞ −∞
e 2 dxdy. Переходя к полярным координатам, по-
2π ∞ r2
лучаем интеграл 0 0 e− 2 rdrdψ = 2π. Следовательно,
∞ − x2 √ ∞
−∞
e 2 dx = 2π, откуда следует, что −∞ ϕ(x)dx = 1.
Функция ϕ(x) обладает следующими свойствами:
1. ϕ(x) 0 для всех x ∈ R.
∞
2. ϕ(x)dx = 1.
−∞
Любая функция, удовлетворяющая этим двум свойствам,
называется плотностью распределения.
x2
Определение 3.1. Функция ϕ(x) = √12π e− 2 называется
плотностью стандартного нормального распределения (распре-
деления Гаусса).
Теорема 3.2 (интегральная предельная теорема Муавра–

√
Лапласа). Пусть σ = npq −−−−→ ∞, тогда при n → ∞
n→∞
равномерно по парам (a, b) имеет место сходимость:
b b
μ − np 1 − x2
2
P a √ b −−−−→ √ e dx = ϕ(x)dx.
npq n→∞ 2π
a a
(3.6)
Доказательство. Сначала докажем теорему для некоторого
фиксированного c > 0, для которого |a| c, |b| c. Потом
распространим результат на всю числовую ось.
Запишем двойное неравенство a μ−np
√
npq b в виде:
σa + np μ σb + np.
Выберем m1 σa + np, m1 ∈ Z+ и m2 σb + np, и m2 ∈ Z+ .

Число m1 наиболее близко к (σa + np) справа, m2 наиболее
близко к (σb + np) слева. Справедливы следующие равенства:

m2
μ − np
P a √ b = P {μ = m} =
npq m=m1

m2
m2
1 x2
m 1 1
= Cnm pm q k = √ e− 2 1+O ,
m=m1 m=m1
2π σ σ
где xm = (m − np)/σ. Причем, a xm b для любого m =

= m1 , . . . , m2 , 1/σ = xm+1 − xm = Δxm .
Заметим, что полученная сумма — интегральная сумма для
b √ x2
интеграла a (1/ 2π)e− 2 dx, и она должна сходиться к нему,
причем сходимость обязана быть равномерной для всех a, b:
|a| c, |b| c.
Теперь распространим теорему на всю числовую ось. Для
любого c > 0 справедливо равенство:

1 x2 1 x2
√ e− 2 dx = 1 − √ e− 2 dx. (3.7)
2π 2π
|x|>c |x|c
Пусть ξn = (μ − np)/σ. Очевидно, что для любого c справед-

ливо равенство:
P {|ξn | > c} = 1 − P {|ξn | c}. (3.8)
Вычтем (3.8) из (3.7) и рассмотрим модуль этой разности:

1 − x2
√ e 2 dx − P {|ξn | > c} =
2π
|x|>c

1 −x 2

= − √ e 2 dx + P {|ξn | c} . (3.9)
2π
|x|c
√ x2
Поскольку |x|>c (1/ 2π)e− 2 dx убывает при c → ∞, то мож-
но гарантировать, что существует c такое, что этот интеграл
будет не больше ε/4.
Рассмотрим отрезок [−c, c]. По доказанному существу-
ет номер n1 такой, что для любых n n1 , правая часть
§ 4. Закон больших чисел 37
(3.9) будет не больше ε/4. Тогда справедливо неравенство:

P {|ξn | > c} ε/2.
Для любых a, b ∈ R обозначим [A, B] = [a, b] ∩ [−c, c].
Несложно заметить, что
b

√1 e− x2 dx − P {a ξn b}
2

2π
a

1 x2
√ e− 2 dx + P {|ξn | > c}+
2π
|x|>c
B

1 x2

+ √ e − 2
dx − P {A ξn B} ε,
2π
A
как бы ни были выбраны точки a и b, всегда существует но-

мер n1 такой, что для любого номера n n1 модуль рассмат-
риваемой разности будет не больше ε, то есть, имеет место
равномерная сходимость для всех a b.
§ 4. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Теорема 4.1 (закон больших чисел для схемы Бернулли).

Пусть число испытаний в схеме Бернулли n → ∞, тогда
для любого ε > 0 имеет место следующая сходимость
μ

P − p > ε −−−−→ 0.
n n→∞
Доказательство. Очевидно, что P {|μ/n − p| > ε} = 1 −

− P {|μ/n − p| ε}. Проведем преобразования:
μ
μ
P − p ε = P −ε − p ε =
n n
n μ − np n
P −ε √ ε .
pq npq pq
Получаем равенство:
⎛ √n ⎞
ε
μ ⎜ pq
1 x2 ⎟
P − p > ε = ⎜
⎝1 − √ e− 2 dx⎟
⎠+
n √n 2π
−ε pq
⎛ √n ⎞
ε pq

⎜ 1 x2 n μ − np n ⎟⎟.
+⎜ √ e− 2 dx − P −ε √ ε
⎝
√ n 2π pq npq pq ⎠
−ε pq
Выражение в первых скобках правой части стремится к нулю,

выражение во вторых скобках по теореме 3.2 тоже стремится
к нулю, из чего следует утверждение теоремы.
§ 5. МЕТОД МОНТЕ-КАРЛО.
ВЫЧИСЛЕНИЕ ИНТЕГРАЛОВ
b
Пусть требуется вычислить интеграл a g(x)dx. При этом
функция g(x) ограничена на отрезке [a, b], т. е. g(x) ∈ [c, d].
Преобразуем функцию g(x) следующим образом:
g(x) − c
ϕ(x) = ,
d−c
тогда функцию g(x) можно представить в виде:
g(x) = c + (d − c)ϕ(x).
При этом ϕ(x) ∈ [0, 1] для всех точек x ∈ [a, b].
b
Запишем интеграл a g(x)dx через интеграл от функции
ϕ(x):
b b
g(x)dx = c(b − a) + (d − c) ϕ(x)dx.
a a
Проведем замену переменных: u = (x − a)/(b − a), получим:
b 1
g(x)dx = c(b − a) + (d − c)(b − a) h(u)du,
a 0
§ 5. Метод Монте-Карло. Вычисление интегралов 39
где h(u) = ϕ(a + (b − a)u). Таким образом, для вычисления ин-

b 1
теграла a g(x)dx достаточно вычислить интеграл 0 h(u)du.
Область, ограниченную функцией h(u), обозначим через A
(рис. 2.1).
Рис. 2.1
Вычисление интеграла с помощью
метода Монте-Карло
Проведем следующий эксперимент. Будем многократно

случайным образом выбирать точку из квадрата со сторо-
ной 1. Если точка принадлежит области A, то будем считать,
что произошел успех. В противном случае будем считать, что
1
произошла неудача. Вероятность успеха p = 0 h(u)du.
Пусть nA — число успехов в серии из n независимых ис-
пытаний, тогда можно считать, что приближенно выполняется
равенство:
1
nA ∼
= h(u)du.
n
0
Метод Монте-Карло особенно эффективен при вычислении

многократных интегралов. В этом случае он имеет преимуще-
ства над численными методами вычисления интегралов (метод
трапеций, метод Симпсона). В случае вычисления k-кратного
интеграла методом Монте-Карло требуется случайным обра-
зом выбирать k + 1 координату и проверять, не принадлежит
ли полученная точка рассматриваемой области A. Также к
преимуществам метода можно отнести его безразличие к ви-

ду подынтегральной функции.
Для нахождения случайных точек можно пользоваться
таблицами случайных чисел. В этих таблицах даны цифры
от 0 до 9. Эти данные можно рассматривать как реализации
взаимно независимых и одинаково распределенных случай-
ных величин, принимающих значения 0, 1, 2,. . ., 9 с одной
и той же вероятностью, равной 0,1. Табулированные цифры
сгруппированы по десять. Каждые десять цифр представля-
ют собой реализацию случайной величины, которая может
принимать значения от 0000000000 до 9999999999 с оди-
наковыми вероятностями, равными 0,0000000001. Если каж-
дую группу из k цифр, рассматриваемую как целое число,
умножить на 10−k , то получим реализации случайных вели-
чин ξ, принимающих k-разрядные значения от 0 до (1 − 10−k )
с одинаковыми вероятностями, равными 10−k . Такое распре-
деление вероятностей близко к равномерному на отрезке [0, 1],
причем, разность соответствующих функций распределения не
превосходит 10−k . Следовательно, реализации ξ можно рас-
сматривать как реализации случайных величин, равномерно
распределенных на отрезке [0, 1]. Эти реализации обычно на-
зывают равномерно распределенными случайными числами.
Для программной реализации случайных чисел используют-
ся датчики случайных чисел.
Произведем оценку полученного с помощью метода Монте-
Карло значения интеграла. Хотелось бы, чтобы ошибка была
не больше ε: μ

− p ε,
n
1
где p = 0 h(u)du — вероятность успеха (попадания в A).
Пусть вероятность выполнения этого неравенства будет боль-
ше некоторого наперед заданного числе 1 − α:
μ

P − p ε 1 − α,
n
или в эквивалентном виде:

n μ − np n
P −ε √ ε 1 − α.
pq npq pq
§ 6. Моделирование случайных величин 41
По интегральной теореме Муавра–Лапласа вероятность в ле-

вой части близка для больших n к интегралу:
√n
ε
pq
1 x2
√ e− 2 dx,
2π √n
−ε pq
!
n
откуда следует, что должно выполняться неравенство: ε pq >
> u1−α/2 , где u1−α/2 — квантиль уровня 1− α/2 стандартного
нормального распределения. Квантиль u1−α/2 определяется из
условия:

u1−α/2
1 x2 α
√ e− 2 dx = 1 − .
2π 2
−∞
Если α задано, то можно найти нижнюю границу для количе-

ства экспериментов n:
u21−α/2
n> pq.
ε2
Очевидно, что maxp∈[0,1] p(1 − p) = 1/4, тогда можно получить
следующее ограничение на количество испытаний:
u21−α/2
n> . (5.1)
4ε2
Замечание 5.1. Оценка (5.1) имеет место и для многомерного
случая, поскольку число испытаний не зависит от размерности
пространства.
§ 6. МОДЕЛИРОВАНИЕ СЛУЧАЙНЫХ
ВЕЛИЧИН
Случайные величины обычно моделируют с помощью пре-
образований одного или нескольких независимых значений
случайной величины ξ, равномерно распределенной на отрезке
[0, 1].
Моделирование случайных величин с дискретным

распределением
Пусть требуется моделировать случайную величину η с дис-

кретным законом распределения с конечным числом значений:
P {η = xi } = pi , i = 1, . . . , k
Разобьем отрезок [0, 1] на полуинтервалы δ1 = [0, p1 ), δ2 =

= [p1 , p1 + p2 ), . . ., δk = [p1 + . . . + pk−1 , 1].
Алгоритм моделирования случайной величины следующий:
1. Получим реализацию случайной величины, равномерно
распределенной на отрезке [0, 1]. Пусть реализовалось
число α.
2. Находим интервал среди δ1 , . . ., δk , которому принадле-
жит число α. Пусть для определенности это будет ин-
тервал δi .
3. Тогда присваиваем значение xi для реализации случай-
ной величины η.
Если требуется получить реализацию целочисленной слу-
чайной величины η с распределением pk = P {η = k} (k =
= 0, 1, . . .) с конечным или счетным числом значений, то мож-
но использовать рекуррентное соотношение:
pi+1 = pi r(i). (6.1)
Пусть α — реализация равномерно распределенной на от-

резке [0, 1] случайной величины. Последовательно вычисля-
k
ем разности α − i=0 pi , пока не получится отрицательное
число. Пусть первый раз отрицательной оказалась разность
k
α − i=0 pi , тогда полагаем η = k. Рекуррентное соотношение
(6.1) можно использовать для последовательного вычисления
вероятностей и накопленных сумм.
Пример 6.1. Для биномиального распределения с параметра-

ми (p, n) вероятность того, что случайная величина η прини-
мает значение i равна
pi = Cni pi (1 − p)n−i .
Найдем вид функции r(i):
pi+1 n! i!(n − i)! p

r(i) = = =
pi (i + 1)!(n − i − 1)! n! 1−p
n−i p
= , i = 0, . . . , n.
i+1 1−p
Пример 6.2. Для случайной величины, подчиняющейся рас-

пределению Пуассона с параметром λ вероятность того, что
случайная величина η принимает значение i равна
λi −λ
pi = e .
i!
Функция r(i) имеет следующий вид:
λ
r(i) = , i = 0, 1, . . .
i+1
Пример 6.3. Для геометрического распределения с парамет-
ром p вероятность того, что случайная величина η принимает
значение i, равна
pi = p(1 − p)i .
Функция r(i) имеет следующий вид:
r(i) = (1 − p), i = 0, 1, . . .
Моделирование случайных величин с непрерывными

функциями распределения
Пусть требуется произвести моделирование случайной ве-

личины η с непрерывной функцией распределения Fη (x) =
= P {η x}. Также сделаем предположение, что функ-
ция Fη (x) монотонно возрастающая на некотором интерва-
ле (x1 , x2 ) и постоянна вне этого интервала, Fη (x1 ) = 0,
Fη (x2 ) = 1, в частном случае x1 = −∞, x2 = ∞. Рассмот-
рим обратную к Fη (x) функцию Fη−1 (y). Нетрудно показать,
что случайная величина Fη−1 (ξ), где ξ — случайная величина,
равномерно распределенная на отрезке [0, 1], имеет функцию

распределения Fη (x), где x ∈ (x1 , x2 ):
P {Fη−1 (ξ) x} = P {ξ Fη (x)} = Fη (x).
Таким образом, в случае монотонного возрастания функции

Fη (x) справедлива формула:
η = Fη−1 (ξ), (6.2)
представляющая способ моделирования случайной величины

η с непрерывной функцией распределения Fη (x).
Пример 6.4. Пусть требуется получить значения случайной

величины η подчиняющейся равномерному на отрезке [a, b]
распределению с функцией распределения:
⎧
⎪
⎨0, если x < a;
Fη (x) = x−a
, если a x < b;
⎪ b−a
⎩
1, если x b.
Решая уравнение (x − a)/(b − a) = y, найдем обратную функ-

цию. Формула (6.2) будет иметь вид:
η = (b − a)ξ + a,
где ξ — случайная величина, равномерно распределенная на

отрезке [0, 1].
Пример 6.5. Пусть требуется получить значения непрерыв-

ной случайной величины η подчиняющейся экспоненциально-
му закону распределения с параметром λ с функцией распре-
деления: &
0, если x < 0;
Fη (x) = −λx
1−e , если x 0.
Решая уравнение 1 − e−λx = y, найдем обратную функцию

F −1 (y) = −1/λ ln(1 − y). Тогда формула (6.2) будет иметь вид:
1
η = − ln(1 − ξ),
λ
или
1
η = − ln ξ,
λ
поскольку случайная величина 1 − ξ, также как и ξ, подчиня-
ется равномерному на [0, 1] распределению.
Глава 3
ЦЕПИ МАРКОВА
§ 1. ПОСЛЕДОВАТЕЛЬНОСТИ ЗАВИСИМЫХ
ИСПЫТАНИЙ. ЦЕПИ МАРКОВА
Рассмотрим последовательность испытаний, в каждом из
которых возможно r исходов из множества {1, . . . , r}. Пусть
испытание с номером 0 закончилось исходом a0 , испыта-
ние с номером 1 — исходом a1 , . . ., испытание с номером
T — исходом aT . Упорядоченная последовательность исходов
ω = (a0 , a1 , . . . , aT ), где ai ∈ {1, . . . , r}, образует элементарное
событие. Множество элементарных событий обозначим через
Ω. Возможно другое описание рассматриваемого вероятност-
ного пространства.
Пусть имеется система, которая может находиться в неко-
тором фазовом пространстве в состояниях 1, 2, . . . , r. Вре-
мя предполагается дискретным и может принимать значения
1, 2, . . . , t, . . . , T . Элементарное событие ω = (a0 , a1 , . . . , aT ) —
траектория движения, где ak — положение системы в момент
времени k. Пространство элементарных событий Ω = {ω =
= (a0 , a1 , . . . , at , . . . , aT ) : at = 1 . . . , r} конечно и |Ω| = rT +1 .
Рассмотрим совокупность подмножеств M = {Mα } .
Определение 1.1. Будем говорить, что алгебра A порождена

совокупностью M и записывать A = α(M), если выполнены
следующие условия:
1. Совокупность M ⊂ A,
2. Если D — некоторая алгебра, относительно которой из-
вестно, что M ⊂ D, тогда A ⊂ D.
§ 1. Последовательности зависимых испытаний 47
Замечание 1.1. Термин «порожденная» равносилен выраже-

нию «минимальная, содержащая M»: A = ∩γ Dγ : Dγ ⊃ M,
где Dγ — всевозможные алгебры, содержащие M.
Замечание 1.2. Если в определении 1.1 заменить термин «ал-
гебра» на термин «σ-алгебра», то получим определение σ-ал-
гебры, порожденной семейством M.
Замечание 1.3. Каким бы ни было семейство M, порожден-
ные им алгебра и σ-алгебра существуют.
Рассмотрим конечное разбиение множества Ω:

m
Ω= Di : Di ∩ Dj = ∅.
i=1
Рассмотрим семейство M = {D1 , . . . , Dm }. Очевидно, что

⎧ ⎧ ⎫ ⎫
⎨ ⎨k ⎬ ⎬
α(M) = D1 , . . . , Dm , ∅, D lj
⎩ ⎩ ⎭ ⎭
j=1
k=1,...,m
— совокупность всевозможных конечных объединений мно-

жеств Di .
Пример 1.1. Частица переходит из одного состояния в дру-
гое. Если предположить, что время дискретно, и наблюдения
за частицей происходят в промежутке времени [0, T ], тогда
траектория движения частицы соответствует элементарному
событию ω = (a0 , a1 , . . . , aT ), где a0 — начальное положение
частицы, a1 — положение частицы в момент времени 1, . . .,
aT — конечное положение частицы.
Выделим следующие события, которые являются подмно-
жествами множества Ω:
(1)
A0 = {ω : a0 = 1},
(2)
A0 = {ω : a0 = 2},
...
(r)
A0 = {ω : a0 = r}.
48 Глава 3. Цепи Маркова
(1) (2) (r)

Множества {A0 , A0 , . . . , A0 } образуют конечное раз-
r (i) (i)
биение множества Ω, поскольку Ω = i=1 A0 и A0 ∩
(j)
∩ A0 = ∅ для любых i = j. Определим алгебру A0 =
(1) (2) (r)
= α(A0 , A0 , . . . , A0 ). В эту алгебру входят все события,
характеризующие начальное положение частицы.
(1) (2)
Аналогичным образом определим события {A1 , A1 , . . .
(r)
. . . , A1 }, характеризующие положения частицы в момент вре-
(1) (2) (r)
мени 1, где A1 = {ω : a1 = 1}, A1 = {ω : a1 = 2}, . . ., A1 =
(1) (2) (r)
= {ω : a1 = r}. Определим алгебру A1 = α(A1 , A1 , . . . , A1 ).
Для любого момента времени t можно аналогично построить
алгебру At . Таким образом, можно построить последователь-
ность алгебр A0 , A1 , . . ., AT . Очевидно, что At ⊂ 2Ω . Пред-
положим, что существует вероятностная мера P (·), заданная
на 2Ω . Введем ограничение: P (ω) > 0 для любого элементар-
ного события ω ∈ Ω. Введем алгебры At−1 0 = α(A0 , . . . , At−1 ),
ATt+1 = α(At+1 , . . . , AT ).
Определение 1.2. Последовательность испытаний A0 , . . ., AT
образует цепь Маркова, если для любого целочисленного мо-
мента времени t ∈ [1, T −1], любого события A ∈ At−1
0 , любого
события B ∈ ATt+1 и для любого исхода k выполняется усло-
вие:
P (A ∩ B/{at = k}) = P (A/{at = k})P (B/{at = k}). (1.1)
Замечание 1.4. Алгебра α (A0 , . . . , At−1 ) содержит события,
относящиеся к поведению частицы до момента t − 1 включи-
тельно. Алгебра α (At+1 , . . . , AT ) содержит события, относя-
щиеся к поведению частицы после момента t + 1, включая его.
Момент времени t — текущий момент времени. Получили про-
цесс, распадающийся на прошлое (α (A0 , . . . , At−1 ) = At−1
0 ),
настоящее At и будущее (α (At+1 , . . . , AT ) = ATt+1 ).
Цепь Маркова — последовательность испытаний, в кото-
рой прошлое и будущее условно независимы при фиксирован-
ном настоящем.
Лемма 1.1. Последовательность испытаний образует цепь
Маркова тогда и только тогда, когда для любого момента вре-
мени t = 1, . . . , T − 1, любого исхода k ∈ {1, . . . , r}, любого
события A ∈ At−1
0 и любого события B ∈ ATt+1 выполняется
условие:
P (B/A ∩ {at = k}) = P (B/{at = k}). (1.2)
Доказательство. Достаточность. Пусть выполнено (1.2),

покажем справедливость (1.1):
P (A ∩ B/{at = k}) =
P ({at = k})P (A/{at = k})P (B/A ∩ {at = k})
= =
P {at = k}
= P (A/{at = k})P (B/{at = k}).
Необходимость. Пусть выполнено (1.1), покажем справед-

ливость (1.2):
P ({at = k})P (A ∩ B/{at = k})

P (B/A ∩ {at = k}) = =
P ({at = k})P (A/{at = k})
P (A/{at = k})P (B/{at = k})
= = P (B/{at = k}).
P (A/{at = k})
Лемма 1.1 дает эквивалентное определение цепи Маркова.

Рассмотрим некоторую траекторию ω = (i0 , . . . , iT ) движе-
ния частицы по состояниям. Найдем вероятность осуществле-
ния траектории ω, используя формулу умножения вероятно-
стей. Получаем выражение:
(i ) (i )
P (ω) = P ({i0 , . . . , iT }) = P (A0 0 ∩ . . . ∩ AT T ) =
(i ) (i ) (i ) (i ) (i ) (i ) (i
T −1 )
= P (A0 0 )P (A1 1 /A0 0 )P (A2 2 /A1 1 ) . . . P (AT T /AT −1 ).
Вероятность любого элементарного события полностью

определяется начальными вероятностями P (Ai0 ), i = 1, . . . , r,
и условными вероятностями P (Ajt+1 /Ait ). Вероятности
P (Ajt+1 /Ait ) называются переходными вероятностями за
один шаг. Зафиксируем момент времени t и сформируем
(j) (i)
матрицу переходных вероятностей Pt = P (At+1 /At ) , где
i = 1, . . . , r — номер строки, j = 1, . . . , r — номер столбца.

Зафиксируем строку i и сложим элементы этой строки:
(1) (i) (2) (i) (r) (i)
P (At+1 /At ) + P (At+1 /At ) + . . . + P (At+1 /At ) = 1.
(1) (r)
События At+1 , . . ., At+1 попарно несовместны, а их объеди-
нение дает достоверное событие, вероятность которого равна
единице.
Определение 1.3. Квадратная матрица с неотрицательными

элементами, у которой сумма элементов в любой строке равна
единице, называется стохастической.
Определение 1.4. Цепь Маркова называется однородной, ес-

ли переходные вероятности за один шаг не зависят от номера
(j) (i)
испытания (момента времени t), P (At+1 /At ) = pij .
Обозначим через P = {pij }i,j=1,...,r матрицу переходных

вероятностей. Найдем вероятность перехода из состояния i в
состояние j за два шага:
& *
(j) (i)

r
(j) (k) (i)
P (At+2 /At ) =P (At+2 ∩ At+1 )/At =
k=1

r
(j) (k) (i)
= P (At+2 ∩ At+1 /At ) =
k=1

r (i) (k) (i) (j) (k)
r
P (At )P (At+1 /At )P (At+2 /At+1 )
= (i)
= pik pkj .
k=1 P (At ) k=1
Полученная формула доказывает, что для однородной цепи

Маркова переходные вероятности за два шага не зависят от
момента времени t. Аналогично можно показать, что переход-
ные вероятности за любое число шагов не зависят от момента
времени t.
(j) (i)
Обозначим через pij (k) = P (At+k /At ) вероятность пере-
хода частицы из состояния i в состояние j за k шагов. Оче-
(j) (i)
видно, что P (At+1 /At ) = pij = pij (1).
Лемма 1.2 (уравнение Чепмена–Колмогорова). Для однород-

ной цепи Маркова для любого момента времени t 1 и любо-
го s 1 переходную вероятность из состояния i в состояние
j за t + s шагов можно найти по формуле

r
pij (t + s) = pik (t)pkj (s). (1.3)
k=1
Доказательство. Покажем, что уравнение (1.3) справед-

ливо для однородной цепи Маркова:
(j) (i)

r
(k) (j) (i)
pij (t + s) = P (At+s /A0 ) = P (At ∩ At+s /A0 ) =
k=1

r (i) (k) (i) (j) (k)
P (A0 )P (At /A0 )P (At+s /At )
= (i)
=
k=1 P (A0 )

r
= pik (t)pkj (s).
k=1
Запишем уравнение (1.3) в матричном виде:
P (t + s) = P (t)P (s), (1.4)
где P (t) — матрица переходных вероятностей за t шагов,

P (1) = P . Если взять s = 1, тогда получим формулу P (t+1) =
= P (t)P (1) верную для любого t. Следовательно, для любого
t 1 верно равенство:
P (t) = P t . (1.5)
По определению можно положить, что P 0 = E, где E — еди-

ничная матрица порядка r.
§ 2. ТЕОРЕМА О ПРЕДЕЛЬНЫХ ВЕРОЯТНОСТЯХ

ДЛЯ ЦЕПЕЙ МАРКОВА
Теорема 2.1. Пусть задана однородная цепь Маркова, и
существует момент времени t0 такой, что pij (t0 ) > 0 для
любых i, j = 1, . . . , r, тогда существуют lim pij (t) = pj для
t→∞
любого j = 1, . . . , r. Причем пределы не зависят от началь-
ного состояния. Предельные вероятности p1 , . . ., pr явля-
ются единственным решением системы линейных уравне-
ний:
r r
xj = 1, xj = xk pkj , j = 1, . . . , r.
j=1 k=1
Доказательство. Рассмотрим матрицу переходных веро-

ятностей P (t) и выберем произвольным образом столбец

(p1j (t), p2j (t), . . . , prj (t)) . Выберем максимальный и мини-
мальный элемент в столбце:
Mj (t) = max pij (t),

i
mj (t) = min pij (t).

i
Очевидно, что справедливо неравенство:
mj (t) pij (t) Mj (t). (2.1)
Рассмотрим матрицу переходных вероятностей P (t + 1). Вос-

пользовавшись уравнением (1.3), получим:

r
pij (t + 1) = pik pkj (t).
k=1
Тогда mj (t) pij (t + 1) Mj (t) для любого i. Для любого t

справедливы неравенства:
mj (t) mj (t + 1) pij (t + 1) Mj (t + 1) Mj (t),
следовательно, mj (t) — неубывающая последовательность,

ограниченная сверху, а Mj (t) — невозрастающая последо-
вательность, ограниченная снизу: mj (t) 1, Mj (t) 0.
§ 2. Теорема о предельных вероятностях для цепей Маркова 53
Значит, для любого j существуют пределы limt→∞ Mj (t),

limt→∞ mj (t), кроме того, выполнено неравенство:
0 Mj (t + 1) − mj (t + 1) Mj (t) − mj (t).
Причем последовательность разностей монотонна и ограни-
чена снизу, следовательно, для любого j существует предел
limt→∞ (Mj (t) − mj (t)).
Предположим, что верно следующее утверждение:
lim (Mj (t) − mj (t)) = 0. (2.2)
t→∞
Тогда из (2.1) видно, что если существует предел

lim mj (t) = lim Mj (t) = pj ,
t→∞ t→∞
то для любого i выполняется limt→∞ pij (t) = pj . Докажем

справедливость утверждения (2.2). Из уравнения (1.3) следу-
ют соотношения:

r
Mj (t0 + t) = puj (t0 + t) = puk (t0 )pkj (t),
k=1

r
mj (t0 + t) = pvj (t0 + t) = pvk (t0 )pkj (t).
k=1
Найдем разность:

r
Mj (t0 + t) − mj (t0 + t) = (puk (t0 ) − pvk (t0 ))pkj (t) =
k=1
+
−

= (puk (t0 ) − pvk (t0 ))pkj (t) − |puk (t0 ) − pvk (t0 )| pkj (t),
все слагаемые в обеих суммах неотрицательны, т. е. во вторую
сумму входят только слагаемые (puk (t0 ) − pvk (t0 ))pkj (t) < 0.
Заметим, что
+
−

(puk (t0 ) − pvk (t0 )) − |(puk (t0 ) − pvk (t0 ))| =

r
= (puk (t0 ) − pvk (t0 )) = 0.
k=1
+
Введем обозначение du,v = (puk (t0 ) − pvk (t0 )), причем 0
du,v < 1. Если рассмотреть произвольные u, v, то ничего не
изменится. Введем
max(du,v ) = d.
(u,v)
Очевидно, что 0 d < 1. Таким образом, для любого t 1

оценка исходной разности примет следующий вид:
Mj (t0 + t) − mj (t0 + t) d(Mj (t) − mj (t)).
При t = t0 получаем:
Mj (2t0 ) − mj (2t0 ) d(Mj (t0 ) − mj (t0 )),
при t = 2t0 получаем:
Mj (2t0 + t0 ) − mj (2t0 + t0 ) d2 (Mj (t0 ) − mj (t0 )).
Получаем, что для любого l справедливо неравенство:
Mj ((l + 1)t0 ) − mj ((l + 1)t0 ) dl (Mj (t0 ) − mj (t0 )),
где 0 d < 1. Заметим, что при l → ∞ имеет место сходи-

мость: dl (Mj (t0 ) − mj (t0 )) → 0. Следовательно, предел после-
довательности существует и равен нулю.
Докажем вторую часть теоремы. Рассмотрим систему урав-
нений:

r
r
xj = 1, xj = xk pkj , j = 1, . . . , r.
j=1 k=1
Запишем систему в матричном виде xT = xT P . Перейдем к

пределу в равенстве:

r
pij (t) = 1
j=1
r
при t → ∞, получим j=1 pj = 1.
r уравнения Чепмена–Колмогорова имеем: pij (t + 1) =
Из
= k=1 pik (t)pkj . При t → ∞ получаем равенство: pj =
r
= k=1 pk pkj .
§ 2. Теорема о предельных вероятностях для цепей Маркова 55
Докажем единственность. Домножим на P уравнение xT =

= xT P , получим уравнение xT P = xT P 2 . Домножим полу-
ченное уравнение на P , получим уравнение xT P 2 = xT P 3
и так далее. Если рассмотреть полученные уравнения в ви-
де системы уравнений, то окажется, что если x — решение,
то xT = xT P t для любого t ∈ Z или в скалярной
r форме:
r
xj = k=1 xk pkj (t). Пусть t → ∞, тогда xj = k=1 xk pj = pj .
Таким образом, любое решение совпадает с тем, которое мы
получили.
Глава 4
ОСНОВНЫЕ ВЕРОЯТНОСТНЫЕ
ПРОСТРАНСТВА
§ 1. ПОЛУАЛГЕБРЫ. ТЕОРЕМЫ
О ПРОДОЛЖЕНИИ МЕРЫ
Определение 1.1. Систему подмножеств S множества Ω бу-
дем называть полуалгеброй, если выполнены следующие усло-
вия:
1. Ω ∈ S.
2. Если A ∈ S, B ∈ S, то A ∩ B ∈ S.
3. Если A ∈ S, то множество Ā можно представить в виде
m
Ā = k=1 Bk , где Bk ∈ S, Bi ∩ Bj = ∅ для всех i = j.
Определение 1.2. Неотрицательная числовая функция μ:

S → [0, ∞] называется конечно-аддитивной мерой на полу-
алгебре S, если выполняются следующие условия:
1. μ(∅) = 0.
2. Для всех множеств B1 , . . . , Bk ∈ S таких, что Bi ∩Bj = ∅
k
для всех i = j, i=1 Bi ∈ S выполнено:

k
k
μ Bi = μ(Bi ).
i=1 i=1
k
Объединение множеств
k i=1 Bi будем обозначать через
i=1 Bi , если Bi ∩ Bj = ∅ для всех i = j.
Если μ(Ω) = 1, то конечно-аддитивная мера μ называется
конечно-аддитивной вероятностой мерой и обозначается P .
§ 1. Полуалгебры. Теоремы о продолжении меры 57
Определение 1.3. Пусть μ — конечно-аддитивная мера на S.

∞ множеств Bk ∈ S таких,
Если для всех ∞что Bi ∩
Bj = ∅ для
∞
всех i = j, i=1 Bi ∈ S выполнено: μ ( i=1 Bi ) = i=1 μ(Bi ),
то μ — счетно-аддитивная мера на полуалгебре S.
Если существует последовательность множеств {Ai }, Ai ∈
∞
∈ S для любого i, при этом Ai ⊂ Ai+1 и i=1 Ai = Ω, μ(Ai ) <
< +∞ для любого i, то счетно-аддитивная мера μ называется
σ-конечной мерой. Если μ(Ω) = 1, то μ — счетно-аддитивная
вероятностная мера.
Как отмечалось в главе 3, алгебра A порождена системой
множеств M, и обозначать такую алгебру будем через α(M),
если A ⊃ M и, кроме того, любая другая алгебра D, содер-
жащая M, содержит алгебру A, A ⊂ D.
Теорема 1.1. Пусть S — полуалгебра подмножеств множе-
ства Ω. Семейство A, состоящее из всевозможных конеч-
ных объединений непересекающихся элементов полуалгеб-
ры S представляет собой алгебру, порожденную полуалгеб-
рой S, A = α(S).
Доказательство. Для доказательства теоремы достаточно
заметить, что система множеств, о которой говорится в усло-
вии теоремы, является алгеброй, содержит полуалгебру S и,
кроме того, она должна содержаться в любой алгебре, содер-
жащей полуалгебру S.
Теорема 1.2 (теорема о продолжении конечно-аддитивной
меры с полуалгебры на алгебру). Пусть S — полуалгебра
подмножеств множества Ω. Пусть на S задана конечно-
аддитивная мера μ, тогда существует и единственна
конечно-аддитивная мера ν, определенная на α(S) и та-
кая, что для любого множества E ∈ S: ν(E) = μ(E).
Доказательство. В силу теоремы 1.1 любое множество
B∈ α(S) может быть представлено следующим образом: B =
m
= i=1 Ei , где Ei ∩ Ej = ∅, i = j, Ei ∈ S. Следовательно, по
определению можно записать представление:
m
ν(B) = μ(Ei ). (1.1)
i=1
58 Глава 4. Основные вероятностные пространства
Необходимо показать, что функция ν задана корректно, и что

она является конечно-аддитивной. Представим, что множество
n
B можно записать в виде конечной суммы: B = j=1 Fj ,
Fi ∩ Fj = ∅, i = j, Fj ∈ S, из чего следует, что должно
выполняться равенство:

n
ν(B) = μ(Fj ). (1.2)
j=1
n
Покажем, что из (1.1) следует (1.2). Поскольку Fj =
m j=1
m
= m Fj представимо в виде i=1 Fj ∩
i=1 Ei , следовательно,
∩ Ei . Тогда μ(Fj ) = i=1 μ(Fj ∩ Ei ). Рассуждая аналогично,
n
получаем μ(Ei ) = j=1 μ(Fj ∩ Ei ). Берем от первого выраже-
ния сумму по j, от второго — по i и получаем (1.2). Нетрудно
проверить, что функция ν(·) конечно-аддитивная.
Теорема 1.3. Пусть S — полуалгебра подмножеств мно-

жества Ω. Пусть на S задана счетно-аддитивная σ-ко-
нечная мера μ. Тогда существует и единственна счетно-
аддитивная σ-конечная мера ν, определенная на α(S), та-
кая, что для любого множества E ∈ S имеет место равен-
ство: ν(E) = μ(E).
Доказательство. По предположению μ — счетно-аддитив-
ная, следовательно, μ — конечно-аддитивная мера. По теоре-
ме 1.2 существует единственная конечно-аддитивная мера ν,
для которой выполнено условие теоремы. Нетрудно показать,
что мера ν, определенная равенством (1.1), счетно-аддитивна.
Замечание 1.1. Теоремы 1.2 и 1.3 относятся к конечно-

аддитивной и счетно-аддитивной мерам, заданным на полу-
алгебре.
Теорема 1.4 (о продолжении σ-конечной счетно-аддитив-
ной меры с алгебры на σ-алгебру). Пусть A — алгебра
подмножеств множества Ω. Пусть на A задана σ-конеч-
ная счетно-аддитивная мера μ. Тогда существует и един-
ственна счетно-аддитивная σ-конечная мера ν, определен-
ная на σ-алгебре, порожденной алгеброй A такая, что
§ 2. Примеры измеримых пространств 59
для любого множества E ∈ A имеет место равенство

ν(E) = μ(E).
Доказательство. Доказательство теоремы можно найти в
[27].
Замечание 1.2. 1. Из теорем 1.2, 1.3, 1.4 следует, что для

того, чтобы задать меру на σ-алгебре, достаточно задать
ее на полуалгебре, если σ-алгебра порождена полуалгеб-
рой.
2. Все теоремы справедливы для вероятностных мер.
Пара (Ω, F) называется измеримым пространством. Будем
предполагать, что σ-алгебра F порождается полуалгеброй S,
то есть
F = σ(S)
или можно рассматривать два этапа: F = σ(α(S)).
Замечание 1.3. Рассмотрим измеримое пространство и неко-
торую меру на нем. Может оказаться так, что σ-алгебра F
неполна относительно меры μ. Это означает, что существует
множество E нулевой меры, μ(E) = 0, что подмножества мно-
жества E могут не принадлежать σ-алгебре F. В этом случае
всегда можно провести процедуру пополнения σ-алгебры, до-
бавив в нее все подмножества множества нулевой меры. Стро-
гое изложение процедуры пополнения содержится, например,
в [27].
§ 2. ПРИМЕРЫ ИЗМЕРИМЫХ ПРОСТРАНСТВ

Пример 2.1. Пусть Ω = R — вся числовая ось. Рассмотрим
семейство множеств:
I1 = {(−∞, +∞), (−∞, a], (a, b], (b, +∞)},
где a ∈ R, b ∈ R. Нетрудно проверить, что I1 — полуалгебра.
Назовем σ(α(I1 )) = σ(I1 ) = B(R) борелевской σ-алгеброй на
числовой прямой. Справедливо равенство:
∞ +
1
(a, b) = a, b − ∈ B(R).
n=1
n
Как известно [19], любое открытое множество на числовой

прямой представляет собой не более чем счетное объединение
интервалов. Так как операция счетного объединения не выво-
дит из σ-алгебры, то все открытые множества будут входить
в борелевскую σ-алгебру, следовательно, все замкнутые мно-
жества также будут входить в борелевскую σ-алгебру. Так же
будут входить в нее и все одноточечные множества:
∞ +
1
{a} = a − ,a .
n=1
n
Пример 2.2. Рассмотрим декартово n-кратное произведение

числовой прямой Ω = Rn = {(x1 , . . . , xn ) : xi ∈ R}. Введем
множество
I = I1 × I 2 × . . . × I n ,
где I1 ∈ I1 (R), . . . , In ∈ I1 (R).
Рассмотрим систему подмножеств I2 = {I = I1 × . . . × In }.
Нетрудно показать, что I2 — полуалгебра. Введем множество
B = B1 × . . . × Bn , где B1 ∈ B(R), . . . , Bn ∈ B(R). Рассмотрим
всевозможные множества {B = B1 × . . . × Bn } = I3 . Нетрудно
показать, что I3 — полуалгебра.
Понятно, что I3 ⊃ I2 . Из этого следует, что α(I3 ) ⊃ α(I2 ),
но можно показать [35], что σ(α(I3 )) = σ(α(I2 )) = B(Rn ).
Назовем борелевской σ-алгеброй σ-алгебру B(Rn ).
Пример 2.3. Рассмотрим Ω = R∞ = {(x1 , . . . , xn , . . .) : xk ∈
∈ R}. Введем цилиндрические множества Cn (I1 × . . . × In ) =
= {(x1 , . . . , xn , . . .) ∈ R∞ : x1 ∈ I1 , . . . , xn ∈ In }, где I1 ∈
∈ I1 , . . . , In ∈ I1 . Рассмотрим семейство всех таких цилин-
дрических множеств:
{Cn (I1 × . . . × In )} = I4 .
Нетрудно показать, что I4 — полуалгебра. Можно рас-

смотреть цилиндры другого вида Cn (B1 × . . . × Bn ) =
= {(x1 , . . . , xn , . . .) : x1 ∈ B1 , . . . , xn ∈ Bn }, где B1 ∈ B(R),
. . ., Bn ∈ B(R). Рассмотрим семейство таких цилиндрических
множеств:
{Cn (B1 × . . . × Bn )} = I5 ⊃ I4 .
§ 3. Вероятностное пространство (R, B(R), P ) 61
Система множеств I5 также является полуалгеброй. Возьмем

в основании цилиндра множество B, а именно
Cn (B) = {(x1 , . . . , xn , . . .) : (x1 , . . . , xn ) ∈ B, B ∈ B(Rn )}
и рассмотрим совокупность множеств {Cn (B)} = I6 ⊃ I5 . Си-

стема множеств I6 образует алгебру. Можно показать, что
σ-алгебры, порожденные введенными системами множеств
совпадают: σ(I6 ) = σ(I5 ) = σ(I4 ) = B(R∞ ). Далее будем
называть σ-алгебру B(R∞ ) σ-алгеброй борелевских множеств
бесконечномерного пространства.
Замечание 2.1. В примере 2.1 можем рассматривать расши-
ренную числовую прямую Ω = [−∞, +∞], т. е. добавляем ко
множеству R еще два элемента: −∞ и +∞. Нетрудно по-
строить полуалгебру и σ-алгебру на расширенной числовой
прямой, включив в нее два одноточечных множества {−∞} и
{∞}.
§ 3. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО (R, B(R), P )

Пусть вероятностная мера P задана на борелевской σ-ал-
гебре B(R). Для любого A ∈ B(R) задана вероятность P (A).
Будем рассматривать событие B = (−∞, x], x ∈ R. Определим
функцию распределения F (x) следующим образом:
F (x) = P (B) = P (−∞, x].
Свойства функции распределения
1. Пусть x1 < x2 , тогда F (x1 ) F (x2 ), функция F (x) мо-

нотонно неубывающая.
Доказательство. Как легко заметить, P (−∞, x2 ] =
= P (−∞, x1 ] + P (x1 , x2 ]. Следовательно, F (x2 ) F (x1 ).
2. В любой точке y ∈ R выполняется равенство: F (y + 0) =

= F (y), функция непрерывна справа, lim F (x) =
x→y+0
= F (y), и существует предел слева lim F (x), кото-
x→y−0
рый может не совпадать с F (y).
Доказательство. Пусть x < y, следовательно по перво-

му свойству F (x) F (y), но тогда существование преде-
ла lim F (x) очевидно вследствие монотонности функ-
x→y−0
ции. Возьмем любую последовательность {xn } −−−−→
n−→∞
y + 0, xn+1 < xn . Рассмотрим F (xn ) − F (y) = P (y, xn ].
Введем событие
∞ An = (y, xn ], тогда An+1 ⊂ An . Очевид-
но, что n=1 An = ∅. Счетно-аддитивная вероятностная
мера непрерывна. Следовательно, можно гарантировать,
что P (y, xn ] −−−−→ 0.
n→∞
3. Справедливы следующие равенства: lim F (x) = F (∞) =

x→∞
= 1, lim F (x) = F (−∞) = 0.
x→−∞
Доказательство. В силу монотонности F (x) достаточ-
но рассмотреть любую возрастающую последователь-
ность, поэтому выберем последовательность натураль-
ных чисел {n}, она возрастающая, и последователь-
ность {−n} — убывающая. Рассмотрим разность F (n) −
− F (−n) = P (−∞, n] − P (−∞, −n] = P (−n, n]. Обозна-
∞ через An полуинтервал (−n, n], тогда An ⊂ An+1 ,
чим
n=1 An = R.
По свойству непрерывности:
P (−n, n] −−−−→ P (R) = 1,

n→∞
но тогда lim (F (n) − F (−n)) = 1, что равносильно, в

n→∞
виду монотонности, F (n) −−−−→ 1, F (−n) −−−−→ 0.
n→∞ n→∞
Определение 3.1. Рассмотрим на числовой прямой класс

функций, удовлетворяющий свойствам 1, 2, 3. Будем называть
представителей этого класса функциями распределения.
Теорема 3.1. Пусть F (x) — некоторая произвольно вы-

бранная функция распределения, тогда существует и един-
ственна вероятностная мера P , заданная на (R, B(R)) та-
кая, что для любых a, b, a < b имеет место равенство
P (a, b] = F (b) − F (a).
§ 3. Вероятностное пространство (R, B(R), P ) 63
Доказательство. Составим полуалгебру I1 = {(−∞, ∞),

(−∞, a], (a, b], (b, +∞)}, где a, b ∈ R. Далее рассмотрим σ-ал-
гебру σ(α(I1 )) = σ(I1 ). Введем функцию P0 на полуалгебре
и убедимся, что она конечно-аддитивна, затем, что счетно-
аддитивна: P0 (−∞, ∞) = 1 = F (∞) − F (−∞), P0 (−∞, a] =
= F (a), P0 (a, b] = F (b) − F (a), P0 (b, +∞) = 1 − F (b).
Видим, что функция P0 неотрицательна. Проверим, что
она конечно-аддитивна. Для этого разобьем промежуток (a, b]
точкой c:(a, b] = (a, c] + (c, b], где c ∈ (a, b]. P0 (a, b] = F (b) −
− F (a) ± F (c) = F (c) − F (a) + F (b) − F (c) = P0 (a, c] + P0 (c, b].
Аналогично можно проверить конечную аддитивность для лю-
бых элементов полуаглебры. По теореме § 1. о продолжении
меры с полуалгебры на алгебру считаем, что P0 — конечно-
аддитивная вероятностная мера на α(I1 ).
Докажем, что P 0 — счетно-аддитивная мера на полуалгеб-
∞
ре. Пусть (a, b] = i=1 (ai , bi ], (ai , bi ] ∩ (aj , bj ] = ∅, i = j. Те-
перь для любых εi > 0 и для любого δ > 0 имеет место вклю-
∞
чение [a+δ, b] ⊂ i=1 (ai , bi +εi ), εi > 0. Для компактного мно-
жества из любого открытого покрытия можно выделить конеч-
ноеподпокрытие, поэтому, существует
m mномер m, что [a+δ, b] ⊂
⊂ i=1 (ai , bi + εi ), тогда (a + δ, b] ⊂ i=1 {(ai , bi ] ∪ (bi , bi + εi ]},
но тогда
&m *

P0 (a + δ, b] P0 {(ai , bi ] ∪ (bi , bi + εi ]}
i=1

m
(P0 (ai , bi ] + P0 (bi , bi + εi ])
i=1
∞ ∞

P0 (ai , bi ] + (F (bi + εi ) − F (bi )). (3.1)
i=1 i=1
Функция F (x) непрерывна справа в каждой точке, следова-

тельно, можно выбрать εi так, чтобы разность F (bi +εi )−F (bi )
была меньше ε/2i . Следовательно для любого ε > 0 и для лю-
бого δ > 0 справедливо неравенство:
∞

P0 (a + δ, b] = F (b) − F (a + δ) P0 (ai , bi ] + ε.
i=1
∞ устремить ε и δ к 0, следовательно P0 (a, b]

Можем
i=1 P0 (ai , bi ]. С другой стороны, очевидно, mчто (a, b] ⊃
m
⊃ i=1 (ai , bi ] при любом m. Тогда P0 (a, b] i=1 P0 (ai , bi ].
Переходя к пределу при m → ∞, получаем ∞ противоположное
неравенство. Следовательно, P0 (a, b] = i=1 P0 (ai , bi ].
+∞
Возьмем любое подмножество I ⊂ I1 : I = n=−∞ I ∩
∩ (n, n + 1]. Нетрудно показать, что
+∞

P0 (I) = P0 (I ∩ (n, n + 1]) .
n=−∞
+∞ рассмотрим следующее множество:I+∞= (b, +∞),

Например,
тогда n=−∞ {(b, +∞) ∩ (n, n + 1]} = (b, l] + n=l (n, n + 1],
l − 1 b < l. Очевидно, что
+∞

P0 (I ∩ (n, n + 1]) =
n=−∞

k
= F (l) − F (b) + lim (F (n + 1) − F (n)) =
k→∞
n=l
= lim (F (l) − F (b) + F (l + 1) − F (l) + . . . + F (k + 1)) =
k→∞
= lim (F (k + 1) − F (b)) = F (∞) − F (b) =
k→∞
= 1 − F (b) = P0 (I).
Аналогично рассматриваются все другие элементы полуалгеб-
ры. Теперь докажем счетную аддитивность меры P0 на полу-
∞
алгебре. Пусть I = k=1 Ik , I ∈ I1 , Ik ∈ I1 , Ik ∩ In = ∅,
k = n. По доказанному ранее получаем:
+∞

P0 (I) = P0 (I ∩ (n, n + 1]) =
n=−∞
+∞
+∞

= P0 (Ik ∩ (n, n + 1]) =
n=−∞ k=1
+∞
∞
= P0 (Ik ∩ (n, n + 1]) =
n=−∞ k=1
§ 4. Классификация вероятностных мер 65
∞
+∞ ∞

= P0 (Ik ∩ (n, n + 1]) = P0 (Ik ).
k=1 n=−∞ k=1
Отсюда следует, что P0 — счетно-аддитивная мера на полу-

алгебре, поэтому, по теореме 1.4 она единственным образом
продолжается на σ-алгебру.
Замечание 3.1. Каждой вероятностной мере P на (R, B(R))

соответствует единственная функция распределения F и на-
оборот.
Отметим ряд важных свойств:
& ∞
*
1
P ({a}) = P (a − , a] =
n=1
n
1 1
= lim P {(a − , a]} = lim (F (a) − F (a − )) =
n→∞ n n→∞ n
= F (a) − F (a − 0).
Если функция F (x) непрерывна в точке a, то P ({a}) = 0.

Также справедливы равенства:
P (a, b) = P (a, b] − P ({b}) =

= F (b) − F (a) − F (b) + F (b − 0) = F (b − 0) − F (a),
P [a, b] = P ({a}) + P (a, b] =

= F (a) − F (a − 0) + F (b) − F (a) = F (b) − F (a − 0).
§ 4. КЛАССИФИКАЦИЯ ВЕРОЯТНОСТНЫХ МЕР

Дискретная вероятностная мера
Определение 4.1. Будем говорить, что мера P , заданная на

числовой оси, дискретна, если существует не более,
чем счет-
ная совокупность точек {ai }: P {ai } > 0, причем i P {ai } = 1,
точки {ai } называются носителями меры.
Рис. 4.1
Функция распределения, соответствующая
дискретной мере

Так как P {ai } = F (ai )−F (ai −0) > 0, то i (F (ai )−F (ai −
− 0)) = 1, тогда функция F (x) может быть только кусочно-
постоянной (рис. 4.1).
Абсолютно непрерывная вероятностная мера

Определение 4.2. Будем говорить, что вероятностная мера
P , заданная на (R, B(R)), абсолютно непрерывна относитель-
но меры Лебега (для краткости, абсолютно непрерывна), если
существует f (x) 0 такая, что для любого борелевского мно-
жества B ∈ B(R) выполнено:

P (B) = f (x)dx. (4.1)
B
В равенстве (4.1) рассматривается интеграл Лебега по ме-

ре Лебега, неотрицательную функцию f (x) называют плот-
ностью вероятностной меры P относительно меры Лебега.
Если B = (−∞, x], то P (B) = F (x), из (4.1) следует, что
x
F (x) = f (t)dt. (4.2)
−∞
Таким образом, формула (4.2) — частный случай формулы

(4.1). Нетрудно показать, что (4.1) и (4.2) эквивалентны, то
есть неотрицательная функция f (x) — плотность, если для

любого x ∈ R выполнено (4.2).
Замечание 4.1. Важное свойство интеграла Лебега заклю-
чается в том, что если мы изменим под знаком интеграла
подынтегральную функцию на множестве меры 0, то интеграл
от этого никак не изменится.
Замечание 4.2. Монотонные функции почти всюду диффе-
ренцируемы и почти всюду имеет место равенство (см. [19]):
F (x) = f (x).
п.в.
(4.3)
Если для любого x ∈ R функция f (x) неотрицательна и
+∞ x
−∞
f (x)dx = 1, то −∞ f (t)dt — функция распределения на
R, которой взаимно
однозначно соответствует мера P такая,
что P (B) = B f (x)dx.
Функцию
1 x2
f (x) = √ e− 2
2π
называют плотностью стандартного нормального распределе-
ния.
Сингулярная мера. Сингулярная функция распределения

Определение 4.3. Пусть F (x) — некоторая произвольная
функция распределения на R. Будем говорить, что точка z —
точка роста функции F , если для любого ε > 0 справедливо:
F (z + ε) − F (z − ε) > 0.
Определение 4.4. Будем говорить, что непрерывная функ-
ция распределения F (x) сингулярна, если множество точек
роста имеет меру Лебега равную нулю. Вероятностная мера,
взаимно однозначно соответствующая сингулярной функции
распределения, называется сингулярной.
Для сингулярной функции выполняется соотношение:
п.н. x
F (x) = 0, но тогда F (x) = −∞ F (x)dx, при этом F (x)
непрерывна. Следовательно, функция распределения не вос-
станавливается по своей производной.
Пример 4.1. Пример Кантора сингулярной функции распре-

деления. Кусочно-линейная непрерывная функция F0 (x) пред-
ставлена графиком (рис. 4.2).
Рис. 4.2
Функция F0 (x)
Непрерывная функция распределения F1 (x) равна нулю ле-

вее точки x = 0 и равна 1 правее точки x = 1. Отрезок [0, 1]
делим на 3 равные части. Значение функции внутри средне-
го интервала постоянно и равно среднему арифметическому
ближайших слева и справа уже заданных значений (рис. 4.3).
Рис. 4.3
Значение функции на оставшихся интервалах определим

с помощью линейной интерполяции, т. о. определим функцию
F1 (x) на отрезке [0, 1] следующим образом:

⎧
⎪
⎨0, x = 0,
F1 (x) = 1/2, x ∈ (1/3, 2/3), (4.4)
⎪
⎩
1, x = 1,
доопределяя ее в остальных точках отрезка [0, 1] с помощью

линейной интерполяции.
Далее каждый из отрезков [0, 1/3] и [2/3, 1] также разби-
ваем на три части по вышеописанному правилу, определяем
функцию: ⎧
⎪0,
⎪ x = 0,
⎪
⎪
⎪
⎪ 1/4, x ∈ (1/9, 2/9),
⎨
F2 (x) = 1/2, x ∈ (1/3, 2/3), (4.5)
⎪
⎪
⎪
⎪ 3/4, x ∈ (7/9, 8/9),
⎪
⎪
⎩1, x = 1,
доопределяя ее в остальных точках отрезка [0, 1] с помощью
линейной интерполяции (рис. 4.4).
Таким образом строится последовательность функций рас-
пределения Fn (x). Все функции Fn (x) непрерывны. Для лю-
бого x последовательность Fn (x) сходится в себе, то есть для
Рис. 4.4
любого ε > 0 существует номер n0 такой, что для любых

n > n0 , m > n0 справедливо неравенство: |Fn (x) − Fm (x)| < ε.
То есть существует предел lim Fn (x) = F (x). В данном слу-
n→∞
чае сходимость не только поточечная, но и равномерная:
sup |F (x) − Fn (x)| −−−−→ 0.

x n→∞
Следовательно, предельная функция F (x) — непрерывная

функция распределения на числовой оси. Функция F (x) яв-
ляется сингулярной функцией распределения. Проанализиру-
ем участки функции внутри отрезка [0, 1], где она является
постоянной:
2
1 2 4 1 2 2 1 1
+ + + ... = 1+ + + ... = = 1.
3 9 27 3 3 3 3 1 − 23
Таким образом, суммарная длина участков, содержащихся в

[0, 1], на которых F (x) является постоянной, равна 1. Произ-
водная функции F (x) почти всюду существует и почти всюду
равна 0.
Теорема 4.1 (теорема Лебега). Любая функция распреде-

ления F (x) на числовой прямой представима в следующем
виде:
F (x) = p1 F1 (x) + p2 F2 (x) + p3 F3 (x),
где p1 , p2 , p3 0, p1 + p2 + p3 = 1, F1 (x) — кусочно-постоян-
ная функция распределения, F2 (x) — абсолютно-непрерыв-
ная функция распределения, F3 (x) — сингулярная функция
распределения.
§ 5. КОНЕЧНОМЕРНОЕ ВЕРОЯТНОСТНОЕ
ПРОСТРАНСТВО (Rn , B(Rn ))
Рассмотрим вероятностное пространство (Rn , B(Rn ), P ).
Для любого B ∈ B(Rn ) задана вероятность P (B). Возьмем
в качестве B множество специального вида:
B = (−∞, x1 ] × . . . × (−∞, xn ].
§ 5. Конечномерное вероятностное пространство (Rn , B(Rn )) 71
Таким образом, определена функция F (x1 , . . . , xn ): P (B) =

= F (x1 , . . . , xn ). Функция F (x1 , . . . , xn ) называется функцией
распределения, соответствующей вероятностной мере P в про-
странстве Rn . Выясним ее свойства, введя для этого разност-
(i)
ный оператор Δai ,bi h(x1 , . . . , xn ) = h(x1 , . . . , xi−1 , bi , xi+1 , . . .
. . . , xn ) − h(x1 , . . . , xi−1 , ai , xi+1 , . . . , xn ).
1. Последовательно применим разностный оператор (каж-
дый по своей оси), тогда
(1) (2) (n)
Δa1 ,b1 Δa2 ,b2 . . . Δan ,bn F (x1 , . . . , xn ) 0,
здесь ai < bi , i = 1, . . . , n.
Доказательство. Рассмотрим случай n = 2, т. е.
(1) (2)
Δa1 ,b1 Δa2 ,b2 F (x1 , x2 ).
Имеют место равенства:
P {(−∞, x1 ] × (−∞, b2 ]} = F (x1 , b2 ),
P {(−∞, x1 ] × (−∞, a2 ]} = F (x1 , a2 ),

(2)
Δa2 ,b2 F (x1 , x2 ) = P {(−∞, x1 ] × (a2 , b2 ]},
(1)
Δa1 ,b1 P {(−∞, x1 ] × (a2 , b2 ]} = P {(a1 , b1 ] × (a2 , b2 ]} 0.
2. Функция F (x) непрерывна справа в любой точке по всем

аргументам. Для любого y = (y1 , . . . , yn ) имеет место
равенство:
lim F (x1 , . . . , xn ) = F (y1 , . . . , yn ).

∀i:xi →yi +0
Доказательство. Рассмотрим множество Am =

= (−∞, x1 (m)] × . . . × (−∞, xn (m)], где последова-
тельности выбраны следующим образом: x1 (m) →
→ y1 + 0,. . .,xn (m) → yn + 0. Пусть A = (−∞, y1 ] ×
× . . . × (−∞, yn ].Из построения очевидно, что Am+1 ⊂
∞
⊂ Am , и A = m=1 Am . По свойству непрерывности
P (Am ) −−−−→ P (A), то есть F (x1 (m), . . . , xn (m)) −−−−→
m→∞ m→∞
F (y).
3. Справедливы утверждения: F (x1 , . . . , xn ) −−−−−−−→ 1 и

∀i:xi →+∞
F (x1 , . . . , xn ) −−−−−−−→ 0, если существует xi → −∞.
∃i:xi →−∞
Доказательство. Пусть выбраны следующие последова-
тельности: x1 (m) → +∞,. . .,xn (m) → +∞. Пусть Am =
= (−∞, x1(m)] × . . . × (−∞, xn (m)]. Очевидно, что Am ⊂
⊂ Am+1 и m Am = Rn , P (Am ) −−−−→ 1.
m→∞
Пусть мы зафиксировали кроме одного все остальные
аргументы. Пусть xi (m) −−−−→ −∞, Am = (−∞, x1 ] ×
m→∞
× . . . × (−∞, xi−1 ] × (−∞, xi (m)] × (−∞,xi+1 ] × . . . ×
∞
× (−∞, xn ]. Очевидно, что Am+1 ⊂ Am , m=1 Am = ∅,
тогда P (Am ) −−−−→ 0.
m→∞
Определение 5.1. Любая функция от n аргументов, удовле-

творяющая свойствам 1, 2, 3, называется функцией распреде-
ления в Rn .
Теорема 5.1. Пусть F (x1 , . . . , xn ) — функция распределения
в Rn , тогда существует и единственна вероятностная ме-
ра P на (Rn , B(Rn )) такая, что для любых a = (a1 , . . . , an ),
b = (b1 , . . . , bn ) таких, что ai < bi для любого i имеет место
равенство:
(1) (n)
P {(a1 , b1 ] × . . . × (an , bn ]} = Δa1 ,b1 . . . Δan ,bn F (x),
где x = (x1 , . . . , xn ).
Доказательство аналогично доказательству соответствую-
щей теоремы на прямой.
Замечание 5.1. Пусть F1 (x), . . . , Fn (x) — произвольные
функции распределения на числовой прямой R, тогда F (x1 , . . .
. . . , xn ) = F1 (x1 ) . . . Fn (xn ) является функцией распределения
в пространстве Rn .
Выделим 2 класса мер:
1. Дискретная вероятностная мера
Определение 5.2. Будем говорить, что мера P на
(Rn , B(Rn )) дискретна, если существует не более чем
§ 6. Вероятностное пространство (R∞ , B(R∞ ), P ) 73
счетное множество
{zi = (z1i , . . . , zni )} такое, что
P {zi } > 0 и i P (zi ) = 1.
2. Абсолютно непрерывная мера относительно меры Ле-
бега
Определение 5.3. Будем говорить, что вероятностная
мера P абсолютно непрерывна относительно меры Ле-
бега в Rn , если существует плотность, т. е. существует
0 такая, что для любого B ∈ B(R ): P (B) =
n
f (x)
= B f (x)dx, где x = (x1 , . . . , xn ).
Возьмем множество: B = (−∞, x1 ] × . . . × (−∞, xn ], сле-
довательно, для любого x ∈ Rn выполнено равенство:
x1 xn
... f (t1 , . . . , tn )dt1 . . . dtn = F (x1 , . . . , xn ). (5.1)
−∞ −∞
Нетрудно показать, что можно дать эквивалентное опре-

деление плотности, опираясь на выражение (5.1).
Определение 5.4. Если для некоторой функции f (x) 0
справедливо равенство (5.1), где F (x) — функция распреде-
ления в Rn , соответствующая мере P , то f (x) — плотность
меры P относительно меры Лебега.
Замечание 5.2. Рассмотрим выражение (5.1). Производная по
верхнему пределу почти всюду существует и почти всюду сов-
падает со значениями f в точке:
dn F (x) п.в.
= f (x1 , . . . , xn ). (5.2)
dx1 . . . dxn
§ 6. ВЕРОЯТНОСТНОЕ ПРОСТРАНСТВО
(R∞ , B(R∞ ), P )
Пусть на пространстве (R∞ , B(R∞ )) задана мера P . Сигма-
алгебра в бесконечномерном пространстве определяется сле-
дующим образом: B(R∞ ) = σ{Cn (B)}, где Cn (B) — ци-
линдрические множества, Cn (B) = {x = (x1 , . . . , xn , . . .) :
(x1 , . . . , xn ) ∈ B}, B ∈ B(Rn ). Пусть P (Cn (B)) определена.
Зафиксируем n, тогда можно определить вероятностную меру

в конечномерном пространстве P (Cn (B)) = Pn (B) для любого
B ∈ B(Rn ), где Pn (B) — вероятностная мера на (Rn , B(Rn )),
n — любое, но фиксированное.
Мера P порождает бесконечную последовательность веро-
ятностных мер: P1 , . . . , Pn , . . . , каждая мера задана на про-
странстве своей размерности, то есть P1 задана на R, P2 за-
дана на R2 и так далее. Очевидно, что Cn (B) = Cn+1 (B × R),
следовательно,
Pn (B) = Pn+1 (B × R). (6.1)
Условие (6.1) — условие согласованности мер, оно должно вы-
полняться для всех n и любого множества B ∈ B(Rn ).
Верно и обратное: если имеется бесконечная последова-
тельность вероятностных мер и выполнены условия согласо-
ванности (6.1), то существует и единственна вероятностная
мера P , заданная на бесконечномерном пространстве.
Теорема 6.1. Пусть существует последовательность веро-
ятностных пространств
{(R, B(R), P1 ), . . . , (Rn , B(Rn ), Pn ), . . .}
таких, что для всех n и любого множества B ∈ B(Rn )
выполнено условие (6.1), тогда существует и единственна
вероятностная мера P на (R∞ , B(R∞ )) такая, что для всех
n и любого множества B ∈ B(Rn ): P (Cn (B)) = Pn (B).
Доказательство. Доказательство можно найти в [35].
Замечание 6.1. Пусть F (x) — любая функция распределения

на числовой прямой R. Нетрудно проверить, что F2 (x1 , x2 ) =
= F (x1 )F (x2 ) — функция распределения на плоскости R2 , . . .,
Fn (x1 , . . . , xn ) = F (x1 ) . . . F (xn ) — функция распределения в
Rn и так далее. Каждой из таких функций распределения вза-
имно однозначно соответствует мера Pn . Нетрудно проверить,
что последовательность P1 , . . . , Pn , . . . удовлетворяет услови-
ям согласованности (6.1), следовательно, существует мера P
на (R∞ , B(R∞ )), согласованная со всеми введенными в заме-
чании мерами.
Глава 5
СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
§ 1. РАСПРЕДЕЛЕНИЯ СЛУЧАЙНЫХ ВЕЛИЧИН

Определение 1.1. Случайной величиной, заданной на веро-
ятностном пространстве (Ω, F, P ) или F-измеримой числовой
функцией называется функция ξ : Ω −→ R такая, что для
любого B ∈ B(R): ξ −1 (B) = {ω | ξ(ω) ∈ B} ∈ F (полный про-
образ любого борелевского множества содержится в σ-алге-
бре F).
Пусть B ∈ B(R) — некоторое борелевское множество. Рас-

смотрим ξ −1 (B) = {ω|ξ(ω) ∈ B} = {ξ ∈ B}. Можно говорить
о P (ξ −1 (B)) = P (ξ ∈ B), так как полный прообраз ξ −1 (B)
принадлежит F.
Определим функцию Pξ (B) как функцию аргумента B ∈
∈ B(R) следующим образом:
Pξ (B) = P (ξ −1 (B)) = P {ξ ∈ B}. (1.1)
Определение 1.2. Функция Pξ , определенная равенством

(1.1) на σ-алгебре борелевских множеств, называется веро-
ятностным распределением случайной величины ξ.
Замечание 1.1. Pξ (·) представляет собой вероятностную меру

на борелевской прямой (R, B(R)).
Доказательство.
1. Pξ (R) = P (ξ −1 (R)) = P (Ω) = 1.
2. Неравенство Pξ (B) 0 следует из определения.
76 Глава 5. Случайные величины
3. Пусть B1 , B2 ∈ B(R): B1 ∩ B2 = ∅, тогда ξ −1 (B1 ∪

B2 ) = ξ −1 (B1 ) ∪ ξ −1 (B2 ), причем ξ −1 (B1 ) ∩ ξ −1 (B2 ) =
= ∅. Следовательно, справедливы равенства: Pξ (B1 ∪
∪ B2 ) = P {ξ −1 (B1 ∪ B2 )} = P {ξ −1 (B1 ) ∪ ξ −1 (B2 )} =
= P {ξ −1 (B1 )} + P {ξ −1 (B2 )} = Pξ (B1 ) + Pξ (B2 ). Таким
образом, распределение ξ — конечно-аддитивная вероят-
ностная мера.
4. Рассмотрим последовательность {Bk }: Bk ∈ B(R) для
всех k, Bk ∩ Bm = ∅, k = m. Повторяя рассуждения из
предыдущего пункта, получаем, что
∞ ∞

Pξ Bk = Pξ (Bk ).
k=1 k=1
Таким образом, Pξ — счетно-аддитивная вероятностная

мера.
Замечание 1.2. Из определения 1.1 и замечания 1.1 следует,

что функции Pξ (B) взаимно однозначно соответствует функ-
ция распределения Fξ (x). Если взять в качестве B = (−∞, x],
получаем Pξ (−∞, x] = P {ξ ∈ (−∞, x]} = P {ξ x} = Fξ (x).
Таким образом, можно перейти от вероятностного распределе-
ния случайной величины ξ к ее функции распределения.
Определение 1.3. Функцией распределения случайной вели-
чины ξ будем называть функцию
Fξ (x) = P {ξ x}. (1.2)
Функция распределения Fξ (x) = P {ξ ∈ (−∞, x]} обладает
следующими свойствами:
1. Свойство монотонности. Пусть x1 < x2 , тогда Fξ (x1 )
Fξ (x2 ).
2. Функция распределения непрерывна справа в любой точ-
ке числовой прямой:
Fξ (y) −−−−−−→ Fξ (x)
y→x,y>x
для любой точки x ∈ R.

§ 1. Распределения случайных величин 77
3. Имеют место сходимости:
Fξ (x) −−−−−→ 1, Fξ (x) −−−−−→ 0.

x→+∞ x→−∞
Замечание 1.3. Пусть Fξ (x) — функция распределения слу-

чайной величины ξ, тогда для любых точек a < b имеет место
равенство:
Fξ (b) − Fξ (a) = P {a < ξ b}.
Любая точка на числовой прямой является борелевским мно-
жеством. Имеет место равенство:
P {ξ = a} = Fξ (a) − Fξ (a − 0).
Справедливы следующие равенства:
P {a ξ b} = Fξ (b) − Fξ (a − 0),
P {a < ξ < b} = Fξ (b − 0) − Fξ (a).
Лемма 1.1. Пусть F (x) — произвольно выбранная функция

распределения на R, тогда существует случайная величина ξ
такая, что для любого x : Fξ (x) ≡ F (x).
Доказательство. Возьмем в качестве Ω = R, F = B(R),

ξ(ω) ≡ ω. Каждой функции распределения F (x) взаимно одно-
значно соответствует вероятностная мера P . Итак, определили
(Ω, F, P ) = (R, B(R), P ). Таким образом, для любого x спра-
ведливы равенства: Fξ (x) = P {ξ x} = P {ξ −1 (−∞, x]} =
= P (−∞, x] = F (x).
Замечание 1.4. В большинстве прикладных задач требуется

знать только закон распределения случайной величины без
задания самой функции ξ(ω).
Определение 1.4. Будем говорить, что случайная величина ξ

дискретна, если ее распределение представляет собой дискрет-
ную вероятностную меру на R, т. е. существует не более, чем
счетная совокупность
точек {zi } такая, что Pξ (zi ) = P {ξ =
= zi } > 0 и i P {ξ = zi } = 1.
Если число слагаемых в сумме конечно (то есть набор

zi конечен), то случайная величина называется простой. Из
определения следует, что Fξ (x) — кусочно-постоянная
функ-
ция: Pξ (zi ) = Fξ (zi )−Fξ (zi −0) > 0, i (Fξ (zi )−Fξ (zi −0)) = 1.
Простую случайную величину можно записать следующим
образом:

m
ξ(ω) = zi I{ω ∈ Ai },
i=1
m
где Ai ∈ F, Ai ∩ Aj = ∅ для i = j, i=1 Ai = Ω, I{ω ∈ Ai } —
индикатор множества Ai :
&
1, ω ∈ Ai
I{ω ∈ Ai } =
0, ω ∈
/ Ai .
Если Ai = ξ −1 (zi ), то zi = zj для всех i = j. Может ока-

заться так, что Ai будет разбито на подмножества, например,
A1 = D1 + D2 + D3 , где D1 , D2 , D3 ∈ F, Di ∩ Dj = ∅ для всех
i = j. Тогда I(D1 +D2 +D3 ) = I(D1 )+I(D2 )+I(D3 ), поэтому,
вообще говоря, некоторые коэффициенты zi могут совпадать.
Определение 1.5. Будем говорить, что распределение Pξ (·)
случайной величины ξ абсолютно непрерывно относительно
меры Лебега, если существует функция fξ (x), заданная на
всей числовой прямой, такая, что fξ (x) 0 для любого x ∈ R
и для любого B ∈ B(R) выполнено:

Pξ (B) = fξ (x)dx. (1.3)
B
Определение 1.6. Функцию fξ (x) из определения 1.5 назы-

вают плотностью распределения случайной величины ξ отно-
сительно меры Лебега.
Из определения 1.5 следует, что если B = (−∞, x], где
x ∈ R, то справедливо равенство:
x
Fξ (x) = fξ (y)dy. (1.4)
−∞
§ 1. Распределения случайных величин 79
Как было отмечено ранее, равенства (1.3) и (1.4) представ-

ляют собой эквивалентные определения функции плотности.
Плотность распределения определяется единственным обра-
зом с точностью до множеств Лебега меры нуль по формуле:
dFξ (x) п.в.
= fξ (x). (1.5)
dx
Функция распределения Fξ (x) называется абсолютно непре-
рывной функцией, если у нее существует плотность распреде-
ления относительно меры Лебега.
Как было отмечено ранее, на числовой прямой могут быть
заданы сингулярные функции распределения и соответству-
ющие им вероятностные меры. Соответствующие случайные
величины можно было бы назвать сингулярными.
Если случайная величина дискретная, то для задания рас-
пределения достаточно задать множество точек {zi } и «весов»,
Pξ (zi ) > 0, i Pξ (zi ) = 1. Для того, чтобы задать абсолютно-
непрерывное распределение случайной величины, достаточно
задать плотность распределения fξ (x) 0 такую, что
∞
fξ (x)dx = 1.
−∞
Пример 1.1. Распределение Бернулли. Случайная величина

принимает значения 0 или 1:
ξ = 0 · I(Ā) + 1 · I(A) = I(A),
где вероятность Pξ (1) = p, Pξ (0) = 1 − p = q.
Пример 1.2. Биномиальное распределение. Случайная вели-
чина принимает значение, равное числу успехов в серии из n
независимых испытаний Бернулли:
P {μ = m} = Cnm pm q n−m , m = 0, 1, . . . , n.
Пример 1.3. Распределение Пуассона. Случайная величина
ξ распределена по закону Пуассона:
λm −λ
P {ξ = m} = e , λ > 0, m = 0, 1, . . .
m!
Пример 1.4. Стандартное нормальное распределение N (0, 1)

с плотностью распределения:
1 x2
fξ (x) = √ e− 2 , x ∈ R.
2π
Пример 1.5. Нормальное распределение N (a, σ 2 ) с парамет-

рами a ∈ R и σ 2 (σ > 0). Рассмотрим случайную величину
η = a + σξ, a ∈ R, σ > 0, где случайная величина ξ подчиняет-
ся стандартному нормальному распределению. Тогда функция
распределения случайной величины η может быть определена
следующим образом:
Fη (x) = P {η x} = P {a + σξ x} =

x−a x−a
=P ξ = Fξ .
σ σ
Функция плотности распределения случайной величины η

легко находится:

1 x−a
fη (x) = Fη (x) = Fξ =
σ σ

1 x−a 1 (x−a)2
= fξ =√ e− 2σ2 ,
σ σ 2πσ
где x ∈ R.
Пример 1.6. Гамма-распределение G(λ, p).
Определение 1.7. Будем говорить, что случайная величина

ξ подчиняется гамма-распределению с параметрами λ, p, если
плотность имеет следующий вид:
& p p−1
λ x −λx
Γ(p) e , если x > 0,
fξ (x) =
0, если x 0,
где λ — параметр масштаба, p — параметр формы, p, λ > 0,

∞
Γ(p) = 0 xp−1 e−x dx.
§ 2. Свойство измеримости 81
Пример 1.7. Экспоненциальное распределение является

частным случаем гамма-распределения при p = 1. Плотность
распределения имеет вид:
&
λe−λx , если x > 0,
fξ (x) =
0, если x 0.
Пример 1.8. Бета-распределение с параметрами p1 и p2 .

Плотность распределения имеет вид:
& p1 −1
x (1−x)p2 −1
B(p1 ,p2 ) , если x ∈ (0, 1),
fξ (x) =
0, если x ∈
/ (0, 1),
где β-функция определяется следующим образом: B(p1 , p2 ) =
1
= 0 xp1 −1 (1 − x)p2 −1 dx, p1 > 0, p2 > 0.
Пример 1.9. Равномерное распределение является частным
случаем бета-распределения при p1 = 1 и p2 = 1. Плотность
равномерного распределения имеет вид:
&
1, если x ∈ [0, 1],
fξ (x) =
0, если x ∈
/ [0, 1].
§ 2. СВОЙСТВО ИЗМЕРИМОСТИ
Рассмотрим вероятностное пространство (Ω, F, P ) и слу-
чайную величину ξ : Ω −→ R. Функция ξ(ω) является F-из-
меримым отображением, т. е. для любого борелевского множе-
ства B ∈ B(R): ξ −1 (B) ∈ F .
Определение 2.1. Будем называть функцию h : Rk → Rl
борелевской, если h−1 (B) ∈ B(Rk ) для любого B ∈ B(Rl ).
Лемма 2.1. Пусть M — семейство множеств на числовой
прямой R такое, что σ(M) = B(R). Для того, чтобы функция
ξ : Ω → R была F-измеримой, необходимо и достаточно, чтобы
для любого C ∈ M выполнялось равенство ξ −1 (C) ∈ F.
Доказательство. Необходимость. Очевидно, что если
σ(M) = B(R), то M ⊂ B(R), тогда для любого C ∈ M имеет
место включение: ξ −1 (C) ∈ F.
Достаточность. Рассмотрим семейство множеств
D = {A ∈ B(R) : ξ −1 (A) ∈ F}, M ⊂ D ⊂ B(R).
Нетрудно доказатьследующие равенства:

1. ξ −1 (i Ti ) = i ξ −1 (Ti ),
2. ξ −1 ( i Ti ) = i ξ −1 (Ti ),
3. ξ −1 (T̄ ) = ξ −1 (T ).
Из равенств следует, что система множеств D представляет
собой σ-алгебру, и, следовательно, D = B(R).
Замечание 2.1. Справедливо следующее равенство: σ{(−∞, a],

a ∈ R} = B(R).
Лемма 2.2. Пусть на вероятностном пространстве (Ω, F, P )
задана случайная величина ξ(ω) и задана борелевская функ-
ция h : R → R. Тогда η(ω) = h(ξ(ω)) — F-измеримая числовая
функция, т. е. случайная величина.
Доказательство. Очевидно, что η : Ω → R. Для про-
извольного борелевского множества B ∈ B(R) выполнено:
η −1 (B) = ξ −1 (h−1 (B)) ∈ F.
Из леммы следует, что элементарные функции от случай-
ных величин являются случайными величинами. Если для лю-
бого ω ∈ Ω существует предел:
lim ξn (ω) = ξ(ω),

n→∞
причем ξn (ω) — F-измеримые функции, то ξ(ω) также явля-

ется F-измеримой функцией [19, 35].
Лемма 2.3. Семейство полных прообразов ξ −1 (B), B ∈ B(R)
является σ-алгеброй.
1. ξ −1 (R) = Ω.
2. Рассмотрим счетные или конечные совокупности мно-
жеств {Bi } таких, что Bi ∈ B(R) длялюбого i. То-
−1 −1
гда справедливо
равенство: ξ ( i i = i ξ
B ) (Bi ), при
−1
этом i Bi ∈ B(R). Следовательно, ξ ( i Bi ) ∈ F.
§ 3. Случайные элементы со значениями в пространстве Rk 83
3. ξ −1 (B) = ξ −1 (B̄).
Таким образом, семейство замкнуто относительно операции
объединения и дополнения, следовательно, оно является σ-
алгеброй, которая содержится в F.
Определение 2.2. Сигма-алгебру σξ = {ξ −1 (B), B ∈ B(R)}

будем называть сигма-алгеброй, порожденной случайной ве-
личиной ξ.
§ 3. СЛУЧАЙНЫЕ ЭЛЕМЕНТЫ СО ЗНАЧЕНИЯМИ

В КОНЕЧНОМЕРНОМ ПРОСТРАНСТВЕ Rk
В дальнейшем будем говорить о σ-алгебре борелевских
множеств B(Rn ) в пространстве Rk , т. е.
σ {(a1 , b1 ] × (a2 , b2 ] × . . . × (ak , bk ]} = B(Rk ).
К этой σ-алгебре можно прийти другим способом: пусть B1 ∈

∈ B(R1 ), B2 ∈ B(R2 ), . . ., Bn ∈ B(Rk ), тогда
σ {B1 × B2 × . . . × Bn } = B(Rk ).
Построенную σ-алгебру называют прямым произведением n

сигма-алгебр и обозначают:
B(Rk ) = B(R1 ) ⊗ B(R2 ) ⊗ . . . ⊗ B(Rk ).
Определение 3.1. Отображение ξ : Ω → Rk будем называть

F-измеримым, или, что то же самое, ξ является случайным
элементом со значениями в Rk или случайным вектором, если
для любого множества B ∈ B(Rk ): ξ −1 (B) ∈ F .
Тогда, по аналогии со скалярным случаем, определим ве-
роятностное распределение случайного вектора ξ или совмест-
ное распределение случайных величин ξ1 , . . ., ξn :
, -
P ξ −1 (B) = P {ξ ∈ B} = Pξ (B).
Совместное распределение случайных величин ξ1 , . . ., ξk

определено на σ-алгебре B(Rk ). Как и в скалярном случае,
совместное распределение является вероятностной мерой Pξ (·)

на (Rk , B(Rk )). Леммы 2.1, 2.2, 2.3 переносятся на рассмат-
риваемые отображения ξ : Ω → Rk . При этом, конечно,
h : Rk → Rm и η(ω) = h(ξ(ω)) — случайный элемент со
значениями в Rm .
Лемма 3.1. Пусть на вероятностном пространстве (Ω, F, P )
задано отображение ξ : Ω → Rk . Для того, чтобы отображение
ξ было F-измеримым, необходимо и достаточно, чтобы для
любого c ∈ M, σ(M) = B(Rk ), выполнялось: ξ −1 (c) ∈ F, где
M — система множеств.
Лемма 3.2. Пусть ϕ — борелевская функция, такая, что ϕ :
Rk → Rm , тогда если ξ(ω) = (ξ1 (ω), . . . , ξk (ω))T — случайный
вектор, то ϕ(ξ(ω)) — случайный вектор.
Лемма 3.3. Пусть F (x1 , . . . , xk ) — произвольная функция
распределения в Rk . Тогда существует случайный вектор
ξ(ω) = (ξ1 (ω), . . . , ξk (ω))T , заданный на некотором вероят-
ностном пространстве (Ω, F, P ), такой, что
Fξ1 ,...,ξk (x1 , . . . , xk ) ≡ F (x1 , . . . , xk ).
Лемма 3.4. Семейство полных прообразов ξ −1 (B), B ∈
∈ B(Rk ), является σ-алгеброй.
Определение 3.2. Сигма-алгебру σξ = {ξ −1 (B), B ∈ B(Rk )}
будем называть сигма-алгеброй, порожденной случайным век-
тором ξ.
Рассмотрим ξ(ω) = (ξ1 (ω), . . . , ξk (ω))T . Отображение
ξl (ω) : Ω → R = (−∞, ∞). Для произвольного B ∈ B(R)
справедливо следующее равенство:
ξl−1 (B) = ξ1−1 (R) ∩ . . . ∩ ξl−1

−1
(R) ∩ ξl−1 (B) ∩ ξl+1
−1
(R) ∩ . . .
. . . ∩ ξk−1 (R) = ξ −1 (R × . . . × R × B × R × . . . × R) ∈ F.
Таким образом, любая проекция случайного вектора являет-
ся случайной величиной. Верно и обратное. Пусть η1 (ω), . . .
. . . , ηk (ω) — случайные величины, заданные на вероятност-
ном пространстве (Ω, F, P ), тогда η(ω) = (η1 (ω), . . . , ηk (ω))T
является случайным элементом со значениями в Rk . Обратное
доказательство можно провести, применив лемму 3.1.
§ 4. Функции распределения в конечномерных пространствах 85
§ 4. ФУНКЦИИ РАСПРЕДЕЛЕНИЯ
В КОНЕЧНОМЕРНЫХ ПРОСТРАНСТВАХ
Рассмотрим конечномерное вероятностное пространство
(Rk , B(Rk ), Pξ ).
Определение 4.1. Совместной функцией распределения слу-

чайных величин ξ1 , . . ., ξk (функцией распределения вектора
ξ = (ξ1 , . . . , ξk )) называется функция
F(ξ1 ,...,ξk ) (x1 , . . . , xk ) = Fξ (x) =

= Pξ {(−∞, x1 ] × . . . × (−∞, xk ]} =
= P {ξ1 x1 , . . . , ξk xk } . (4.1)
Определение 4.2. Будем говорить, что распределение Pξ (·)

случайного вектора ξ в пространстве (Rk , B(Rk )) абсолют-
но непрерывно относительно меры Лебега, если существует
функция fξ (x) такая, что fξ (x) 0 для любого x ∈ Rk , и для
любого B ∈ B(Rk ) выполнено:

Pξ (B) = fξ (x)dx. (4.2)
B
Определение 4.3. Функцию fξ (x) = fξ1 ...ξk (x1 , . . . , xk ) бу-

дем называть совместной плотностью распределения случай-
ных величин ξ1 , . . . , ξk .
Выберем множество B = (−∞, x1 ] × . . . × (−∞, xk ], тогда

справедливо равенство:
P {(−∞, x1 ] × . . . × (−∞, xk ]} = Fξ1 ...ξk (x1 , . . . , xk ) =

x1 xk
= ... f (y1 , . . . , yk )dy1 . . . dyk . (4.3)
−∞ −∞
Аналогично скалярному случаю нетрудно показать, что ра-

венства (4.2) и (4.3) эквивалентны. Переходя к повторному
интегрированию, используя свойства интеграла Лебега с пе-

ременным верхним пределом, получаем:
∂ k Fξ (x1 , . . . , xk ) п.в.
= f(ξ1 ,...,ξk ) (x1 , . . . , xk ). (4.4)
∂x1 . . . ∂xk
Свойства многомерной функции распределения изучались в
§ 5 главы 4. Там же было показано, что имеется взаимно
однозначное соответствие между вероятностными мерами и
функциями распределения в конечномерных пространствах.
Установим еще одно свойство, верное для всех многомер-
ных функций распределения. Пусть задана функция распреде-
ления F(ξ1 ,...,ξk ) (x1 , . . . , xk ). Выберем совокупность аргументов
xl+1 , . . ., xk и устремим каждый из них к бесконечности, то-
гда имеет место сходимость:
F(ξ1 ,...,ξk ) (x1 , . . . , xk ) −−−−−−−−−−−−→ F(ξ1 ,...,ξl ) (x1 , . . . , xl ),

xl+1 →∞,...,xk →∞
где
F(ξ1 ,...,ξk ) (x1 , . . . , xk ) = P {ξ1 x1 , ξ2 x2 , . . . , ξk xk } =

= P {ξ1−1 (−∞, x1 ] ∩ ξ2−1 (−∞, x2 ] ∩ . . . ∩ ξk−1 (−∞, xk ]}.
Доказательство. Выберем произвольные числовые последо-

вательности: xl+1 (n) → ∞,. . .,xk (n) → ∞ и подставим их
вместо xl+1 , . . . , xk в выражение для функции распределе-
ния, тогда под знаком вероятности получим возрастающие по-
следовательности: Pξ {(−∞, x1 ] × . . . × (−∞, xl+1 (n)] × . . . ×
× (−∞, xk (n)]}.
Обозначим через An = (−∞, x1 ] × . . . × (−∞, xl ] ×
×(−∞, xl+1 (n)]×. . .×(−∞, xk (n)]. Очевидно, что An ⊂ An+1 .
Тогда в силу непрерывности вероятностной меры: Pξ (An ) →
→ Pξ ((−∞, x1 ] × . . . × (−∞, xl ] × Rn−l ) = Fξ1 ...ξl (x1 , . . . , xl ).
Замечание 4.1. Утверждение справедливо для любого набора

аргументов xi1 , xi2 , . . ., xis . Устремив выбранные аргументы к
бесконечности, получим функцию распределения подвектора,
зависящую от оставшихся аргументов.
§ 4. Функции распределения в конечномерных пространствах 87
Следствие 4.1. Имеет место сходимость:
F(ξ1 ,...,ξk ) (x1 , . . . , xk ) −−−−−−−−−−−−−−−−−−−−−−−−−→ Fξi (xi ),

x1 →∞,...,xi−1 →∞,xi+1 →∞,...,xk →∞
где Fξi (xi ) — маргинальная функция распределения (одно-

мерная функция распределения случайной величины
ξi , i = 1, . . . , k).
Справедливо еще одно свойство многомерной плотности

распределения. Пусть fξ1 ,...,ξk (x1 , . . . , xk ) — совместная плот-
ность распределения случайных величин ξ1 , . . ., ξk . Тогда име-
ет место равенство:
fξ1 ,...,ξl (x1 , . . . , xl ) =

+∞ +∞
= . . . fξ1 ,...,ξl ,ξl+1 ,...,ξk (x1 , . . . , xl , xl+1 , . . . , xk )dxl+1 . . . dxk .

−∞ −∞
Доказательство. Рассмотрим произвольное борелевское мно-

жество B ∈ B(Rl ). Перейдя к повторному интегрированию,
найдем вероятность:
P {(ξ1 , . . . ξl ) ∈ B} = P {(ξ1 , . . . ξl , ξl+1 , . . . , ξk ) ∈ B × Rk−l } =

= ··· . . . fξ1 ,...,ξk (x1 , . . . , xl , xl+1 , . . . xk )dx1 . . . dxk =
B R R
⎡ ⎤

= ··· ⎣ ... fξ (x1 , . . . , xl+1 , . . . xk )dxl+1 . . . dxk ⎦ ×
B R R
× dx1 . . . dxl ,
функция в квадратных скобках неотрицательна и удовле-

творяет определению плотности. Так как равенство верно
для
любого
B ∈ B(Rl ), то в соответствии с определением
R
. . . R fξ (x1 , . . . , xl , xl+1 , . . . xk )dxl+1 . . . dxk представляет со-
бой плотность.
Замечание 4.2. Утверждение сохраняется для любого набора

аргументов xi1 , xi2 , . . ., xis . Проинтегрировав по выбранным
аргументам, получим плотность распределения подвектора.
Замечание 4.3. Указанным способом можно получить плот-
ность распределения любой компоненты вектора ξ, интегрируя
по всем «ненужным» компонентам.
Пример 4.1. Плотность стандартного нормального k-мерного
распределения N (0, Ek ) имеет вид:

k
1 − 12 x2i
fξ (x1 , . . . , xk ) = k e
i=1 .
(2π) 2
Пример 4.2. Плотность нормального k-мерного распределе-
ния N (a, Σ) имеет вид:
1 1 T
Σ−1 (x−a)
fξ (x1 , . . . , xk ) = k2 e− 2 (x−a) ,
(2π) 2 |Σ|
где матрица Σ > 0 положительно определена и вектор a =

= (a1 , . . . , ak )T ∈ Rk .
§ 5. НЕЗАВИСИМЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ

Пусть на вероятностном пространстве (Ω, F, P ) задан слу-
чайный вектор ξ(ω) = (ξ1 (ω), . . . , ξk (ω)).
Определение 5.1. Случайные величины ξ1 , . . . , ξk взаим-
но независимы, если для любых борелевских множеств
B1 , . . . , Bk ∈ B(R) выполнено следующее равенство:
P {ξ1 ∈ B1 , . . . , ξk ∈ Bk } = P {ξ1 ∈ B1 }·. . .·P {ξk ∈ Bk } (5.1)
или
P(ξ1 ,...,ξk ) (B1 × . . . × Bk ) = Pξ1 (B1 ) · . . . · Pξk (Bk ). (5.2)
Замечание 5.1. Данное определение эквивалентно следующе-

му: случайные величины ξ1 , . . . , ξk взаимно независимы, если
взаимно независимы порожденные ими σ-алгебры.
§ 5. Независимые случайные величины 89
Теорема 5.1. Случайные величины ξ1 , . . . , ξk взаимно неза-

висимы тогда и только тогда, когда совместная функция
распределения удовлетворяет условию:
Fξ1 ,...,ξk (x1 , . . . , xk ) = Fξ1 (x1 ) · . . . · Fξk (xk ),
при любом x = (x1 , . . . , xk ).
Доказательство. Необходимость очевидна.
Достаточность. К обеим частям равенства применим раз-
(1) (2) (k)
ностный оператор Δa1 b1 Δa2 b2 . . . Δak bk :
P {ξ1 ∈ (a1 , b1 ], ξ2 ∈ (a2 , b2 ], . . . , ξk ∈ (ak , bk ]} =

= P {ξ1 ∈ (a1 , b1 ]}P {ξ2 ∈ (a2 , b2 ]} . . . P {ξk ∈ (ak , bk ]}.
В силу непрерывности вероятностных мер получаем:
P {ξ1 ∈ I1 , . . . , ξk ∈ Ik } = P {ξ1 ∈ I1 } · . . . · P {ξk ∈ Ik },
где I1 , . . . , Ik — произвольные множества из полуалгебры I1 =
= {(−∞, +∞), (−∞, a], (b, +∞), (a, b]}.
Зафиксируем множества I2 , . . . , Ik , получим две конечные
меры, заданные на пространстве (R1 , B(R1 )). Они совпадают
на полуалгебре, а следовательно, они совпадают на σ-алгебре,
порожденной этой полуалгеброй.
P {ξ1 ∈ B1 , ξ2 ∈ I2 , . . . , ξk ∈ Ik } =
= P {ξ1 ∈ B1 }P {ξ2 ∈ I2 } . . . P {ξk ∈ Ik },
где B1 — произвольное борелевское множество. Далее повто-
ряем рассуждение и приходим к формуле (5.1).
Предположим, что распределение случайного вектора ξ
абсолютно непрерывно относительно меры Лебега, т. е. су-
ществует совместная плотность распределения fξ (x1 , . . . , xk )
случайного вектора ξ, тогда существует плотность fξi (xi ) у
каждой случайной величины ξi , i = 1, . . . , k, причем
∞ ∞
fξi (xi ) = ... fξ (x1 , . . . , xk )dx1 . . . dxi−1 dxi+1 . . . dxk .
−∞ −∞
Следствие 5.1. Если существует совместная плотность

распределения, случайные величины ξ1 , . . ., ξk взаимно неза-
висимы тогда и только тогда, когда совместная плот-
ность представляется в виде:
п.в.
fξ1 ,...,ξk (x1 , . . . , xk ) = fξ1 (x1 ) · . . . · fξk (xk ).
Следствие 5.2. Пусть все случайные величины дискрет-

(i1 ) (ik )
ξ1 ∈ {z1 }, .. ., ξk ∈ {zk }. Тогда ξ = (ξ1 , . . . , ξk ) ∈
ны:
(i ) (i )
∈ (z1 1 , . . . , zk k ) . Необходимым и достаточным услови-
ем независимости случайных величин ξ1 , . . . , ξk является
равенство:

(i ) (i ) (i ) (i )
P ξ 1 = z 1 1 , . . . , ξ k = z k k = P ξ 1 = z 1 1 . . . ξk = z k k .
Рассмотрим суммирование двух взаимно независимых слу-

чайных величин с абсолютно непрерывными распределения-
ми. Пусть на вероятностном пространстве (Ω, F, P ) заданы
случайные величины ξ(ω) с плотностью распределения fξ (x)
и η(ω) с плотностью распределения fη (y). Пусть случайные
величины ξ и η взаимно независимы, тогда совместная плот-
ность распределения имеет вид fξη (x, y) = fξ (x)fη (y).
Рассмотрим случайную величину ζ = ξ + η и найдем
ее плотность распределения. Для этого достаточно найти
Рис. 5.1
Область интегрирования
§ 5. Независимые случайные величины 91
Fζ (z) = P {ζ z} (рис. 5.1):
Fζ (z) = P {ζ z} =
= P {ξ + η z} = P {(ξ, η) ∈ {(x, y) : x + y z}} =
⎛ ⎞

+∞ z−x
= fξ (x)fη (y)dxdy = ⎝ fξ (x)fη (y)dy ⎠ dx =

{(x,y):x+yz} −∞ −∞

+∞ z
= fξ (x)fη (u − x)dudx =
−∞ −∞
⎛ +∞ ⎞
z z
= ⎝ ⎠
fξ (x)fη (u − x)dx du = fζ (u)du.
−∞ −∞ −∞
Таким образом, получили формулу свертки. В силу симмет-

ричности справедливо равенство:

+∞
+∞
fζ (u) = fξ (x)fη (u − x)dx = fη (y)fξ (u − y)dy.

−∞ −∞
Глава 6
МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
КАК ИНТЕГРАЛ ЛЕБЕГА
§ 1. ОПРЕДЕЛЕНИЕ И СВОЙСТВА
МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ
Пусть задано вероятностное пространство (Ω, F, P ) и чис-
ловая функция ξ(ω). Могут существовать такие элементар-
ные события ω, что ξ(ω) = +∞ или ξ(ω) = −∞. Поэтому
имеет смысл рассматривать расширенную числовую прямую
R̄ = R ∪ {−∞} ∪ {+∞}.
Пусть для любого борелевского множества B ∈ B(R) вы-
полняется ξ −1 (B) ∈ F, ξ −1 (−∞) ∈ F, ξ −1 (∞) ∈ F. Такие
F-измеримые функции будем называть расширенными слу-
чайными величинами. Ниже перечислим некоторые соотно-
шения, которые будем предполагать справедливыми:
• ±∞a
= 0, a ∈ R;
• a · ∞ = ∞, a > 0;
• a · ∞ = −∞, a < 0;
• 0 · ∞ = 0.
Определение 1.1. Математическое ожидание расширенной

случайной величины ξ представляет собой интеграл Лебега:

Eξ = ξ(ω)dP, (1.1)
Ω
если этот интеграл существует. Последовательно рассмотрим

следующие типы случайных величин:
§ 1. Определение и свойства математического ожидания 93
1. Рассмотрим простую неотрицательную случайную вели-

чину

m
0 ξ(ω) = ai I{ω ∈ Ai },
i=1
m
где ai ∈ R, ai 0, Ai ∈ F, i=1 Ai = Ω, Ai ∩ Aj = ∅ для
всех i = j.
Полагаем
m
Eξ = ξ(ω)dP = ai P (Ai ).
Ω i=1
2. Рассмотрим неотрицательную расширенную случайную

величину ξ(ω) 0. В этом случае существует последова-
тельность простых случайных величин ξn (ω) 0 таких,
что в каждой точке множества Ω случайные величины
ξn (ω) монотонно сходятся к случайной величине ξ(ω), то
есть lim ξn (ω) = ξ(ω), ξn (ω) ξn+1 (ω) для любого ω.
n→∞
Тогда
Eξ = ξ(ω)dP = lim ξn (ω)dP.
n→∞
Ω Ω
3. Рассмотрим любую F-измеримую функцию ξ(ω) (рас-
ширенную случайную величину). Ее можно представить
единственным образом в виде разности двух неотрица-
тельных функций:
ξ(ω) = ξ + (ω) − ξ − (ω),
где

ξ + (ω) = ξ(ω)I{ω : ξ(ω) 0} = ξ(ω), ξ(ω)0
0, ξ(ω)<0 ,

−ξ(ω), ξ(ω)<0
ξ − (ω) = −ξ(ω)I{ω : ξ(ω) < 0} = 0, ξ(ω)0 .
Обе функции ξ + и ξ − являются неотрицательными.
В каждой точке ω выполняется: ξ + ξ − = 0. Положим

Eξ = ξ(ω)dP = ξ + (ω)dP − ξ − (ω)dP.
Ω Ω Ω
94 Глава 6. Математическое ожидание как интеграл Лебега
Из определения 1.1 следует, что интеграл Лебега может не

существовать тольков одном случае,
когда в части 3 опреде-
ления 1.1 получаем Ω ξ + (ω)dP = Ω ξ − (ω)dP = ∞, то есть,
возникает неопределенность вида ∞ − ∞.
Замечание 1.1. Интеграл Лебега может принимать значения
∞ и −∞. В этом случае считается, что интеграл определен
(существует), но не конечен.
Свойства математического ожидания
I. Свойство линейности
1. Пусть существует ξ(ω)dP и c ∈ R, тогда существует
Ω

cξ(ω)dP = c ξ(ω)dP.
Ω Ω

2. Пусть
существуют Ω ξ(ω)dP , Ω η(ω)dP , Ω ξ(ω)dP +
+ Ω η(ω)dP , тогда существует

(ξ(ω) + η(ω))dP = ξ(ω)dP + η(ω)dP.
Ω Ω Ω
II. Свойство положительности

1. Пусть ξ(ω) 0, тогда Ω ξ(ω)dP 0.
2. Пусть ξ(ω) η(ω), и существует
Ω
ξ(ω)dP > −∞, тогда
существует Ω η(ω)dP Ω ξ(ω)dP.
3. Пусть ξ(ω) η(ω), и существует
Ω
η(ω)dP < ∞, тогда
существует Ω ξ(ω)dP Ω η(ω)dP .
Докажем, что введенное ранее определение 1.1 матема-
тического ожидания корректно. Рассмотрим сначала первую
часть определения. В этом случае могут быть разные формы
записи ξ(ω):

m
n
ξ(ω) = ai I{ω ∈ Ai } = bj I{ω ∈ Bj },
i=1 j=1
n
где Bj ∈ F, Bj ∩ Bk = ∅, j = k, j=1 Bj = Ω. Необ-
m n
ходимо показать, что i=1 ai P
(Ai ) = j=1 bj P (Bj ). Вся-
n
кое Ai представимо в виде Ai = j=1 (Ai ∩ Bj ), и аналогично,
m
Bj = i=1 (Ai ∩ Bj ). Тогда имеет место равенство:

m
m
n
ai P (Ai ) = ai P (Ai ∩ Bj ) =
i=1 i=1 j=1

n
m
n
= bj P (Ai ∩ Bj ) = bj P (Bj ).
j=1 i=1 j=1
Если Ai ∩ Bj = ∅, то P (Ai ∩ Bj ) = 0. Если Ai ∩ Bj = ∅, то

обязательно ai = bj . Таким образом, первая часть определения
1.1 математического ожидания корректна.
Проверим выполнение свойств линейности и положитель-
ности для первой части определения 1.1 математического ожи-
дания. Докажем свойство
m линейности:
1. Если ξ(ω) = i=1 ai I{ω ∈ Ai }, то имеет место равен-
ство:

m
cξ(ω) = cai I{ω ∈ Ai }.
i=1
Следовательно, получаем:

m
m
cξ(ω)dP = cai P (Ai ) = c ai P (Ai ) = c ξ(ω)dP.
Ω i=1 i=1 Ω
n
2. Введем случайную величину η(ω) = j=1 dj I{ω ∈ Dj }.
Можем записать представления:

n
m
Ai = (Ai ∩ Dj ), Dj = (Ai ∩ Dj ).
j=1 i=1
Тогда

m
n
ξ(ω) = ai I{ω ∈ Ai ∩ Dj },
i=1 j=1

m
n
η(ω) = dj I{ω ∈ Ai ∩ Dj }.
i=1 j=1
Рассмотрим сумму

m
n
ξ(ω) + η(ω) = (ai + dj )I{ω ∈ Ai ∩ Dj } (1.2)
i=1 j=1
и найдем ее математическое ожидание:

m n
(ξ(ω) + η(ω))dP = (ai + dj )P (Ai ∩ Dj ).
Ω i=1 j=1
Сумма простых функций также является простой функ-

цией. Учитывая представления (1.2), можем продолжить
равенство:

m
n
(ai + dj )P (Ai ∩ Dj ) =
i=1 j=1
m
n
= ai P (Ai ) + dj P (Dj ) = ξ(ω)dP + η(ω)dP.
i=1 j=1 Ω Ω
Свойство линейности выполняется для первой части

определения 1.1 математического ожидания.
Докажем свойство положительности:
1. Так как ξ(ω) — простая случайная величина, ξ(ω) =
m
= i=1 ai I{ω ∈ Ai } 0, то все коэффициенты ai 0.
Следовательно,
m
ξ(ω)dP = ai P (Ai ) 0,
Ω i=1
так как все слагаемые неотрицательные.

2. Так как ξ(ω) η(ω), то η(ω) − ξ(ω) 0. Рассмотрим
выражение (η(ω) − ξ(ω))+ξ(ω) = η(ω), где η(ω)−ξ(ω)
0, ξ(ω) 0, η(ω) 0. Из доказательства линейности
следует, что

η(ω)dP = (η(ω) − ξ(ω)) dP + ξ(ω)dP. (1.3)
Ω Ω Ω
Опираясь на доказательство
предыдущего пункта, де-
лаем вывод, что Ω (η(ω) − ξ(ω)) dP 0. Если отбро-
сить это неотрицательное слагаемое из равенства (1.3),
то правая часть равенства может только уменьшиться.
Свойство положительности выполняется для первой ча-
сти определения 1.1 математического ожидания.
Теорема 1.1. Справедливы свойства:
1. Пусть ξ(ω) — произвольная F-измеримая функция,
принимающая значения на расширенной числовой
прямой. Тогда существует последовательность про-
стых функций ξn (ω) такая, что lim ξn (ω) = ξ(ω) и
n→∞
|ξn (ω)| |ξ(ω)| для всех n.
2. Пусть ξ(ω) 0 — F -измеримая функция со значения-
ми в расширенной числовой прямой. Тогда существу-
ет последовательных простых функций, что имеет
место сходимость:
0 ξn (ω) ξn+1 (ω) −−−−→ ξ(ω).

n→∞
Доказательство. Сначала докажем второе утверждение

теоремы. Запишем последовательность ξn (ω) явным образом.
Для этого разделим каждый интервал на 2n подинтервалов:

n2 n
−1
k k k+1
ξn (ω) = ·I ξ(ω) < + nI{ξ(ω) n}.
2n 2n 2n
k=0
Проверим, что для любых ω и n справедливо неравенство:
0 ξn (ω) ξn+1 (ω) ξ(ω).
Выбирая n > ξ(ω), получаем: 0 ξ(ω) − ξn (ω) 21n . Если

ξ(ω0 ) = ∞, то по построению ξn (ω0 ) = n → ∞.
Докажем первое утверждение теоремы. Представим ξ(ω)
единственным образом в виде разности двух положительных
функций:
ξ(ω) = ξ + (ω) − ξ − (ω),
где ξ + (ω) = ξ(ω)I{ξ(ω) 0}, ξ − (ω) = −ξ(ω)I{ξ(ω) < 0}.
Таким образом, |ξ(ω)| = ξ + (ω) + ξ − (ω). Применим второе

утверждение теоремы для каждой из частей функции ξ(ω),
получаем:
0 ξn+ (ω) −−−−→ ξ + (ω),
n→∞
0 ξn− (ω) −−−−→ ξ − (ω).

n→∞
Таким образом, имеет место сходимость:
ξn (ω) = ξn+ (ω) − ξn− (ω) −−−−→ ξ(ω).

n→∞
При этом |ξn (ω)| ξn+ (ω) + ξn− (ω) −−−−→ ξ + (ω) + ξ − (ω), и
n→∞
имеют место неравенства: ξn+ (ω) < ξ + (ω), ξn− (ω) < ξ − (ω),
тогда справедливо неравенство:
|ξn (ω)| ξn+ (ω) + ξn− (ω) ξ + (ω) + ξ − (ω) = |ξ(ω)|.
Теорема доказана.
Замечание 1.2. Данная теорема доказывает существование

последовательности, которая рассматривается во второй части
определения математического ожидания. Однако может су-
ществовать много последовательностей, обладающих такими
свойствами. Надо доказать, что предел математических ожи-
даний у всех последовательностей одинаков.
Лемма 1.1. Пусть последовательность неотрицательных про-

стых функций ξn (ω) такова, что ξn (ω) ξn+1 (ω), 0
ξn (ω) −−−−→ ξ(ω) и 0 η(ω) ξ(ω), где η(ω) — простая
n→∞
функция. Тогда справедливо следующее неравенство:

lim ξn (ω)dP η(ω)dP.
n→∞
Ω Ω
Доказательство. Рассмотрим некоторое ε > 0, введем со-

бытие:
Aεn = {ω : ξn (ω) η(ω) − ε}.
n ⊂ An+1 — возрастающая последова-

ε ε
Последовательность A
∞
тельность событий, и n=1 Aεn = Ω. Следовательно,
∞

Āεn ⊃ Āεn+1 , Āεn = ∅. (1.4)
n=1
Очевидно, что выполнено неравенство:
ξn (ω) ξn (ω)I{ω ∈ Aεn } (η(ω) − ε)I{ω ∈ Aεn } =

= η(ω) − η(ω)I{ω ∈ Āεn } − εI{ω ∈ Aεn }
η(ω) − CI{ω ∈ Āεn } − ε, (1.5)
где C = max η(ω).

ω∈Ω
Слева и справа в неравенстве (1.5) — простые функции,
для них свойство положительности уже установлено. Таким
образом, получаем неравенство:

ξn (ω)dP η(ω)dP − CP (Āεn ) − ε.
Ω Ω
В силу (1.4) получаем сходимость: CP (Āεn ) −−−−→ 0. Перейдем

n→∞
к пределу:

lim ξn (ω)dP η(ω)dP − ε.
n→∞
Ω Ω
Неравенство справедливо при любом ε, а, значит, справедливо

и утверждение леммы.
Рассмотрим следующие последовательности простых функ-
ций: ξn (ω) ξn+1 (ω), 0 ξn (ω) −−−−→ ξ(ω), ηm (ω)
n→∞
ηm+1 (ω), 0 ηm (ω) −−−−→ ξ(ω).
n→∞
Возьмем конкретное m и применим лемму 1.1:

lim ξn (ω)dP ηm (ω)dP.
n→∞
Ω Ω
Также справедливо неравенство:

lim ξn (ω)dP lim ηm (ω)dP.
n→∞ m→∞
Ω Ω
Данные рассуждения применимы для функций ηn (ω), ξm (ω),

рассматриваемых в обратном порядке. Таким образом,

lim ξn (ω)dP = lim ηm (ω)dP.
n→∞ m→∞
Ω Ω
Следовательно, вторая часть определения 1.1 математического

ожидания корректна.
Проверим выполнение свойств линейности и положитель-
ности для второй части определения 1.1 математического ожи-
дания. Докажем сначала свойство линейности:
1. Рассмотрим cξ(ω), где c 0, ξn (ω) ξn+1 (ω), 0
ξn (ω) −−−−→ ξ(ω). Тогда cξn (ω) cξn+1 (ω), 0
n→∞
cξn (ω) −−−−→ cξ(ω) и
n→∞

cξ(ω)dP = lim cξn (ω)dP =
n→∞
Ω Ω

= c lim ξn (ω)dP = c ξ(ω)dP.
n→∞
Ω Ω
2. Рассмотрим последовательности простых функций

ξn (ω) ξn+1 (ω), 0 ξn (ω) −−−−→ ξ(ω), ηn (ω) ηn+1 (ω),
n→∞
0 ηn (ω) −−−−→ η(ω). Для них справедливо неравен-
n→∞
ство:
ξn (ω) + ηn (ω) ξn+1 (ω) + ηn+1 (ω),
0 ξn (ω) + ηn (ω) −−−−→ ξ(ω) + η(ω).

n→∞
Тогда имеют место равенства:

(ξ(ω) + η(ω))dP = lim (ξn (ω) + ηn (ω))dP =
n→∞
Ω Ω

= lim ξn (ω)dP + lim ηn (ω)dP =
n→∞ n→∞
Ω Ω

= ξ(ω)dP + η(ω)dP.
Ω Ω
Докажем свойство положительности:

1. Пункт 1 свойства положительности очевидно выполня-
ется.
2. Рассмотрим п. 2, 3 свойства положительности. Если
ξ(ω) η(ω), то η(ω) = (η(ω) − ξ(ω)) + ξ(ω). В дан-
ном равенстве η(ω) − ξ(ω) 0, ξ(ω) 0. Воспользуемся
свойством аддитивности:

η(ω)dP = (η(ω) − ξ(ω))dP + ξ(ω)dP.
Ω Ω Ω

Здесь Ω (η(ω) − ξ(ω))dP 0. Если отбросить это слага-
емое, то значение правой части равенства может только
уменьшиться.
Рассмотрим третью часть определения 1.1 математическо-
го ожидания. Корректность третьей части не вызывает сомне-
ний. Необходимым и достаточным условием существования
интеграла Лебега является:
⎛ ⎞

min ⎝ ξ + (ω)dP, ξ − (ω)dP ⎠ ∈ R.
Ω Ω
Проверка справедливости свойств линейности и положитель-

ности для третьей части определения 1.1 математического
ожидания выполняется аналогично приведенным выше дока-
зательствам.
III. Свойство конечности

| Ω ξ(ω)dP | < ∞ имеет место тогда и только
Неравенство
тогда, когда Ω |ξ(ω)| dP < ∞.
Доказательство. Согласно третьей части определения 1.1
математического ожидания:

ξ(ω)dP = ξ + (ω)dP − ξ − (ω)dP. (1.6)
Ω Ω Ω
В силу аддитивности имеет место равенство:

|ξ(ω)|dP = ξ (ω)dP + ξ − (ω)dP.
+
(1.7)
Ω Ω Ω
Интегралы
+ (1.6) и (1.7) конечны тогда и только тогда, когда
Ω
ξ (ω)dP < ∞ и Ω ξ − (ω)dP < ∞.
IV. Справедливо неравенство:

ξ(ω)dP |ξ(ω)| dP. (1.8)

Ω Ω
Доказательство. Очевидно, что имеет место неравенство:

−|ξ(ω)| ξ(ω) |ξ(ω)|.

Если Ω ξ(ω)dP = ∞ или Ω ξ(ω)dP = −∞, то Ω |ξ(ω)|dP =
= ∞, и неравенство (1.8) выполняется как равенство. Ес-
ли | Ω ξ(ω)dP | < ∞, то согласно свойству II математического
ожидания справедливы неравенство:

ξ(ω)dP |ξ(ω)|dP, (1.9)
Ω Ω

− |ξ(ω)|dP ξ(ω)dP. (1.10)
Ω Ω
Умножим неравенство (1.10) на −1, получим:

|ξ(ω)|dP − ξ(ω)dP. (1.11)
Ω Ω
Из (1.9) и (1.11) следует:

ξ(ω)dP |ξ(ω)| dP.

Ω Ω
V. Свойство мультипликативности
1. Пусть случайные величины ξ(ω) 0 и η(ω) 0 незави-
симы, тогда имеет место следующее равенство:
E(ξη) = EξEη.
2. Пусть случайные величины ξ(ω) и η(ω) независимы.
Пусть у них существуют и конечны математические
ожидания Eξ ∈ R, Eη ∈ R, тогда имеет место равен-
ство:
E(ξη) = EξEη.
Доказательство. Оба свойства докажем одновременно. Пусть
ξ(ω) 0, η(ω) 0 — взаимно независимые простые функции,
тогда их можно представить в виде:

n
ξ(ω) = ai I{ω ∈ Ai },
i=1

m
η(ω) = bj I{ω ∈ Bj },
j=1
причем

n
Ak ∩ Al = ∅, k = l, Ak = Ω;
k=1

m
Br ∩ Bs = ∅, r = s, Br = Ω.
r=1
Без ограничения общности можно считать, что ak = al для
любых k, l и br = bs для любых r, s. Очевидно, что ξ(ω)η(ω) =

n m
= bj ai I{ω ∈ Ai ∩ Bj } — простая случайная величина.
i=1 j=1
Тогда

n
m
E(ξη) = ai bj P (Ai ∩ Bj ),
i=1 j=1
но так как ak = al для всех k, l и br = bs для всех r, s, то

Ai = ξ −1 (ai ), Bj = η −1 (bj ). Тогда

P ξ −1 (ai ) ∩ η −1 (bj ) = P (Ai )P (Bj ).
Таким образом, получаем равенство:

n
m
E(ξη) = ai P (Ai )bj P (Bj ) =
i=1 j=1

n
m
= ai P (Ai ) bj P (Bj ) = EξEη.
i=1 j=1
Покажем теперь справедливость пункта 1 свойства V.

Пусть ξn (ω) ξn+1 (ω), 0 ξn (ω) −−−−→ ξ(ω), ηn (ω)
n→∞
ηn+1 (ω), 0 ηn (ω) −−−−→ η(ω) — последовательности про-
n→∞
стых функций из теоремы 1.1. Следовательно, ξn (ω)ηn (ω)
ξn+1 (ω)ηn+1 (ω), 0 ξn (ω)ηn (ω) −−−−→ ξ(ω)η(ω), где
n→∞
ξn (ω)ηn (ω) — простая измеримая функция. Тогда по опре-
делению интеграла Лебега:
E(ξη) = lim E(ξn ηn ).

n→∞
Очевидно, σξn ⊂ σξ , σηn ⊂ ση . Так как сигма-алгебры σξ и

ση независимы, то σξn и σηn независимы. Тогда, используя
полученное выше равенство для простых случайных величин,
получаем:
E(ξη) = lim (Eξn Eηn ) = lim Eξn lim Eηn = EξEη.

n→∞ n→∞ n→∞
Докажем пункт 2 свойства V. Очевидно, что Eξ ∈ R тогда

и только тогда, когда Eξ + , Eξ − ∈ R, и Eη ∈ R тогда и только
тогда, когда Eη + , Eη − ∈ R.
Рассмотрим E(ξη). Так как ξ = ξ + − ξ − , η = η + − η − , то
E(ξη) = E(ξ + η + + ξ − η − − ξ − η + − ξ + η − ).
Выполняется σξ+ ⊂ σξ , σξ− ⊂ σξ , ση+ ⊂ ση , ση− ⊂ ση . Та-

ким образом, все сомножители в рассматриваемом равенстве
взаимно независимы. Справедлив пункт 1 свойства V, а для
выполнения свойства аддитивности нужно, чтобы интегралы
были конечны:
E(ξη) = E(ξ + η + + ξ − η − − ξ − η + − ξ + η − ) =
= Eξ + Eη + + Eξ − Eη − − Eξ − Eη + − Eξ + Eη − =

= Eξ + − Eξ − Eη + − Eη − = EξEη.

VI. Пусть существует
Ω
ξ(ω)dP . Тогда для любого A ∈
∈ F существует Ω ξ(ω)I{ω ∈ A}dP .
Доказательство. Справедливы неравенства:
0 ξ + (ω)I{ω ∈ A} ξ + (ω),
0 ξ − (ω)I{ω ∈ A} ξ − (ω).
Из этих неравенств следует свойство VI.
Определение
1.2. По определению будем считать, что
ξ(ω)dP = ξ(ω)I{ω ∈ A}dP .
A Ω
Замечание 1.3. Ранее говорилось, что 0 · (±∞) = 0. Следова-

тельно, даже если |ξ(ω0 )| = ∞ и ω0 ∈
/ A, то значение подин-
тегральной функции окажется равным нулю во всех точках
ω∈/ A.
п.н.
VII. Пусть ξ(ω) = 0, тогда существует ξ(ω)dP = 0.
Ω
Доказательство. Проверим выполнение свойства VII для
первой части определения 1.1 математического nожидания.
Пусть ξ(ω) 0 — простая функция, n т. е. ξ(ω) = i=1 ai I{ω ∈
∈A i }, Aj ∩ A i = ∅, Ai ∈ F, A
i=1 i = Ω, тогда Ω
ξ(ω)dP =
n
= a
i=1 i P (A i ). Если a
=
i 0, то P (A i ) = 0. Если P (Ai ) = 0,
то ai = 0. Следовательно, Ω ξ(ω)dP = 0.
Проверим выполнение свойства VII для второй части опре-
деления 1.1 математического ожидания. Так как ξ(ω) 0, то
существует последовательность простых функций ξn (ω) такая,

что ξn (ω) ξn+1 (ω), 0 ξn (ω) −−−−→ ξ(ω). Тогда для любо-
n→∞
п.н.
го n: 0 ξn (ω) ξ(ω), для любого n и ξn (ω) = 0. Таким
п.н.
образом, ξn (ω) = 0 и Ω ξn (ω)dP = 0. По определению 1.1
математического ожидания справедливо равенство:

ξ(ω)dP = lim ξn (ω)dP = 0.
n→∞
Ω Ω
Проверим выполнение свойства VII для третьей части

определения 1.1 математического ожидания. Выполняется
ξ(ω) = ξ + (ω) − ξ − (ω). Следовательно,
0 ξ + (ω) ξ + (ω) + ξ − (ω) = |ξ(ω)| = 0,

п.н.
0 ξ − (ω) ξ + (ω) + ξ − (ω) = |ξ(ω)| = 0.

п.н.
п.н. п.н.
Тогда ξ + (ω) = 0, ξ − (ω) = 0. Таким образом, справедливо
равенство:

ξ(ω)dP = ξ + (ω)dP − ξ − (ω)dP = 0.
Ω Ω Ω

VIII. Пусть существует конечный интеграл Ω
ξ(ω)dP ∈
∈ R. Тогда P {ω : |ξ(ω)| = ∞} = 0.
Доказательство. Рассмотрим неравенство:
|ξ(ω)| |ξ(ω)|I {|ξ(ω)| = ∞} .
Проинтегрируя неравенство, получаем:

|ξ(ω)|dP |ξ(ω)|I {|ξ(ω)| = ∞} dP =
Ω Ω
= lim nP {|ξ(ω)| = ∞} .
n→∞
Если бы вероятность P {ω : |ξ(ω)| = ∞} была бы отлична от

нуля, то предел был бы равен бесконечности, чего быть не
может по условию. Таким образом, P {ω : |ξ(ω)| = ∞} = 0.
§ 2. Предельный переход под знаком интеграла Лебега 107
п.н.
IX. Пусть ξ(ω) 0 и Ω ξ(ω)dP = 0. Тогда ξ(ω) = 0.
Доказательство. Рассмотрим множества B = {ω : ξ(ω) >
> 0}, Bn = {ω :ξ(ω) 1/n}. Очевидно, что Bn ⊂ Bn+1 для
∞
любого n, B = n=1 Bn . Следовательно, по свойству непре-
рывности вероятностной меры P (B) = lim P (Bn ). Рассмот-
n→∞
рим неравенство:
1
ξ(ω) ξ(ω)I{ω ∈ Bn } I{ω ∈ Bn }.
n
Согласно свойству положительности:

1
0 = ξ(ω)dP P (Bn ).
n
Ω
Тогда P (Bn ) = 0, что значит, что P (B) = 0.

п.н.
X. Пусть ξ(ω) =η(ω), при этом
существует Ω
ξ(ω)dP ,
тогда существует Ω η(ω)dP = Ω ξ(ω)dP .
Доказательство. Рассмотрим множество
N = {ω : ξ(ω) = η(ω)} ,
по условию P (N ) = 0. Тогда имеют место равенства:

ξ(ω)dP = ξ(ω)I{ω ∈ N }dP + ξ(ω)I{ω ∈ N̄ }dP =
Ω Ω Ω

= η(ω)I{ω ∈ N̄ }dP + η(ω)I{ω ∈ N }dP = η(ω)dP,
Ω Ω Ω

так как Ω
ξ(ω)I{ω ∈ N }dP = 0, Ω
η(ω)I{ω ∈ N }dP = 0.
§ 2. ПРЕДЕЛЬНЫЙ ПЕРЕХОД
ПОД ЗНАКОМ ИНТЕГРАЛА ЛЕБЕГА
Теорема 2.1 (о монотонном предельном переходе под зна-
ком интеграла Лебега). Пусть ξ1 , . . ., ξn , . . . — последова-
тельность неотрицательных случайных величин, заданных
на вероятностном пространстве (Ω, F, P ). Пусть имеет

место сходимость 0 ξn (ω) −−−−→ ξ(ω), ξn (ω) ξn+1 (ω),
n→∞
для любого ω ∈ Ω, тогда имеет место сходимость мате-
матических ожиданий:
Eξn −−−−→ Eξ.

n→∞
Доказательство. Так как ξn (ω) ξ(ω) для любого ω, то

в силу свойства положительности математического ожидания
справедливы неравенства: Eξn Eξ и Eξn Eξn+1 . Тогда
выполняется неравенство:
lim Eξn Eξ.

n→∞
Докажем обратное неравенство. Рассмотрим последователь-

ность неотрицательных случайных величин ξ1 (ω), ξ2 (ω), . . .,
ξk (ω), . . . и следующие последовательности простых функций:
ξ1n (ω) ξ1,n+1 (ω), 0 ξ1n (ω) −−−−→ ξ1 (ω),

n→∞
ξ2n (ω) ξ2,n+1 (ω), 0 ξ2n (ω) −−−−→ ξ2 (ω),

n→∞
...
ξkn (ω) ξk,n+1 (ω), 0 ξkn (ω) −−−−→ ξk (ω).
n→∞
Тогда ζn (ω) = max {ξkn (ω)} — простая неотрицательная

k=1,...,n
функция, 0 ζn (ω) ζn+1 (ω). Справедливо неравенство:
ξkn (ω) ζn (ω) ξn (ω), k n.
При n → ∞ имеет место неравенство:

ξk (ω) ζ(ω) ξ(ω),
где предел lim ζn (ω) обозначен через ζ(ω).

n→∞
При k → ∞ справедливо неравенство:
ξ(ω) ζ(ω) ξ(ω),
тогда ζ(ω) = ξ(ω) для любого ω.

§ 2. Предельный переход под знаком интеграла Лебега 109
По определению 1.1 математического ожидания Eζ =

= Eξ = lim Eζn . Из неравенств следует, что Eζn Eξn .
n→∞
Тогда получаем неравенство:
Eζ = Eξ = lim Eζn lim Eξn .

n→∞ n→∞
Получили противоположное неравенство, следовательно, Eξ =

= lim Eξn .
n→∞
Следствие 2.1. Пусть P {ω : ξn (ω) ξn+1 (ω), 0 ξn (ω) −−−−→

n→∞
ξ(ω)} = 1. Тогда
lim Eξn = Eξ.
n→∞
Доказательство. Пусть N — множество тех точек, в ко-

торых не выполнено условие теоремы, P (N ) = 0. Введем слу-
чайные величины
&
ξn (ω), ω ∈
/ N,
ξñ (ω) =
0, ω ∈ N;
&
˜ ξ(ω), ω∈/ N,
ξ(ω) =
0, ω ∈ N.
˜
Для ξñ (ω) и ξ(ω) выполнено условие теоремы для любого ω.
E ξ˜ = lim E ξñ .
n→∞
Так как мера множества N равна нулю, то Eξ = E ξ˜ =

= lim E ξñ = lim Eξn .
n→∞ n→∞
Следствие 2.2. Пусть для любого ω ∈ Ω имеет место сходи-

мость η(ω) ξn (ω) −−−−→ ξ(ω) (ξn (ω) ξn+1 (ω) для любого
n→∞
ω ∈ Ω). Пусть Eη > −∞, тогда
lim Eξn = Eξ.

n→∞
Доказательство. Рассмотрим ξñ = ξn − η 0 и ξ˜ = ξ − η

0. Для таких ξñ , ξ˜ выполнены условия теоремы, следова-
тельно,
˜
E ξñ −−−−→ E ξ.
n→∞
Тогда E ξñ + Eη −−−−→ E ξ˜+ Eη. В силу свойства аддитивности

n→∞
получаем равенства:
E ξñ + Eη = Eξn ,
E ξ˜ + Eη = Eξ.
Таким образом, следствие доказано.
Следствие 2.3. Пусть для любого ω ∈ Ω имеет место сходи-

мость η(ω) ξn (ω) −−−−→ ξ(ω) (ξn (ω) ξn+1 (ω) для любого
n→∞
ω ∈ Ω). Пусть Eη < ∞, тогда
lim Eξn = Eξ.
n→∞
˜
Доказательство. Рассмотрим η̃(ω) = −η(ω), ξ(ω) =
˜
= −ξ(ω), ξn (ω) = −ξn (ω). Таким образом, мы оказываем-
ся в условиях следствия 2.2.
Следствие 2.4. Пусть при всех n: ξn (ω) 0. Тогда

∞ ∞

ξn (ω)dP = ξn (ω)dP.
Ω n=1 n=1 Ω
Доказательство. Рассмотрим частичную сумму ряда:

n ∞

0 Sn (ω) = ξk (ω) −−−−→ ξk (ω).
n→∞
k=1 k=1
Таким образом, условия теоремы 2.1 выполняются:

∞ n
ξk (ω)dP = lim ξk (ω)dP =
n→∞
Ω k=1 Ω k=1
n ∞

= lim ξk (ω)dP = ξk (ω)dP.
n→∞
k=1 Ω k=1 Ω
§ 3. Теорема Лебега о мажорируемой сходимости 111
§ 3. ТЕОРЕМА ЛЕБЕГА О МАЖОРИРУЕМОЙ

СХОДИМОСТИ
Лемма 3.1 (лемма Фату).
1. Пусть заданы случайные величины η, ξ1 , . . ., ξn , . . . на
вероятностном пространстве (Ω, F, P ), при этом η(ω)
ξn (ω) для любого n, Eη > −∞, тогда lim Eξn
n→∞
E lim ξn .
n→∞
2. Пусть ξn (ω) η(ω) для любого n, Eη < ∞, тогда
lim Eξn E lim ξn .
n→∞ n→∞
3. Пусть заданы случайные величины η, ξ1 , . . ., ξn , . . .
на вероятностном пространстве (Ω, F, P ) такие, что
|ξn (ω)| η(ω) для любого n, и Eη < ∞, тогда
E lim ξn lim Eξn lim Eξn E lim ξn .

n→∞ n→∞ n→∞ n→∞
Доказательство. Докажем первое утверждение леммы.

В равенстве lim ξn (ω) = lim inf ξm (ω) обозначим inf ξm (ω)
n→∞ n→∞ mn mn
через ζn (ω). Тогда по построению η(ω) ζn (ω) ζn+1 (ω) и
ζn (ω) −−−−→ lim ξn (ω). Согласно следствию 2.2 справедливо:
n→∞ n→∞
E lim ξn = lim Eζn = lim Eζn lim Eξn .

n→∞ n→∞ n→∞ n→∞
Так как ζn (ω) ξn (ω), то Eζn (ω) Eξn (ω).

Для доказательства второго утверждения леммы нужно
все случайные величины умножить на −1. Третье утвержде-
ние леммы следует из первого и второго утверждений.
Теорема 3.1 (о мажорируемой сходимости). Пусть η(ω),
ξ(ω), ξ1 (ω), . . ., ξn (ω), . . . — случайные величины, задан-
ные на вероятностном пространстве (Ω, F, P ). Выполнены
следующие условия: Eη < ∞, |ξn (ω)| η(ω) для любого n,
п.н.
lim ξn (ω) = ξ(ω), тогда
n→∞
1. Существует конечное математическое ожидание Eξ.
2. Имеет место сходимость: Eξn −−−−→ Eξ.
n→∞
3. Имеет место сходимость: E|ξ(ω) − ξn (ω)| −−−−→ 0.
n→∞
Доказательство. Докажем первое утверждение теоремы.

Так как |ξn (ω)| η(ω) для любых n, можно сделать предель-
п.н.
ный переход: |ξ(ω)| η(ω). Согласно свойству положительно-
сти интеграла Лебега справедливо неравенство: E|ξ| Eη <
< ∞. Согласно свойству конечности интеграла Лебега Eξ ∈
∈ R.
Докажем второе утверждение теоремы. Условия леммы
Фату 3.1 выполнены, тогда имеют место неравенства:
E lim ξn lim Eξn lim Eξn E lim ξn .

n→∞ n→∞ n→∞ n→∞
Так как
п.н. п.н.
lim ξn = lim ξn (ω) = ξ(ω),
n→∞ n→∞
п.н. п.н.
lim ξn = lim ξn (ω) = ξ(ω),
n→∞ n→∞
то получаем искомое равенство.
Третье утверждение доказывается аналогично.
§ 4. ТЕОРЕМА О ЗАМЕНЕ ПЕРЕМЕННОЙ

ПОД ЗНАКОМ ИНТЕГРАЛА ЛЕБЕГА
Теорема 4.1 (о замене переменной). Пусть на вероят-
ностном пространстве (Ω, F , P ) задан случайный вектор
ξ(ω) = (ξ1 (ω), . . . , ξn (ω)), функция g : Rn → R измери-
ма относительно борелевских σ-алгебр. Тогда если суще-
ствует
один из двух интегралов: Ω
g(ξ 1 (ω), . . . , ξn (ω))dP ,
R n g(x 1 , . . . , x n )dP ξ , то существует и второй, и они равны:

g(ξ1 (ω), . . . , ξn (ω))dP = g(x1 , . . . , xn )dPξ , (4.1)
Ω Rn
где Pξ — распределение случайного вектора ξ.

Доказательство. Вспомним определение 1.1, рассмотрим
каждый из его пунктов. Покажем, что равенство (4.1) выпол-
няется для каждого из них. Заметим также, что борелевская
функция g(x) на пространстве (Rn , B(Rn ), Pξ ) является слу-
чайной величиной.
§ 4. Теорема о замене переменной 113
m g(x) 0 — простая числовая функция

1. Пусть m такая, что
g(x) = i=1 ai I{x ∈ Ai }, Ak ∩ Al = ∅, k = l, k=1 Ak = Rn ,
Ak ∈ B(Rn ).
Рассмотрим следующую функцию этого класса:
g(x) = 1 · I{x ∈ A} + 0 · I{x ∈ Ā}.
Подставим это выражение в левую часть равенства (4.1) и

рассмотрим интеграл:

I{ξ(ω) ∈ A}dP = P {ξ ∈ A} = P {ξ −1 (A)}.
Ω
Подставим данное представление в правую часть равенства

(4.1), получим:

I{x ∈ A}dPξ = Pξ (A).
Rn
Таким образом, для данного вида функции g(x) равенство

(4.1) доказано. Следовательно, можно утверждать справедли-
вость формулы:

I{ξ(ω) ∈ Ai }dP = I{x ∈ Ai }dPξ .
Ω Rn
Домножим обе части равенства на ai и просуммируем, вос-

пользовавшись свойством аддитивности:

g (ξ(ω)) dP = g(x)dPξ .
Ω Rn
2. Пусть g(x) 0 — расширенная числовая функция. Су-

ществует последовательность простых функций gk (x) такая,
что gk (x) gk+1 (x), 0 gk (x) −−−−→ g(x). По определению
k→∞
1.1 получаем:

g (ξ(ω)) dP = lim gk (ξ(ω)) dP.
k→∞
Ω Ω

Также можно написать: Rn g(x)dPξ = lim Rn gk (x)dPξ . Сле-
k→∞
довательно,
g(ξ(ω))dP = g(x)dPξ .
Ω Rn
3. Любую расширенную числовую функцию g(x) можно

представить в виде g(x) = g + (x) − g − (x). По отдельности для
g + (x) и g − (x) равенство (4.1) доказано:

g (ξ(ω)) dP = g + (x)dPξ ,
+
Ω Rn

−
g (ξ(ω)) dP = g − (x)dPξ .
Ω Rn
Но тогда можем утверждать, что справедливо и равенство:

g (ξ(ω)) dP = g(x)dPξ ,
Ω Rn
так как если существует левая часть, то существует и правая

часть равенства, и наоборот.
Следствие 4.1. Пусть выполнены все условия теоремы 4.1,

n = 1, g(x) = x, тогда

Eξ = ξ(ω)dP = xdPξ . (4.2)
Ω R
Замечание 4.1. В равенствах (4.1) и (4.2) интегралы в пра-

вых частях зависят от случайных величин только через их
распределения, поэтому интегралы в (4.1) и (4.2) могут быть
записаны специальным образом:

+∞
+∞
g(x1 , . . . , xn )dPξ ≡ ... g(x1 , . . . , xn )dFξ (x),

Rn −∞ −∞
§ 4. Теорема о замене переменной 115

+∞
xdPξ ≡ xdFξ (x).

R −∞
Эти интегралы называются интегралами Лебега–Стилтьеса.

Следствие 4.2. Пусть n = 1, тогда

+∞
g(ξ(ω))dP = g(x)dPξ = g(x)dFξ (x).

Ω R −∞
Здесь важно, что суперпозиция функций также является

случайной величиной η(ω) = g(ξ1 (ω)). Согласно следствию
4.1 получаем:
∞
+∞
E(g(ξ)) = g(ξ(ω))dP = g(x)dFξ (x) = ydFη (y).

Ω −∞ −∞
Следствие 4.3. Пусть выполнены все условия теоремы 4.1

и B ∈ B(Rn ), тогда если существует один из интегралов,
то существует и второй, и они равны:

g(ξ1 (ω), . . . , ξn (ω))dP = g(x1 , . . . , xn )dPξ .
ξ −1 (B) B
Для доказательства достаточно рассмотреть функцию

g̃(x1 , . . . , xn ) = I{x ∈ B}g(x1 , . . . , xn ).
Теорема 4.2. Пусть выполнены условия теоремы 4.1, и у
случайного вектора ξ существует плотность распределе-
ния fξ (x1 , . . . , xn ). Тогда если существует один из интегра-
лов, то существует и второй, и они равны:

g(ξ1 , . . . , ξn )dPξ =
Rn

+∞
+∞
= ... g(x1 , . . . , xn )fξ (x1 , . . . , xn )dx1 . . . dxn .

−∞ −∞
Доказательство. Доказательство теоремы 4.2 аналогично

доказательству теоремы 4.1, поэтому сделаем только первый
шаг в доказательстве теоремы и укажем дальнейшие шаги.
1. Рассмотрим функцию g(x) = I{x ∈ A}, A ∈ B(Rn ).
Тогда
I{ξ(ω) ∈ A}dP = P {ξ −1 (A)}.
Ω
Справедливы равенства:
∞ ∞
... I{x ∈ A}fξ (x)dx = I{x ∈ A}fξ (x)dx =
−∞ −∞ Rn

= fξ (x)dx = Pξ (A) = P {ξ −1 (A)}.
A
Далее рассуждение повторяется (см. теорему 4.1), имеется

только одно отличие. В части 2 доказательства теоремы, при-
менив теорему о монотонной сходимости под знаком интегра-
ла Лебега, получим:

g(ξ(ω))dP = lim gk (ξ(ω))dP,
k→∞
Ω Ω

g(x)fξ (x)dx = lim gk (x)fξ (x)dx,
k→∞
Rn Rn
откуда следует доказываемое утверждение.
Замечание 4.2 (о связи интеграла Лебега и интеграла
Римана).
1. Пусть g(x) задана на отрезке [a, b], и существует ин-
b
теграл Римана, который обозначим через (R) a g(x)dx,
тогда существует и интеграл Лебега, который обозначим
b
через (L) a g(x)dx, и они равны:
b b
(R) g(x)dx = (L) g(x)dx.
a a
§ 5. Формулы для вычисления математического ожидания 117
2. Пусть g(x) 0 на [a, +∞) и на любом отрезке [a, b]

b
существует интеграл Римана (R) a g(x)dx, тогда суще-
ствуют и равны следующие интегралы:

+∞
+∞
(R) g(x)dx = (L) g(x)dx.

a a
Несобственный интеграл Римана совпадает с интегралом

Лебега. Отметим, что оба интеграла могут быть равны
+∞.
§ 5. ФОРМУЛЫ ДЛЯ ВЫЧИСЛЕНИЯ

МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ
1. Пусть ξ(ω) 0 — простая случайная величина, т. е.

m
ξ(ω) = ai I{ω ∈ Ai }.
i=1
Математическое ожидание простой случайной величины мож-

но вычислить по формуле:

m
Eξ = ai P (Ai ).
i=1
Всегда можно добиться того, чтобы все значения ai были

бы различными, тогда Ai = ξ −1 (ai ), получаем формулу для
вычисления математического ожидания неотрицательной про-
стой случайной величины:

m
Eξ = ai P {ξ = ai }. (5.1)
i=1
2. Пусть ξ(ω) — простая случайная величина, т. е.

m
ξ(ω) = bi I{ω ∈ Bi }.
i=1
Также ξ(ω) можно представить в виде:

ξ(ω) = ξ + (ω) − ξ − (ω),
где

m
ξ + (ω) = b+
i I{ω ∈ Bi },
i=1
m
ξ − (ω) = b−
i I{ω ∈ Bi }.
i=1
Математическое ожидание простой случайной величины мож-
но вычислить по формуле:

m
m
m
+
Eξ = Eξ − Eξ −
= b+
i P (Bi ) − b−
i P (Bi ) = bi P (Bi ),
i=1 i=1 i=1
где bi = b+ −
i − bi . Всегда можно добиться того, чтобы все зна-
чения bi были бы различными, тогда Bi = ξ −1 (bi ), получаем
формулу для вычисления математического ожидания простой
случайной величины:

m
Eξ = bi P {ξ = bi }. (5.2)
i=1
3. Пусть ξ(ω) — дискретная случайная величина, ξ ∈

∈ {bi , i ∈ N }, другими словами, множество значений случай-
ной величины счетно:
∞

ξ(ω) = bi I{ω ∈ Bi },
i=1
∞
где Bi ∩ Bj = ∅ для всех i = j, i=1 Bi = Ω. Всегда можно
добиться того, чтобы bi = bj , тогда Bi = ξ −1 (bi ). Выделим
положительную и отрицательную части:
ξ(ω) = ξ + (ω) − ξ − (ω),
где
∞

ξ + (ω) = b+
i I{ω ∈ Bi },
i=1
§ 5. Формулы для вычисления математического ожидания 119
∞

ξ − (ω) = b−
i I{ω ∈ Bi }.
i=1
Тогда

n
+
ξn+ (ω) ξn+1 (ω), 0 ξn+ (ω) = b+ −−−→ ξ + (ω),
i I{ω ∈ Bi } −
k→∞
i=1

n
−
ξn− (ω) ξn+1 (ω), 0 ξn− (ω) = b− −−−→ ξ − (ω).
i I{ω ∈ Bi } −
k→∞
i=1

n ∞

Eξ + = lim Eξn+ = lim b+
i P (Bi ) = b+
i P (Bi ),
n→∞ n→∞
i=1 i=1

n ∞

Eξ − = lim Eξn− = lim b−
i P (Bi ) = b−
i P (Bi ).
n→∞ n→∞
i=1 i=1
Тогда математическое ожидание случайной величины ξ(ω)
можно вычислить следующим образом:
∞
∞

Eξ = Eξ + − Eξ − = b+
i P (Bi ) − b−
i P (Bi ). (5.3)
i=1 i=1
Справедливы утверждения:
• Если Eξ + = ∞, Eξ − ∈ R, то Eξ = ∞.
• Если Eξ + ∈ R, Eξ − = ∞, то Eξ = −∞.

∞
• Если Eξ + ∈ R, Eξ − ∈ R, то Eξ = bi P (Bi ), причем,
i=1
ряд сходится в абсолютном смысле.
• Если Eξ + = ∞, Eξ − = ∞, то математическое ожидание
ξ не существует.
4. Рассмотрим случайную величину ξ, у которой существу-
ет плотность распределения fξ (x). Математическое ожидание
такой случайной величины можно вычислить по формуле:
∞ ∞ 0
Eξ = xfξ (x)dx = xfξ (x)dx − |x|fξ (x)dx, (5.4)
−∞ 0 −∞
если интеграл Лебега существует. В общем случае верна фор-

мула:
∞
Eξ = xdFξ (x). (5.5)
−∞
Если существует плотность распределения, то

∞ ∞
Eg(ξ) = g(x)dFξ (x) = g(x)fξ (x)dx. (5.6)
−∞ −∞
Пример 5.1. Пусть случайная величина ξ подчиняется нор-

мальному распределению с параметрами (a, σ 2 ). Плотность ее
(x−a)2
1
распределения имеет вид: fξ (x) = √2πσ e− 2σ2 . Вычислим
математическое ожидание этой случайной величины:
∞
1 (x−a)2
Eξ = √ xe− 2σ 2 dx =
2πσ
−∞
∞
1 (x−a)2
=√ (x − a)e− 2σ 2 dx+
2πσ
−∞
∞
1 (x−a)2
+a √ e− 2σ2 dx = a.
2πσ
−∞
Пример 5.2. Рассмотрим распределение Коши с плотностью

1
распределения fξ (x) = π1 1+x 2 . Согласно формуле (5.4), полу-
чаем
∞ 0
1 1 1 1
Eξ = x 2
dx − |x| dx.
π 1+x π 1 + x2
0 −∞
Оба интеграла в правой части равны бесконечности, следо-

вательно, математического ожидания у случайной величины,
подчиняющейся распределению Коши, не существует.
Пример 5.3. Пусть μ — случайная величина, равная числу
успехов в n независимых испытаниях Бернулли с вероятно-
стью успеха в каждом испытании p и вероятностью неудачи
§ 6. Моменты случайных величин. Дисперсия 121
q = 1 − p. Математическое ожидание случайной величины μ

можно вычислить по формуле

n
Eμ = mCnm pm q n−m .
m=0
Однако можно получить более удобную формулу. Определим

случайные
n величины ξi = I{успех в i-ом испытании}, тогда
μ = i=1 ξi . Заметим, что Eξi = p, тогда

n
Eμ = Eξi = np.
i=1
§ 6. МОМЕНТЫ СЛУЧАЙНЫХ ВЕЛИЧИН.

ДИСПЕРСИЯ
Рассмотрим вероятностное пространство (Ω, F , P ).
Определение 6.1. Начальным моментом порядка k случайной
величины ξ называется интеграл Лебега–Стилтьеса:
∞
k
ak = E(ξ ) = xk dFξ (x), (6.1)
−∞
если математическое ожидание E(ξ k ) существует и конечно.

Определение 6.2. Центральным моментом порядка k случай-
ной величины ξ называется интеграл Лебега–Стилтьеса:
∞
a0k = E(ξ − Eξ) =
k
(ξ − Eξ)k dFξ (x), (6.2)
−∞
если интеграл существует и конечен.

Среди центральных моментов особое место занимает мо-
мент второго порядка a02 = E(ξ − Eξ)2 , который называется
дисперсией случайной величины ξ и обозначается Dξ. Сред-
отклонением случайной величины ξ назы-
неквадратическим √
вается число σξ = Dξ.
Свойства дисперсии
Будем предполагать, что выполнено условие E(ξ 2 ) < ∞.

I. Дисперсия случайной величины ξ удовлетворяет усло-
вию:
Dξ 0.
п.н.
При этом Dξ = 0 тогда и только тогда, когда ξ = const, т. е.
является вырожденной случайной величиной.
Доказательство. Очевидно, что Dξ = σξ2 0. По свойству
интеграла Лебега Dξ = E(ξ − Eξ)2 = 0 тогда и только тогда,
п.н.
когда ξ(ω) = Eξ ∈ R.
II. Пусть случайная величина η связана со случайной ве-
п.н.
личиной ξ следующим равенством: η = aξ + b, тогда
Dη = a2 Dξ.
Доказательство. Согласно определению дисперсии:

2
Dη = D(aξ + b) = E (aξ + b − E(aξ + b)) .
Так как E(aξ + b) = aEξ + b, то
Dη = E(aξ − aEξ)2 = E(a(ξ − Eξ))2 = a2 Dξ.
III. Пусть случайные величины ξ и η независимы, тогда
D(ξ ± η) = Dξ + Dη.
Доказательство. Согласно определению дисперсии:
D(ξ ± η) = E((ξ − Eξ) ± (η − Eη))2 =

= Dξ + Dη ± 2E(ξ − Eξ)(η − Eη) = Dξ + Dη,
так как в силу независимости случайных величин ξ и η сла-

гаемое E(ξ − Eξ)(η − Eη) можно представить в виде E(ξ −
− Eξ)E(η − Eη) = 0.
§ 6. Моменты случайных величин. Дисперсия 123
IV. Имеет место формула для вычисления дисперсии:

Dξ = E(ξ 2 ) − (Eξ)2 .
Доказательство. По определению дисперсии:
Dξ = E(ξ − Eξ)2 = Eξ 2 − 2EξEξ + (Eξ)2 = Eξ 2 − (Eξ)2 .
V. Справедливо неравенство:
Dξ E(ξ − a)2 ,
где a — константа, при этом Dξ = E(ξ − a)2 тогда и только
тогда, когда a = Eξ.
Доказательство. Рассмотрим E(ξ − a)2 . К выражению в
скобках прибавим и вычтем величину Eξ:
E(ξ − a)2 = E((ξ − Eξ) + (Eξ − a))2 = E(ξ − Eξ)2 +

+ 2(Eξ − a)E(ξ − Eξ) + (Eξ − a)2 = Dξ + (Eξ − a)2 ,
где E(ξ −Eξ)2 = Dξ по определению дисперсии, и E(ξ −Eξ) =
= 0.
Пример 6.1. Пусть случайная величина ξ подчиняется нор-

мальному распределению с параметрами (a, σ 2 ). Математиче-
ское ожидание случайной величины ξ, как было показано,
равно a. Вычислим дисперсию:
∞
1 (x−a)2
Dξ = √ (x − a)2 e− 2σ 2 dx =
2πσ
−∞
∞ 2
1 x−a (x−a)2 x−a
= √ σ2 e− 2σ 2 d =
2π σ σ
−∞
∞
1 y2
= √ σ2 y 2 e− 2 dy =
2π
−∞
∞ ∞
1 2 − y2 2 1 y2
= − √ σ ye 2 +σ √ e− 2 dy = σ 2 .
2π −∞ 2π
−∞
Пример 6.2. Пусть μ — случайная величина, равная числу

успехов в n независимых испытаниях Бернулли с вероятно-
стью успеха в каждом испытании p и вероятностью неудачи
q = 1 − p. Математическое ожидание случайной величины μ
равно np. Вычислим дисперсию μ:

n
Dμ = E(μ − Eμ)2 = (m − np)2 Cnm pm q n−m .
m=0
Воспользуемся другим способом. Определим случайные n вели-

чины ξi = I{успех в i-ом испытании}, тогда μ = i=1 ξi . Ис-
пользуя то, что случайные величины ξi , i = 1, . . . , n независи-
мы, свойство III дисперсии, и, вычислив дисперсию Dξi = pq,
получаем:
n
Dμ = Dξi = npq.
i=1
Если из случайной величины ξ вычесть ее математическое

ожидание Eξ, то получим центрированную случайную вели-
чину,
√ а если центрированную случайную величину разделить
на Dξ, то получим нормированную случайную величину.
Вычислим дисперсию нормированной случайной величины:
2
ξ − Eξ E(ξ − Eξ)2
E √ = √ = 1.
Dξ ( Dξ)2
§ 7. НЕРАВЕНСТВО ЧЕБЫШЕВА.
ДРУГИЕ НЕРАВЕНСТВА
Лемма 7.1 (неравенство Чебышева). Пусть ξ 0. Тогда для
любого ε > 0 справедливо неравенство:
Eξ
P {ξ ε} .
ε
Доказательство. Справедливо неравенство:
ξ(ω) ξ(ω)I{ξ(ω) ε} εI{ξ(ω) ε}.

Проинтегрируем неравенство и применим свойство положи-
тельности интеграла Лебега:
§ 7. Неравенство Чебышева. Другие неравенства 125
Eξ εP {ξ(ω) ε}.
Следствие 7.1. Справедливо неравенство:

Dξ
P {|ξ − Eξ| ε} .
ε2
Доказательство. Преобразуем выражение:
, -
P {|ξ − Eξ| ε} = P (ξ − Eξ)2 ε2 .
Воспользуемся леммой 7.1, получаем неравенство:

, - E(ξ − Eξ)2 Dξ
P (ξ − Eξ)2 ε2 2
= 2.
ε ε
Следствие 7.2 (закон больших чисел для взаимно неза-

висимых случайных величин с равномерно ограниченными
дисперсиями). Пусть последовательность взаимно незави-
симых случайных величин ξn (ω) задана на вероятностном
пространстве (Ω, F, P ), Eξn (ω) = a ∈ R для любого n, дис-
персии равномерно ограничены Dξn c для любого n. Тогда
для любого ε > 0 имеет место сходимость:
⎧ n ⎫
⎪ ⎪
⎪
⎨ ξ ⎪
⎬
k

P k=1
− a ε −−−−→ 0.
⎪
⎪ n ⎪
⎩ ⎪ n→∞
⎭
Доказательство. Рассмотрим последовательность случайных

n
величин ηn = ( ξk )/n. По свойству линейности математиче-
k=1
ского ожидания справедливо равенство: Eηn = a. Применим
следствие 7.1:
⎧ n ⎫
⎪ ⎪
⎪
⎨ ξk ⎪
⎬
nc
P k=1
− a ε 2 2 −−−−→ 0,
⎪
⎪ n ⎪
⎪ n ε n→∞
⎩ ⎭
так как
2
1 1
n n
2
Dηn = E(ηn − a) = E (ξk − a) = Dξk .
n n2
k=1 k=1
Следствие 7.3 (закон больших чисел Бернулли). Пусть в схе-

ме Бернулли с n независимыми испытаниями число успехов
обозначается μn . Тогда для любого ε 0 имеет место схо-
димость: μ
n
P − p ε −−−−→ 0.
n n→∞
Доказательство. Доказываемое утверждение представляет

собой частный случай следствия 7.2. Пусть

n
μn = ξk ,
k=1
где ξk : P (ξk = 1) = p, P (ξk = 0) = q. Тогда
Eξk = 1 · p + 0 · q = p,
1
Dξk = E(ξk − p)2 = (1 − p)2 p + (0 − p)2 q = qp(q + p) = pq .
4
Лемма 7.2 (неравенство Йенсена). Пусть ξ — случайная ве-

личина, математическое ожидание которой конечно. Пусть
g(x) — выпуклая функция, заданная на числовой прямой, то-
гда
E(g(ξ)) g(E(ξ)).
Доказательство. Для того, чтобы функция была выпук-

лой, необходимо и достаточно, чтобы для любого x0 суще-
ствовало число λ(x0 ) такое, что
g(x) λ(x0 )(x − x0 ) + g(x0 ).

§ 7. Неравенство Чебышева. Другие неравенства 127
Пусть x0 = Eξ, x = ξ, тогда имеет место неравенство:

g(ξ) λ(Eξ)(ξ − Eξ) + g(Eξ).
При интегрировании этого неравенства получаем, что E(ξ −
− Eξ) = 0 и E(g(Eξ)) = g(Eξ). Следовательно,
E(g(ξ)) g(E(ξ)).
Замечание 7.1. Если функция g(x) — линейная, то неравен-

ство Йенсена выполняется как равенство.
Лемма 7.3 (неравенство Коши–Шварца–Буняковского). Пусть
E(ξ 2 ) < ∞, E(η 2 ) < ∞, тогда существует E(ξη), причем спра-
ведливо неравенство:
2 2
|E(ξη)| Eξ 2 Eη 2 . (7.1)
п.н.
Доказательство. Пусть Eξ 2 = 0. Следовательно, ξ = 0,
п.н.
ξη = 0 и E(ξη) = 0. Тогда неравенство Коши–Шварца–Буня-
ковского выполнено как равенство. Аналогично для Eη 2 = 0.
Пусть 0 < Eξ 2 < ∞, 0 < Eη 2 < ∞. Введем случайные
величины:
ξ η
ξ˜ = 2 и η̃ = 2 .
Eξ 2 Eη 2
Рассмотрим выражение:
(ξ˜ ± η̃)2 0.
Раскроем скобки и преобразуем:
ξ˜2 + η̃ 2 ±2ξ˜η̃.
Проинтегрировав последнее неравенство, получаем:
2 ±2E(ξ˜η̃),
или эквивалентное неравенство:
2 2
±E(ξη) Eξ 2 Eη 2 .
Последнее неравенство доказывает лемму.
Следствие 7.4. Если Eξ 2 = 0, Eη 2 = 0, то неравенство (7.1)

выполняется как равенство тогда и только тогда, когда
случайные величины ξ и η почти наверное пропорциональ-
ны, т. е. существует константа c ∈ R такая, что
п.н.
η(ω) = cξ(ω).
Доказательство. Достаточность очевидна:

√ 2 2
|c|Eξ 2 = c2 Eξ 2 Eξ 2 .
Докажем необходимость. Пусть неравенство (7.1) выполнено

как равенство.2
Тогда2возможны два случая:
1. E(ξη) = 2 Eξ 2 2 Eη 2 .
2. −E(ξη) = Eξ Eη 2 .
2
Рассмотрим первый случай:
E(ξ˜η̃) = 1,
2 2
где ξ˜ = ξ/ Eξ 2 , η̃ = η/ Eη 2 . Домножим обе части равен-
ства на два и проделаем преобразования из доказательства
леммы 7.3, получим:
2E(ξ˜η̃) = 2 = E ξ˜2 + E η̃ 2 .
!
п.н. п.н. Eξ 2
Следовательно, E(ξ˜ − η̃)2 = 0, ξ˜ − η̃ = 0 или η = Eη 2 ξ.
Аналогично рассматривается второй случай.
§ 8. КОВАРИАЦИЯ, КОРРЕЛЯЦИЯ
Пусть заданы случайные величины ξ и η на вероятностном
пространстве (Ω, F, P ), и существуют конечные математиче-
ские ожидания Eξ ∈ R, Eη ∈ R, а также Dξ > 0 и Dη > 0.
Кроме того, полагаем, что Eξ 2 < ∞ и Eη 2 < ∞.
Определение 8.1. Ковариация cov(ξ, η) случайных величин ξ
и η определяется формулой:
cov(ξ, η) = E {(ξ − Eξ)(η − Eη)} .

§ 8. Ковариация, корреляция 129
Определение 8.2. Коэффициент корреляции (ξ, η) случай-

ных величин ξ и η определяется формулой:
cov(ξ, η)
(ξ, η) = √ √ .
Dξ Dη
Свойства
I. Справедлива формула:
cov(ξ, η) = E(ξη) − EξEη.
Доказательство. Очевидно, что
cov(ξ, η) = E {(ξ − Eξ)(η − Eη)} =

= E {ξη − ξEη − ηEξ + EξEη} =
= E(ξη) − EξEη − EηEξ + EξEη = E(ξη) − EξEη.
II. Пусть ξ и η взаимно независимы, и выполнены все усло-

вия, содержащиеся в начале параграфа, тогда
cov(ξ, η) = 0 и (ξ, η) = 0.
Доказательство. Воспользуемся свойством мультиплика-

тивности:
cov(ξ, η) = E {(ξ − Eξ)(η − Eη)} = E(ξ − Eξ)E(η − Eη),
так как случайные величины ξ и η взаимно независимы. Мож-

но также записать:
E(ξ − Eξ) = Eξ − Eξ = 0,
E(η − Eη) = Eη − Eη = 0.
Таким образом, cov(ξ, η) = 0. Так как по определению 8.2:
cov(ξ, η)
(ξ, η) = √ √ ,
Dξ Dη
то (ξ, η) = 0.
III. Имеет место неравенство |(ξ, η)| 1. Если |(ξ, η)| =

п.н.
= 1, тогда существует константа c такая, что η(ω) = cξ(ω)+b.
Для доказательства этого свойства следует применить
неравенство Коши–Шварца–Буняковского (см. лемму 7.3) к
числителю выражения из определения 8.2.
Случайные величины ξ и η не коррелируют, если
cov(ξ, η) = 0 и (ξ, η) = 0. Из независимости случайных ве-
личин следует их некоррелированность. Обратное верно лишь
в случае, когда случайные величины ξ и η имеют совместное
нормальное распределение.
IV. Пусть ξ T = (ξ1 , . . . , ξn ) — случайный вектор. Опреде-
лим матрицу
, -
Dξ = E (ξ − Eξ)(ξ − Eξ)T =
⎛ ⎞
Dξ1 Cov(ξ1 , ξ2 ) ... Cov(ξ1 , ξn )
⎜ Cov(ξ2 , ξ1 ) Dξ2 ... Cov(ξ2 , ξn ) ⎟
=⎜⎝
⎟.
⎠
... ... ... ...
Cov(ξn , ξ1 ) Cov(ξn , ξ2 ) ... Dξn
Эта матрица называется ковариационной или дисперсионной

матрицей случайного вектора ξ и обозначается через Dξ.
Нетрудно показать, что Dξ 0 — неотрицательно опреде-
ленная матрица.
§ 9. ЗАДАЧА О НАИЛУЧШЕМ ЛИНЕЙНОМ

ПРОГНОЗЕ
Рассмотрим вероятностное пространство (Ω, F, P ). Пусть
на нем заданы случайные величины ξ и η. Будем считать, что
осуществляются наблюдения случайной величины ξ и по этим
наблюдениям делается прогноз случайной величины η.
Рассмотрим функцию ϕ(ξ), которая будет являться про-
гнозом значений случайной величины η. Пусть эта функция
будет линейна:
ϕ(ξ) = aξ + b.
В качестве критерия точности прогноза выберем функцию
Q(a, b) = E(η − ϕ(ξ))2 . Тогда задача принимает следующий
§ 9. Задача о наилучшем линейном прогнозе 131
вид: надо выбрать параметры a и b, доставляющие минимум

Q(a, b), т. е.
min Q(a, b) = min E(η − aξ − b)2 .

a,b a,b
Введем новую случайную величину ζ = η −aξ и сначала будем

решать задачу:
min E(ζ − b)2 .
b
Как было показано при доказательстве свойства V для диспер-

сий минимум математического ожидания E(ζ −b)2 достигается
в точке b̂ = Eζ. Найдем математическое ожидание случайной
величины ζ:
b̂ = Eζ = E(η − aξ) = Eη − aEξ,
и подставим его в функцию Q(a, b). Будем решать задачу:

min Q(a, b̂).
a
2
min Q(a, b̂) = min E ((η − Eη) − a(ξ − Eξ)) .
a a
Преобразуем функцию Q(a, b̂):
Q(a, b̂) = Dη − 2acov(ξ, η) + a2 Dξ =

2 2
= Dη − 2a Dξ Dη(ξ, η) + a2 Dξ = Dη − Dη2 (ξ, η)+
2 2
+ (Dη2 (ξ, η) − 2a Dξ Dη(ξ, η) + a2 Dξ) =
2 2 2
= Dη(1 − 2 (ξ, η)) + Dη(ξ, η) − a Dξ .
Минимум функции Q(a, b̂) по параметру a достигается в точке

3
Dη
â = (ξ, η).
Dξ
Оптимальное значение функции: Q(â, b̂) = Dη(1 − 2 (ξ, η)).

Получаем оптимальное значение прогноза:

3
Dη
ϕ̂(ξ) = âξ + b̂ = Eη + (ξ, η)(ξ − Eξ).
Dξ
Если |(ξ, η)| = 1, а это возможно при линейной связи ξ и η,

тогда Q(4a, 4b) = 0.
Пусть случайные величины ξ и η не коррелируют (к приме-
ру, ξ и η независимы), т. е. (ξ, η) = 0, тогда величина ошибки
максимальна: Q(â, b̂) = Dη. Чем больше |(ξ, η)|, тем точнее
линейный прогноз, коэффициент корреляции (ξ, η) является
величиной, характеризующей степень линейной зависимости.
Глава 7
УСЛОВНЫЕ РАСПРЕДЕЛЕНИЯ
§ 1. УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ

ПРОСТЫХ СЛУЧАЙНЫХ ВЕЛИЧИН
Пусть на вероятностном пространстве (Ω, F, P ) заданы две
простые случайные величины:

n
ξ(ω) = ai I{ω ∈ Ai },
i=1
n
где ak = al , Ak ∩ Al = ∅, k = l, k=1 Ak = Ω, Ak = ξ −1 (ak ) и

m
η(ω) = bj I{ω ∈ Bj },
j=1
m
где bk = bl , Bk ∩ Bl = ∅, k = l, k=1 Bk = Ω, Bk = η −1 (bk ).
Так как справедливы представления:

m
n
Ai = (Ai ∩ Bj ) и Bj = (Ai ∩ Bj ),
j=1 i=1
то можно записать случайные величины ξ(ω) и η(ω) в следу-

ющем виде:

n
m
ξ(ω) = ai I{ω ∈ Ai ∩ Bj },
i=1 j=1

n
m
η(ω) = bj I{ω ∈ Ai ∩ Bj }.
i=1 j=1
134 Глава 7. Условные распределения
Совместное распределение простых случайных величин ξ(ω)

и η(ω) представимо в виде таблицы:
ξ\η b1 b2 ... bm Σ
a1 p11 p12 ... p1m p1·
a2 p21 p22 ... p2m p2·
.. .. .. .. .. ..
. . . . . .
an pn1 pn2 ... pnm pn·
Σ p·1 p·2 ... p·m 1
где
pij = P {Ai ∩ Bj } = P {ξ −1 (ai ) ∩ η −1 (bj )} = P {ξ = ai , η = bj },

m
m
pi· = pij = P (Ai ∩ Bj ) =
j=1 j=1
⎧ ⎫
⎨m ⎬
=P (Ai ∩ Bj ) = P (Ai ) = P {ξ = ai },
⎩ ⎭
j=1

n
n
p·j = pij = P (Ai ∩ Bj ) =
i=1 i=1
& *

n
=P (Ai ∩ Bj ) = P (Bj ) = P {η = bj },
i=1

n
m
pi· = p·j = 1.
i=1 j=1
Случайные величины ξ(ω) и η(ω) независимы тогда и только

тогда, когда для любых i, j выполняется равенство:
pij = pi· p·j .
Далее будем предполагать, что pi· > 0 для любого i и p·j > 0
для любого j. Рассмотрим строку с номером i таблицы сов-
местного распределения простых случайных величин ξ(ω) и
§ 1. Матожидания простых случайных величин 135
η(ω). Рассмотрим отношения:

pi1 pi2 pim
, , ..., .
pi· pi· pi·
Все эти числа являются неотрицательными, и в сумме дают
единицу. Рассмотрим условную вероятность:
pij P {Ai ∩ Bj }
= = P {Bj /Ai } = P {η = bj /ξ = ai }.
pi· P {Ai }
Набор вероятностей P {η = b1 /ξ = ai }, P {η = b2 /ξ = ai },
. . ., P {η = bm /ξ = ai } — условное распределение случайной
величины η(ω) при условии, что ξ = ai .
Рассмотрим столбец с номером j таблицы совместного рас-
пределения простых случайных величин ξ(ω) и η(ω). Рассмот-
рим отношения:
p1j p2j pnj
, , ..., .
p·j p·j p·j
Все эти числа являются неотрицательными, и в сумме дают
единицу. Рассмотрим условную вероятность:
pij P {Ai ∩ Bj }
= = P {Ai /Bj } = P {ξ = ai /η = bj }.
p·j P {Bj }
Набор вероятностей P {ξ = a1 /η = bj }, P {ξ = a2 /η = bj },
. . ., P {ξ = an /η = bj } — условное распределение случайной
величины ξ(ω) при условии, что η = bj .
Определение 1.1. Условное математическое ожидание слу-
чайной величины η(ω) при условии, что ξ = ai , определяется
равенством:

m
E(η/ξ = ai ) = bj P {η = bj /ξ = ai }. (1.1)
j=1
Аналогично можно определить условное математическое

ожидание случайной величины ξ(ω) при условии, что η = bj :

n
E(ξ/η = bj ) = ai P {ξ = ai /η = bj }. (1.2)
i=1
4. Пусть ϕ(x) — борелевская функция, тогда имеет место

равенство:
E{ηϕ(ξ)/ξ} = ϕ(ξ)E(η/ξ).
Доказательство. Воспользуемся определением 1.1:

m
E{ηϕ(ξ)/ξ = ai } = ϕ(ai )bj P {η = bj /ξ = ai } =
j=1
= ϕ(ai )E(η/ξ = ai ) = g(ai ),
где функция g(x) задана на множестве {a1 , a2 , . . . , an }.

По определению 1.3 справедливо равенство:
E{ηϕ(ξ)/ξ} = g(ξ) = ϕ(ξ)E(η/ξ).
Замечание 1.1. В теории вероятностей все случайные

величины определяются с точностью до множества меры
нуль, поэтому доказываемое равенство можно записать
п.н.
E{ηϕ(ξ)/ξ} = ϕ(ξ)E(η/ξ).
5. Пусть ϕ(x) — борелевская функция. Для случайных ве-

личин ξ и η справедливо неравенство:
E(η − E(η/ξ))2 E(η − ϕ(ξ))2 , (1.3)
причем неравенство выполняется как равенство только,

п.н.
когда ϕ(ξ) = E(η/ξ).
Доказательство. Преобразуем правую часть неравен-
ства (1.3). К выражению в скобках прибавим и вычтем
величину E(η/ξ), раскроем скобки, тогда
E(η − ϕ(ξ))2 = E{(η − E(η/ξ)) + (E(η/ξ) − ϕ(ξ))}2 =

= E(η − E(η/ξ))2 + E(E(η/ξ) − ϕ(ξ))2 +
+ 2E{(η − E(η/ξ))(E(η/ξ) − ϕ(ξ))}.
§ 2. Матожидания произвольных случайных величин 139
Рассмотрим последнее слагаемое, воспользуемся тре-

тьим свойством условного математического ожидания:
E (E {(η − E(η/ξ))(E(η/ξ) − ϕ(ξ))/ξ}) =

= E [(E(η/ξ) − ϕ(ξ))E {(η − E(η/ξ))/ξ}] .
Нетрудно проверить, что условное математическое ожи-
дание обладает свойством линейности, следовательно,
E{(η−E(η/ξ))/ξ} = E(η/ξ)−E{E(η/ξ))/ξ} = E(η/ξ)−

п.н.
− E(η/ξ)E{1/ξ} = E(η/ξ) − E(η/ξ) = 0.
Таким образом, последнее слагаемое равно нулю. Итак,
получили равенство:
E(η−ϕ(ξ))2 = E(η−E(η/ξ))2 +E(E(η/ξ)−ϕ(ξ))2 . (1.4)
Так как все слагаемые положительные, то очевидно, что
имеет место неравенство:
E(η − ϕ(ξ))2 E(η − E(η/ξ))2 .
Из (1.4) следует, что неравенство выполняется как ра-
п.н.
венство только, когда ϕ(ξ) = E(η/ξ).
Замечание 1.2. Доказанное свойство можно записать в

виде:
E(η/ξ) = arg inf E(η − ϕ(ξ))2 , E(ϕ2 (ξ)) ∈ R.
ϕ(·)
Следовательно, случайная величина E(η/ξ) дает наилуч-

ший в среднеквадратическом смысле прогноз случайной
величины η по случайной величине ξ. Ранее была рас-
смотрена задача о наилучшем линейном прогнозе.
§ 2. УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ

ПРОИЗВОЛЬНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН
Определение 2.1. Пусть на вероятностном пространстве
(Ω, F, P ) заданы две случайные величины ξ(ω), η(ω). На-
зовем функцию P (B/x), где B ∈ B(R), x ∈ R, условным
вероятностным распределением случайной величины η при

условии ξ = x, если выполнены следующие условия:
1. При любом фиксированном x ∈ R функция P (·/x) как
функция первого аргумента является вероятностной ме-
рой на борелевской прямой (R, B(R)).
2. При любом фиксированном B ∈ B(R) функция P (B/·)
как функция второго аргумента является борелевской
функцией (т. е. P (B/·): R → R и полный прообраз лю-
бого борелевского множества есть борелевское множе-
ство).
3. Для любых борелевских множеств A ∈ B(R), B ∈ B(R)

P {ξ ∈ A, η ∈ B} = P (B/x)dPξ . (2.1)
A
Замечание 2.1. Положим в третьем пункте определения A =
= R. Тогда событие ξ ∈ R является достоверным:
P {ξ −1 (A) ∩ η −1 (B)} = P {ξ −1 (R) ∩ η −1 (B)} =
= P {Ω ∩ η −1 (B)} = P {η ∈ B}.
Следовательно, имеет место равенство:

P {η ∈ B} = P (B/x)dPξ .
R
Данное равенство является аналогом формулы полной вероят-

ности.
Замечание 2.2. Определение 2.1 также справедливо в век-
торном случае: ξ = (ξ1 , . . . , ξn )T , η = (η1 , . . . , ηm )T , x ∈ Rn ,
B ∈ B(Rm ).
Определение 2.2. Пусть при любом x ∈ R существует ин-
теграл Лебега по вероятностной мере: R yP (dy/x). Условным
математическим ожиданием случайной величины η при усло-
вии ξ = x назовем величину

E(η/ξ = x) = yP (dy/x),
R
где P (B/x) — условное распределение η при условии ξ = x.

Замечание 2.3. Сформулированное определение полностью

согласуется с определением математического ожидания, если
вспомнить теорему о замене переменной под знаком интеграла
Лебега.
Замечание 2.4. Пусть g: R → R — борелевская функция.
Тогда условным математическим ожиданием случайной вели-
чины g(η) при условии ξ = x называется

E(g(η)/ξ = x) = g(y)P (dy/x),
R
если интеграл существует.

Если существует E(η/ξ = x), то с учетом определения 2.1,
а также с учетом определения интеграла Лебега получаем,
что E(η/ξ = x) = h(x) — борелевская функция.
Определение 2.3. Пусть для любого x ∈ R существует
E(η/ξ = x) = h(x). Назовем случайную величину h(ξ) =
= E(η/ξ) условным математическим ожиданием случайной
величины η относительно случайной величины ξ.
Во всех определениях требовалось выполнение условий
для любых x ∈ R, но достаточно требовать выполнение всех
условий почти для всех x ∈ R относительно меры Pξ .
Если условное математическое ожидание E(η/ξ = x) су-
ществует и конечно почти при всех x ∈ R относительно меры
Pξ , и если существует и конечно математическое ожидание
E(η), то, как нетрудно показать, все свойства условного мате-
матического ожидания E(η/ξ), рассмотренные в предыдущем
параграфе, полностью переносятся на общий случай. В даль-
нейшем, пусть при любом фиксированном x ∈ R условное рас-
пределение P (B/x) имеет плотность fη/ξ (y/x) относительно
меры Лебега, т. е. справедливо равенство:

P (B/x) = fη/ξ (y/x)dy
B
для любого B ∈ B(R), fη/ξ (y/x) 0 для любых y ∈ R, x ∈ R.

Тогда справедливо следующее представление:

P {ξ ∈ A, η ∈ B} = P (B/x)Pξ (dx) =
A

= fη/ξ (y/x)dyPξ (dx). (2.2)
A B
Кроме того, будем предполагать, что существует плотность

распределения fξ (x) относительно меры Лебега, т. е.

Pξ (A) = fξ (x)dx
A
для любого A ∈ B(R). Тогда равенство (2.2) можно переписать


P {ξ ∈ A, η ∈ B} = fη/ξ (y/x)fξ (x)dydx. (2.3)
A B
Будем называть плотность fη/ξ (y/x) условной плотностью рас-

пределения случайной величины η при условии ξ = x.
Из равенства (2.3) следует, что

P {(ξ, η) ∈ A × B} = fη/ξ (y/x)fξ (x)dxdy
A×B
для любых A ∈ B(R), B ∈ B(R). Тогда для любого D ∈ B(R2 )

справедливо

P {(ξ, η) ∈ D} = fη/ξ (y/x)fξ (x)dxdy.
D
Таким образом, доказана следующая теорема.

Теорема 2.1. Пусть fη/ξ (y/x) — условная плотность рас-
пределения случайной величины η при условии ξ = x. Пусть
fξ (x) — плотность распределения случайной величины ξ.
Тогда совместная плотность распределения fξ,η (x, y) слу-

чайных величин ξ, η может быть представлена в виде:
fξ,η (x, y) = fη/ξ (y/x)fξ (x).
Аналогично fξ,η (x, y) = fξ/η (x/y)fη (y).
Справедлива и обратная теорема.
Теорема 2.2. Пусть fξ,η (x, y) — совместная плотность рас-
пределения случайных величин ξ, η. Тогда имеют место ра-
венства:
∞
fξ (x) = fξ,η (x, y)dy, (2.4)
−∞
∞
fη (y) = fξ,η (x, y)dx, (2.5)
−∞
fξ,η (x, y) fξ,η (x, y)
fη/ξ (y/x) = , fξ/η (x/y) = .
fξ (x) fη (y)
Доказательство. Равенства (2.4) и (2.5) были доказаны
ранее. Справедливо равенство

P {ξ ∈ A, η ∈ B} = fξ,η (x, y)dydx.
A B
В правой его части выражение под знаком интеграла умно-
жим и разделим на величину fξ (x) и перейдем к повторному
интегрированию:

fξ (x)
P {ξ ∈ A, η ∈ B} = fξ,η (x, y) dydx =
fξ (x)
A B
⎛ ⎞

f (x, y)
= ⎝ dy ⎠ fξ (x)dx.
ξ,η
fξ (x)
A B
Выражение в круглых скобках — функция, зависящая от x и

от B. В силу определения 2.1 эта функция — условное рас-
пределение случайной величины η при условии ξ = x. Таким
образом, fξ,η (x, y)/fξ (x) — плотность меры P (B/x) относи-
тельно меры Лебега.
Так как плотность fξ (x) может принимать нулевое значе-

ние, то всегда ли корректно делить на fξ (x)? Пусть N = {x :
fξ (x) = 0}, тогда

Pξ (N ) = fξ (x)dx = 0.
N
Таким образом, функция fη/ξ (y/x) не определена на множе-

стве меры нуль, но интегрирование производится по мере Pξ ,
следовательно, функцию можно доопределить на этом множе-
стве произвольным образом, что не окажет никакого влияния
на правую часть рассматриваемого в теореме выражения.
§ 3. МНОГОМЕРНОЕ НОРМАЛЬНОЕ
РАСПРЕДЕЛЕНИЕ
Пусть ξ1 ∼ N (0, 1), ξ2 ∼ N (0, 1), . . ., ξn ∼ N (0, 1). Пред-
положим, что все случайные величины взаимно независимы.
Составим случайный вектор ξ = (ξ1 , . . . , ξn )T . Как было уста-
новлено, необходимым и достаточным условием независимо-
сти случайных величин является равенство:

n
Fξ1 ,...,ξn (x1 , . . . , xn ) = Fξi (xi ),
i=1
которое должно выполняться для любого x ∈ Rn . Если есть

совместная плотность, то необходимое и достаточное условие
имеет вид:

n
fξ1 ,...,ξn (x1 , . . . , xn ) = fξi (xi ).
i=1
В случае стандартного нормального распределения:

x2i
1 −
fξi (xi ) = √ e 2 .
2π
1 − 12 xT x
fξ1 ,...,ξn (x) = n e , xT = (x1 , . . . , xn ).
(2π) 2
§ 3. Многомерное нормальное распределение 145
Отсюда следует, что величины ξ1 ,. . .,ξn подчиняются мно-

гомерному нормальному распределению ξ ∼ N (0, En ), где
ξ T = (ξ1 , . . . , ξn ).
Рассмотрим случайный вектор:
η = (η1 , . . . , ηn )T = a + cξ,
где a = (a1 , . . . , an )T ∈ Rn , c — квадратная матрица, |c| > 0.

Возьмем любое множество B ∈ B(Rn ) и рассмотрим слу-
чайный вектор η ∈ B. Тогда существует множество D, что
следующие события равносильны {η ∈ B} = {ξ ∈ D}. Так как
y ∈ B, тогда и только тогда, когда x = c−1 (y − a) ∈ D, то

P {η ∈ B} = P {ξ ∈ D} = fξ (x)dx.
D
Сделаем следующую замену переменной: x = c−1 (y − a), тогда

1
fξ (x)dx = fξ (c−1 (y − a))dy, B ∈ B(Rn ).
|c|
D B
Следовательно, плотность распределения случайного вектора

η имеет вид:
1
1 1 − (y−a)T ((c−1 )T c−1 )(y−a)
−1
fη (y) = fξ (c (y − a)) = n e 2 ,
|c| (2π) 2 |c|
где (c−1 )T c−1 = (ccT )−1 , Σ = ccT , |Σ| = |c|2 . Тогда можно
записать выражение для плотности распределения вектора η
в следующем виде:
1
1 − (y−a)T Σ−1 (y−a)
fη (y) = n2 e 2 .
(2π) 2 |Σ|
Назовем эту плотность плотностью многомерного нормального

распределения N (a, Σ).
Найдем математическое ожидание вектора η = a + cξ:

⎛ ⎞
Eη1
⎜ ⎟
Eη = ⎝ ... ⎠ = a + cEξ = a.
Eηn
Найдем ковариационную матрицу:
Dη = E{(η − Eη)(η − Eη)T } = E{cξξ T cT } = cE(ξξ T )cT ,
здесь Eξξ T — ковариационная матрица случайного вектора ξ.

По предположению справедливо равенство:
E(ξξ T ) = En .
Тогда ковариационная матрица вектора η равна:
Dη = E{(η − Eη)(η − Eη)T } = E{cξξ T cT } = cE(ξξ T )cT = Σ.
Далее будем рассматривать двумерное нормальное рас-

пределение случайного вектора (ξ, η). В дальнейшем удобно
обозначить первую компоненту через ξ, а вторую компонен-
ту через η. Пусть случайный вектор (ξ, η)T ∼ N (a, Σ), где
aT = (aξ , aη ), aξ = Eξ, aη = Eη. Плотность распределения
случайного вектора (ξ, η) имеет вид:
⎛ ⎞
1 x − aξ
− (x−aξ ,y−aη )Σ−1 ⎝ ⎠
1
2 e 2 y − aη
fξ,η (x, y) = ,
2π |Σ|

σξ2 cov(ξ, η)
Σ = D(ξ, η) = .
cov(ξ, η) ση2
Ковариацию случайных величин cov(ξ, η) можно записать в
виде σξ ση ρ, где ρ = ρ(ξ, η) — коэффициент корреляции слу-
чайных величин ξ и η. Тогда справедливо равенство:

σξ2 cov(ξ, η) σξ2 σξ ση ρ
= .
cov(ξ, η) ση2 σξ σ η ρ ση2
§ 3. Многомерное нормальное распределение 147
Найдем fξ (x), fη (y), не предполагая независимости случай-

ных величин ξ и η, также найдем плотности условных рас-
пределений fξ/η (x/y), fη/ξ (y/x) и условное математическое
ожидание E(η/ξ). Нетрудно видеть, что

1 ση2 −σξ ση ρ
Σ−1 = =
2
σξ ση (1 − ρ2 )
2 −σξ ση ρ σξ2
⎛ 2 ⎞
ση ση
1 ⎝ σξ2 − ρ
σξ ⎠ .
= 2
ση (1 − ρ2 ) − ση ρ 1
σξ
Запишем квадратичную форму:

−1 x − aξ 1
(x − aξ , y − aη )Σ = 2 ×
y − aη ση (1 − ρ2 )

ση2 σ
(x − aξ )2 − 2 ρ(x − aξ )(y − aη ) + (y − aη )2 =
η
×
σξ2 σξ
&
1 ση
= 2 2
(y − aη − ρ(x − aξ ))2 +
ση (1 − ρ ) σξ
*
ση2
+ 2 (1 − ρ2 )(x − aξ )2 .
σξ
Отсюда следует
1
fξ,η (x, y) = √ ! ×
2π ση2 (1 − ρ2 )

(y − aη − σηξ ρ(x − aξ ))2
σ
× exp − ·
2ση2 (1 − ρ2 )

1 (x − aξ )2
·√ exp − = fη/ξ (y/x)fξ (x),
2πσξ 2σξ2

1 (x−a )2
где fξ (x) = √2πσ exp − 2σ2ξ — плотность нормально-
ξ ξ
го распределения N (aξ , σξ2 ), fη/ξ (y/x) — плотность условного

распределения, которое также является нормальным распре-

делением. Очевидно, что
∞
fη/ξ (y/x)dy = 1.
−∞
∞
fξ (x) = fξ,η (x, y)dy.
−∞
Таким образом, если совместное распределение компонент

случайного вектора является нормальным, тогда и любая из
компонент подчиняется нормальному распределению (незави-
симо от того, зависимы они или независимы). Аналогичные
выражения можно получить для fη (y) и fξ/η (x/y).
Так как условное распределение является также нормаль-
ным N (aη + ρ σηξ (x − aξ ), ση2 (1 − ρ2 )), то
σ
∞
ση
E(η/ξ = x) = yfη/ξ (y/x)dy = aη + ρ (x − aξ ).
σξ
−∞
ση
E(η/ξ) = aη + ρ (ξ − aξ ).
σξ
Из полученного выражения можно сделать вывод: если сов-
местное распределение случайных величин ξ и η нормальное,
то наилучший прогноз случайной величины η по случайной
величине ξ является линейным.
Необходимое и достаточное условие независимости слу-
чайных величин ξ и η, если существует совместная плотность,
имеет вид:
fξ,η (x, y) = fξ (x)fη (y).
Для двумерного нормального распределения, как следует из
полученных формул, тождество возможно тогда и только то-
гда, когда коэффициент корреляции ρ = 0.
Глава 8
НЕКОТОРЫЕ РАСПРЕДЕЛЕНИЯ
§ 1. ДИСКРЕТНЫЕ РАСПРЕДЕЛЕНИЯ
1. Распределение Бернулли. Случайная величина ξ подчи-
няется распределению Бернулли, если
P {ξ = 1} = p, P {ξ = 0} = q = 1 − p,
Eξ = p, Dξ = Eξ 2 − (Eξ)2 = p − p2 = pq.
2. Биномиальное распределение (рис. 8.1, 8.2).
n=50, p=0,5
0.10
0.08
P{=m}
0.06
0.04
0.02
0.00
15 20 25 30 35
m
Рис. 8.1
Биномиальное распределение
150 Глава 8. Некоторые распределения
Пусть μ — число успехов в серии из n испытаний Бернул-

ли, с каждым испытанием можно связать случайную величи-
ну:

1, в испытании с номером i произошел успех;
ξi =
0, в испытании с номером i произошла неудача.
Тогда μ можно представить в виде:

n
μ= ξi .
i=1
n=50, p=0.5
1.0
0.8
0.6
F(x)
0.4
0.2
0.0
15 20 25 30 35
m
Рис. 8.2
Функция биномиального распределения
Случайная величина μ подчиняется биномиальному распреде-

лению:
P {μ = m} = Cnm pm q n−m , m = 0, 1, . . . , n.
Математическое ожидание, дисперсия и среднеквадратиче-
ское отклонение случайной величины μ равны соответственно:
√
Eμ = np, Dμ = npq, σμ = npq.
§ 1. Дискретные распределения 151
3. Распределение Пуассона (рис. 8.3, 8.4). Случайная ве-

личина ξ подчиняется распределению Пуассона, если
λk −λ
P {ξ = k} = e , λ > 0, k = 0, 1, . . .
k!
=3
0.20
0.15
P{=k}
0.10
0.05
0.00
0 2 4 6 8 10
k
Рис. 8.3
Распределение Пуассона
Вычислим математическое ожидание случайной величи-

ны ξ:
∞
∞
λk λm −λ
Eξ = k e−λ = λ e = λe−λ eλ = λ.
k! m=0
m!
k=0
Вычислим дисперсию Dξ. Воспользуемся следующим при-

емом:
∞
∞
λk −λ λk
E{ξ(ξ − 1)} = k(k − 1) e = k(k − 1) e−λ =
k! k!
k=0 k=2
∞

2 λk−2 −λ
=λ e = λ2 .
(k − 2)!
k=2
=3
1.0
0.8
0.6
F(x)
0.4
0.2
0 2 4 6 8 10
x
Рис. 8.4
Функция распределения Пуассона
С другой стороны, справедливы равенства:
E{ξ(ξ − 1)} = E{ξ 2 − ξ} = Eξ 2 − Eξ = λ2 .
Eξ 2 = λ2 + λ,
тогда дисперсия может быть вычислена следующим образом:
Dξ = Eξ 2 − (Eξ)2 = λ2 + λ − λ2 = λ.
§ 2. НЕПРЕРЫВНЫЕ РАСПРЕДЕЛЕНИЯ
1. Стандартное нормальное распределение N (0, 1) (рис.
8.5, 8.6). Рассмотрим плотность распределения
1 x2
fξ (x) = √ e− 2 .
2π
Вычислим математическое ожидание случайной величи-

ны ξ:
§ 2. Непрерывные распределения 153
N(0,1)
0.4
0.3
f(x)
0.2
0.1
0.0
-3 -2 -1 0 1 2 3
x
Рис. 8.5
Функция плотности стандартного
нормального распределения
∞ x2
1 −
Eξ = x √ e 2 dx =
2π
−∞
∞ x2 0 x2
1 − − 1
= x √ e 2 dx − |x|e 2 √ dx =
2π 2π
0 −∞
2
∞ x ∞ x2
1 − 1 −
= x √ e 2 dx − x √ e 2 dx = 0.
2π 2π
0 0
Вычислим дисперсию:
∞ x2
2 1 − 2
Dξ = Eξ = x √ e 2 dx =
2π
−∞
x2 ∞ x2
1 − ∞ 1 −
= −x √ e 2 + e 2 dx = 1,
2π −∞ 2π
−∞
N(0,1)
1.0
0.8
0.6
F(x)
0.4
0.2
0.0
-3 -2 -1 0 1 2 3
x
Рис. 8.6
Функция стандартного нормального
распределения
следовательно, σξ = 1. Вычислим коэффициент асимметрии:
∞ x2
1 −
Ka = Eξ 3 = x3 √ e 2 dx =
2π
−∞
x2 ∞ x2
∞
1 − 1 −
= −x2 √ e 2 +2 x √ e 2 dx = 0.
2π −∞ 2π
−∞
Коэффициент асимметрии для стандартного нормального рас-

пределения равен нулю.
Найдем коэффициент эксцесса:
∞ x2
1 −
Ke = Eξ 4 − 3 = x4 √ e 2 dx − 3 =
2π
−∞
2
x ∞ x2
1 − ∞
3 2 1 −
= −x √ e 2 +3 x √ e 2 dx − 3 = 3 − 3 = 0.
2π −∞ 2π
−∞
Коэффициент эксцесса Ke характеризует островершинность

Коэффициенты Ka и Ke подобраны таким образом, что-
бы стандартное нормальное распределение служило шаблоном
для других распределений.
Для нормально распределенной случайной величины ξ
справедливо правило трех сигм:
P {−3 < ξ < 3} > 0, 98.
2. Нормальное распределение N (a, σ 2 ) (см. рис. 8.7, 8.8).
Пусть ξ подчиняется стандартному нормальному распределе-
нию, ξ ∼ N (0, 1). Рассмотрим следующую случайную величи-
ну:
η = a + σξ, a ∈ R, σ > 0.
Найдем функцию Fη (x) и плотность распределения fη (x):

x−a
Fη (x) = P {η x} = P {a + σξ x} = P ξ =
σ
(x−a)
σ y2 x (z − a)2
x−a 1 − 1 −
= Fξ = √ e 2 dy = √ e 2σ 2 dz.
σ 2π 2πσ
−∞ −∞
(x − a)2
1 −
fη (x) = √ e 2σ 2 ,
2πσ
здесь fη (x) — плотность нормального распределения N (a, σ 2 ).
N(10,36)
0.06
0.05
0.04
f(x)
0.03
0.02
0.01
0.00
-10 0 10 20 30
x
Рис. 8.7
Функция плотности нормального распределения N (10, 36)
Вычислим математическое ожидание и дисперсию случай-

ной величины η:
Eη = a + σEξ = a,
Dη = E(η − Eη)2 = σ 2 Dξ = σ 2 .
Коэффициенты в функции плотности распределения имеют
следующий смысл: a — математическое ожидание, σ — сред-
неквадратическое отклонение, σ 2 — дисперсия. Если случай-
ная величина подчиняется распределению η ∼ N (a, σ 2 ), то
случайная величина ξ = (η − a)/σ подчиняется стандартно-
му нормальному распределению N (0, 1), следовательно, мож-
но переформулировать свойства, полученные ранее для стан-
дартного нормального распределения.
Например, правило трех сигм можно записать в виде:

η − a

P {|ξ| < 3} = P <3 =
σ
= P {−3σ < η − a < 3σ} > 0, 98.
N(10,36)
3.2
2.8
2.6
F(x)
2.4
2.1
2.2
-32 2 32 12 02
x
Рис. 8.8
Функция нормального распределения N (10, 36)
Вычислим коэффициенты асимметрии и эксцесса:

3
E(η − a)3 η−a
Ka = =E = Eξ 3 = 0,
ση3 σ
4
E(η − Eη)4 η−a
Ke = −3=E − 3 = Eξ 4 − 3 = 0.
ση4 σ
Коэффициенты Ka и Ke равны нулю для любой нормально
распределенной случайной величины.
3. Гамма-распределение (см. рис. 8.9, 8.10). Случайная
величина ξ подчиняется гамма-распределению с параметрами
p > 0, λ > 0, т. е. ξ ∼ G(p, λ), если плотность распределения
имеет вид:

0, x 0;
fξ (x) = λp p−1 −λx
Γ(p) x e , x > 0,
где p — параметр формы, λ — параметр масштаба, Γ(p) =

∞
= 0 xp−1 e−x dx — гамма-функция.
0.35
p=1
=2
0.30
0.25
0.20
p=2
f(x)
=2
0.15
p=9
=0.5
0.10
0.05
0.00
0 5 10 15
x
Рис. 8.9
Функции плотности гамма-распределения
Если p = 1, то гамма-распределение называется экспонен-

циальным (показательным) распределением.
Математическое ожидание случайной величины ξ, подчи-
няющейся гамма-распределению с параметрами p и λ равно
∞
−λp−1 p −λx ∞
Eξ = xfξ (x)dx = x e +
Γ(p) 0
x
∞
p λp p−1 −λx p
+ x e dx = ,
λ Γ(p) λ
0
∞ λp p−1 −λx
так как 0 Γ(p) x e dx = 1. Найдем дисперсию случай-
ной величины ξ:
Dξ = Eξ 2 − (Eξ)2 ,
460
p=1
=2
065
p=2
06.
=2
f(x)
061
p=9
068
=0.5
060
0 2 40 42
x
Рис. 8.10
Функции гамма-распределения
где первое слагаемое Eξ 2 может быть вычислено следующим

образом:
∞
2 λp p−1 −λx λp 2 p−1 −λx ∞
Eξ = x2 x e dx = − x x e +
Γ(p) λΓ(p) 0
0
∞
1 λp p−1 −λx p(p + 1)
+ (p + 1) x x e dx = .
λ Γ(p) λ2
0
Следовательно, получаем, что

p
Dξ = .
λ2
4. Экспоненциальное распределение (см. рис. 8.11, 8.12),
то есть гамма-распределение с p = 1, G(λ, 1). Плотность рас-
пределения экспоненциально распределенной случайной вели-
чины ξ имеет вид:

λe−λx , x > 0;
fξ (x) =
0, x 0.
=4
4
3
f(x)
2
1
0
0.0 0.5 1.0 1.5

x
Рис. 8.11
Функция плотности экспоненциального распределения
Математическое ожидание и дисперсия соответственно

равны
1
Eξ = ,
λ
1
Dξ = 2 .
λ
Вычислим вероятность того, что ξ x:
x x

P {ξ x} = λ e−λt dt = −e−λt = 1 − e−λx ,
0
0

1 − e−λx , x > 0;
Fξ (x) = P {ξ x} =
0, x 0.
Часто аргумент x представляет собой время, поэтому бу-

дем обозначать его t, тогда
Fξ (t) = 1 − e−λt , t > 0.

=4
620
025
02.
F(x)
021
028
020
020 024 620 624

x
Рис. 8.12
Функция экспоненциального распределения
Найдем условную вероятность:
P {ξ (t + τ )/ξ > τ } = 1 − P {ξ > t + τ /ξ > τ } =

P {(ξ > t + τ ) ∩ (ξ > τ )} P {ξ > τ + t}
=1− =1− =
P {ξ > τ } P {ξ > τ }
1 − Fξ (t + τ ) e−λ(t+τ )
=1+ =1− = 1 − e−λt = Fξ (t).
1 − Fξ (τ ) e−λτ
Таким образом, доказано следующее свойство экспоненциаль-

ного распределения:
P {ξ t + τ /ξ > τ } = P {ξ t}.
Доказанное свойство называется свойством отсутствия после-

действия.
5. Бета-распределение (см. рис. 8.13, 8.14). Функцию рас-
пределения будем обозначать B(x; p1 , p2 ), где p1 > 0, p2 > 0.
Определим плотность бета-распределения:

⎧
⎨ 0, x∈/ (0, 1);
fξ (x) = xp1 −1 (1 − x)p2 −1
⎩ , x ∈ (0, 1),
β(p1 , p2 )
где
1
β(p1 , p2 ) = xp1 −1 (1 − x)p2 −1 dx
0
— бета-функция.
Свойства бета-функции:
1. Имеет место равенство: β(p1 , p2 ) = β(p2 , p1 ). Нетрудно
заметить, что
1 0
p1 −1 p2 −1
x (1 − x) dx = − (1 − t)p1 −1 tp2 −1 dt =
0 1
1
= tp2 −1 (1 − t)p1 −1 dt.
0
851
p1=2
254
p2=5 p1=5
p2=1
251
f(x)
p1=2
654
p2=2
651
154
151
151 152 150 153 15.

x
Рис. 8.13
Функция плотности бета-распределения
. 20
p1=2
021
028 p2=5
p1=2
F(x)
p2=2
026
p1=5
024
p2=1
020
020 024 026 028 021 . 20

x
Рис. 8.14
Функция бета-распределения
2. Справедлива формула понижения порядка:

p1
β(p1 + 1, p2 ) = β(p1 , p2 ).
p1 + p2
Заметим, что
1 1
1 p1
β(p1 +1, p2 ) = xp1 (1−x)p2 −1 dx = − x (1−x)p2 +
p2 0
0
1
p1 p1
+ xp1 −1 (1 − x)p2 dx = (β(p1 , p2 ) − β(p1 + 1, p2 ).
p2 p2
0
p2 + p1
β(p1 + 1, p2 ) = β(p1 , p2 ).
p1
Вычислим моменты:
1
1 β(p1 + 1, p2 ) p1
Eξ = xp1 (1 − x)p2 −1 dx = = .
β(p1 , p2 ) β(p1 , p2 ) p1 + p 2
0
1
1 β(p1 + 2, p2 )
Eξ 2 = xp1 +1 (1 − x)p2 −1 dx = =
β(p1 , p2 ) β(p1 , p2 )
0
β(p1 + 2, p2 ) β(p1 + 1, p2 ) p1 + 1 p1
= = · .
β(p1 + 1, p2 ) β(p1 , p2 ) p1 + p2 + 1 p1 + p2

p1 p1 + 1 p1
Dξ = Eξ 2 − (Eξ)2 = − =
p1 + p2 p1 + p2 + 1 p1 + p2
p1 p2
= .
(p1 + p2 )2 (p1 + p2 + 1)
6. Равномерное распределение на [0, 1] (рис. 8.15, 8.16).

Равномерное распределение — частный случай бета-распреде-
ления, когда p1 = 1, p2 = 1, т. е. B(x; 1, 1). Равномерное рас-
пределение обозначают U [0, 1]. Плотность равномерного рас-
пределения имеет вид:

1, x ∈ [0, 1];
fξ (x) =
0, x ∈ / [0, 1].
1.2
1.0
0.8
f(x)
0.6
0.4
0.2
0.0
-0.2 0.0 0.2 0.4 0.6 0.8 1.0 1.2

x
Рис. 8.15
Функция плотности равномерного распределения U [0, 1]
1.0
0.8
0.6
F(x)
0.4
0.2
0.0
-0.2 0.0 0.2 0.4 0.6 0.8 1.0 1.2

x
Рис. 8.16
Функция равномерного распределения U [0, 1]
Рассмотрим точки α, α , β, β такие, что β − α = β − α ,

при этом (α, β) ⊂ [0, 1], и (α , β ) ⊂ [0, 1].
Вычислим вероятность:
β
P {ξ ∈ (α, β)} = 1dx = dx = β − α,
(α,β) α
аналогично получаем:
P {ξ ∈ (α , β )} = β − α .
Таким образом, вероятности событий ξ ∈ (α, β) и ξ ∈ (α , β )

одинаковы.
7. Распределение Коши (см. рис. 8.17). Будем говорить,
что случайная величина ξ подчиняется распределению Коши,
если плотность распределения имеет вид:
1 1
fξ (x) = , x ∈ R.
π 1 + x2
104
10.
f(x)
103
102
101
-3 -2 1 2 3
x
Рис. 8.17
Функция плотности распределения Коши
Распределение Коши имеет «тяжелые» хвосты, вследствие

чего
∞ ∞ 0
1 1 1 1 1 1
Eξ = x dx = x dx − |x| dx,
π 1 + x2 π 1 + x2 π 1 + x2
−∞ 0 −∞
здесь каждый из интегралов равен +∞, следовательно, мате-

матическое ожидание Eξ не существует.
Глава 9
ВИДЫ СХОДИМОСТЕЙ
СЛУЧАЙНЫХ ВЕЛИЧИН
§ 1. СХОДИМОСТИ ПО ВЕРОЯТНОСТИ,
ПОЧТИ НАВЕРНОЕ, ПО РАСПРЕДЕЛЕНИЮ,
В СРЕДНЕМ, В ОСНОВНОМ
Будем считать, что в вероятностном пространстве (Ω, F , P )
сигма-алгебра F полна относительно меры P .
Определение 1.1. Пусть случайная величина ξ и последова-
тельность случайных величин ξ1 ,. . .,ξn ,. . . заданы на вероят-
ностном пространстве (Ω, F, P ). Будем говорить, что последо-
вательность {ξn } сходится почти наверное к случайной вели-
чине ξ и записывать:
п.н.
ξn −−−−→ ξ, (1.1)
n→∞

если P ω : ξn (ω) ξ(ω) = 0 или
n→∞
P ω : lim ξn (ω) = ξ(ω) = 1.
n→∞

вательность {ξn } сходится по вероятности к случайной вели-
чине ξ и записывать:
P
ξn −−−−→ ξ, (1.2)
n→∞
если для любого ε > 0 имеет место сходимость

P {|ξn − ξ| > ε} −−−−→ 0 или P {|ξn − ξ| ε} −−−−→ 1.
n→∞ n→∞
168 Глава 9. Виды сходимостей случайных величин

вательность {ξn } сходится в среднем порядка r к случайной
величине ξ и записывать:
Lr
ξn −−−−→ ξ, r > 1, (1.3)
n→∞
если E|ξn − ξ|r −−−−→ 0, Eξ r ∈ R, Eξnr ∈ R при любом n.

n→∞
Определение 1.4. Пусть заданы случайная величина ξ и по-

следовательность случайных величин ξ1 ,. . .,ξn ,. . .. Будем гово-
рить, что последовательность {ξn } сходится по распределению
к случайной величине ξ и записывать:
d
ξn −−−−→ ξ, (1.4)
n→∞
если для любой непрерывной и ограниченной функции g(x)

выполнено Eg(ξn ) −−−−→ Eg(ξ).
n→∞
Замечание 1.1. В определении 1.4 не требуется, чтобы все

случайные величины были заданы на одном и том же вероят-
ностном пространстве.
Действительно, используя теорему о замене переменной
под знаком интеграла, получаем
∞ ∞
g(x)dFξn (x) −−−−→ g(x)dFξ (x).
n→∞
−∞ −∞
Интегралы зависят от случайных величин только через закон

Определение сходимости по распределению можно обоб-
(n) (n)
щить на случайные вектора ξn = (ξ1 , . . . , ξm ). Будем гово-
рить, что последовательность случайных векторов ξn сходится
по распределению к случайному вектору ξ и записывать:
(n) (n) d
ξn = (ξ1 , . . . , ξm ) −−−−→ ξ = (ξ1 , . . . , ξm ), (1.5)
n→∞
§ 2. Критерий сходимости почти наверное 169
если для любой непрерывной ограниченной функции g(x1 , . . .

. . . , xm ) выполнено условие: Eg(ξn ) −−−−→ Eg(ξ).
n→∞
Определение 1.5. Пусть задана последовательность случай-

ных величин ξ1 ,. . .,ξn ,. . .. Пусть Fξ (x) = P {ξ x} — функ-
ция распределения случайной величины ξ, Fξn (x) = P {ξn
x} — функция распределения случайной величины ξn , n =
= 1, . . . , k, . . .. Будем говорить, что последовательность функ-
ций распределения Fξn (x) сходится в основном к функции
распределения Fξ (x) и записывать
Fξn (x) −−−−→ Fξ (x), x ∈ C(Fξ ), (1.6)
n→∞
если для любой точки x ∈ C(Fξ )={x ∈ R : Fξ непрерывна в x}

выполнено Fξn (x) −−−−→ Fξ (x).
n→∞
Определение 1.6. Пусть задана последовательность случай-

ных величин ξ1 ,. . .,ξn ,. . .. Будем говорить, что данная после-
довательность фундаментальна с вероятностью 1, если P {ω :
ξn (ω) — фундаментальна} = 1.
§ 2. КРИТЕРИЙ СХОДИМОСТИ ПОЧТИ НАВЕРНОЕ.

ТЕОРЕМА БОРЕЛЯ–КАНТЕЛЛИ
Теорема 2.1 (необходимое и достаточное условие сходимо-
сти с вероятностью единица).
Справедливы следующие утверждения:
1. Последовательность случайных величин ξ1 ,. . .,ξn ,. . .
сходится почти наверное к случайной величине ξ то-
гда и только тогда, когда для любого ε > 0 имеет
место сходимость

P ω : sup |ξm − ξ| > ε −−−−→ 0. (2.1)
mn n→∞
2. Последовательность случайных величин ξ1 ,. . .,ξn ,. . .

фундаментальна почти наверное тогда и только то-
гда, когда для любого ε > 0:
P {ω : sup |ξm − ξl | > ε} −−−−→ 0.
m,ln n→∞
Доказательство. Докажем первое утверждение. Выясним

условия, когда P {ξn (ω) ξ(ω)} = 0. Как нетрудно заме-
n→∞
тить, справедливо равенство:
∞
∞
{ξn (ω) ξ(ω)} = {ω : |ξm (ω) − ξ(ω)| > ε} .
n→∞
ε>0 n=1 m=n
(2.2)
Очевидно, что
∞
∞
{ω : |ξm (ω) − ξ(ω)| > ε} =
ε>0 n=1 m=n
∞
∞
∞
1
= ω : |ξn (ω) − ξ(ω)| > .
r=1 n=1 m=n
r
Введем обозначение:
∞ ∞
1
Br = ω : |ξn (ω) − ξ(ω)| > .
n=1 m=n
r
Таким образом, мы доказали следующее утверждение:

&∞ *

P {ξn ξ} = 0 ⇐⇒ P Br = 0. (2.3)
r=1
Так как
∞ для любого ∞ r справедливо неравенство:∞ P (Br )
P { r=1 Br } r=1 P (Br ), то условие, что P { r=1 Br } =
= 0, эквивалентно тому, что
∞для, любого r вероятность
- P (Br )
равна нулю. Обозначим m=n ω : |ξm − ξ| > 1r через An ,
An ⊃ An+1 , тогда в силу
∞непрерывности вероятностной меры
равенство P (Br ) = P { n=1 An } = 0 эквивалентно равенству
lim P (An ) = 0. Последнее равенство эквивалентно тому, что
n→∞
для любого r имеет место сходимость:
& ∞ *
1
P ω : |ξm − ξ| > −−−−→ 0. (2.4)
m=n
r n→∞
Справедливо:
& ∞ *
1 1
ω : |ξm − ξ| > = ω : sup |ξm − ξ| > ,
m=n
r mn r
поэтому утверждение о том, что для любого r имеет место

сходимость lim P (An ) = 0, эквивалентно утверждению, что
n→∞
для любого r имеет место сходимость:

1
P sup |ξm − ξ| > −−−−→ 0. (2.5)
mn r n→∞
r эквивалентна
Сходимость (2.5) для любого тому, что для
любого ε > 0 выполнено: P sup |ξm − ξ| > ε −−−−→ 0.
mn n→∞
Докажем второе утверждение. Запишем в явном виде сле-
дующее событие:
{ξn (ω) не фундаментальна } =

∞ ∞
= {ω : |ξm (ω) − ξl (ω)| > ε} .
ε>0 n=1 m=n
l=n
Далее все рассуждения повторяются аналогично доказатель-

ству пункта 1.
Замечание 2.1. Необходимое и достаточное условие фунда-
ментальности с вероятностью единица можно записать иначе,
а именно: для любого ε > 0 справедливо:

P ω : sup |ξn+k − ξn | > ε −−−−→ 0.
k>0 n→∞
Докажем, что данное условие эквивалентно условию 2 из

теоремы 2.1. Достаточно заметить, что
sup |ξn+k − ξn | sup |ξl − ξm | 2 sup |ξn+k − ξn |.
k>0 l,mn k>0
Тогда для любого ε > 0 справедливы неравенства:

& *
P sup |ξn+k − ξn | > ε P sup |ξl − ξm | > ε
k>0 l,mn

ε
P sup |ξn+k − ξn | > .
k>0 2
Следовательно, утверждение, что

P sup |ξn+k − ξn | > ε −−−−→ 0
k>0 n→∞
для
& любого ε > *0 эквивалентно утверждению, что
P sup |ξl − ξm | > ε −−−−→ 0 для любого ε > 0.

l,mn n→∞
Лемма 2.1 (лемма Бореля–Кантелли). Пусть {An } — беско-

нечная последовательность
∞ ∞ событий, An ∈ F для любого но-
мера n. Пусть A∗ = n=1 m=n Am , тогда справедливы утвер-
ждения: ∞ ∗
∞P (Ak ) < ∞, тогда P (A ) = 0.
1. Если ряд сходится k=1
2. Если ряд расходится k=1 P (Ak ) = ∞, и события Ak
взаимно независимы, тогда P (A∗ ) = 1.
Доказательство. Докажем первый пункт леммы. Если ряд
сходится, то при n → ∞ справедливо:
∞ ∞

P Ak P (Ak ) −−−−→ 0.
n→∞
k=n k=n
Из следующего соотношения событий

∞
∞

Ak ⊃ Ak
k=n k=n+1
и из непрерывности счетно-аддитивной меры получаем:

∞

∗
P (A ) = lim P Ak = 0.
n→∞
k=n
Докажем второй пункт леммы. Для этого достаточно пока-

зать, что P (Ā∗ ) = 0. Применяя законы двойственности, полу-
чим:
∞ ∞ ∞ ∞ ∞
∞

∗
Ā = Am = Am = Ām .
n=1 m=n n=1 m=n n=1 m=n
По свойству
∞ непрерывности
∞ вероятностной мерысверху, так

∞
как m=n Ām ⊂ m=n+1 Ām , то P (Ā∗ ) = lim P m=n Ām .
n→∞
Проделаем следующие преобразования:

∞
∞

N
N
P Ām =P Ām = lim P Ām ,
N →∞
m=n N =n m=n m=n
N N +1
учитывая, что m=n Ām ⊃ m=n Ām . Рассмотрим вероят-
ность:

N
N
N
P Ām = P (Ām ) = (1 − P (Am )) =
m=n m=n m=n

N
= exp ln(1 − P (Am )) . (2.6)
m=n
Докажем, что из неравенства 1 > x 0 следует неравенство

ln(1 − x) −x. Для этого рассмотрим функцию:
F (x) = ln(1 − x) + x, x ∈ [0, α),
где 0 < α < 1. Очевидно, что F (0) = 0, F (x) = −1/(1 − x) +

+ 1 = −x/(1 − x) < 0. Следовательно, F (x) < 0 при x ∈ (0, α).
Справедливо неравенство:

N
N
P Ām exp − P (Am ) −−−−→ 0.
N →∞
m=n m=n
∞
Как видим, P (Am ) = ∞ при
условии взаимной
m=1 неза-
N
висимости событий влечет: lim P m=n Am = 0, тогда
N →∞
P (Ā∗ ) = 0.
Замечание 2.2. Установим

∞ содержательный смысл события
∞
A∗ . Событие A∗ = n=1 ( k=nAk ) происходит, если одно-
∞
временно происходят события { k=n Ak }. Таким образом, со-
∗
бытие A происходит тогда и только тогда, когда совместно
происходит бесконечно много событий, входящих в последо-
вательность {An }.
Теорема 2.2 (иерархия видов сходимости). Пусть заданы

последовательность случайных величин ξ1 ,. . .,ξn ,. . . и слу-
чайная величина ξ, тогда справедливы утверждения:
п.н. P
1. Если ξn −−−−→ ξ, тогда ξn −−−−→ ξ.
n→∞ n→∞
Lr P
n→∞ n→∞
P d
n→∞ n→∞
Доказательство. Докажем первый пункт теоремы. Оче-
видно, что для любого ε > 0 имеет место неравенство:

P sup |ξm − ξ| > ε P {|ξn − ξ| > ε}.
mn
Докажем второй пункт теоремы. Применим неравенство Че-

бышева:
E|ξn − ξ|r
P {|ξn − ξ| > ε} = P {|ξn − ξ|r > εr } −−−−→ 0.
εr n→∞
Докажем третье утверждение теоремы. Пусть g(x) — любая

непрерывная и ограниченная функция, |g(x)| k, тогда спра-
ведливы следующие неравенства:
|Eg(ξn ) − Eg(ξ)| = |E(g(ξn ) − g(ξ))|

E{I{|ξn − ξ| δ}|g(ξn ) − g(ξ)|}+
+ E{I{|ξn − ξ| > δ}|g(ξn ) − g(ξ)|} =
= E{I{|ξ| > N }I{|ξn − ξ| δ}|g(ξn ) − g(ξ)|}+
+ E{I{|ξ| N }I{|ξn − ξ| δ}|g(ξn ) − g(ξ)|}+
+ E{I{|ξn − ξ| > δ}|g(ξn ) − g(ξ)|}.
Рассмотрим отдельно слагаемые в правой части неравенства:
E{I{|ξ| > N }I{|ξn − ξ| δ}|g(ξn ) − g(ξ)|}

2kP {|ξ| > N } 2k(Fξ (−N ) + 1 − Fξ (N )) −−−−→ 0.
N →∞
Выберем δ0 так, чтобы |g(x) − g(y)| < ε/3 для всех x, y ∈

∈ [−N − 1, N + 1], |x − y| δ, при δ < δ0 , тогда справедливы
соотношения:
E{I{|ξ| N }I{|ξn − ξ| δ}|g(ξn ) − g(ξ)|} < ε/3,
E{I{|ξn − ξ| > δ}|g(ξn ) − g(ξ)|} < 2kP {|ξn − ξ| > δ} −−−−→ 0.

n→∞
Легко заметить, что последовательно выбирая N , δ и n для

произвольного ε > 0, можно добиться, чтобы каждое слага-
емое оказалось меньше ε/3, следовательно, сумма окажется
меньше ε.
Пример 2.1. Пусть Ω = [0, 1], F = B{[0, 1]}. В качестве меры

возьмем меру Лебега. Построим последовательность случай-
(1) (1)
ных величин: ξ1 (ω) = I{ω ∈ [0, 1]}, ξ2 (ω) = I{ω ∈ [0, 1/2]},
(2) (1) (2)
ξ2 (ω) = I{ω ∈ [1/2, 1]}, ξ3 (ω) = I{ω ∈ [0, 1/3]}, ξ3 (ω) =
(3) (1)
= I{ω ∈ [1/3, 2/3]}, ξ3 (ω) = I{ω ∈ [2/3, 1]},. . ., ξn (ω) =
= I{ω ∈ [0, 1/n]} и так далее. Расположим случайные ве-
(1) (1) (2) (1) (2) (3)
личины следующим образом: ξ1 , ξ2 , ξ2 , ξ3 , ξ3 , ξ3 ,
. . .. Изучим сходимость этой последовательности по веро-
(m)
ятности. Очевидно, что для любого ε ∈ (0, 1): P {|ξn | >
> ε} = 1/n −−−−→ 0, следовательно, имеет место сходимость:
n→∞
(m) P
ξn −−−−→ 0.
n→∞
Теперь проверим сходимость в среднем. Возьмем r > 0
(m)
и рассмотрим E|ξn |r = 1/n −−−−→ 0, следовательно, имеет
n→∞
(m) Lr
место сходимость ξn −−−−→ 0. Проверим наличие сходимо-
n→∞
сти почти наверное. Для этого рассмотрим точку ω ∈ [0, 1]
(m)
и рассмотрим ξn (ω). В этой числовой последовательности
есть бесконечная подпоследовательность с бесконечным чис-
лом единиц, следовательно, ни в одной точке ω сходимости
нет. Этот пример показывает, что из сходимости по вероятно-
сти и сходимости в среднем любого порядка не следует схо-
димости почти наверное.
Пример 2.2. Пусть имеется такое же вероятностное про-

странство, что и в примере 2.1. Зададим последовательность
случайных величин отличным от предыдущего примера обра-

зом: &
en , если 0 ω n1 ,
ξn (ω) =
0, если ω > n1 .
Возьмем любое ε > 0, тогда P {|ξn | > ε} = 1/n −−−−→ 0, сле-
n→∞
P
довательно, ξn −−−−→ 0.
n→∞
Нетрудно заметить, что для любого ω ∈ (0, 1], если рас-
сматривать последовательность ξn в этой точке ω, т. е. ξn (ω),
начиная с некоторого номера, все члены последовательности
будут равны нулю: ξn (ω) −−−−→ 0. Это верно для всех точек,
n→∞
п.н.
за исключением точки ω = 0, следовательно, ξn −−−−→ ξ.
n→∞
Проверим сходимость в среднем порядка r. Очевидно, что
E|ξn |r = enr /n −−−−→ ∞, следовательно, сходимости в сред-
n→∞
нем порядка r нет. Из сходимости почти наверное не следует
сходимости в среднем порядка r.
§ 3. ЭКВИВАЛЕНТНОСТЬ СХОДИМОСТИ
В ОСНОВНОМ И СХОДИМОСТИ ПО
РАСПРЕДЕЛЕНИЮ. СВОЙСТВА СХОДИМОСТИ
В ОСНОВНОМ
Теорема 3.1. Пусть заданы последовательность случайных
величин ξ1 ,. . .,ξn ,. . . и случайная величина ξ, Fξ (x) — функ-
ция распределения случайной величины ξ, Fξn (x) — функция
распределения случайной величины ξn , n = 1, . . .. Последова-
тельность ξ1 ,. . .,ξn ,. . . сходится по распределению к ξ при
n → ∞ тогда и только тогда, когда функции Fξn (x) схо-
дятся в основном при n → ∞ к функции Fξ (x).
Доказательство. Необходимость. Возьмем любое a ∈

∈ C(F ). Пусть
⎧
⎪
⎨1, x ∈ (−∞, a],
−x+a+ε
g(x) = , x ∈ (a, a + ε],
⎪
⎩
ε
0, x ∈ (a + ε, ∞).
§ 3. Эквивалентность сходимостей 177
Справедливы рассуждения:
Fξn (a) = EI{ξn ∈ (−∞, a]} Eg(ξn ) −−−−→ Eg(ξ)

n→∞
EI{ξ ∈ (−∞, a + ε]} = Fξ (a + ε). (3.1)
Следовательно, lim Fξn (a) Fξ (a + ε).

n→∞
Рассмотрим функцию g̃(x) следующего вида: g̃(x) = g(x +
+ ε). Аналогично рассуждая, получаем
Fξn (a) = EI{ξn ∈ (−∞, a]} Eg̃(ξn ) → Eg̃(ξ)

EI{ξ ∈ (−∞, a − ε]} = Fξ (a − ε).
lim Fξn (a) Fξ (a − ε). (3.2)

n→∞
Объединив (3.1) и (3.2), получаем неравенства:
Fξ (a − ε) lim Fξn (a) lim Fξn (a) Fξ (a + ε). (3.3)

n→∞ n→∞
Функция Fξ (x) непрерывна в точке x = a, следовательно,

lim Fξn (a) существует и равен Fξ (a).
n→∞
Достаточность. Возьмем любую ограниченную непрерыв-
ную функцию g(x). Пусть |g(x)| k при любом x ∈ R. Возь-
мем произвольный полуинтервал (a, b]: a, b ∈ C(Fξ ) — точки
непрерывности. Покажем, что

g(x)dPξn −−−−→ g(x)dPξ . (3.4)
n→∞
(a,b] (a,b]
Рассмотрим замкнутый промежуток [a, b], g(x) равномерно

непрерывна на нем, т. е. для любого ε > 0 существует δ > 0,
что имеет место неравенство: |x − y| < δ, тогда |g(x) − g(y)| <
< ε/3. Разобьем [a, b] с шагом меньше δ на части: Δ1 ∪ . . .
. . . ∪ Δm = [a, b]. Причем, Δi ∩ Δj = ∅, Δi = (ai−1 , ai ] для всех
i = 1, Δ1 = [a0 , a1 ], где a0 = a, Δm = (am−1 , am ], am = b,
ai+1 − ai < δ.

m
Пусть g̃(x) = g(xi )I{x ∈ Δi }, где xi ∈ Δi , следователь-
i=1
но |g(x) − g̃(x)| < ε/3 при x ∈ [a, b]. Рассмотрим выражение:

g(x)dPξn − g(x)dPξ =

(a,b] (a,b]

= g(x)dPξn − g(x)dPξ ± g̃(x)dPξn ∓ g̃(x)dPξ

(a,b] (a,b] (a,b] (a,b]

|g(x) − g̃(x)|dPξn + |g(x) − g̃(x)|dPξ +
(a,b] (a,b]

m
+ |g(xi )| · |Pξn (Δi ) − Pξ (Δi )|. (3.5)
i=1
Первый и второй интегралы по отдельности не больше ε/3.

Pξn (Δi ) − Pξ (Δi ) = Fξn (ai ) − Fξn (ai−1 ) − Fξ (ai ) + Fξ (ai−1 ) =

= (Fξn (ai ) − Fξ (ai )) + (Fξn (ai−1 ) − Fξ (ai−1 )).
В качестве точек дробления ai были выбраны точки непре-
рывности Fξ , следовательно, с ростом n выражения в скоб-
ках стремятся к нулю. Выберем n0 таким, чтобы для любого
n > n0 и для всех i было выполнено:
ε
|Fξn (ai ) − Fξ (ai )| < .
3km
Тогда абсолютная величина разности двух интегралов окажет-
ся меньше ε. Соотношение (3.4) доказано.
Теперь покажем, что (3.4) будет верно и при интегриро-
вании по всей оси R. Для этого выберем ε > 0 и отрезок
(a, b] такие, что Fξ (a) < ε/(6k), 1 − Fξ (b) < ε/(6k), a, b ∈
∈ C(Fξ ). Очевидно, что можно выбрать n1 , чтобы при n n1
было выполнено неравенство: |Fξn (a) − Fξ (a)| < ε/(6k). Ана-
логично, чтобы для n n2 было выполнено неравенство:
|Fξn (b) − Fξ (b)| < ε/(6k). Тогда справедливы рассуждения:

g(x)dPξn − g(x)dPξ =

R R

= g(x)dPξn + g(x)dPξn − g(x)dPξ −

(−∞,a] (b,∞) (−∞,a])
⎛ ⎞

⎜ ⎟ ε
− g(x)dPξ + ⎝ g(x)dPξn − g(x)dPξ ⎠ +
3
(b,∞) (a,b] (a,b]
⎛ ⎞

ε ε ε ⎜ ⎟

+ + + + ⎝ g(x)dPξn − g(x)dPξ ⎠ 2ε,
3 6 6
(a,b] (a,b]
где n3 выбрано так, чтобы при n n3 последнее слагаемое

было меньше ε, после чего для n > max(n1 , n2 , n3 ) полученная
оценка справедлива.
Замечание 3.1. Теорема справедлива и в конечномерных про-

странствах, когда рассматриваются последовательности слу-
чайных векторов.
Теорема 3.2. Пусть последовательность функций распре-

деления Fξn (x) сходится в основном к функции распреде-
ления Fξ (x). Пусть множество C(Fξ ) = R, т. е. предельная
функция Fξ (x) непрерывна во всех точках R, тогда после-
довательность Fξn (x) равномерно сходится к Fξ (x), т. е.
sup |Fξn (x) − Fξ (x)| −−−−→ 0.

x∈R n→∞
Доказательство. Для любого ε > 0, выберем точки a и b

так, чтобы выполнялись неравенства: Fξ (a) < ε, 1 − Fξ (b) < ε.
Разобьем промежуток [a, b] на непересекающиеся отрезки:
[a, b] = [a0 , a1 ]+(a1 , a2 ]+. . .+(am−1 , am ] : Fξ (ai )−Fξ (ai−1 ) < ε.
Для любой точки ai существует ni , что при n ni выполнено

|Fξn (ai ) − Fξ (ai )| < ε. Пусть n̄ = max {ni }. Будем считать,
i=0,m
что n n̄. Возьмем точку x ∈ [ai , ai+1 ], тогда справедливы
неравенства:
Fξn (x) − Fξ (x) Fξn (ai+1 ) − Fξ (ai )

Fξn (ai+1 ) − Fξ (ai+1 ) + ε 2ε,
Fξn (x) − Fξ (x) Fξn (ai ) − Fξ (ai+1 )

Fξn (ai ) − Fξ (ai ) − ε −2ε.
Следовательно, неравенство |Fξn (x) − Fξ (x)| 2ε справедливо

для всех x ∈ [a, b].
Пусть x ∈ (−∞, a], тогда Fξn (x) − Fξ (x) Fξn (a) 2ε,
Fξn (x) − Fξ (x) −Fξ (a) −ε.
Пусть x ∈ [b, +∞), тогда Fξn (x) − Fξ (x) 1 − Fξ (b) < ε,
Fξn (x) − Fξ (x) Fξn (b) − 1 ± Fξ (b) > −2ε.
Следовательно, для всех x справедливо неравенство:
|Fξn (x) − Fξ (x)| < 2ε, что означает равномерную сходимость.
Замечание 3.2. Теорема справедлива и в конечномерных про-

странствах.
Определение 3.1. Случайная величина называется вырож-

денной, если с вероятностью единица она принимает постоян-
ное значение: P {ξ = a} = 1.
Теорема 3.3. Пусть последовательность случайных вели-

чин ξ1 ,. . .,ξn ,. . . сходится по распределению при n → ∞ к
п.н. P
случайной величине ξ = a, тогда ξn −−−−→ a.
n→∞
Доказательство. Покажем, что для любого ε > 0 выпол-

нено: P {|ξn − ξ| > ε} −−−−→ 0. Справедливы рассуждения:
n→∞
P {|ξn − ξ| > ε} =
= P {ξn − ξ < −ε} + P {ξn − ξ > ε} = P {ξn < a − ε}+
+ P {ξn > a + ε} P {ξn a − ε} + P {ξn > a + ε} =
= Fξn (a − ε) + (1 − Fξn (a + ε)).
Последние два слагаемых стремятся к нулю, следовательно,

сходимость по вероятности имеется: P {|ξn − ξ| > ε} −−−−→ 0
n→∞
или P {|ξn − a| > ε} −−−−→ 0, так как P {|ξn − a| > ε} =
n→∞
= P {|ξn − ξ| > ε}.
Глава 10
ХАРАКТЕРИСТИЧЕСКИЕ
ФУНКЦИИ
§ 1. СВОЙСТВА ХАРАКТЕРИСТИЧЕСКИХ
ФУНКЦИЙ
Рассмотрим вероятностное пространство (Ω, F , P ), на ко-

тором заданы случайные величины ξ(ω) и η(ω).
Определение 1.1. Под комплексной случайной величиной бу-

дем понимать случайную величину
ζ(ω) = ξ(ω) + iη(ω).
Комплексную случайную величину можно представить по-

другому:
ζ(ω) = |ζ(ω)|eiArg(ζ(ω)) .
Пусть существуют и конечны математические ожидания

случайных величин ξ и η. Математическое ожидание ζ опре-
деляется следующим образом:
Eζ = Eξ + iEη.
Определение 1.2. Комплексные случайные величины ζ1 (ω) =

= ξ1 (ω)+iη1 (ω) и ζ2 (ω) = ξ2 (ω)+iη2 (ω) называются независи-
мыми, если вектора (ξ1 (ω), η1 (ω))T и (ξ2 (ω), η2 (ω))T взаимно
независимы.
§ 1. Свойства характеристических функций 183
Свойства комплексных случайных величин

1. Мультипликативность.
Если комплексные случайные величины ζ1 и ζ2 незави-
симы и существуют математические ожидания Eζ1 , Eζ2 ,
тогда имеет место равенство:
E(ζ1 ζ2 ) = Eζ1 Eζ2 .
Доказательство. По правилу умножения комплексных
чисел замечаем, что
ζ1 ζ2 = (ξ1 ξ2 − η1 η2 ) + i(ξ1 η2 + ξ2 η1 ).
Следовательно, используя определение, линейность и по-
парную взаимную независимость элементов, получаем
равенства:
E(ζ1 ζ2 ) = E(ξ1 ξ2 − η1 η2 ) + iE(ξ1 η2 + ξ2 η1 ) =

= Eξ1 Eξ2 − Eη1 Eη2 + i(Eξ1 Eη2 + Eξ2 Eη1 ) =
= (Eξ1 + iEη1 )(Eξ2 + iEη2 ) = Eζ1 Eζ2 .
2. Пусть ζ = ξ + iη и существует математическое ожидание

Eζ, тогда |Eζ| E|ζ|. n
m 1) Пусть ξ(ω) = k=1 ak I{ω ∈ Ak } и
η(ω) = l=1 bl I{ω ∈ Bl } — простые случайные величи-
ны. Индикатор множества Ak определяется следующим
образом:
&
1, если ω ∈ Ak ;
I{ω ∈ Ak } =
0, если ω ∈ / Ak ,
n
где Ak ∩ Ak = ∅ для любых k = k , k=1 Ak = Ω, Ak ∈
∈ F. Аналогичные свойства выполнены для Bl . Тогда
можно записать равенства:

n
m
ξ(ω) = ak I{ω ∈ Ak ∩ Bl },
k=1 l=1
184 Глава 10. Характеристические функции

n
m
η(ω) = bl I{ω ∈ Ak ∩ Bl }.
k=1 l=1
Нетрудно
n заметить, что справедливо равенство:
k=1 I(ω ∈ Ak ∩ Bl ) = I{Bl }. Следовательно, имеет
место равенство:

n
m
ζ(ω) = ξ(ω) + iη(ω) = (ak + ibl )I{ω ∈ Ak ∩ Bl }.
k=1 l=1

n
m
|ζ(ω)| = |ak + ibl |I{ω ∈ Ak ∩ Bl }.
k=1 l=1
По определению интеграла Лебега для простой функции

получаем равенство:

n
m
E|ζ(ω)| = |ak + ibl |P (Ak ∩ Bl ). (1.1)
k=1 l=1
Учитывая, что

n
m
Eξ(ω) = ak P (Ak ∩ Bl ),
k=1 l=1

n
m
Eη(ω) = bl P (Ak ∩ Bl ),
k=1 l=1
получаем выражение:

n m

|Eζ(ω)| = (ak + ibl )P (Ak ∩ Bl ) . (1.2)

k=1 l=1
Сравним (1.1) и (1.2). Очевидно, что |Eζ(ω)| E|ζ(ω)|.

2) Рассмотрим общий случай: Eξ ∈ R, Eη ∈ R, суще-
ствует последовательность ξn (ω) простых случайных ве-
личин такая, что ξn (ω) −−−−→ ξ(ω) для всех ω ∈ Ω, и,
n→∞
кроме того, выполняется неравенство: |ξn (ω)| |ξ(ω)|.
Существует последовательность ηn (ω) простых случай-

ных величин: ηn (ω) −−−−→ η(ω) для всех ω ∈ Ω, и, кроме
n→∞
того, |ηn (ω)| |η(ω)|.
По теореме о мажорируемой сходимости получаем:
Eξn (ω) −−−−→ Eξ, Eηn (ω) −−−−→ Eη.
n→∞ n→∞
Введем последовательность ζn (ω) = ξn (ω)+iηn (ω) −−−−→
n→∞
ζ(ω) = ξ(ω) + η(ω), но тогда Eζn −−−−→ Eζ.
n→∞
2
|ζn (ω)| = ξn2 (ω) + ηn2 (ω) −−−−→ |ζ(ω)| =
n→∞
2
= ξ 2 (ω) + η 2 (ω).
При этом выполняется неравенство: |ζn (ω)| |ζ(ω)|.
Кроме того, уже доказано, что для всех n справедливо
неравенство: |Eζn (ω)| E|ζn (ω)|.
Устремим n к бесконечности. Так как E|ζ(ω)|
E|ξ(ω)| + E|η(ω)|, E|ζ(ω)| ∈ R, то применима теорема
Лебега о мажорируемой сходимости, следовательно, мы
можем перейти к пределу в неравенстве, в результате
получим неравенство:
|Eζ(ω)| E|ζ(ω)|.
Определение 1.3. Характеристической функцией случайной

величины ξ назовем функцию
ϕξ (t) = Eeiξt , t ∈ R. (1.3)

Замечание 1.1. По существу, ϕξ (t) = eiξt dP =
∞ itx iξt
Ω
= −∞ e dFξ (x). Так как e = cos(ξt) + i sin(ξt), получаем
еще одну форму представления характеристической функции:
ϕξ (t) = E (cos(ξt) + i sin(ξt)) = E cos(ξt) + iE sin(ξt) =

∞ ∞
= cos(xt)dFξ (x) + i sin(xt)dFξ (x).
−∞ −∞
Как видим, характеристическая функция ϕξ (t) порождает-

ся функцией распределения Fξ (x) и зависит только от распре-
деления случайной величины ξ.
Определение 1.4. Характеристической функцией случайного
вектора ξ = (ξ1 , . . . , ξm ) назовем функцию
T
ϕξ (t) = ϕ(ξ1 ,...,ξm ) (t1 , . . . , tm ) = Eeiξ t . (1.4)
Характеристическую функцию случайного вектора ξ =
= (ξ1 , . . . , ξm ) можно найти по формуле:
∞ ∞
iξ T t T
ϕξ (t) = e dP = ... eix t dFξ (x).
Ω −∞ −∞
Очевидно, что характеристическая функция существует для

любой функции распределения.
Свойства характеристических функций
1. Для любого t ∈ R имеет место неравенство:
|ϕξ (t)| 1 = ϕξ (0).
Доказательство. Запишем определение характеристиче-
ской функции:
ϕξ (t) = Eeiξt = E cos(ξt) + iE sin(ξt).
|ϕξ (t)| = |Eeiξt | E|eiξt | = 1.
При t = 0: ϕξ (0) = 1.
2. Пусть η = a + bξ, где a, b ∈ R, тогда справедливо равен-
ство:
ϕη (t) = eiat ϕξ (bt).
Доказательство. Легко заметить:
ϕη (t) = Eeitη = E(eiat eitbξ ) = eiat Eeitbξ = eiat ϕξ (bt).
3. Пусть Sn = ξ1 + . . . + ξn , случайные величины ξ1 , . . ., ξn

независимы, тогда характеристическая функция случай-
ной величины Sn имеет вид:

n
ϕSn (t) = ϕξk (t). (1.5)
k=1
Доказательство. Достаточно доказать формулу (1.5)

для двух слагаемых:
ϕS2 (t) = E(eiξ1 t eiξ2 t ) = ϕξ1 (t)ϕξ2 (t).
Результат переносится на случай произвольного числа n.
4. Характеристическая функция ϕξ (t) случайной величины

ξ равномерно непрерывна на R.
Доказательство. Рассмотрим модуль разности:
|ϕξ (t + h) − ϕξ (t)| = |Eeiξ(t+h) − Eeiξt | =

= |E(eiξt (eiξh − 1))| E|eiξh − 1| =
= E|(cos(ξh) − 1) + i sin(ξh)|,
где мажоранта не зависит от t.

По теореме Лебега о мажорируемой сходимости справед-
лива сходимость:
E|(cos(ξh) − 1) + i sin(ξh)| −−−→ 0,

h→0
следовательно, характеристическая функция равномерно

непрерывна на R.
5. Имеют место равенства:
ϕξ (t) = Eeiξt = Eeiξt = Ee−iξt = ϕξ (−t) = ϕ−ξ (t).
Определение 1.5. Распределение случайной величины ξ

симметрично, если для любого x ∈ R выполняется нера-
венство: P {ξ x} = P {ξ −x}.
Для симметричной случайной величины ξ справедливо

равенство Fξ (x) = F−ξ (x). Распределение случайной ве-
личины ξ симметрично тогда и только тогда, когда функ-
ции распределения случайных величин ξ и −ξ совпада-
ют.
6. Характеристическая функция ϕξ (t) является веществен-
ной, т. е. ϕξ (t) = ϕξ (t), тогда и только тогда, когда рас-
пределение случайной величины ξ симметрично, Fξ (x) =
= F−ξ (x).
Доказательство. 1) Достаточность. Пусть распреде-
ление симметрично, то есть Fξ (x) ≡ F−ξ (x). Из свойства
5 следует, что ϕξ (t) = ϕ−ξ (t) = ϕξ (t).
2) Необходимость. Пусть ϕξ (t) = ϕξ (t) = ϕ−ξ (t). Это
означает, что характеристические функции случайных
величин ξ и −ξ совпадают. Далее будет доказано, что
характеристическим функциям взаимно однозначно со-
ответствуют функции распределения, следовательно, вы-
полняется равенство:
Fξ (x) = F−ξ (x).
7. Пусть существует начальный момент порядка n, и он

конечен, Eξ n ∈ R, тогда для любого номера k n суще-
(k) , - (k)
ствует ϕξ (t) = E ik ξ k eitξ и ϕξ (0) = ik Eξ k . Кроме
того, справедливо представление:

n
(it)k (it)n
ϕξ (t) = Eξ k + ε(t),
k! n!
k=0
где ε(t) −−−→ 0.

t→0
Доказательство. Как легко видеть,
ϕξ (t + h) − ϕξ (t)
=
h

E(eiξ(t+h) − eiξt ) iξt e
iξh
−1
= =E e =
h h

iξt cos(ξh) − 1 sin(ξh)
=E e +i . (1.6)
h h
Рассмотрим h > 0. Используем формулу конечных при-
ращений Лагранжа для синуса и косинуса:
cos(ξh) − 1 = −ξ sin(Θ1 ξh)h,
sin(ξh) = ξ cos(Θ2 ξh)h,

где Θ1 ∈ (0, 1) и Θ2 ∈ (0, 1). Тогда
ϕξ (t + h) − ϕξ (t)
= E(eiξt (−ξ sin(Θ1 ξh)+ iξ cos(Θ2 ξh))).
h
Очевидно, что справедливо неравенство:
|eiξt (−ξ sin(Θ1 ξh) + iξ cos(Θ2 ξh))| 2|ξ|,
причем, по условию E|ξ| ∈ R. Таким образом, по тео-

реме Лебега о мажорируемой сходимости имеет место
сходимость:
ϕξ (t + h) − ϕξ (t)
−−−→ E(iξeiξt ).
h h→0
Аналогичным образом можно рассмотреть (ϕξ (t + h) −

− ϕξ (t))/h, мажорантой будет 2ξ 2 , если n 2, то E|ξ|2 ∈
∈ R. Рассуждения повторяются последовательно нужное
(n−1) (n−1)
число раз. При рассмотрении (ϕξ (t+h)−ϕξ (t))/h
мажорантой будет 2|ξ| , так как E|ξ| ∈ R, можно при-
n n
менить теорему Лебега и получить соответствующий

предел.
Далее запишем формулу Тейлора для подынтегральной
функции:

n−1
(it)k k
cos(ξt) + i sin(ξt) = ξ +
k!
k=0
(it)n n
+ ξ (cos(ξtΘ1 ) + i sin(ξtΘ2 )),
n!
где Θ1 ∈ (0, 1) и Θ2 ∈ (0, 1).
Прибавим и вычтем единицу в последнем слагаемом,

введем обозначение: εn (t) = E{ξ n (cos(Θ1 ξt) − 1 +
+ i sin(Θ2 ξt))}. Выражение в фигурных скобках стре-
мится к 0 при t → 0, оно также ограничено сверху по
модулю величиной 3|ξ|n . Теорема Лебега о мажориру-
емой сходимости в данном случае применима, поэтому
можно поменять местами интегрирование и предельный
переход, следовательно, εn (t) → 0 при t → 0.
8. Следующее свойство представляет собой теорему.
Теорема 1.1 (о взаимной однозначности функций рас-
пределения и характеристических функций). Пусть
F (x) и G(x) — функции распределения, заданные на
R.
∞Если в каждой точке t ∈ R имеет место равенство
∞
−∞
e ixt
dF (x) = −∞ eixt dG(x), тогда F (x) ≡ G(x).
Доказательство. Возьмем любые a ∈ R и b ∈ R, a <
< b. Рассмотрим для любого положительного ε функцию
h(x, ε, a, b) следующего вида:
⎧
⎪
⎪ 0, x a,
⎪
⎪
⎪
⎪ x−a
, a < x a + ε,
⎨ ε
h(x, ε, a, b) = 1, a + ε < x b,
⎪
⎪
⎪
⎪ b+ε−x
, b < x b + ε,
⎪
⎪ ε
⎩0, x > b + ε.
Очевидно, что h(x, ε, a, b) → I(a, b] при ε → 0, при этом

0 h(x, ε, a, b) 1. Мы хотим доказать справедливость
следующего равенства:

+∞
+∞
h(x, ε, a, b)dF (x) = h(x, ε, a, b)dG(x). (1.7)

−∞ −∞
Можем утверждать, что как только будет доказана ис-

тинность (1.7), то будет доказана вся теорема. Действи-
тельно, переходя к пределу при ε → 0, по теореме Ле-
бега из (1.7) получаем, что F (b) − F (a) = G(b) − G(a),
устремляя a → −∞, переходим к равенству F (b) = G(b)

при любом b ∈ R.
Выберем ε > 0 и натуральное число n такое, что
(−n, n) ⊃ [a, b + ε]. Рассмотрим функцию h(x, ε, a, b) на
сегменте [−n, n], найдем преобразование, которое уста-
навливает взаимнооднозначное соответствие между про-
межутками [−n, n] и [−π, π].
Пусть y = nπ x, тогда x = nπ y. Рассмотрим функцию:

n
g(y) = h y, ε, a, b ,
π
g(−π) = g(π) = 0. Воспользуемся теоремой Вейерштрас-
са, которая говорит о том, что непрерывная функция на
отрезке [−π, π], принимающая на его концах одинако-
вые значения в равномерной метрике с любой степенью
точности, аппроксимируется тригонометрическим много-
членом, а именно: для любого δn из интервала (0, 1) су-
ществует тригонометрический многочлен

m
Tm (y) = A0 + (Ak cos(ky) + Bk sin(ky)) ,
k=1
такой что для любого y ∈ [−π, π] выполняется неравен-

ство:
|g(y) − Tm (y)| δn . (1.8)
Так как
eiky = cos(ky) + i sin(ky),
e−iky = cos(ky) − i sin(ky),
то
eiky + e−iky
cos(ky) = ,
2
eiky − e−iky
sin(ky) = ,
2i
и, следовательно, можно записать тригонометрический
многочлен Tm (y) в виде:

m
Tm (y) = Ck eiky ,
k=−m
где Ck — комплексные числа. При этом |Tm (y)| 2 для

любого y ∈ R, так как −δn − g(y) Tm (y) δn + g(y).
Перепишем (1.8), сделав замену:

π

h(x, ε, a, b) − Tm x δn (1.9)
n
для любого x ∈ [−n, n].
+∞

+∞

h(x, ε, a, b)dF (x) − h(x, ε, a, b)dG(x) =

−∞ −∞
n
n

= h(x, ε, a, b)dF (x) − h(x, ε, a, b)dG(x) =

−n −n
n

π

= h(x, ε, a, b) − Tm x dF (x)+
n
−n
n

π
+ Tm x − h(x, ε, a, b) dG(x)+
n
−n

n
π n
π

+ Tm x dF (x) − Tm x dG(x)
n n
−n −n
n
π

h(x, ε, a, b) − Tm x dF (x)+
n
−n
n
n
π
π

+ Tm x − h(x, ε, a, b) dG(x)+ Tm x dF (x)−
n n
−n −n
+∞
n
π
π

− Tm x dG(x) 2δn + Tm x dF (x)−
n n
−n −∞

+∞

π
π
− Tm x dG(x) − Tm x dF (x)+
n n
−∞ S

π

+ Tm x dG(x) 2δn +
n
S
⎛ +∞ ⎞
m
+∞

+ Ck ⎝ ei n πx dG(x)⎠ +
k k
ei n πx dF (x) −
k=−m
−∞ −∞

π
π

+ Tm x dF (x) + Tm x dG(x)
n n
S S
2δn +2(F (−n)+1−F (n))+2(G(−n)+1−G(n)) → 0,
где S = (−∞, −n) ∪ (n, +∞). Правая часть стремится к
нулю с ростом n, в то время как левая часть от n не
зависит. Теорема доказана.
Замечание 1.2. Теорема остается справедливой, если

речь идет о функциях распределения в пространстве Rn .
9. Пусть задан случайный вектор ξ T = (ξ1 , . . . , ξn ), слу-
чайные величины ξ1 , . . ., ξn взаимно 5 независимы тогда
n
и только тогда, когда ϕξ (t1 , . . . , tn ) = k=1 ϕξk (tk ).
Доказательство. Необходимость очевидна. Если компо-
ненты взаимно независимы, то можно применить свой-
ство мультипликативности.
Докажем достаточность:

+∞
+∞
T
... eit x dF (x) =
−∞ −∞

+∞
+∞
T
= ... eit x d(Fξ1 (x1 ) · . . . · Fξn (xn )).
−∞ −∞
Следовательно, применяя многомерный аналог теоре-

мы 1.1, получаем равенство:
Fξ1 ,...,ξn (x1 , . . . , xn ) = Fξ1 (x1 ) · . . . · Fξn (xn ),
что является необходимым и достаточным условием вза-
имной независимости случайных величин.
10. Справедливо следующее равенство:
ϕξ1 ,...,ξn (t1 , . . . , tn )|tk+1 =0,...,tn =0 = ϕξ1 ,...,ξk (t1 , . . . , tk ).
Доказательство следует из определения характеристиче-

ской функции.
Замечание 1.3. Свойство сохраняется, если мы выберем
любой набор аргументов (они не обязательно должны
идти по порядку), которые затем приравниваем к нулю.
11. Свойство представляет собой теорему.
Теорема 1.2 (теорема Бохнера–Хинчина). Непрерыв-
ная функция ϕ(t), заданная на числовой прямой,
ϕ(0) = 1, является характеристической тогда и толь-
ко тогда, когда она неотрицательно определена, т. е.
для любых t1 , . . ., tn и любых комплексных чисел c1 ,
. . ., cn выполнено неравенство:

n
n
ϕ(tr − tk )cr c̄k 0.
r=1 k=1
Сформулированная теорема дает необходимое и доста-

точное условие того, что функция является характери-
стической.
§ 2. ПРИМЕРЫ ХАРАКТЕРИСТИЧЕСКИХ
ФУНКЦИЙ
Пример 2.1. Пусть случайная величина ξ почти наверное рав-
няется константе a, тогда ее характеристическая функция бу-
дет иметь вид: ϕξ (t) = eita . Действительно, ϕξ (t) = Eeiξt =
= Eeiat = eita .
Пример 2.2. Пусть случайная величина η подчиняется рас-
пределению Бернулли, т. е. она принимает значение 1 с веро-
ятностью p и значение 0 с вероятностью q = 1 − p, тогда ее
характеристическая функция будет иметь вид: ϕξ (t) = Eeiξt =
= peit + q.
§ 3. Формулы обращения 195
Пример 2.3. Пусть случайная величина μ подчиняется би-

номиальному распределению, P {μ = m} = Cnm pm q n−m , m =
n
= 0, . . . , n. Заметим, что μ = k=1 ξk , где ξk — случайная
величина, принимающая значение «1», если в k-ом испыта-
нии произошел успех, и значение «0», если k-ое испытание
закончилось неудачей. Случайные величины ξ1 , . . ., ξn вза-
имно независимые бернуллевские величины, тогда, используя
свойство 3 характеристических функций, получаем

n
ϕμ (t) = ϕξk (t) = (peit + q)n .
k=1
Пример 2.4. Рассмотрим распределение Пуассона: P {ξ =

k
= k} = λk! e−λ , k = 0, 1, 2, . . . Найдем характеристическую
функцию случайной величины ξ:
∞
λk −λ it it
ϕξ (t) = Eeiξt = eikt e = e−λ eλe = eλ(e −1) .
k!
k=0
§ 3. ФОРМУЛЫ ОБРАЩЕНИЯ
Рассмотрим характеристичскую функцию

+∞
ϕ(t) = eitx dF (x). (3.1)

−∞
Каждой функции распределения случайной величины взаим-

но однозначным образом соответствует характеристическая
функция. Хотелось бы получить формулу преобразования, об-
ратного преобразованию (3.1).
Пусть существует плотность распределения f (x), тогда по
определению:
x
F (x) = f (y)dy.
−∞
В этом случае:

+∞
ϕ(t) = eitx f (x)dx. (3.2)

−∞
Формула (3.2) представляет собой преобразование Фурье

функции плотности распределения f (x). В математическом
анализе есть теорема об обратном преобразовании: пусть ин-
+∞
теграл −∞ |ϕ(t)|dt ∈ R сходится, тогда плотность распреде-
ления f (x) представима следующим образом:

+∞
1
f (x) = e−itx ϕ(t)dt. (3.3)
2π
−∞
Задача — опираясь на выражение (3.3), найти общую формулу

обращения.
Пусть дана случайная величина ξ и характеристическая
функция ϕξ (t). Пусть случайная величина η подчиняется
стандартному нормальному распределению, и случайные ве-
личины ξ и η взаимно независимы. Введем малый параметр
σ > 0 и рассмотрим сумму случайных величин ξ + ση. Ее ха-
рактеристической функцией по ранее доказанным свойствам
будет следующее выражение:
σ2 2
ϕξ+ση (t) = ϕξ (t)e− 2 t ,
при этом, как будет показано в следующем параграфе, ϕη (t) =
1 2
= e− 2 t , в силу первого свойства характеристических функ-
ций получаем, что для любого σ = 0 справедливо неравенство:

+∞
+∞
σ2 2
|ϕξ+ση (t)|dt = |ϕξ (t)|e− 2 t dt < +∞,
−∞ −∞
так как |ϕξ (t)| 1.

Найдем плотность распределения случайной величины ξ +
+ ση:
Fξ+ση (z) = P {ξ + ση z} =

= dFξ (x1 )dFση (x2 ) = dFξ (x1 )fση (x2 )dx2 =
L L
1
+∞ z−x
= fση (x2 )dx2 dFξ (x1 ), (3.4)

−∞ −∞
где L = {(x1 , x2 ) : x1 + x2 z}.

§ 3. Формулы обращения 197
Сделаем замену переменных s = x1 + x2 , тогда ds = dx2 ,

равенство (3.4) примет следующий вид:

+∞ z
Fξ+ση (z) = fση (s − x1 )dsdFξ (x1 ) =

−∞ −∞
так как по теореме Тонелли–Фубини можно поменять порядок

интегрирования:
⎛ +∞ ⎞
z
= ⎝ fση (s − x1 )dFξ (x1 )⎠ ds. (3.5)
−∞ −∞
Выражение в скобках согласно определению будет плотностью

распределения. Таким образом, плотность распределения слу-
чайной величины ξ + ση существует, и характеристическая
функция интегрируема, следовательно, справедливо представ-
ление:

+∞
1 σ2 2
fξ+ση (x) = e−itx ϕξ (t)e− 2 t dt. (3.6)
2π
−∞
Возьмем любые точки a и b, являющиеся точками непрерывно-

сти функции Fξ (x), пусть a < b. Проинтегрируем выражение
(3.6) на промежутке (a, b]:
b
Fξ+ση (b) − Fξ+ση (a) = fξ+ση (x)dx =
a

+∞
1 e−ita − e−itb σ2 2
= ϕξ (t)e− 2 t dt.
2π it
−∞
Следовательно, справедлива формула обращения:

+∞
1 e−ita − e−itb σ2 2
Fξ (b) − Fξ (a) = lim ϕξ (t)e− 2 t dt. (3.7)
2π σ→0 it
−∞
Получим эквивалентное представление формулы обращения.

Действительно,
A
e−ita − e−itb σ2 2
lim lim ϕξ (t)e− 2 t dt =
σ→0 A→∞ it
−A
A
e−ita − e−itb
= lim ϕξ (t)dt.
A→∞ it
−A
Следовательно, в точках непрерывности a и b справедливо

представление:
A
1 e−ita − e−itb
Fξ (b) − Fξ (a) = lim ϕξ (t)dt. (3.8)
2π A→∞ it
−A
Покажем обоснованность предельного перехода в формуле

(3.7). Возьмем любую последовательность σn −−−−→ 0, σn > 0,
n→∞
тогда для любого положительного ε выполнено следующее:

ε
P {|ξ + σn η − ξ| > ε} = P {|σn η| > ε} = P |η| >
σn

ε −ε
1 − Fη + Fη −−−−→ 0.
σn σn n→∞
Следовательно, имеет место сходимость по вероятности:
P
ξ + σn η −−−−→ ξ.
n→∞
Как известно, из сходимости по вероятности следует сходи-

мость по распределению:
d
ξ + σn η −−−−→ ξ,
n→∞
что эквивалентно сходимости:
Fξ+σn η (x) −−−−→ Fξ (x),
n→∞
если точка x — точка непрерывности функции распределения

Fξ .
§ 4. Функции для нормального распределения 199
§ 4. ХАРАКТЕРИСТИЧЕСКИЕ ФУНКЦИИ
ДЛЯ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ
Пусть случайная величина ξ подчиняется стандартному
нормальному распределению. Распределение симметрично,
следовательно, по свойству 6 характеристическая функция
принимает только вещественные значения:
∞
1 x2
ϕξ (t) = Eeiξt = √ eitx e− 2 dx.
2π
−∞
Используя свойство 7 характеристических функций, возьмем

производную от характеристической функции, получим
∞
1 x2
ϕξ (t) = √ ixeitx e− 2 dx =
2π
−∞
∞ ∞
i itx − x2 i2 t x2
= −√ e e 2
+√ eitx e− 2 dx = −tϕξ (t).
2π −∞ 2π
−∞
Таким образом, получается дифференциальное уравнение

ϕξ (t) = −tϕξ (t) с начальным условием ϕξ (0) = 1, у кото-
рого существует единственное решение:
t2
ϕξ (t) = e− 2 . (4.1)
Рассмотрим теперь случайную величину η = σξ + a, σ > 0.

Запишем выражение для функции распределения случайной
величины η:

x−a x−a
Fη (x) = P {η x} = P ξ = Fξ .
σ σ
Плотность распределения случайной величины η имеет вид:

1 x−a 1 (x−a)2
fη (x) = fξ =√ e− 2σ2 .
σ σ 2πσ
Говорят, что случайная величина η распределена нормально с

параметрами a и σ 2 , N (a, σ 2 ). Используя свойство 2 характе-
ристических функций, найдем ϕη (t):
σ 2 t2
ϕη (t) = eiat ϕξ (σt) = eiat− 2 . (4.2)
Перейдем к случайному вектору ξ T = (ξ1 , . . . , ξn ), где ξk при
любом номере k подчиняется стандартному нормальному рас-
пределению, N (0, 1), и случайные величины ξ1 , . . ., ξn вза-
имно независимы. Плотность распределения вектора ξ имеет
вид:

n
1 x2
k
fξ (x1 , . . . , xn ) = √ e− 2 =
k=1
2π
n

x2
k
1 k=1 1 1 T
= e− 2 = e− 2 x x .
(2π)n/2 (2π)n/2
Характеристическая функция случайного вектора ξ будет
иметь вид:

n
n
t2
k 1 T
ϕξ (t1 , . . . , tn ) = ϕξk (tk ) = e− 2 = e− 2 t t . (4.3)
k=1 k=1
Рассмотрим теперь случайный вектор η = Aξ + a, где A —

матрица размерности n × n, причем |A| > 0, aT = (a1 , . . . , an ).
Для любого борелевского множества B ∈ B(Rn ):
P {η ∈ B} = P {Aξ + a ∈ B}.
Пусть B = {x} — множество векторов, Ay + a = x, y =
= A−1 (x − a). Все возможные вектора y образуют множество
B̃ = {y}. Очевидно, что между множествами B и B̃ существу-
ет взаимно однозначное соответствие:

1 1 T
P {η ∈ B} = P {ξ ∈ B̃} = e− 2 y y dy =
(2π)n/2
B̃

1 1 − 1 (x−a)T (A−1 )T A−1 (x−a)
= e 2 dx.
(2π)n/2 |A|
B
§ 4. Функции для нормального распределения 201
При интегрировании перешли к новым переменным и вычис-

лили якобиан линейного преобразования, который оказался
равным 1/|A|. Нетрудно заметить, что справедливо равенство:
Eη = (Eη1 , . . . , Eηn )T = AEξ + a = a.
Выпишем ковариационную матрицу случайного вектора η:

, -
Dη = E (η − Eη)(η − Eη)T = ADξAT = AAT = Σ.
Очевидно, что |Σ| = |A|2 . Запишем плотность распределения

случайного вектора η:
1 1 T
Σ−1 (x−a)
fη (x) = 2 e− 2 (x−a)
(2π)n/2 |Σ|
— плотность многомерного нормального распределения с па-

раметрами (a, Σ), где a = Eη, Σ = Dη, т. е. N (a, Σ). Найдем
вид характеристической функции случайного вектора η:
T T
t+iξ T AT t
ϕη (t1 , . . . , tn ) = Eeiη t
= Eeia =
T T
t− 12 tT Σt
= eia t ϕξ (AT t) = eia . (4.4)
Нетрудно убедиться, что линейное преобразование не меняет

тип нормального распределения. Пусть ζ = b + Cη, где b ∈ Rk ,
размерность C равна k × n, тогда
T
+η T C T )t T
ϕζ (t) = Eei(b = eib t ϕη (C T t) =
T
+aT C T )t− 12 tT CΣC T t
= ei(b , (4.5)
т. е. вектор ζ распределен нормально с вектором мате-

матических ожиданий b + Ca и ковариацонной матрицей
CΣC T , другими словами, ζ подчиняется распределению
N (b + Ca, CΣC T ).
§ 5. МЕТОД ХАРАКТЕРИСТИЧЕСКИХ ФУНКЦИЙ

В ДОКАЗАТЕЛЬСТВЕ ПРЕДЕЛЬНЫХ ТЕОРЕМ
В параграфе рассматривается скалярный случай, но все
утверждения можно перенести и на векторный случай.
Определение 5.1. Обобщенной функцией распределения на

числовой прямой называется функция G(x), обладающая свой-
ствами:
1. Для любых точек x1 x2 справедливо неравенство
G(x1 ) G(x2 ).
2. Для любой точки x ∈ R имеет место сходимость
G(y) −−−−−→ G(x).
y→x+0
3. Выполняются соотношения: lim G(x) = G(∞) 1,
x→∞
lim G(x) 0.
x→−∞
Обозначим через J класс обобщенных функций распреде-

ления на числовой прямой.
Теорема 5.1. Пусть {Gn } — последовательность обобщен-

ных функций распределения, тогда существует функция
G ∈ J и подпоследовательность {Gnk } такие, что подпо-
следовательность {Gnk } сходится в основном к функции
G, т. е. для любой точки x из множества непрерывности
функции G имеет место сходимость Gnk (x) −−−−→ G(x).
nk →∞
Доказательство. Рассмотрим счетное множество S =

= {x1 , x2 , . . .} плотное в R. Последовательность Gn (x1 ) огра-
ничена, следовательно, существует сходящаяся подпоследова-
тельность Gn(1) (x1 ), k = 1, 2, . . . Перебирая последовательно
k
точки из S, построим «диагональную» последовательность
Gn(k) (xl ), сходящуюся к некоторому пределу, который обо-
k
значим через Gs (xl ). Здесь предполагается, что подпоследо-
(k+1) (k)
вательности вложены друг в друга, {nl } ⊂ {nl }. Далее
определим функцию G(x) = inf{Gs (xk ) : xk ∈ S, xk > x}.
Нетрудно показать, что функция G(x) является обобщенной
функцией распределения и для всех точек x на прямой, где
§ 5. Метод характеристических функций 203
G(x) непрерывна, выполняется:
G(x) = lim Gn(k) (x).

k→∞ k
Теорема 5.2 (метод характеристических функций).

1. Пусть задана последовательность функций распреде-
ления {Fn }, причем эта последовательность сходится
в основном к функции распределения F . Пусть
∞
ϕn (t) = eitx dFn (x), (5.1)
−∞
∞
ϕ(t) = eitx dF (x). (5.2)
−∞
Тогда для любой точки t имеет место сходимость

lim ϕn (t) = ϕ(t). Таким образом, из сходимости в
n→∞
основном функций распределения следует поточечная
сходимость характеристических функций.
2. Пусть ϕn (t) из (5.1) — характеристическая функ-
ция, соответствующая функции распределения Fn (x).
Пусть в каждой точке t существует предел
lim ϕn (t) = ϕ(t). Предположим, что функция ϕ(t)
n→∞
непрерывна в точке 0, тогда функция ϕ(t) также яв-
ляется характеристической, т. е. существует функ-
ция распределения F (x) такая, что ϕ(t) удовлетво-
ряет (5.2), и при этом, последовательность функций
распределения Fn (x) сходится в основном к функции
распределения F (x).
Доказательство. Докажем первый пункт теоремы. Для
любой функции Fn (x) существует случайная величина ξn
такая, что Fξn (x) = Fn (x), то есть, Fn (x) = P {ξn x}.
Для функции распределения F (x) существует случайная ве-
личина ξ такая, что выполнено равенство Fξ (x) ≡ F (x), т. е.
F (x) = P {ξ x}. Так как сходимость в основном равносиль-

на сходимости по распределению, то имеет место следующая
Eg(ξn ) −−−−→ Eg(ξ) (5.3)
n→∞
для любой непрерывной и ограниченной функции g(x).

Рассмотрим g(x) = cos(tx) и g(x) = sin(tx). Подставим их
в выражение (5.3) и получим:
E cos(tξn ) −−−−→ E cos(tξ),

n→∞
E sin(tξn ) −−−−→ E sin(tξ).

n→∞
Но тогда очевидно, что
E cos(tξn ) + iE sin(tξn ) −−−−→ E cos(tξ) + iE sin(tξ),

n→∞
или
ϕξn (t) −−−−→ ϕξ (t).
n→∞
Докажем второе утверждение теоремы. Для любой слу-

чайной величины ζ при любых положительных вещественных
постоянных x и τ , удовлетворяющих условию xτ > 1 справед-
ливо неравенство:

τ
1 1
2τ ϕζ (t)dt − xτ
−τ
P {|ζ| x} 1 . (5.4)
1 − xτ
Докажем неравенство (5.4). Преобразуем выражение под зна-

ком модуля:

τ τ
1 1

ϕζ (t)dt = iζt
Ee dt =
2τ
2τ
−τ −τ

τ
1 , iζt -
= E e (I{ζ = 0} + I{|ζ| > 0}) dt . (5.5)
2τ
−τ
Используя формулу Эйлера для экспоненты и равенство

τ τ
1 , - 1 sin(ζt)
iζt
e I{|ζ| > 0} dt = I{|ζ| > 0} =
2τ 2τ ζ −τ
−τ
sin(ζτ )
= I{|ζ| > 0},
ζτ
запишем выражение (5.5) в следующем виде:

τ
1
ϕ (t)dt = EI{ζ = 0} + E sin(ζτ ) I{|ζ| > 0}
2τ ζ ζτ

−τ
1
P {ζ = 0} + P {0 < |ζ| x} + P {|ζ| > x} =
xτ
1
= P {|ζ| x} + (1 − P {|ζ| x}).
xτ
Неравенство (5.4) доказано.
Положим xτ = 2, тогда

τ
2 1
P |ζ|
2 ϕζ (t)dt − 1 (5.6)
τ 2τ
−τ
для любого положительного τ . Неравенство (5.6) справедли-

во при любом τ > 0 для случайных величин ξn , т. е. для
последовательности {Fn (x)}. Справедлива теорема 5.1, поэто-
му существует подпоследовательность Fnk (x) такая, что при
k → ∞ имеет место сходимость в основном последовательно-
сти Fnk (x) к функции G(x) ∈ J. Далее будем рассматривать
последовательность Fnk (x). Справедливо неравенство:

τ τ
1 1
1 ϕ(t)dt + |1 − ϕ(t)|dt.
2τ 2τ
−τ −τ
Так как для любого n выполняются соотношения:

ϕn (0) = 1, lim ϕn (0) = ϕ(0) = 1,
n→∞
то для любого положительного ε существует такое положи-

тельное τ0 , что при |t| τ0 выполнено следующее неравен-
ство:
ε
|1 − ϕ(t)| < .
4
Будем выбирать τ < τ0 , но тогда выполнено неравенство:

τ
ε 1
1− ϕ(t)dt .
4 2τ
−τ
Преобразуем интеграл:
τ τ τ
ϕ(t)dt = ϕn (t)dt + (ϕ(t) − ϕn (t))dt,
−τ −τ −τ
тогда

τ
ε 1
1 − ϕ(t)dt
4 2τ
−τ

τ τ
1 1

ϕn (t)dt + |ϕ(t) − ϕn (t)|dt, (5.7)
2τ 2τ
−τ −τ
причем |ϕ(t) − ϕn (t)| −−−−→ 0 для любого t, кроме того,

n→∞
|ϕ(t) − ϕn (t)| 2, что следует из свойств характеристической
функции. Из данных двух условий следует, что применима
теорема Лебега о мажорируемой сходимости, поэтому из нера-
венства (5.7) следует выполнение следующего неравенства:

τ
ε 1
1 − ϕn (t)dt
2 2τ
−τ
при n n0 , где n0 выбрано из условия, что последнее слага-

емое в (5.7) не превосходит ε/4. Из неравенства (5.6) и, учи-
+∞
тывая, что ϕn (t) = −∞ eitx dFn (x), Fn (x) ≡ FξN (x) следует,
что
2 ε
P |ξn | 2 1− − 1 = 1 − ε.
τ 2
Теперь возьмем любое n n0 , 0 < τ τ0 , A < −2/τ , B > 2/τ ,
где точки A и B являются точками непрерывности функции
G(x). Будет выполняться неравенство:

2
Fn (B) − Fn (A) P |ξn | 1 − ε.
τ
Рассмотрим разность Fnk (B) − Fnk (A) 1 − ε. Устремив k к

бесконечности, получим
G(B) − G(A) 1 − ε,
тогда G(∞) = 1, G(−∞) = 0, иначе возникло бы противоре-

чие. Поэтому G(x) — обычная функция распределения. Обо-
значим G(x) ≡ F (x).
Так как Fnk (x) сходится в основном к F (x) при k → ∞,
то применимо уже доказанное первое утверждение теоремы,
тогда для любого t имеет место сходимость:

+∞
ϕnk (t) → eitx dF (x),

−∞
с другой стороны, для любого t выполняется:
ϕnk (t) → ϕ(t).

+∞
Из этого следует, что ϕ(t) = −∞ eitx dF (x) — характери-
стическая функция. Теперь докажем сходимость в основном
Fn (x) к F (x). Докажем методом от противного. Пусть сходи-
мости нет, тогда существует точка x0 , которая является точ-
кой непрерывности функции распределения F (x) такая, что
нет сходимости Fn (x0 ) к F (x0 ). Тогда пусть Fn(1) (x0 ) сходит-
k
ся к q = F (x0 ) при k → ∞. Вернемся к началу доказательства
и будем рассматривать последовательность {Fn(1) (x)}, повто-
k
ряя все рассуждения.
Существует {Fn(2) (x)} такая, что

k
{Fn(2) (x)} ⊂ {Fn(1) (x)},

k k
и Fn(2) (x) сходится в основном к F̃ (x), следовательно, имеют

k
место следующие сходимости:

+∞
ϕn(2) (t) −−−−→ eitx dF̃ (x),

k k→∞
−∞
ϕn(2) (t) −−−−→ ϕ(t).

k k→∞
Но тогда для любого t справедливы равенства:

+∞
+∞
itx
e dF̃ (x) = ϕ(t) = eitx dF (x).
−∞ −∞
Пришли к противоречию, так как F̃ (x) ≡ F (x), и F̃ (x0 ) = q =

= F (x0 ).
Замечание 5.1. Утверждение теоремы переносится на много-

мерный случай.
Глава 11
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ
§ 1. ЗАКОН БОЛЬШИХ ЧИСЕЛ ДЛЯ НЕЗАВИСИМЫХ

ОДИНАКОВО РАСПРЕДЕЛЕННЫХ СЛУЧАЙНЫХ
ВЕЛИЧИН
Определение 1.1. Пусть ξ1 ,. . ., ξn ,. . . — последовательность
случайных величин, определенных на (Ω, F, P ). Будем гово-
рить, что к этой последовательности применим закон больших
чисел (ЗБЧ), если

n
n
ξk Eξk
k=1 k=1 P
− −−−−→ 0. (1.1)
n n n→∞
Замечание 1.1. В определении 1.1 предполагается, что все

математические ожидания существуют и конечны.
Если Eξk = a, k = 1, 2, . . ., тогда сходимость (1.1) можно
записать в виде:
n
ξk
k=1 P
−−−−→ a. (1.2)
n n→∞
Теорема 1.1. Пусть ξ1 ,. . .,ξn ,. . . — последовательность вза-

имно независимых одинаково распределенных случайных ве-
личин. Пусть Eξk = a ∈ R для любого k = 1, 2, . . ., тогда к
последовательности {ξk } применим закон больших чисел,
т. е.
1
n
P
ζn = ξk −−−−→ a. (1.3)
n n→∞
k=1
210 Глава 11. Предельные теоремы
Доказательство. Воспользуемся методом характеристиче-

d п.н.
ских функций и докажем, что ζn −−−−→ ζ = a, тогда по тео-
n→∞
P
реме 3.3 из главы 9 имеет место сходимость: ζn −−−−→ a.
n→∞
Рассмотрим характеристическую функцию:

n
t
in ξk
n
t
itζn
ϕζn (t) = Ee = Ee k=1 =E ei n ξ k =
k=1

n
t t t
= Eei n ξk = ϕnξ1 = en ln ϕξ1 ( n ) .
n
k=1
Выберем главную ветвь ln 1 = 0. С ростом n аргумент бу-

дет стремится к нулю. Тогда из свойства 7 характеристических
функций следует равенство:

t ita 1
ϕ ξ1 =1+ +o ,
n n n
ln(1 + ε) = ε + o(ε).
t t 1 1
Таким образом, en ln ϕξ1 ( n ) = en{i n a+o( n )} = eita+no( n ) −−−−→
n→∞
eita , где eita взаимно однозначно соответствует вырожденному
в точке a распределению P {ζ = a} = 1. Получаем, что сходи-
мость в основном последовательности Fζn (x) к функции Fζ (x)
d
равносильна сходимости ζn −−−−→ ζ.
n→∞
Следствие 1.1. Пусть ξ1 ,. . .,ξn ,. . . — последовательность

случайных величин, причем P {ξk = 1} = p, P {ξk = 0} =
= q = 1 − p. Обозначим через μ число n успехов в n испыта-
ниях (схема Бернулли), т. е. μ = k=1 ξk . Так как {ξk } —
последовательность независимых и одинаково распределен-
ных случайных величин, и Eξk = 1 · p + 0 · q = p, тогда
μ P
−−−−→ p. (1.4)
n n→∞
Доказательство. Очевидным образом следует из теоремы
1.1.
§ 2. Центральная предельная теорема 211
§ 2. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА

ДЛЯ НЕЗАВИСИМЫХ ОДИНАКОВО
РАСПРЕДЕЛЕННЫХ СЛУЧАЙНЫХ ВЕЛИЧИН
И СЛУЧАЙНЫХ ВЕКТОРОВ
Определение 2.1. Пусть η1 ,. . ., ηk ,. . . — последовательность
случайных величин, определенных на (Ω, F, P ). Будем гово-
рить, что к последовательности {ηk } применима центральная
предельная теорема (ЦПТ), если для любого x ∈ R имеет
место сходимость
x
ηk − Eηk 1 y2
P √ x −−−−→ √ e− 2 dy. (2.1)
Dηk k→∞ 2π
−∞
Замечание 2.1. В определении 2.1 предполагается, что все

математические ожидания Eηk и дисперсии Dηk существуют
и конечны. Обозначим через η случайную величину, подчиня-
ющуюся стандартному нормальному распределению. Функция
распределения случайной величины η будет иметь вид:
x
1 y2
Fη (x) = √ e− 2 dy.
2π
−∞
Тогда сходимость (2.1) можно записать следующим образом:

ηk − Eηk d
√ −−−−→ η. (2.2)
Dηk k→∞
Теорема 2.1 (центральная предельная теорема для неза-
висимых одинаково распределенных случайных величин).
Пусть ξ1 ,. . .,ξn ,. . . — последовательность взаимно неза-
висимых, одинаково распределенных случайных величин.
Пусть Eξk = a ∈ R, Dξk = σ 2 ∈ (0, ∞) для любого
k = 1, 2, . . ., тогда для последовательности случайных ве-
личин имеет место сходимость:

n
(ξk − a)
k=1 d
ζn = √ −−−−→ ζ ∼ N (0, 1),
nσ n→∞
т. е. функция распределения сходится равномерно по x ∈ R:

x
1 −y2
Fζn (x) = P {ζn x} −−−−→ √ e 2 dy.
n→∞ 2π
−∞

ских функций:

n
t
i σ√ n
(ξk −a)
n
t
i σ√ (ξk −a)
itζn
ϕζn (t) = Ee = Ee k=1 =E e n =
k=1

n
t t t
n ln ϕ(ξ1 −a) ( σ√ )
= ϕ(ξk −a) √ = ϕn(ξ1 −a) √ =e n .
σ n σ n
k=1
Выберем главную ветвь ln 1 = 0, ln(1+ε) = ε+o(ε). Используя

свойство 7 характеристических функций, получаем равенство:

2
i σ√t n
t 1
ϕξ1 −a √ =1+ σ2 + o .
σ n 2! n
По условию теоремы E(ξ1 − a) = 0, E(ξ1 − a)2 = Dξ1 = σ 2 ,

тогда имеет место сходимость:
t
n ln ϕ(ξ1 −a) ( σ√ ) t2 1 t2
e n = en{− 2n +o( n )} −−−−→ e− 2 .
n→∞
t2
Таким образом, получили характеристическую функцию e− 2
взаимно однозначно соответствующую стандартному нормаль-
d
ному распределению, тогда ζn −−−−→ ζ ∼ N (0, 1).
n→∞

n
Замечание 2.2. В теореме 2.1 пусть ηn = ξl , тогда Dηn =
l=1
2
= σ n.
Следствие 2.1. Пусть ξ1 ,. . .,ξn ,. . . — последовательность

случайных величин, причем P {ξk = 1} = p, P {ξk = 0} =
= q = 1 − p. Обозначим через μ число успехов

n в серии из n
испытаний (схема Бернулли), т. е. μ = k=1 ξk . Для любо-
го k = 1, 2, . . .: Eξk = p, Dξk = pq, тогда Dμ = npq. Имеет
b
μ − np 1 y2
P a √ b −−−−→ √ e− 2 dy (2.3)
npq n→∞ 2π
a
равномерно по a < b.
Доказательство. Из теоремы 2.1 следует, что
b
μ − np 1 y2
P a< √ b −−−−→ √ e− 2 dy.
npq n→∞ 2π
a
По локальной предельной теореме имеет место сходимость:

μ − np
P √ = a −−−−→ 0.
npq n→∞
Следствие 2.2. Пусть справедливы условия теоремы 2.1.

n
(ξk −a)
k=1
Обозначим через ςñ = √ . Тогда имеет место схо-
n
димость
ςñ −−−−→ ς˜ ∼ N (0, σ 2 ),
d
(2.4)
n→∞
что эквивалентно равномерной по x ∈ R сходимости:
x
1 y2
ςn x} −−−−→ √
P {˜ e− 2σ2 dy. (2.5)
n→∞ 2πσ
−∞
Доказательство. Рассмотрим P {˜
ςn x} и применим тео-
рему 2.1:
x
σ
ςñ x 1 −y2
P {˜
ςn x} = P −−−−→ √ e 2 dy.
σ σ n→∞ 2π
−∞
Сделаем замену v = σy, dy = dv/σ, тогда функция распреде-

σx −y 2 x −v 2
ления −∞ √1 e 2 dy = √ 1 e 2σ2 dv, соответствует нор-
2π −∞ 2πσ
мальному распределению N (0, σ 2 ), что и означает сходимость
в основном, а из сходимости в основном следует сходимость
по распределению.
Следствие 2.3 (центральная предельная теорема для неза-

висимых одинаково распределенных случайных векторов).
Пусть {ξnT = (ξ1n , . . . , ξmn )} — последовательность взаимно
независимых одинаково распределенных случайных векто-
ров (компоненты внутри векторов могут быть зависимы).
Пусть Eξkn = ak ∈ R, и Eξn = (a1 , . . . , am )T = a. Пусть
дисперсионная матрица Dξn существует, обозначим ее че-
рез Σ = Dξn√= E{(ξn − a)(ξn − a)T }, тогда случайный век-
n
тор ςn = 1/ n k=1 (ξk − a) сходится по распределению к
случайному вектору ς, распределенному по многомерному
нормальному закону с параметрами (0, Σ), т. е.
d
ςn −−−−→ ς ∼ N (0, Σ). (2.6)
n→∞
Доказательство. Теорема о методе характеристических

функций в доказательстве предельных теорем верна и в мно-
гомерном случае. Рассмотрим многомерную характеристиче-
скую функцию и докажем, что справедлива сходимость:
1 T
ϕςn (t1 , . . . , tm ) = Eei(t1 ,...,tm )ςn −−−−→ e− 2 (t1 ,...,tm )Σ(t1 ,...,tm ) .
n→∞
Возьмем произвольный вектор θ = (θ1 , . . . , θm )T , тогда

{θT ξn } — последовательность независимых случайных ве-
личин с математическими ожиданиями E(θT ξn ) = θT a и дис-
персиями D(θT ξn ) = E{(θT ξn − θT a)2 } = E{θT (ξn − a)(ξn −
− a)T θ} = θT E{(ξn − a)(ξn − a)T }θ = θT Σθ.
Таким образом, можно применить теорему 2.1, тогда

n
(θT ξk − θT a)
k=1 d
T
θ ςn = √ −−−−→ δ ∼ N (0, θ T Σθ).
n n→∞
Следовательно, имеет место сходимость:

T 1 T
Eeitθ ςn
−−−−→ e− 2 tθ Σθt
,
n→∞
где t ∈ R, tθT = (tθ1 , . . . , tθm ) = (t1 , . . . , tm ). Таким образом,

получаем:
1 T
ϕςn (t1 , . . . , tm ) = Eei(t1 ,...,tm )ςn −−−−→ e− 2 (t1 ,...,tm )Σ(t1 ,...,tm ) .
n→∞
§ 3. ЗАКОН БОЛЬШИХ ЧИСЕЛ ДЛЯ НЕЗАВИСИМЫХ

ПРОИЗВОЛЬНО РАСПРЕДЕЛЕННЫХ
СЛУЧАЙНЫХ ВЕЛИЧИН. СХЕМА СЕРИЙ
Рассмотрим последовательность {ξk } взаимно независи-
мых и произвольно распределенных случайных величин.
Пусть существует Eξk = ak ∈ R. Определим, при каком
условии имеет место сходимость по вероятности:
1 1
n n
P
ξk − ak −−−−→ 0. (3.1)
n n n→∞
k=1 k=1
1

n
Обозначим через ςn = n (ξk − ak ), тогда сходимость в (3.1)
k=1
можно записать в виде:
P
ςn −−−−→ 0.
n→∞
n ξkn случайную
Обозначим через величину ξkn = (ξk − ak )/n,
тогда ςn = n1 k=1 (ξk − ak ) =
n
k=1 ξkn . Далее будем рас-
сматривать более общую задачу, введя произвольную схему
серий, которая будет удовлетворять сформулированным ниже
условиям.
Назовем бесконечную последовательность конечных набо-
ров случайных величин {ξ1n , ξ2n , . . . , ξnn }, n = 1, 2, . . ., схемой
серий, будем предполагать, что для любых n и k:
Eξkn = 0. (3.2)
В любом конечном наборе ξ1n , ξ2n , . . ., ξnn случайные вели-

чины взаимно независимы.
Как видим, определенные ранее случайные величины ξkn
представляют собой частный случай схемы серий. Докажем
вспомогательные леммы.
Лемма 3.1. Пусть β — комплексное число такое, что Reβ 0,
тогда имеют место неравенства:
|eβ − 1| |β|, (3.3)
2
|β|
|eβ − 1 − β| , (3.4)
2
β2 |β|3
|eβ − 1 − β − | . (3.5)
2 6
Доказательство. Применим формулу Ньютона–Лейбница
на комплексной плоскости к аналитической функции:
β 1
e −1=
β z
e dz = β eβv dv,
0 0
где v ∈ [0, 1], тогда справедливо неравенство:

1
|e − 1| |β|
β
|eβv |dv |β|.
0
Аналогично доказывается второе неравенство:

β 1
e −1−β =
β
(e − 1)dz = β
z
(eβv − 1)dv,
0 0
где v ∈ [0, 1], тогда

1
|β|2
|e − 1 − β| |β|
β
|eβv − 1|dv .
2
0
Третье неравенство доказывается аналогичными рассуждени-

ями.
Лемма 3.2. Пусть существуют комплексные числа a1 , . . . , an ,

b1 , . . . , bn и для любого k = 1, . . . , n имеют
5m место неравенства:
5m
|ak | 1, |bk | 1. Тогда, если Am = k=1 ak , Bm = k=1 bk ,
при m = 1, . . . , n, то справедливо неравенство:

n
|Bn − An | |bk − ak |. (3.6)
k=1
Доказательство. Сделаем преобразования:
Bn − An = Bn−1 bn − An−1 an = Bn−1 bn − Bn−1 an +

+ Bn−1 an − An−1 an = Bn−1 (bn − an ) + an (Bn−1 − An−1 ).
5n−1
Заметим, что |Bn−1 | = k=1 |bk | 1, тогда |Bn − An | |bn −
− an | + |Bn−1 − An−1 |. Повторяя рассуждения, получаем иско-
мую оценку.
Будем рассматривать определенную выше схему серий.
Определение 3.1. Будем говорить, что выполнено условие

(M1 ), если для любого τ > 0 имеет место сходимость:

n
M1n (τ ) = E {|ξkn |I{|ξkn | > τ }} −−−−→ 0. (3.7)
n→∞
k=1

(D1 ), если существует s ∈ (1, 2] такое, что имеет место сходи-
мость:

n
D1n (s) = E {min(|ξkn |, |ξkn |s )} −−−−→ 0. (3.8)
n→∞
k=1
Замечание 3.1. Если s1 < s2 , то D1n (s1 ) D1n (s2 ) для s1 ∈

∈ (1, 2], s2 ∈ (1, 2], т. е. функция D1n убывает.
Замечание 3.2. Если τ1 < τ2 , то M1n (τ1 ) M1n (τ2 ) для

τ > 0, т. е. функция M1n убывает.
Функцию D1n (s) из определения 3.2 можно эквивалентно

записать в виде:

n
n
D1n (s) = E(|ξkn |I{|ξkn | > 1}) + E(|ξkn |s I{|ξkn | 1}).
k=1 k=1
Лемма 3.3. Пусть существует константа c > 0, что для лю-

бого n имеет место неравенство
n
E|ξkn | < c, (3.9)
k=1
тогда условия (M1 ) и (D1 ) эквиваленты.

Доказательство. Доказательство следует из двух нера-
венств. Для любого τ ∈ (0, 1) справедливы неравенства:
D1n (s) M1n (τ ) + τ s−1 c,
1
M1n (τ ) D1n (s).
τ s−1
Теорема 3.1. (закон больших чисел для схемы серий) Рас-

смотрим схему серий. Пусть выполнено условие (D1 ), тогда
имеет место сходимость по вероятности:
n
P
ζn = ξkn −−−−→ 0. (3.10)
n→∞
k=1
Доказательство. Сходимость по вероятности будет следо-

вать из сходимости по распределению. Таким образом, доста-
d п.н.
точно показать, что выполнено ζn −−−−→ ζ = 0. Применим
n→∞
метод характеристических функций:

it n

ξkn
|ϕζn (t) − ϕζ (t)| = Ee k=1 − 1 =

n

n n
itξ
Ee kn − 1 =
= Ee itξkn
− 1

k=1 k=1 k=1

n
n

= E(eitξkn − 1 − itξkn ) E eitξkn − 1 − itξkn .
k=1 k=1
Проанализируем отдельные слагаемые. Если β = itξkn , то из

леммы 3.1 следует справедливость неравенств:
itξ 2
e kn − 1 − itξkn |itξkn | ,
2
itξ itξ
e kn − 1 − itξkn e kn − 1 + |itξkn | 2|itξkn |.
Тогда имеют место неравенства:

n

E eitξkn − 1 − itξkn
k=1

n
|tξkn |2
E min 2|tξkn |,
2
k=1

|t|2
max 2|t|, D1n (2) h(t)D1n (s),
2
2

где h(t) = max 2|t|, |t|2 . Так как выполнено условие (D1 ),
то h(t)D1n (s) −−−−→ 0.
n→∞
Замечание 3.3. Вернемся к последовательности случайных

величин ξkn = (ξk − ak )/n, тогда при выполнении условий
теоремы 3.1 имеет место сходимость:

n
n
ξk Eξk
1
n
k=1 k=1 P
ςn = (ξk − ak ) = − −−−−→ 0, (3.11)
n n n n→∞
k=1
где ak = Eξk .
Для ξkn = (ξk − ak )/n справедливы следующие представ-
ления:

1
n
|ξk − ak |s
D1n (s) = E min |ξk − ak |, , (3.12)
n ns−1
k=1
1
n
M1n (τ ) = E {|ξk − ak |I {|ξk − ak | τ n}} . (3.13)
n
k=1
Теорема 3.2. Пусть {ξn } — последовательность взаимно

независимых случайных величин, причем Eξk = ak ∈ R для
любого k. Если D1n (s) −−−−→ 0 при некотором s, 1 < s 2,
n→∞
тогда
1
n
P
ςn = (ξk − ak ) −−−−→ 0, (3.14)
n n→∞
k=1
т. е. к последовательности случайных величин {ξn } приме-
ним закон больших чисел.
Доказательство. Доказательство следует из теоремы 3.1.
Замечание 3.4. ЗБЧ для одинаково распределенных незави-

симых случайных величин является прямым следствием тео-
ремы 3.2.
Для доказательства рассмотрим сумму:

1
n n
|ξk − ak |
E = E|ξk − ak | = E|ξ1 − a| = c,
n n
k=1 k=1
считая, что все ak = a. Таким образом, можно применить

лемму 3.3, следовательно, условие (D1 ) эквивалентно условию
(M1 ). Как легко видеть,

n
E{|ξk − a|I{|ξk − a| > τ n}}
M1n (τ ) = =
n
k=1
1
n
= E{|ξ1 − a|I{|ξ1 − a| > τ n}} =
n
k=1
= E{|ξ1 − a|I{|ξ1 − a| > τ n}}.
п.н.
Так как |ξ1 (ω) − a|I{|ξ1 (ω) − a| > τ n} −−−−→ 0 и |ξ1 (ω) −
n→∞
− a|I{|ξ1 (ω) − a| > τ n} |ξ1 (ω)| + |a|, то по теореме Лебега
имеет место сходимость:
E{|ξ1 − a|I{|ξ1 − a| > τ n}} −−−−→ 0,
n→∞
следовательно, выполнены условия (M1 ) и (D1 ).

§ 4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА

ДЛЯ НЕЗАВИСИМЫХ ПРОИЗВОЛЬНО
РАСПРЕДЕЛЕННЫХ СЛУЧАЙНЫХ ВЕЛИЧИН.
СХЕМА СЕРИЙ
Рассмотрим последовательность {ξn } взаимно независи-
мых и произвольно распределенных случайных величин.
Пусть существуют Eξk = ak ∈ R и Dξk = σk2 ∈ R. Введем
обозначение: n
n
2 2
Bn = σk = D ξk .
k=1 k=1
Определим условия, при выполнении которых имеют место

сходимости:

n
(ξk − ak )
k=1 d
ςn = −−−−→ ς ∼ N (0, 1)
Bn n→∞
или
x
1 y2
P {ςn x} −−−−→ √ e− 2 dy.
n→∞ 2π
−∞
Введем обозначение: ξkn = ξkB−a k

. Очевидно, что Eξkn = 0,
2
n 2
n n
σkn = Dξkn , k=1 knσ = 1, тогда ςn = k=1 ξkn . Далее бу-
дем рассматривать более общую задачу, введя произвольную
схему серий, которая будет удовлетворять сформулированным
ниже условиям.
Пусть для любого n задана конечная последовательность
случайных величин {ξkn }, k = 1, . . . , n. Рассмотрим схему се-
рий ςn = ξ1n + . . . + ξnn , n = 1, . . .. Предположим, что внут-
ри последовательности ξ1n , ξ2n , . . . , ξnn случайные величины
взаимно независимы, причем n для любого k и для любого n:
2 2
Eξkn = 0, σkn = Dξkn , k=1 kn = 1. Очевидно, что ранее
σ
введенные случайные величины ξkn = (ξk − ak )/Bn являются
частным случаем рассматриваемой схемы серий.

(M2 ) (условие Линдеберга), если для любого τ > 0 имеет

n
, 2 -
M2n (τ ) = E ξkn I{|ξkn | > τ } −−−−→ 0. (4.1)
n→∞
k=1
Замечание 4.1. Функция M2n (τ ) — невозрастающая, т. е. ес-

ли τ1 < τ2 , то M2n (τ1 ) M2n (τ2 ).
Доказательство. Преобразуем M2n (τ1 ):

n
2
M2n (τ1 ) = E{ξkn I{τ1 < |ξkn | τ2 }}+
k=1

n
2
+ E{ξkn I{|ξkn | > τ2 }} =
k=1
n
2
= E{ξkn I{τ1 < |ξkn | τ2 }} + M2n (τ2 ).
k=1
n 2
Так как k=1 E{ξkn I{τ1 < |ξkn | τ2 }} 0, то M2n (τ1 )
M2n (τ2 ).

(D2 ), если существует s > 2 такое, что имеет место сходи-
мость:

n
, -
2
D2n (s) = E min(ξkn , |ξkn |s ) −−−−→ 0. (4.2)
n→∞
k=1
Замечание 4.2. Левую часть в условии (4.2) можно записать

в виде:

n
n
2
D2n (s) = E{|ξkn | I{|ξkn | 1}} +
s
E{ξkn I{|ξkn | > 1}}.
k=1 k=1
Замечание 4.3. Функция D2n (s) — невозрастающая, т. е. ес-

ли s1 < s2 , то D2n (s1 ) D2n (s2 ).
Определение 4.3. Будем говорить, что выполнено условие (L)

(условие Ляпунова), если существует s > 2 такое, что имеет

n
Ln (s) = E|ξkn |s −−−−→ 0. (4.3)
n→∞
k=1
Определение 4.4. Будем говорить, что выполнено условие (S)

(условие равномерной малости дисперсий), если имеет место
2
max σkn −−−−→ 0. (4.4)
k=1,n n→∞
Замечание 4.4. Пусть выполнено условие (S). По неравен-

ству Чебышева: для любого ε > 0 и любого k > 0: P {|ξkn |
2
ε} σkn /ε2 . Неравенство останется верным и в том случае,
если взять максимум по k:
2
max σkn
k=1,n
max P {|ξkn | ε} .
k=1,n ε2
По условию (S) имеет место сходимость:
2
max σkn
k=1,n
−−−−→ 0,
ε2 n→∞
тогда и max P {|ξkn | ε} −−−−→ 0. Таким образом, все слу-

k=1,n n→∞
чайные величины, входящие в серию, равномерно малы по
вероятности.
Лемма 4.1. Условия (M2 ) и (D2 ) эквивалентны.
Доказательство. Достаточность. Покажем, что из (M2 )

следует (D2 ). Пусть τ ∈ (0, 1), тогда справедливо неравенство:

n
D2n (s) = E{|ξkn |s I{|ξkn | 1}}+
k=1

n
2
+ E{ξkn I{|ξkn | > 1}}
k=1

n
2
τ s−2 E{ξkn I{|ξkn | τ }} + M2n (τ ) τ s−2 + M2n (τ ).
k=1
Величину τ можно выбрать сколь угодно малой и устремить

n к бесконечности.
Необходимость. Покажем, что из (D2 ) следует (M2 ). Для
любого τ ∈ (0, 1) справедливы неравенства:

n
2
M2n (τ ) = E{ξkn I{|ξkn | > 1}}+
k=1

n
n
2 2
+ E{ξkn I{τ < |ξkn | 1}} E{ξkn I{|ξkn | > 1}}+
k=1 k=1
1
n
1
+ s
E{ξkn I{τ < |ξkn | 1}} D2n (s).
τ s−2 τ s−2
k=1
Замечание 4.5. Из доказательства леммы следует, что усло-

вие (D2 ) инвариантно относительно s, т. е. если условие (D2 )
выполнено для произвольного s0 > 2, то оно будет выполнено
для любого s > 2.
Лемма 4.2. Справедливы следующие утверждения:

1. Из условия (L) следуют условия (M2 ) и (D2 ).
2. Из условия (M2 ) следует условие (S).
n n 2
1) Очевидно, что Ln (s) = k=1 E|ξkn |s k=1 E min{ξkn ,
|ξkn | } для любого s 2. Таким образом, из (L) следует (D2 ).
s
Выполнение условия (M2 ) следует из леммы 4.1.

2) Как легко видеть,

2 2 2
σkn = Dξkn = Eξkn = E{ξkn I{|ξkn | τ }}+
2
+ E{ξkn I{|ξkn | > τ }} τ 2 + M2n (τ )
для любого τ ∈ (0, 1). Следовательно,
2
0 max σkn τ 2 + M2n (τ ).
k=1,n
Для произвольного ε > 0 можно выбрать τ так, что τ 2 <

< ε/2, по выбранному τ можно взять n0 таким образом, что
M2n (τ ) < ε/2 для любого n > n0 . Следовательно,
2
max σkn −−−−→ 0.
k=1,n n→∞
Таким образом, условие (S) выполнено.

Теорема 4.1 (центральная предельная теорема n для схе-
мы серий). Пусть задана схема серий ςn = k=1 ξkn , n =
= 1, 2, . . .. Все случайные величины, входящие в любую се-
рию ξ1n , ξ2n ,. . .,ξnn , взаимно независимы. Для любых k и n
2
выполнены n равенства: Eξkn = 0, Dξkn = σkn < ∞, причем
2
Dςn = k=1 σkn = 1. Пусть выполнено условие (M2 ) (или
эквивалентное ему (D2 )), тогда имеет место сходимость
по распределению:
d
ςn −−−−→ ς ∼ N (0, 1), (4.5)
n→∞
или, что эквивалентно, имеет место равномерная по x ∈ R

x
1 y2
P {ςn x} −−−−→ √ e− 2 dy. (4.6)
n→∞ 2π
−∞

ских функций. Докажем, что для любого t выполняется:

t2
ϕςn (t) − e− 2 −−−−→ 0.
n→∞
2 2
n 2
Заметив, что 1 = σ1n +. . .+σnn = k=1 σkn и применив лемму
3.2, получаем следующее неравенство:

t2
ϕςn (t) − e− 2 =

n n n
t2 2 itξkn t2 2
= ϕξkn − e− 2 σkn Ee − e− 2 σkn =

k=1 k=1 k=1

n
2 2 1 2 2 1 2 2
− t2
= |Eeitξkn −e σkn
+(1− σkn t )−(1− σkn t )| I1 +I2 ,
2 2
k=1
где
n

2
I1 = E e−itξkn − 1 − itξkn − (iξkn ) t2 ,
2
k=1
n

− σkn
2 2
σkn
I2 = t 2
−1− − t .
2
e
2
2
k=1
2
t2 и применив лемму 3.1, получим:
σkn
Положив β = − 2

n
σ4 t4 2 2
n
t4
kn 4
I2 t = σkn σkn max σ 2 −−−−→ 0.
8 8 8 k=1,n kn n→∞
k=1 k=1
Оценим сверху I1 , получаем:

n
(itξkn )2
I1 E eitξkn − 1 − itξkn − .
2
k=1
Положив β = itξkn , из леммы 3.1 следует неравенство:

itξ 2 3
e kn − 1 − itξkn − (itξkn ) |itξkn | .
2 6
Кроме того,

itξ 2
e kn − 1 − itξkn − (itξkn ) t2 ξkn
2
.
2
§ 5. Теорема Линдеберга. Теорема Ляпунова 227
В итоге получаем:

n
|t|3 |ξkn |3 2 2
I1 min , t ξkn
6
k=1

|t|3 2
max , t D2n (3) −−−−→ 0.
6 n→∞
Замечание 4.6. В теореме 4.1 условие (M2 ) (или эквивалент-

ное ему (D2 )) является не только достаточным, но и необхо-
димым, если выполнено условие равномерной малости диспер-
сий (S).
§ 5. ТЕОРЕМА ЛИНДЕБЕРГА.
ТЕОРЕМА ЛЯПУНОВА
Теорема 5.1 (теорема Линдеберга). Пусть {ξk } — после-
довательность взаимно независимых случайных величин.
Пусть для любого k существуют и конечны
n Eξk = ak ∈
∈ R, Dξk = σk2 < ∞. Обозначим Bn2 = k=1 σk2 . Пусть для
любого τ имеет место сходимость:
1 , -
n
M2n (τ ) = 2
E (ξk − ak )2 I {|ξk − ak | > τ Bn } −−−−→ 0,
Bn n→∞
k=1
тогда

n
(ξk − ak )
k=1 d
ςn = −−−−→ ς ∼ N (0, 1), (5.1)
Bn n→∞

x
1 y2
P {ςn x} −−−−→ √ e− 2 dy. (5.2)
n→∞ 2π
−∞
Замечание 5.1. Теорема 5.1 является частным случаем теоре-

мы 4.1. Условие теоремы будет необходимым и достаточным,
если выполнено условие равномерной малости дисперсий (S).
Теорема 5.2 (теорема Ляпунова). Пусть {ξk } — после-

довательность взаимно независимых случайных величин.
Пусть для любого k существуют и конечны Eξk = ak ∈ R,
Dξk = σk2 < ∞. Обозначим Bn2 = k=1 σk2 . Пусть существу-
n
ет s > 2, что имеет место сходимость:

n
E|ξk − ak |s
k=1
Ln (s) = −−−−→ 0,
Bns n→∞
тогда

n
(ξk − ak )
k=1 d
ςn = −−−−→ ς ∼ N (0, 1), (5.3)
Bn n→∞

x
1 y2
P {ςn x} −−−−→ √ e− 2 dy. (5.4)
n→∞ 2π
−∞
Доказательство. Следует из леммы 4.2 и теоремы 4.1.
§ 6. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ

ДЛЯ ПРОИЗВОЛЬНО РАСПРЕДЕЛЕННЫХ
НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН
Лемма 6.1 (неравенство Колмогорова). Пусть ξ1 , ξ2 ,. . .,ξn —
совокупность взаимно независимых случайных величин,
m
Eξk = 0 и Dξk ∈ R для любого k. Пусть sm = k=1 ξk ,
m = 1, . . . , n. Тогда для любого ε > 0 выполняется:

Dsn
P max |sk | ε 2 . (6.1)
k=1,n ε
Доказательство. Рассмотрим событие:

A = max |sk | ε ,
k=1,n
§ 6. Усиленный закон больших чисел 229

n
A= Ak ,
k=1
где Ak = {|s1 | < ε, . . . , |sk−1 | < ε, |sk | ε}. Очевидно,

n что
Ak ∩ Al = ∅ для всех k = l. Тогда I{ω ∈ A} = k=1 I{ω ∈
∈ Ak }.
Справедливы неравенства:
, - n
, -
Dsn = Es2n E s2n I{ω ∈ A} = E s2n I{ω ∈ Ak } =
k=1

n
2
= E [sk + (sn − sk )] I{ω ∈ Ak } =
k=1

n
, - n
, -
= E s2k I{ω ∈ Ak } + E (sn − sk )2 I{ω ∈ Ak } +
k=1 k=1

n
n
, -
+2 E {[sk I{ω ∈ Ak }] (sn − sk )} E s2k I{ω ∈ Ak }
k=1 k=1

n
ε2 EI{ω ∈ Ak } = ε2 EI{ω ∈ A} = ε2 P (A).
k=1
Поделив обе части неравенства на ε2 , получим:

Dsn
P max |sk | ε 2
k=1,n ε
для любого положительного ε. В доказательстве использова-

лось утверждение, что
E{[sk I{ω ∈ Ak }](sn − sk )} = E[sk I{ω ∈ Ak }]E(sn − sk ) = 0.
Лемма 6.2. Пусть {ξn (ω)} — последовательность взаимно

независимых случайных величин, Eξn = 0, Dξn < ∞ для
∞ ∞ п.н.
любого n, k=1 Dξk < ∞, тогда k=1 ξk (ω) ∈ R или
∞
P {ω : k=1 ξk (ω) ∈ R} = 1.
∞
Доказательство. Равенство P {ω : k=1 ξk (ω) ∈ R} = 1
верно тогда и только тогда, когда почти наверное существует
предел последовательности частичных сумм:

n
п.н.
lim sn (ω) = lim ξk (ω) ∈ R.
n→∞ n→∞
k=1
Для выполнения указанного свойства необходимо и достаточ-

но, чтобы последовательность {sn (ω)} была фундаментальна
с вероятностью единица. Покажем, что для любого положи-
тельного ε имеет место сходимость:

P sup |sn+k − sn | > ε −−−−→ 0,
k1 n→∞
и, следовательно, последовательность частичных сумм почти

наверное фундаментальна. Введем событие
A(n) = {sup |sn+k − sn | > ε} =

k1
∞
∞
N
= {|sn+k − sn | > ε} = {|sn+k − sn | > ε} =
k=1 N =1 k=1
∞
∞
(n)
= { max |sn+k − sn | > ε} = AN .
k=1,N
N =1 N =1
(n) (n)
Заметим, что AN ⊂ AN +1 ,
следовательно, имеет место ра-
венство:

(n)
P A(n) = lim P AN .
N →∞
Из леммы 6.1 следует неравенство:

N
n+N

D(ξn+k ) D(ξl )
(n) k=1 l=n+1
P AN = .
ε2 ε2
Устремим N к бесконечности, получаем:

∞

Dξl
(n) l=n+1
P A −−−−→ 0,
ε2 n→∞
так как последовательность остаточных сумм стремится к ну-

∞ п.н.
лю. Таким образом, k=1 ξk (ω) ∈ R.
Лемма 6.3 (лемма Теплица). Пусть {xn } — числовая после-

довательность, причем, xn −−−−→ x ∈ R. Последовательность
n→∞
{an } состоит из
положительных элементов. Пусть последова-
n
тельность bn = k=1 ak монотонно стремится к бесконечно-
сти при n → ∞, тогда имеет место сходимость:

n
ak x k
k=1
−−−−→ x. (6.2)
bn n→∞
Доказательство. Рассмотрим ε > 0 и сделаем следующую

оценку:
n n

n
ak x k
ak (xk − x) ak |xk − x|
k=1

bn − x = k=1
k=1
.
bn bn

Из условий леммы следует, что для произвольного положи-

тельного ε найдется n0 такое, что для любого n > n0 будет
выполнено неравенство: |xk − x| < ε/2, k > n0 . Тогда для
любого n > n0 справедлива оценка:

n
n0
n
ak |xk − x| ak |xk − x| ak |xk − x|
k=1 k=1 k=n0 +1
= +
bn bn bn

n0
ak |xk − x|
k=1 ε ε ε
+ + = ε,
bn 2 2 2
так как bn → ∞, то существует номер n1 , что при n > n1

первое слагаемое в правой части меньше ε/2.
Следствие 6.1. Пусть выполнены условия леммы 6.3. Выбе-

рем ak = 1 для любого k. Тогда имеет место сходимость:

n
xk
k=1
−−−−→ x.
n n→∞
Доказательство. Очевидным образом следует из лем-

мы 6.3.
∞
Лемма 6.4 (лемма Кронекера). Пусть задан ряд k=1 yk =
= s ∈ R. Последовательность bn −−−−→ ∞ и для любого n:
n→∞
bn > 0, bn+1 > bn , тогда имеет место сходимость:

n
bk y k
k=1
−−−−→ 0. (6.3)
bn n→∞
n
Доказательство. Пусть sn = k=1 yk — частичные сум-
мы, y0 = 0, b0 = 0, s0 = 0. Справедливы равенства:

n
n
n
n
bk y k = bk (sk − sk−1 ) = bk s k − bk sk−1 = bn sn +
k=1 k=1 k=1 k=1

n−1
n
n
n
+ bk s k − bk sk−1 = bn sn + bk−1 sk−1 − bk sk−1 =
k=1 k=1 k=1 k=1

n n
= bn s n − (bk − bk−1 )sk−1 = bn sn − ak x k ,
k=1 k=1
где xk = sk−1 , ak = bk − bk−1 . Поделив обе части равенства на

bn и устремив n к бесконечности, в силу леммы 6.3 получим:

n
n
bk y k ak x k
k=1 k=1
= sn − −−−−→ 0.
bn bn n→∞
Следствие 6.2. Имеет место сходимость:

n
1
k
k=1
−−−−→ 0.
n n→∞
Доказательство. Для доказательства достаточно поло-

жить bn = n, yk = 1/k 2 .
Теорема 6.1 (усиленный закон больших чисел для неза-

висимых произвольно распределенных случайных величин).
Пусть {ξn (ω)} — последовательность взаимно независимых
случайных величин, заданных на (Ω, F, P ). Пусть для лю-
бого k существуют и конечны Eξk = ak ∈ R, Dξk ∈ R.
Последовательность bn −−−−→ ∞ и для любого n: bn > 0,
n→∞
∞
bn+1 > bn . Пусть также ряд n=1 Dξn /b2n сходится, тогда
имеет место сходимость:

n
(ξk − ak )
k=1 п.н.
−−−−→ 0. (6.4)
bn n→∞
Доказательство. Как следует из условия теоремы:

∞ ∞
∞
Dξk ξk − a k
= D = Dηk < ∞,
b2k bk
k=1 k=1 k=1
где ηk = (ξk − ak )/bk , причем ηk удовлетворяет всем условиям

леммы 6.2, следовательно,
∞
∞

ξk − a k п.н.
= ηk ∈ R.
bk
k=1 k=1
По лемме 6.4 имеет место сходимость:

n
n
bk η k (ξk (ω) − ak )
k=1 k=1 п.н.
= −−−−→ 0.
bn bn n→∞
Следствие 6.3. Пусть {ξk } — последовательность взаим-

но независимых случайных величин, заданных на (Ω, F, P ).
∞ и конечны Eξk = ak ∈ R,
Пусть для любого k существуют
Dξk < ∞. Пусть также ряд k=1 Dξk /k 2 сходится, тогда
имеет место сходимость

n
(ξk − ak )
k=1 п.н.
−−−−→ 0.
n n→∞
Доказательство. Доказательство следует из теоремы 6.1,

если положить bn = n.
§ 7. УСИЛЕННЫЙ ЗАКОН БОЛЬШИХ ЧИСЕЛ

ДЛЯ ОДИНАКОВО РАСПРЕДЕЛЕННЫХ
НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН
Лемма 7.1. Математическое ожидание произвольной случай-
величины ξ конечно тогда и только тогда, когда сходится
ной
∞
ряд k=0 P {|ξ| > k}.
Доказательство. Из свойств интеграла Лебега следует,

что Eξ ∈ R тогда и только тогда, когда E|ξ| ∈ R. Очевид-
но, что
∞

(k − 1)I{k − 1 < |ξ(ω)| k}
k=1
∞

|ξ(ω)| kI{k − 1 < |ξ(ω)| k}.
k=1
∞

(k − 1)P {k − 1 < |ξ(ω)| k}
k=1
∞

E|ξ(ω)| kP {k − 1 < |ξ(ω)| k}.
k=1
Таким образом, математическое

∞ ожидание конечно тогда и
только тогда, когда ряд k=1 kP {k − 1 < |ξ(ω)| k} сходит-
ся. Все слагаемые положительны, поэтому можно поменять
местами порядок суммирования:
∞

kP {k − 1 < |ξ(ω)| k} =
k=1
∞
k
= P {k − 1 < |ξ(ω)| k} =
k=1 n=1
∞
∞ ∞

= P {k − 1 < |ξ(ω)| k} = P {|ξ(ω)| > n − 1}.
n=1 k=n n=1
∞
Ряд n=1 P {|ξ(ω)| > n} сходится тогда и только тогда, когда
Eξ ∈ R.
Теорема 7.1 (усиленный закон больших чисел Колмогоро-

ва для независимых одинаково распределенных случайных
величин). Пусть {ξn } — последовательность взаимно неза-
висимых одинаково распределенных случайных величин, за-
данных на (Ω, F, P ). Сходимость
1
n
п.н.
ξk −−−−→ a ∈ R (7.1)
n n→∞
k=1
имеет место тогда и только тогда, когда существует Eξ1

и Eξ1 = a.
Доказательство. Достаточность. Предположим, что
Eξ1 = a ∈ R. Покажем, что имеет место сходимость (7.1).
Определим случайную величину:
ξñ (ω) = ξn (ω)I{|ξn (ω)| n}.

Тогда можно записать равенства:

n
n
n

n ξk (ω) − na + ξ˜k (ω) − ξ˜k (ω)
1 k=1 k=1 k=1
ξk (ω) − a = +
n n
k=1

n
n
n
E ξ˜k (ω) − E ξ˜k (ω) (ξk (ω) − ξ˜k (ω))
k=1 k=1 k=1
+ = +
n n
n
n
(ξ˜k (ω) − E ξ˜k (ω)) (E ξ˜k (ω) − a)
k=1 k=1
+ + .
n n
Рассмотрим каждую дробь по отдельности. Преобразуем по-
следнюю дробь:

n
n
(E ξ˜k (ω) − a) (E ξ˜k (ω) − Eξk (ω))
k=1 k=1
= =
n n

n
E{ξk (ω)I{|ξk (ω)| > k}}
k=1
=− =
n
n
E{ξ1 (ω)I{|ξ1 (ω)| > k}}
= − k=1 .
n
Введем следующее обозначение: E{ξ1 (ω)I{|ξ1 (ω)| > k}} = xk .
Очевидно, что имеет место сходимость:
п.н.
ξ1 (ω)I{|ξ1 (ω)| > k} −−−−→ 0.
k→∞
Справедливо неравенство: |ξ1 (ω)I{|ξ1 (ω)| > k}| |ξ1 (ω)|. Так
как математическое ожидание Eξ1 (ω) конечно, то конечно и
математическое ожидание E|ξ1 (ω)| (следует из свойств инте-
грала Лебега). Таким образом, по теореме Лебега о мажориру-
емой сходимости: xk −−−−→ 0. Из следствия к лемме Теплица
k→∞
получаем сходимость:
n
(E ξ˜k (ω) − a)
k=1
−−−−→ 0.
n n→∞
Рассмотрим первую дробь. Введем событие:

Ak = {ξk (ω) = ξ˜k (ω)} = {|ξk (ω)| k},
Āk = {|ξk (ω)| > k}.
∞ ∞
Рассмотрим событие A = m=1 k=m Ak . Пусть ω0 ∈ A, тогда
∞
существует m0 такое, что ω0 ∈ k=m0 Ak . Тогда при выбран-
ном ω0 выполняется сходимость:
m 0 −1

ξk (ω0 ) − ξ˜k (ω0 )
k=1
−−−−→ 0.
n n→∞
Применяя законы двойственности, получаем равенство:

∞
∞
Ā = Āk .
m=1 k=m
Из первого утверждения ∞ леммы Бореля–Кантелли следует,

что
∞ если сходится ряд ∞
k=1 P (Āk ), то P (Ā) = 0. Так как
k=1 P {|ξ k (ω)| > k} = k=1 P {|ξ1 (ω)| > k} < ∞, то
P (Ā) = 0, следовательно, P (A) = 1. Таким образом, выполня-
ется сходимость:
n
(ξk (ω) − ξ˜k (ω))
k=1 п.н.
−−−−→ 0.
n n→∞
Для доказательства ∞ сходимости второй дроби достаточно по-

казать, что ряд D ñ (ω)/n2 сходится. Так как |ξñ (ω)|2
ξ
n 2
n=1
k=1 k I{k −1 < |ξk (ω)| k}, то справедливо неравенство:

n
Dξñ E ξñ2 k 2 P {k − 1 < |ξk (ω)| k}.
k=1
Рассмотрим ряд и произведем оценку сверху:

∞ ∞ n
Dξñ k 2 P {k − 1 < |ξk (ω)| k}

n=1
n2 n=1
n2
k=1
∞
∞
1
k 2 P {k − 1 < |ξk (ω)| k} .
n2
k=1 n=k
Так как
∞
∞

1 1 1
= +
n2 k2 n2
n=k n=k+1
∞
1 1 1 1 1+k
dx + 2 = + 2 = ,
x2 k k k k2
k
то справедливы неравенства:
∞
∞
1
k 2 P {k − 1 < |ξk (ω)| k}
n2
k=1 n=k
∞

(1 + k)P {k − 1 < |ξ1 (ω)| k}
k=1
∞

(k − 1)P {k − 1 < |ξ1 (ω)| k} + 2P {|ξ1 (ω)| > 0}
k=1
E|ξ1 (ω)| + 2P {|ξ1 (ω)| > 0}.
Последнее неравенство следует из леммы 7.1. Таким образом,

ряд сходится. n
Необходимость. Введем обозначения: Sn = k=1 ξk ,
n−1 п.н. Sn−1 п.н.
Sn−1 = k=1 ξk . Пусть Sn /n −−−−→ a, тогда n−1 −−−−→ a.
n→∞ n→∞
Так как
Sn ξn n − 1 Sn−1
= + ,
n n n n−1
п.н.
при этом (n − 1)/n −−−−→ 1, тогда ξn /n −−−−→ 0.
n→∞ n→∞
Введем событие
∞
∞
B= Bn ,
m=1 n=m
где Bn = {|ξn (ω)| > n}, события Bn — независимые.

∞ Тогда
из леммы Бореля–Кантелли следует, что если n=1 P (Bn ) <
∞
< ∞, то P (B) = 0, и если n=1 P (Bn ) = ∞, то P (B) = 1.
Если выполнено событие B, то

ξn
B⊂ ω: 0 .
n
∞ ∞
Следовательно, P (B) = 0 и n=1 P (Bn ) = n=1 P {|ξ1 (ω)| >
> n} < ∞. Таким образом, по лемме 7.1 получаем, что
Eξ1 (ω) ∈ R, но тогда из первой части теоремы следует, что
Eξ1 (ω) = a.
Глава 12
ВЫБОРОЧНОЕ ПРОСТРАНСТВО
§ 1. ВЫБОРКА. ВЫБОРОЧНОЕ ПРОСТРАНСТВО

Рассмотрим случайную величину
ξ(ω) : Ω −→ R
и вероятностное пространство значений случайной величины
(R, B(R), Pξ ),
где B(R) — сигма-алгебра борелевских множеств числовой
прямой; Pξ — вероятностная мера такая, что Pξ (−∞, x] =
= Fξ (x) = P {ξ x}.
Если речь идет о наборе случайных величин (ξ1 , . . . , ξn ) :
Ω −→ Rn , то вероятностное пространство определим следую-
(Rn , B(Rn ), Pξ ) ,
здесь Pξ — совместное распределение случайных величин:
Pξ (−∞, x1 ] × . . . × (−∞, xn ] = Fξ (x1 , . . . , xn ).
Часто в практических задачах функция распределения
неизвестна. Аппроксимация неизвестных функций распреде-
ления — одна из задач математической статистики.
Определение 1.1. Совокупность взаимно независимых реали-
заций случайной величины ξ образует выборку X[n] объема n:
X[n] = (X1 , . . . , Xn ) ,
где Xi — числовая реализация случайной величины ξ в i-ом
эксперименте (i = 1, . . . , n).
§ 1. Выборка. Выборочное пространство 241
Определение 1.2. Случайная величина ξ, реализации кото-

рой мы наблюдаем, называется генеральной совокупностью.
Следует отметить, что требование взаимной независимости
сужает допустимую область исследований. Однако требование
взаимной независимости наблюдений необходимо для постро-
ения строгой математической теории.
Функция распределения выборки строится по функции
распределения генеральной совокупности:
FX[n] (x1 , . . . , xn ) = Fξ (x1 ) · . . . · Fξ (xn ),
где xi — числовая переменная, соответствующая i-ой коорди-

натной оси.
Получили выборочное пространство
n
R , B(Rn ), PX[n] ,
соответствующее выборкам объема n, где вероятностная мера

PX[n] взаимно однозначно соответствует функции распределе-
ния FX[n] .
Учитывая необходимость предельного перехода, когда n →
→ ∞, рассмотрим бесконечномерное пространство:
∞
R , B(R∞ ), PX[∞] .
Элементарным событием в этом пространстве является беско-

нечная числовая последовательность (бесконечная выборка).
Указанное выше конечномерное пространство размерности n
для выборок объема n, является подпространством бесконеч-
номерного пространства, соответствующим первым n коорди-
натам.
Пусть B ∈ B(Rn ), рассмотрим цилиндрическое множество
Jn (B) = {x ∈ R∞ : x = (x1 , . . . , xn , . . .), (x1 , . . . , xn ) ∈ B}, то-
гда PX[∞] (Jn (B)) = PX[n] (B). Мера PX[∞] определяется един-
ственным образом по мерам PX[n] , n = 1, 2, . . . (см. теорему
Ионеску Тулчи в книге Ж. Неве [24]).
Определение 1.3. Статистикой будем называть любую боре-
левскую функцию, заданную на выборочном пространстве.
242 Глава 12. Выборочное пространство
Если ξ = (ξ1 , . . . , ξm )T — случайный вектор, то при прове-

дении экспериментов фиксируются значения всей совокупно-
сти, получаются взаимно независимые вектора
⎛ ⎞ ⎛ ⎞
X11 X1n
⎜ X21 ⎟ ⎜ X2n ⎟
⎜ ⎟ ⎜ ⎟
X 1 = ⎜ . ⎟ , . . . , Xn = ⎜ . ⎟ .
⎝ .. ⎠ ⎝ .. ⎠
Xm1 Xmn
Аналогично скалярному случаю можно построить выборочное

вероятностное пространство для выборок такого типа.
Введем обозначения X = Rm , получаем
n
X , B(X ) ⊗ . . . ⊗ B(X ), PX[n] ,
где PX[n] (B1 × . . . × Bn ) = Pξ (B1 )Pξ (B2 ) . . . Pξ (Bn ), а B1 ∈

∈ B(X ),. . .,Bn ∈ B(X ). Можно считать, что все построенные
конечномерные пространства являются проекциями бесконеч-
номерного пространства
∞
X , B(X ∞ ) ⊗ . . . ⊗ B(X ∞ ), PX[∞] .
Элементарными событиями будут бесконечные выборки. Ме-

ра PX[∞] определяется единственным образом по мерам PX[n] ,
n = 1, 2, . . .
§ 2. ЭМПИРИЧЕСКАЯ ВЕРОЯТНОСТНАЯ МЕРА.

ГИСТОГРАММА
Пусть имеется генеральная совокупность ξ, представляю-
щая собой случайную величину, и выборка X[n] = (X1 , . . .
. . . , Xn ).
Определение 2.1. Эмпирическим распределением назовем ве-
роятностную меру, определенную следующим образом:
ν(B)
Pn∗ (B) = ,
n
где B ∈ B(R), а ν(B) — количество элементов выборки, по-
павших в B.
§ 2. Эмпирическая вероятностная мера. Гистограмма 243
Если n фиксировано, и выборка X[n] фиксирована, то Pn∗ (·)

является вероятностной мерой на (R, B(R)), следовательно, ей
соответствует единственная функция распределения.
Определение 2.2. Эмпирической функцией распределения

называется функция
ν(−∞; x]
Fn∗ (x) = Pn∗ (−∞; x] = , x ∈ R.
n
Введем порядковые статистики:
X(1) = min {X1 , . . . , Xn } —

первая порядковая статистика,
, -
X(2) = min {X1 , . . . , Xn } \X(1) —
вторая порядковая статистика,
... ... ...
X(n) = max {X1 , . . . , Xn } —
n-ая порядковая статистика.
Очевидно, что X(1) X(2) . . . X(n) . Величины X(1) ,

X(2) , . . ., X(n) образуют вариационный ряд. Если предполо-
жить, что все элементы вариационного ряда различны, то есть
X(1) < X(2) < . . . < X(n) , то можно определить эмпирическую
функцию распределения следующим образом:
⎧
⎪
⎪ 0, если x < X(1) ;
⎪1
⎪
⎪
⎪ n, если X(1) x < X(2) ;
⎪
⎪
⎪
⎪ 2
если X(2) x < X(3) ;
⎨n,
∗
Fn (x) = . . . (2.1)
⎪
⎪
⎪k,
⎪ если X(k) x < X(k+1) ;
⎪
⎪ n
⎪
⎪
⎪
⎪ . ..
⎩
1, если x X(n) .
Имея вариационный ряд, можно построить гистограмму.

Возьмем интервал (a, b), где a < X(1) и X(n) < b, разобьем
этот интервал на конечную совокупность непересекающихся

промежутков:
a0 = a < a1 < a2 < . . . < am = b,
(ai−1 , ai ], i = 1, . . . , m.
Пусть ni — количество элементов выборки, попавших в полу-
интервал (ai−1 , ai ]. Тогда
n1 + n2 + . . . + nm = n,
li = ai − ai−1 ,
ni
hi = .
li n
Получаем гистограмму:
⎧
⎪
⎪ 0, если x a0 ;
⎪
⎪
⎪
⎪ если a0 < x a1 ;
⎨h1 ,
∗
fn (x) = . . .
⎪
⎪
⎪hm ,
⎪ если am−1 < x am ;
⎪
⎪
⎩0, если x > am .
Гистограмма fn∗ (x) — эмпирический аналог плотности рас-

пределения. Если в знаменателе при вычислении hi убрать li ,
получится гистограмма относительных частот, если, кроме то-
го, в знаменателе убрать n, то получится гистограмма ча-
стот ni . Часто при построении гистограммы полагают li =
= l = const.
§ 3. ТЕОРЕМА ГЛИВЕНКО–КАНТЕЛЛИ.
ТЕОРЕМА О ПРЕДЕЛЬНОМ РАСПРЕДЕЛЕНИИ
ЭМПИРИЧЕСКИХ ВЕРОЯТНОСТЕЙ
Справедливы следующие теоремы.
Теорема 3.1. Для любого B ∈ B(R) выполняется:
Pn∗ (B) −−−−→ Pξ (B)

п.н.
(3.1)
n−→∞
§ 3. Теорема Гливенко–Кантелли 245
и для любого x ∈ R выполняется:
Fn∗ (x) −−−−→ Fξ (x).

п.н.
(3.2)
n−→∞
Доказательство. Очевидно, что справедливо равенство:
1
n
Pn∗ (B) = I{Xk ∈ B},
n
k=1
все слагаемые в этой сумме являются случайными величина-

ми, они независимы и одинаково распределены. Каждая слу-
чайная величина принимает значение 1 с вероятностью Pξ (B)
и 0 с вероятностью 1 − Pξ (B). Очевидны равенства:
P {Xk ∈ B} = P {ξ ∈ B} = Pξ (B),
тогда
EI{Xk ∈ B} = Pξ (B),
откуда, учитывая усиленный закон больших чисел Колмого-
рова, следует (3.1):
1
n
Pn∗ (B) =
п.н.
I{Xk ∈ B} −−−−→ Pξ (B).
n n−→∞
k=1
Для доказательства второго утверждения возьмем B =

= (−∞, x].
Теорема 3.2 (теорема Гливенко–Кантелли). Пусть заданы

функция распределения Fξ (x) и эмпирическая функция рас-
пределения Fn∗ (x), тогда
sup |Fn∗ (x) − Fξ (x)| −−−−→ 0.

п.н.
x∈R n−→∞
Доказательство. 1. Рассмотрим случай, когда Fξ (x) непре-

рывна на R. Выберем любое ε > 0, разобьем ось ординат
шагом меньше ε, на оси абсцисс получим точки дробления:
−∞ = z0 < z1 < . . . < zr = ∞.

При этом:
0 Fξ (zk+1 ) − Fξ (zk ) < ε.
Введем событие Ak = {Fn∗ (zk ) −−−−→ Fξ (zk )}, тогда по теореме
n→∞
3.1: P (Ak ) = 1 для всех k = 1, . . . , r − 1. Рассмотрим событие
r−1 r−1
A = k=1 Ak , тогда справедливо равенство Ā = k=1 Āk . Оче-
r−1
видно, что P (Ā) k=1 P (Āk ) = 0, следовательно, P (Ā) = 0
или P (A) = 1.
Будем рассматривать только события ω ∈ A. В каждой из
точек z1 ,. . .,zr−1 выполняется сходимость, тогда существует
номер n0 такой, что для всех номеров n n0 и для любого
k = 1, . . . , r − 1 выполнено:
|Fn∗ (zk ) − Fξ (zk )| < ε.
Возьмем любую точку x ∈ R. Она обязательно попадет в

какой-нибудь промежуток zk x < zk+1 . Оценим сверху и
снизу разность Fn∗ (x) − Fξ (x):
Fn∗ (x) − Fξ (x) Fn∗ (zk+1 ) − Fξ (zk )

Fn∗ (zk+1 ) − Fξ (zk+1 ) + ε 2ε,
Fn∗ (x) − Fξ (x) Fn∗ (zk ) − Fξ (zk+1 )

Fn∗ (zk ) − Fξ (zk ) − ε −2ε.
Следовательно, для любого x ∈ R справедливо неравенство:
|Fn∗ (x) − Fξ (x)| 2ε.
Таким образом, мы доказали утверждение о равномерной схо-

димости с вероятностью единица, так как P (A) = 1.
2. Рассмотрим случай, когда Fξ (x) может иметь разрывы,
т. е. существует точка x, для которой: Fξ (x − 0) < Fξ (x). Вы-
берем произвольное ε > 0 и такие точки разрыва, для которых
имеет место неравенство:
ε
Fξ (yk ) − Fξ (yk − 0) > .
2
§ 3. Теорема Гливенко–Кантелли 247
Таких точек yk конечное число, включаем их в точки дробле-

ния. Обозначим через zi , i = 1, . . . , r − 1 все получившиеся в
итоге точки дробления:
−∞ = z0 < z1 < . . . < zr = ∞,
Fξ (zk+1 − 0) − Fξ (zk ) < ε.

Рассмотрим события Ak = {Fn∗ (zk ) −−−−→ Fξ (zk )} и A−
k =
n→∞
= {Fn∗ (zk − 0) −−−−→ Fξ (zk − 0)}. Очевидно, что P (Ak ) = 1,
n→∞
P (A−
k ) = 1, так как F (z − 0) = Pξ (−∞, zk ) и B = (−∞, zk ).
r−1ξ k
Рассмотрим A = k=1 (Ak ∩ A− k ). Далее полностью повторяют-
ся рассуждения предыдущего пункта доказательства.
Теорема 3.3. Для любого борелевского множества B ∈

∈ B(R) выполняется:
√ !
n (Pn∗ (B) − Pξ (B)) −−−−→ Pξ (B)(1 − Pξ (B)) ζ,
d
n→∞
где ζ ∼ N (0, 1).
Доказательство. Справедливо равенство:
1
n
Pn∗ (B) − Pξ (B) = (I{Xk ∈ B} − Pξ (B)).
n
k=1
Применим центральную предельную теорему для одинаково

распределенных слагаемых:

n
(I{Xk ∈ B} − Pξ (B))
√
n(Pn∗ (B) − Pξ (B)) = k=1
√ .
n
Из чего следует доказательство теоремы.
Замечание 3.1. Теоремы 3.1, 3.2, 3.3 справедливы и в много-

мерном случае.
§ 4. ОПИСАТЕЛЬНАЯ СТАТИСТИКА
В описательную статистику входят оценки числовых ха-

рактеристик генеральной совокупности ξ, найденные по име-
ющейся у статистика выборке X[n] = (X1 , . . . , Xn ) объема n,
а также всевозможные функции от выборки. Если элементы
одномерной выборки упорядочить по возрастанию (построить
вариационный ряд X(1) X(2) . . . X(n) ) и отметить по-
вторяемость наблюдений (подсчитать частоту), то получится
статистический ряд, построенный по одномерной выборке
X[n] .
Разность между максимальным и минимальным элемента-
ми выборки называется размахом, R = Xmax − Xmin . При
большом объеме выборки ее элементы иногда объединяются
в группы, представляя результаты опытов в виде группиро-
ванного статистического ряда. Для этого интервал, содер-
жащий все элементы выборки, разбивается на k непересекаю-
щихся интервалов. Обычно разбиение производится на интер-
валы одинаковой длины b = R/k. После чего нетрудно опре-
делить частоты — количества ni элементов выборки, попав-
ших в i-ый интервал. Статистический ряд часто записывают
в виде таблицы. В первой строке таблицы указывают середи-
ны интервалов группировки Xi , а во второй — частоты ni .
i
Подсчитываются также накопленные частоты j=1 nj , от-
носительные частоты ni /n, накопленные относительные
i
частоты j=1 nj /n.
Для наглядного представления выборки применяют ги-
стограмму и полигон частот. Полигоном частот называ-
ется ломаная с вершинами в точках (Xi , ni /b), а полиго-
ном относительных частот — ломаная с вершинами в точках
(Xi , ni /(nb)). Эмпирическая функция распределения опреде-
ляется равенством (2.1).
Выборочный начальный момент r-го порядка определяется
равенством
1 r
n
a∗r = X ,
n i=1 i
§ 4. Описательная статистика 249
если выборка представлена статистическим рядом, то
1
k
a∗r = ni Xir ,
n i=1
выборочный центральный момент r-го порядка определяется

равенством
1 r
n
a0∗
r = Xi − X̄ ,
n i=1
если выборка представлена статистическим рядом, то
1 r
k
a0∗
r = ni Xi − X̄ ,
n i=1
n
где X̄ = a∗1 = n1 i=1 Xi — выборочное среднее, для статисти-
k
ческого ряда X̄ = a∗1 = n1 i=1 ni Xi .
Выборочная квантиль xp порядка p определяется как эле-
мент вариационного ряда X(1) X(2) . . . X(n) выборки
X[n] с номером [np] + 1, где [a] — целая часть числа a. В опи-
сательной статистике используют ряд квантилей, имеющих
специальные названия персентили (квантили порядков 0.01;
0.02;. . . ;0.99), децили (квантили порядков 0.1; 0.2;. . . ;0.9),
квартили (квантили порядков 0.25; 0.5; 0.75).
Наиболее распространенными характеристиками положе-
ния являются выборочное среднее, выборочная медиана (ме-
дианой называется число, которое делит вариационный ряд
на две части, содержащие равное количество элементов; если
n = 2k + 1, то медианой выборки является элемент вариацион-
ного ряда X(k+1) , если n = 2k, то медианой выборки является
число (X(k) +X(k+1) )/2), выборочная мода (модой называется
элемент выборки, имеющий наибольшую частоту).
Наиболее распространенными мерами рассеяния являются
размах (размах R = Xmax − Xmin ), средний межквартиль-
ный размах (три квартили Q1 , Q2 , Q3 делят вариационный ряд
на четыре части с равным числом элементов, тогда средний
межквартильный размах равен (Q3 − Q1 )/2), персентильный
размах (персентильный размах равен разности персентилей
P90 − P10 ), дисперсия (дисперсия s2 = a0∗

2 ; исправленная дис-
персия s̃2 = ns2 /(n − 1)) и среднее квадратическое
√ отклоне-
ние (среднее квадратическое отклонение s̃ = s̃2 ).
В качестве меры относительного разброса используют ко-
эффициент вариации v = s/X̄, иногда коэффициент записы-
вают в процентах Cv = v · 100%.
Для оценки формы распределения служат коэффици-
ент асимметрии Sk1 = a0∗ 3 /s
3
и коэффициент эксцесса
0∗ 4
K = a4 /s − 3, для нормального распределения теоретиче-
ские коэффициенты асимметрии и эксцесса, вычисляемые по
распределению генеральной совокупности, равны нулю. Еще
один показатель асимметрии вычисляется на основе кванти-
лей Sk2 = (Q3 + Q1 − 2Q2 )/(Q3 − Q1 ).
Глава 13
СТАТИСТИКИ.
ПРЕДЕЛЬНЫЕ РАСПРЕДЕЛЕНИЯ
§ 1. СТАТИСТИКИ ПЕРВОГО ТИПА

Будем рассматривать функционал G(F ), заданный на мно-
жестве функций распределения, следуя [5]:
⎛ ∞ ⎞

G(F ) = h ⎝ g(x)dF (x)⎠ ,
−∞
где g : R → R — заданная борелевская функция, a =

m
∞
= −∞ g(x)dFξ (x) ∈ Rm , некоторая борелевская функция
h : Rm → Rl непрерывная в точке a. Тогда назовем статисти-
ку S(X[n] ) = G(Fn∗ ) статистикой

первого
типа. Таким образом,
∗ ∞ ∗
1 n
S(X[n] ) = G(Fn ) = h −∞ g(x)dFn (x) = h n i=1 g(Xi ) .
Замечание 1.1. Если h(t) ≡ t, g(x) = xk то G(Fn∗ ) = a∗k

начальный эмпирический момент порядка k. Нетрудно заме-
тить, что центральный эмпирический момент также является
статистикой первого типа. Покажем это для дисперсий (цен-
тральный момент второго порядка):
n 2
1 1 2 1
n n
2 0∗ ∗ 2
s = a2 = (Xi − a1 ) = X − Xi ,
n i=1 n i=1 i n i=1
⎛ +∞ ⎞2

+∞
+∞
a02 = (x − a1 )2 dFξ (x) = x2 dFξ (x) − ⎝ xdFξ (x)⎠ .
−∞ −∞ −∞
252 Глава 13. Статистики. Предельные распределения
Выберем функции h и g следующего вида:

h(t1 , t2 ) = t2 − t21 ,
g(x) = (g1 (x), g2 (x)) = (x, x2 ).
Тогда получаем равенства:
⎛ +∞ ⎞

a02 = h ⎝ g(x)dFξ (x)⎠ ,
−∞

1
n
a0∗
2 =h g(Xi ) .
n i=1
Теорема 1.1. Пусть S(X[n] ) = G(Fn∗ ) — статистика перво-

го типа, тогда имеет место сходимость:
п.н.
S(X[n] ) −−−−→ h(a) = G(Fξ ).
n→∞
Доказательство. Из усиленного закона больших чисел

Колмогорова следует сходимость:

+∞
1
n
п.н.
g(Xi ) −−−−→ Eg(ξ) = g(x)dFξ (x),
n i=1 n→∞
−∞
так как все слагаемые взаимно независимые, одинаково рас-

пределенные случайные величины. Функция h(·) непрерывна
в точке a, следовательно,
n ⎛ +∞ ⎞

1
G(Fn∗ ) = h g(Xi ) −−−−→ h ⎝ g(x)dFξ (x)⎠ .
п.н.
n i=1 n→∞
−∞
Следствие 1.1. Пусть у генеральной совокупности ξ су-

ществует теоретический начальный момент порядка k,
ak = Eξ k ∈ R, тогда
a∗k −−−−→ ak .
п.н.
n→∞
§ 1. Статистики первого типа 253
Следствие 1.2. Пусть у генеральной совокупности ξ су-

ществует теоретический центральный момент порядка k,
a0k = E(ξ − Eξ)k ∈ R, тогда
a0∗ −−−→ a0k .

п.н.
k −
n→∞
Замечание 1.2. Рассмотрим случайный вектор ξ = (ξ1 , . . .

. . . , ξm )T с m компонентами. Пусть имеется выборка:
⎛ ⎞
X11 X12 . . . X1n
⎜ X21 X22 . . . X2n ⎟
(X1 , X2 , . . . , Xn ) = ⎜
⎝ ...
⎟.
... ... ... ⎠
Xm1 Xm2 . . . Xmn
Рассмотрим компоненты ξk и ξl , им соответствуют элементы

выборки: Xk1 , . . . , Xkn и Xl1 , . . . , Xln . Вычислим выборочные
моменты:
1
n
a∗1k = X̄k =
п.н.
Xki −−−−→ Eξk ,
n i=1 n→∞
1
n
a∗1l = X̄l =
п.н.
Xli −−−−→ Eξl .
n i=1 n→∞
Кроме того,
1
n
a∗2k = s2k = (Xki − X̄k )2 −−−−→ Dξk ,
п.н.
n i=1 n→∞
1
n
a∗2l = s2l = (Xli − X̄l )2 −−−−→ Dξl .
п.н.
n i=1 n→∞
Коэффициент корреляции равен
cov(ξk , ξl )
(ξk , ξl ) = √ √ ,
Dξk Dξl
где
cov(ξk , ξl ) = E{(ξk − Eξk )(ξl − Eξl )} = E(ξk ξl ) − E(ξk )E(ξl ).

Подберем эмпирический аналог ковариации. Рассмотрим эле-

менты выборки:

Xk1 Xk2 Xkn
, ,..., .
Xl1 Xl2 Xln
Надо центрировать величины:

Xk1 − X̄k Xk2 − X̄k Xkn − X̄k
, ,..., .
Xl1 − X̄l Xl2 − X̄l Xln − X̄l
Перемножив их, получаем выборочную ковариацию:
1
n
6 k , ξl ) =
cov(ξ (Xki − X̄k )(Xli − X̄l ) =
n i=1
1
n
п.н.
= Xki Xli − X̄k X̄l −−−−→ cov(ξk , ξl ).
n i=1 n→∞
Так как имеют место сходимости:

1
n
п.н.
Xki Xli −−−−→ E(ξk ξl ),
n i=1 n→∞
п.н.
X̄k X̄l −−−−→ Eξk Eξl ,
n→∞
тогда имеет место сходимость почти наверное для выборочно-
го коэффициента корреляции:
6 k , ξl ) п.н.
cov(ξ
ˆ(ξk ξl ) = 2 2 2 −−−−→ (ξk ξl ).
sk sl n→∞
Напомним, что под одномерной выборкой понимаем взаимно

независимые случайные величины, распределенные так же,
как генеральная совокупность.
§ 2. ТЕОРЕМЫ НЕПРЕРЫВНОСТИ
Теорема 2.1. Пусть η — случайная величина, заданная
на вероятностном пространстве (Ω, F, P ), последователь-
ность случайных величин {ηn } также задана на (Ω, F, P ).
Пусть борелевская функция H : R −→ R непрерывна на
борелевском множестве B ∈ B(R), P {η ∈ B} = 1, тогда
справедливы утверждения:
§ 2. Теоремы непрерывности 255
п.н. п.н.
1. Если ηn −−−−→ η, тогда H(ηn ) −−−−→ H(η).
n→∞ n→∞
P P
2. Если ηn −−−−→ η, тогда H(ηn ) −−−−→ H(η).
n→∞ n→∞
Доказательство. Докажем первое утверждение. Опреде-

лим множество A следующим образом:
A = {ω : ηn (ω) −−−−→ η(ω)}.

n→∞
По условию: P (A) = 1. Рассмотрим множество A ∩ η −1 (B).

Определим вероятность:
P (A ∩ η −1 (B)) = P (Ā ∪ η −1 (B)) P (Ā) + P (η −1 (B)) = 0,
тогда P (A ∩ η −1 (B)) = 1.
Теперь рассмотрим событие ω ∈ A ∩ η −1 (B). Тогда
ηn (ω) −−−−→ η(ω) ∈ B.

n→∞
Следовательно, имеет место сходимость:
H(ηn (ω)) −−−−→ H(η(ω)).

n→∞
Докажем второе утверждение теоремы от противного.

Пусть утверждение 2 неверно. Это означает, что существу-
ет ε > 0, существует δ > 0 и существует последовательность
(1)
{nk }, что справедливо неравенство
P {|H(ηn(1) ) − H(η)| > ε} > δ.

k
Последовательность ηn(1) сходится по вероятности к η,

k
P
ηn(1) −−−−→ η, следовательно, существует подпоследователь-
k k→∞
(2) (1)
ность {nk }
⊂ {nk }, для которой имеет место сходимость
почти наверно:
п.н
ηn(2) −−−−→ η.
k k→∞
Возникло противоречие, так как

п.н
ηn(2) −−−−→ η,
k k→∞
но с другой стороны
P {|H(ηn(2) ) − H(η)| > ε} > δ,
k
отсюда следует, что утверждение 2 верно.
Теорема 2.2. Пусть для последовательности случайных

векторов имеет место сходимость по распределению:
(1) (m) d
ηn = (ηn , . . . , ηn ) −−−−→ η = (η (1) , . . . , η (m) ). Пусть за-
n→∞
дана функция H : Rm → Rl непрерывная на Rm , тогда
d
H(ηn ) −−−−→ H(η).
n→∞
Доказательство. Для любой непрерывной и ограниченной

функции g(x) должно выполняться следующее предельное со-
отношение:
Eg(H(ηn )) −−−−→ Eg(H(η)).
n→∞
Рассмотрим g(H(t)) ≡ h(t), т. е. h — суперпозиция двух непре-

рывных функций, следовательно, она непрерывна. Так как g
ограничена, то отсюда следует, что h ограничена, то есть вы-
полнено следующее соотношение:
Eh(ηn ) −−−−→ Eh(η).
n→∞
Теорема 2.3. Пусть борелевская функция H : Rm → Rk

непрерывна на B ∈ B(Rm ) и P {η ∈ B} = 1. Пусть ηnT =
d d
= (η1n , . . . , ηmn ) −−−−→ η, тогда H(ηn ) −−−−→ H(η).
n→∞ n→∞
Доказательство. Доказательство теоремы можно найти

в [2].
Теорема 2.4. Пусть последовательность случайных вели-

чин ηn сходится по распределению к случайной величине
d
η, ηn −−−−→ η. Пусть функция H : R → R — борелевская
n→∞
функция. Числовая последовательность bn −−−−→ 0, причем
n→∞
bn = 0 для любого n. Тогда справедливы утверждения:
§ 2. Теоремы непрерывности 257
1. Если функция H дифференцируема в точке a ∈ R, то

H(a + bn ηn ) − H(a)
−−−−→ H (a)η.
d
bn n→∞
2. Если функция H дифференцируема в некоторой

окрестности точки a, H (a) = 0, и существует H (a),
то
H(a + bn ηn ) − H(a) 1
−−−−→ H (a)η 2 .
d
b2n n→∞ 2
Доказательство. Докажем утверждение 1. Введем H1 (x)

и H̃1 (x, y) = H1 (x)y, причем
H(a+x)−H(a)
, x = 0,
H1 (x) = x
H (a), x = 0.
Из условия теоремы ясно, что H1 (x) непрерывна в нуле, тогда
H̃1 (x, y) непрерывна на множестве {(0, y), y ∈ R}. Покажем,
d
что (bn ηn , ηn ) −−−−→ (0, η). Воспользуемся методом характери-
n→∞
стических функций. Надо показать, что
ϕ(bn ηn ,ηn ) (t1 , t2 ) −−−−→ ϕ(0,η) (t1 , t2 ). (2.1)
n→∞
Рассмотрим левую часть (2.1):

ϕ(bn ηn ,ηn ) (t1 , t2 ) = Eei(t1 bn ηn +t2 ηn ) =
= Eei(t1 bn +t2 )ηn = ϕηn (bn t1 + t2 ) ± ϕη (bn t1 + t2 ) =
= (ϕηn (bn t1 + t2 ) − ϕη (bn t1 + t2 )) + ϕη (bn t1 + t2 ) −−−−→
n→∞
it2 η+it1 0
−−−−→ ϕη (t2 ) = Ee = ϕ(0,η) (t1 , t2 ),
n→∞
так как t1 , t2 фиксированы, то (bn t1 + t2 ) ∈ [a, b], то есть схо-

димость на данном промежутке равномерная (как показано в
[22], из поточечной сходимости последовательности характе-
ристических функций к некоторой характеристической функ-
ции на конечном промежутке [a, b] следует равномерная схо-
димость на этом промежутке), тогда (ϕηn (bn t1 +t2 )−ϕη (bn t1 +
t2 )) −−−−→ 0. Таким образом, показали, что
n→∞
ϕ(bn ηn ,ηn ) (t1 , t2 ) −−−−→ ϕ(0,η) (t1 , t2 ).
n→∞
Заметим, что P {(0, η) ∈ {(0, y) : y ∈ R}} = 1, подставим в H̃1

случайный вектор (bn ηn , ηn ), получим:
H̃1 (bn ηn , ηn ) = ,
bn
H̃1 (bn ηn , ηn ) −−−−→ H̃1 (0, η) = H (a)η,

d
n→∞
как следует из теоремы 2.3.

Докажем второе утверждение теоремы. Запишем формулу
Тейлора второго порядка:
1
H(a + x) = H(a) + H (a)x2 + o(x2 ).
2
Введем функцию:
H(a+x)−H(a)
x2 , x = 0,
H2 (x) = 1
2 H (a), x = 0.
Введем функцию H̃2 (x, y) = H2 (x)y 2 , функция непрерывна на

множестве {(0, y) : y ∈ R}. Подставим в H̃2 случайный вектор
(bn ηn , ηn ):
1
H (a)η 2 ,
d
H̃2 (bn ηn , ηn ) −−−−→ H̃2 (0, η) =
n−→∞ 2
H̃2 (bn ηn , ηn ) = .
b2n
Утверждение 2 доказано.
Замечание 2.1. Теорема 2.4 допускает обобщение на много-

Теорема 2.5. Пусть задана функция H : Rm → R и последо-
(1) (m) d
вательность случайных векторов ηn = (ηn , . . . , ηn ) −−−−→
n→∞
η = (η (1) , . . . , η (m) ). Пусть числовая последовательность
bn −−−−→ 0 такая, что bn = 0 для любого n. Тогда спра-
n→∞
ведливы утверждения:
§ 3. Предельное распределение статистик первого типа 259

∂H
1. Если существует ∂t t=a = ∂H ∂H
∂t1 , . . . , ∂tm , a ∈
t=a
∈ Rm , то
−−−−→ H (a)η T .
d
bn n→∞

2

2. Если H (a) = 0, и существует H (a) = ∂t∂i ∂t H
j
,
t=a
то
H(a + bn ηn ) − H(a) 1
−−−−→ ηH (a)η T .
d
b2n n→∞ 2
Доказательство. Доказательство этой теоремы аналогич-

но доказательству теоремы 2.4.
Замечание 2.2. Можно продолжить обобщение теоремы 2.5

на случай H : Rm → Rl .
§ 3. ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ
СТАТИСТИК ПЕРВОГО ТИПА
Пусть задана статистика первого типа:
n
∗ 1
S(X[n] ) = G(Fn ) = h g(Xi ) ,
n i=1

∞ ∞
где G(F ) = h −∞ g(x)dF (x) , −∞ g(x)dFξ (x) = a ∈ Rm ,
т. е. G(Fξ ) = h(a).
Теорема 3.1. Пусть имеется выборка X[n] из генеральной
совокупности
n ξ с функцией распределения Fξ и S(X[n] ) =

= h n1 g(Xi ) — статистика I типа, борелевские функ-
i=1
ции h : R → R, g : R → R, тогда справедливы утверждения:
1. Если существует h (a), то
√ d
n S(X[n] ) − h(a) −−−−→ h (a)ζ,
n→∞
где ζ — случайная величина, распределенная нормаль-

но с параметрами (0, Dg(ξ)), ζ ∼ N (0, Dg(ξ)).
2. Если h (a) = 0 и существует h (a), то

d 1
n S(X[n] ) − h(a) −−−−→ h (a)ζ 2 .
n→∞ 2
Доказательство. Применима теорема 2.4. Преобразуем

функцию G(F ∗ ):

1 1
n n
∗
G(F ) = h g(Xi )=h a+ (g(Xi ) − a) =
n i=1 n i=1

1
n
=h a+ √ √ (g(Xi ) − a) ,
n n i=1
где a = Eg(X1 ). По центральной предельной теореме для оди-

наково распределенных слагаемых, справедливо:
1
n
(g(Xi ) − a) = ξn −−−−→ ξ ∼ N (0, σ 2 ),
d
√
n i=1 n→∞
где σ 2 = Dg(ξ). Заметим, что √1 = bn .

n
Теорема
n3.2. Пусть
задана статистика I типа S(X[n] ) =

= h n1 g(Xi ) и борелевские функции h : Rm → R, g :
i=1
R → Rm , тогда справедливы утверждения:

∂h
1. Если существует h (a) = ∂t∂h
1
, . . . , ∂tm , где a =
t=a
= Eg(ξ) = (Eg1 (ξ), . . . , Egm (ξ)), то
√ d
n S(X[n] ) − h(a) −−−−→ h (a)ζ T ,
n→∞
где случайный вектор ζ = (ζ1 , . . . , ζm ) подчиняется

многомерному нормальному распределению с парамет-
рами (0, Dg(ξ)), ζ ∼ N (0, Dg(ξ)).
2. Если h (a) = 0 и существует h (a), то
d 1
n S(X[n] ) − h(a) −−−−→ ζh (a)ζ T .
n→∞ 2
§ 4. Предельное распределение статистики Пирсона 261
Доказательство. Доказательство проводится аналогично

доказательству теоремы 3.1. Применяется центральная пре-
дельная теорема для одинаково распределенных случайных
векторов.
Пример 3.1. Рассмотрим генеральную совокупность ξ, для

которой Eξ = α > 0, Dξ = σ 2 . Получена выборка X[n] =
= (X1 , . . . , Xn ) из ξ. Найдем асимптотическое
n распределе-
ние статистики 1/X̄, где X̄ = n1 i=1 Xi = a∗1 . Покажем, что
1/X̄ — статистика первого типа.
Для доказательства достаточно взять h(t) = 1/t, g(x) = x
и заметить, что
n
1
1/X̄ = h g(Xi ) .
n i=1

+∞
a= g(x)dFξ (x) = Eg(ξ) = Eξ = α,

−∞
n
при этом, h(α) = 1/α, 1/X̄ = h( n1 i=1 g(xi )) является стати-
стикой первого типа.
Из теоремы 3.1 следует, что

√ 1 1 d −1 1
n − −−−−→ ξ 2
= −ξ 2 ,
X̄ α n→∞ α α
где ξ ∼ N (0, σ 2 ).
§ 4. ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ
СТАТИСТИКИ ПИРСОНА
Пусть задана генеральная совокупность ξ с функцией рас-
пределения Fξ и выборка X[n] = (X1 , . . . , Xn ). Разобьем чис-
ловую ось на r непересекающихся интервалов: −∞ = a0 <
< a1 < . . . < ar = ∞. Обозначим через Δ1 = (−∞, a1 ],
Δ2 = (a1 , a2 ], . . ., Δr = (ar−1 , ∞).
Пусть pi = Fξ (ai ) − Fξ (ai−1 ) — вероятность

r того, что слу-
чайная величина ξ попадет в интервал Δi , i=1 pi = 1. Пусть
ni — количество элементов выборки X[n] , попавших в Δi .
Определим статистику χ2 следующим образом:

r
(ni − npi )2
2
χ = , (4.1)
i=1
npi
где ni — частота (количество элементов выборки, попавших

в Δi ), npi — ожидаемое количество наблюдений в интервале
Δi .
Определение 4.1. Статистики вида (4.1) называются стати-
стиками χ2 или статистиками Пирсона.
Покажем, что статистика Пирсона может быть преобразо-
вана к статистике первого типа:

r r 2
2 (ni − npi )2 1 ni √
χ = =n √ − pi =
i=1
npi i=1
pi n
⎛ ⎞2

r
1 n
1 √
=n ⎝ √ I {Xj ∈ Δi } − pi ⎠ . (4.2)
i=1
n j=1
pi

n
Рассмотрим статистику первого типа S(X[n] ) = h( n1 g(Xj )),
j=1
r

где в качестве h возьмем функцию h(t1 , . . . , tr ) = ti −
√ 2
i=1
− pi , g(x) = (g1 (x), . . . , gr (x)) и gi (x) = √1pi I {x ∈ Δi },
i = 1, . . . , r. Получаем:

1
n
1 n1 1 nr
g(Xj ) = √ ,..., √ .
n j=1 p1 n pr n
Таким образом, статистика χ2 представляет собой произведе-

ние константы n на статистику первого типа. Следовательно,
можно воспользоваться теоремой 3.2 о предельном распреде-
лении статистик первого типа.
§ 4. Предельное распределение статистики Пирсона 263
Очевидно, что a = (a1 , . . . , ar ) = (Eg1 (ξ), . . . , Egr (ξ)) =

√ √
= ( p1 , . . . , pr ), при этом h (a) = 0, 12 h (a) = Er , где Er —
единичная матрица порядка r. Из теоремы 3.2 получаем:
χ2 (X[n] ) −−−−→ ζ T ζ = ζ12 + . . . + ζr2 ,

d
n→∞
где ζ ∼ N (0, Dg(ξ)). Вычислим ковариационную матрицу

Dg(ξ):
, - T
Dg(ξ) = E g(ξ)g T (ξ) − Eg(ξ) (Eg(ξ)) ,
после дополнительных преобразований получаем
√ √ T √ √
Dg(ξ) = Er − ( p1 , . . . , pr ) ( p1 , . . . , pr ) .
Пусть C — ортонормированная матрица CC T = C T C = Er .
√ √
Зафиксируем первую строку c1 = ( p1 , . . . , pr ) матрицы C.
Остальные строки будем искать методом ортогонализации
Грама–Шмидта.
Случайный вектор η = Cζ подчиняется многомерному нор-
мальному распределению N (0, CDg(ξ)C T ), при этом из выбо-
ра матрицы C следует, что Dη1 = 0, кроме того, Eη1 = 0,
п.н.
следовательно, η1 = 0.
⎛ ⎞
0 0...0
⎜0 ⎟
CDg(ξ)C T = ⎜
⎝. . .
⎟.
Er−1 ⎠
0
Как легко видеть, η T η = ζ T C T Cζ = ζ T ζ = η12 + η22 + . . . +

+ ηr2 = ζ12 + ζ22 + . . . + ζr2 . Следовательно, распределения сумм
одинаковы, поэтому
χ2 −−−−→ η12 + . . . + ηr2 ,

d
n→∞
п.н.
но η12 + . . . + ηr2 = η22 + . . . + ηr2 , тогда
χ2 −−−−→ η22 + . . . + ηr2 ,

d
n→∞
где η2 , . . . , ηr — взаимно независимые одинаково распределен-
п.н.
ные случайные величины, ηi ∼ N (0, 1), i = 2, . . . , r, η1 = 0.
Определение 4.2. Пусть δ1 , . . . , δk — взаимно независимые

одинаково распределенные стандартные гауссовы случайные
величины, тогда распределение случайной величины δ12 + . . . +
+ δk2 , называется распределением χ2 с k степенями свободы
(или распределением Пирсона с k степенями свободы).
Проведенные рассуждения доказывают следующую теоре-

му.
Теорема 4.1. Статистика χ2 , определяемая равенством

(4.1), асимптотически распределена по закону хи-квадрат
с r − 1 степенью свободы:

r
(ni − npi )2
χ2 =
d
−−−−→ τ,
i=1
npi n→∞
где τ подчиняется распределению хи-квадрат с r − 1 сте-

пенью свободы.
Замечание 4.1. Нетрудно заметить, что к статистике χ2 ,

определяемой формулой (4.1), можно прийти, исходя из гене-
ральной совокупности, подчиняющейся полиномиальному рас-
пределению с r возможными исходами, где вероятности p1 ,
p2 ,. . .,pr представляют
r собой вероятности появления соответ-
ствующих исходов ( i=1 pi = 1), n — число испытаний, n1 —
количество появлений первого исхода, n2 — количество появ-
лений второго исхода, . . ., nr — количество появлений исхода
r
с номером r, i=1 ni = n. В статистическом эксперименте
непосредственно наблюдается выборка частот (n1 , n2 , . . . , nr ).
Утверждение теоремы 4.1 сохраняется и для рассматриваемого
полиномиального распределения.
§ 5. ГАММА-РАСПРЕДЕЛЕНИЕ
Гамма-функция определяется следующим образом:
∞
Γ(p) = xp−1 e−x dx, p > 0.
0
§ 5. Гамма-распределение 265
Свойства гамма-функции:
1. Справедливы равенства:
Γ(1) = 1, Γ(2) = 1,

+∞
+∞
1 − 12 −x 1
Γ = x e dx = 2 e−x d(x 2 ) =
2
0 0
⎧⎛ ⎞2 ⎫ 12

+∞
+∞ ⎪
⎨
+∞ ⎪
⎬
−y 2 −y 2 ⎝ −y 2 ⎠
=2 e dy = e dy = e dy =
⎪
⎩ ⎪
⎭
0 −∞ −∞
⎧ +∞ +∞ ⎫ 12
⎨ 2 2
⎬ √
= e−y e−x dxdy = π,
⎩ ⎭
−∞ −∞
в последнем интеграле переходим к полярным координа-

там.
2. При p > 1, интегрируя по частям, нетрудно получить
равенство:
Γ(p) = (p − 1)Γ(p − 1).
Если n ∈ N, то Γ(n) = (n − 1)!
Плотность распределения случайной величины ξ, соответ-
ствующая стандартному гамма-распределению с параметром
формы p, определяется формулой:
& p−1
x
e−x , x > 0;
fξ (x) = Γ(p)
0, x 0.
+∞
Нетрудно заметить, что fξ (x) 0 и −∞ fξ (x)dx = 1.
Рассмотрим случайную величину η = ξ/λ, параметр λ > 0,
нетрудно получить выражение для плотности распределения,
соответствующей гамма-распределению G(λ, p) с параметром
формы p и параметром масштаба λ:
& p p−1
λ x −λx
Γ(p) e , x > 0;
fη (x) = (5.1)
0, x 0.
Если в формуле (5.1) положить λ = 1, то получим плот-

ность стандартного гамма-распределения, а если в формуле
(5.1) положить p = 1, то получим плотность экспоненциаль-
ного распределения.
Лемма 5.1. Пусть δ — случайная величина, подчиняющаяся

стандартному нормальному распределению, δ ∼ N (0, 1), тогда
случайная величина δ 2 подчиняется гамма-распределению с
параметрами p = 1/2, λ = 1/2.
Доказательство. Пусть δ ∼ N (0, 1), то есть fδ (x) =

x2
= √12π e− 2 . Функцию распределения случайной величины δ
обозначим через
y
1 t2
F (y) = √ e− 2 dt.
2π
−∞
Найдем функцию распределения случайной величины δ 2 :

√ √ √ √
P {δ 2 y} = P (− y δ y) = F ( y) − F (− y),
дифференцируя, найдем плотность распределения для y > 0:
1 1 1 −y 1 1 1 y
fδ2 (y) = √ √ e 2 + √ √ e− 2 =
2 y 2π 2 y 2π
12 & 1 1 −1
1 (2)2 y 2 −y
− 12 1 − y2 e 2, y > 0;
= y √ e = Γ( 12 )
2 π 0, y < 0.
Следовательно, случайная величина δ 2 подчиняется гамма-

распределению с параметрами p = 1/2, λ = 1/2.
Лемма 5.2. Пусть заданы взаимно независимые случайные

величины ξ1 ∼ G(λ, p1 ), ξ2 ∼ G(λ, p2 ), тогда ξ = ξ1 + ξ2 ∼
∼ G(λ, p1 + p2 ).
Доказательство. Очевидно, что

P {ξ y} = fξ1 (x1 )fξ2 (x2 )dx1 dx2 =
{(x1 ,x2 )|x1 +x2 y}

+∞ 1
y−x
= fξ1 (x1 ) fξ2 (x2 )dx2 dx1 .

−∞ −∞
Сделаем замену переменных: u = x1 + x2 , du = dx2 , тогда

+∞ y
P {ξ y} = fξ1 (x1 ) fξ2 (u − x1 )dudx1 =
−∞ −∞
y
+∞
= fξ1 (x1 )fξ2 (u − x1 )dx1 du.

−∞ −∞
Получили формулу свертки для плотности суммы двух неза-

висимых случайных величин:

+∞ u
fξ (u) = fξ1 (x1 )fξ2 (u − x1 )dx1 = fξ1 (x1 )fξ2 (u − x1 )dx1 =
−∞ 0
u p1 +p2
λ
= xp1 −1 (u − x1 )p2 −1 e−λx1 e−λ(u−x1 ) dx1 =
Γ(p1 )Γ(p2 ) 1
0
u
λp1 +p2 e−λu
= xp11 −1 (u − x1 )p2 −1 dx1 .
Γ(p1 )Γ(p2 )
0
Сделаем замену переменных под знаком интеграла: x1 = su,

s ∈ (0, 1), dx1 = uds, тогда
1
λp1 +p2 e−λu p1 +p2 −1
fξ (u) = u sp1 −1 (1 − s)p2 −1 ds =
Γ(p1 )Γ(p2 )
0

cup1 +p2 −1 e−λu λp1 +p2 , u > 0;
=
0, u 0,
1
где c = ( 0 sp1 −1 (1−s)p2 −1 ds)/(Γ(p1 )Γ(p2 )). Найдем c из усло-
вия нормировки:

+∞
c λp1 +p2 up1 +p2 −1 e−λu du = 1.

0
Сделаем замены переменных: x = λu, u = x/λ, du = dx/λ,

тогда

+∞
c xp1 +p2 −1 e−x dx = cΓ(p1 + p2 ) = 1

0
или
1
c= .
Γ(p1 + p2 )
Плотность fξ (x) имеет вид:
& p1 +p2
λ p1 +p2 −1 −λx
Γ(p1 +p2 ) x e , x > 0;
fξ (x) =
0, x 0.
В ходе доказательства леммы 5.2 получено тождество, свя-

зывающее бета-функцию с гамма-функциями:
1
Γ(p1 )Γ(p2 )
B(p1 , p2 ) = sp1 −1 (1 − s)p2 −1 ds = .
Γ(p1 + p2 )
0
Следствие 5.1. Пусть случайные величины δi ,i = 1, . . . , m

взаимно независимы, одинаково распределены и подчиня-
ются стандартному нормальному распределению, δi ∼
∼ N (0, 1). Тогда δ12 + . . . + δm
2
∼ G( 12 , m
2 ).
Доказательство следует из лемм 5.1, 5.2.
Замечание 5.1. Доказано важное утверждение: распределе-

ние хи-квадрат с m степенями свободы является частным слу-
чаем гамма распределения с параметрами λ = 1/2, p = m/2.
Если случайная величина τ подчиняется распределению

хи-квадрат с m степенями свободы, то ее плотность имеет
вид: ⎧ m −1 − 1 x
⎨ x2 e 2
m m , x > 0;
fτ (x) =
⎩ 2 Γ( 2 )
2
0, x 0.
Глава 14
КРИТЕРИИ СОГЛАСИЯ
ДЛЯ ПРОСТЫХ ГИПОТЕЗ
§ 1. КРИТЕРИЙ СОГЛАСИЯ
ПИРСОНА
Определение 1.1. Статистической гипотезой называется
любое предположение о законе распределения генеральной со-
вокупности.
Определение 1.2. Гипотеза называется простой, если в ней

единственным образом определяется закон распределения ге-
неральной совокупности. В противном случае гипотеза назы-
вается сложной.
Один из типов гипотез — гипотезы согласия. Методы

проверки этих гипотез — критерии согласия. Пусть задана
генеральная совокупность ξ, функция распределения Fξ ко-
торой взаимно однозначно соответствует распределению ге-
неральной совокупности Pξ , и выборка X[n] = (X1 , . . . , Xn ).
Гипотезы принято обозначать через H. Пусть H0 — основная
(нулевая) гипотеза.
Пусть проверяется гипотеза согласия H0 : Fξ = F0 , при
этом предполагается, что F0 (x) известна. Очевидно, что дан-
ная гипотеза — простая. Сформулируем альтернативную гипо-
тезу: H1 : Fξ = F0 . Для нас важна гипотеза H0 , необходимо
решить: принять ее или отклонить. Решение принимается по
имеющейся выборке X[n] , т. е. проверяется «хорошо» ли вы-
борка X[n] согласуется с F0 . Мы можем принять гипотезу, но
при этом она на самом деле может быть неверной.
§ 1. Критерий согласия Пирсона 271
Рассмотрим критерий Пирсона (критерий χ2 ). Числовую

ось разбиваем на r промежутков −∞ = a0 < a1 < . . . < ar =
= ∞, Δi = (ai−1 , ai ], r = 1, . . . , r, и построим статистику χ2 :

r (0)
(ni − np )2
χ2 (X[n] ) = i
(0)
,
i=1 npi
(0)
где pi = F0 (ai ) − F0 (ai−1 ). Если H0 верна, тогда по теореме
d
4.1 главы 13: χ2 (X[n] ) −−−−→ ζ, где ζ подчиняется распреде-
n→∞
лению хи-квадрат с r − 1 степенью свободы. В § 4 главы 13
n
было показано, что χ2 (X[n] ) = nS(X[n] ) = nh( n1 Xj ), где
j=1
! 2

r
(0)
h(t1 , . . . , tr ) = t i − pi , g(x) = (g1 (x), . . . , gr (x)) и
i=1
gi (x) = 1 I
{x ∈ Δi }, i = 1, . . . , r.
(0)
pi

1
n
Статистика S(X[n] ) = h n g(Xj ) является статисти-
j=1
кой первого типа. При гипотезе H0 имеем
! !
(0) (0)
a= p1 , . . . , pr и h(a) = 0.

1

n
п.н.
Если H0 верна, тогда h n −−−−→ h(a) = 0.
g(Xj )
j=1 n→∞
! !
(0) (0)
Если верна гипотеза H1 , то a = p1 , . . . , pr , то-

n
п.н.
гда h(a) = 0, но статистика h n1 g(Xj ) −−−−→ h(a) = 0,
j=1 n→∞
⎛ ⎞
1 n
χ2 = nh ⎝ g(Xj )⎠ −−−−→ ∞.
п.н.
n j=1 n→∞
Поведение статистики χ2 зависит от того, верна нулевая ги-

потеза или нет.
272 Глава 14. Критерии согласия для простых гипотез
Нетрудно понять, как выбрать критическую область для

гипотезы H0 . Если χ2 (X[n] ) C, то H0 отклоняется, если
χ2 (X[n] ) < C, то нет оснований для отклонения H0 .
Выберем вероятность α ∈ (0, 1). В качестве α часто выби-
рают 0,05. Константу C(r − 1, α) выберем из условия
P {η C} = α,
где случайная величина η подчиняется распределению хи-

квадрат с r − 1 степенью свободы. Константа C(r − 1, α)
представляет собой квантиль уровня 1 − α распределения хи-
квадрат с r − 1 степенью свободы. Для практического нахож-
дения квантили можно использовать статистические таблицы.
Область (C(r − 1, α), ∞) является критической для гипотезы
H0 . Если χ2 (X[n] ) > C(r − 1, α), то H0 отклоняется, а если
χ2 (X[n] ) C(r − 1, α), то для отклонения нет оснований.
В результате применения критерия могут возникать следу-
ющие ошибки:
• Ошибка первого рода, если мы отбросили гипотезу H0 ,
а она на самом деле верна.
• Ошибка второго рода, если мы принимаем гипотезу H0 ,
а она на самом деле не верна.
Учитывая доказанную асимптотику, вероятность ошибки пер-
вого рода приближенно совпадает с заданной вероятностью
α. Вероятность ошибки первого рода называют часто уровнем
значимости критерия.
Возможен альтернативный подход. Найдем вероятность
P {η > χ2 (X[n] )} = 1 − Fχ2r−1 (χ2 (X[n] ),
где Fχ2r−1 (·) — функция распределения хи-квадрат с r − 1

степенью свободы. Вероятность вычисляется при условии
справедливости H0 . Эта вероятность называется p-значением
(p-value). В программах типа SPSS, STATISTICA реализован
второй подход.
Большие значения статистики χ2 свидетельствуют про-
тив H0 . Интервал (χ2 (n1 , . . . , nr ); +∞) — критическая область
значений статистики χ2 , там находятся еще более «худшие»
§ 2. Критерий согласия Колмогорова 273
значения статистики для гипотезы H0 :
PH0 (χ2 (n1 , . . . , nr ); +∞) = 1 − Fχ2r−1 (χ2 (n1 , . . . , nr )) = p.
Далее можно выбрать значение α (например, 0,05) и приме-

нить следующий критерий. Если p α, то мы отвергаем H0
и принимаем альтернативу H1 . Если p > α, то гипотеза H0
согласуется с наблюдениями. Конечно, указанный критерий
полностью эквивалентен критерию в первом подходе.
Можно отметить некоторые общие особенности статисти-
ческих критериев, которые обсуждались выше. Любой стати-
стический критерий устроен следующим образом:
1. Выбираем статистику критерия, закон распределения ко-
торой известен, если справедлива H0 .
2. Определяем критическую область для гипотезы H0 , по-
падание в которую маловероятно, если гипотеза H0 вер-
на, но при этом вероятность попадания в эту область
при условии истинности гипотезы H1 больше, чем при
условии истинности гипотезы H0 .
3. Уровень значимости или вероятность ошибки первого
рода — вероятность попадания в критическую область
при условии истинности H0 , обычно выбирается малой,
например, 0,05. Существует правило p-значения: нахо-
дится вероятность получения значений статистики, ко-
торые еще «хуже», чем полученное значение при усло-
вии истинности H0 . Если p-значение оказывается мень-
ше заданного уровня значимости α, то нулевую гипотезу
отвергают.
§ 2. КРИТЕРИЙ СОГЛАСИЯ КОЛМОГОРОВА
Пусть задана генеральная совокупность ξ, функция рас-

пределения Fξ которой взаимно однозначно соответствует рас-
пределению Pξ , и выборка X[n] = (X1 , . . . , Xn ). Выдвинем ну-
левую гипотезу H0 : Fξ = F0 , H1 : Fξ = F0 . Рассмотрим
другой критерий согласия — критерий Колмогорова. Допол-
нительно наложим ограничение: функция F0 (x) непрерывна
на R. Рассмотрим статистику Колмогорова:

Dn (X[n] ) = sup Fn∗ (x, X[n] ) − F0 (x) . (2.1)
x∈R
п.н.
Если верна гипотеза H0 , то Dn (X[n] ) −−−−→ 0. Если верна
n→∞
гипотеза H1 , т. е. Fξ ≡ G = F0 , тогда
п.н.
Dn (X[n] ) −−−−→ sup |G(x) − F0 (x)| > 0.
n→∞ x∈R
Можно показать, что при условии справедливости гипотезы

H0 распределение статистики Dn (X[n] ) не зависит от конкрет-
ного вида F0 .
Лемма 2.1. Если гипотеза H0 верна, и F0 (x) — непрерывная
функция на R, тогда распределение статистики

Dn = sup Fn∗ (x; X[n] ) − F0 (x)
x∈R
не зависит от закона распределения генеральной совокупно-

сти.
Доказательство. Предположим дополнительно, что суще-
ствует (α, β): α −∞, β +∞, что F0 (x) строго монотонна
на (α, β), при этом F0 (α) = 0, F0 (β) = 1. Подставим в каче-
стве аргумента в F0 (x) случайную величину ξ. Заметим, что
п.н. п.н.
ξ ∈ (α, β) и Xi ∈ (α, β) для всех i. Тогда из строгой моно-
тонности F0 следуют равенства:
P {F0 (ξ) y} = P {ξ F0−1 (y)} = F0 (F0−1 (y)) = y.
Таким образом, получили соотношение: P {F0 (ξ) y} = y,
если y ∈ [0, 1], то есть F0 (ξ) подчиняется равномерному рас-
пределению. Обозначим F0 (Xi ) через Yi , i = 1, . . . , n, тогда
выборка Y[n] = (Y1 , . . . , Yn ) — выборка из равномерного рас-
пределения на отрезке [0, 1]. Очевидно, что
1
n
Fn∗ (x, X[n] ) = I{Xj x} =
n j=1
1 1
n n
= I{F0 (Xj ) F0 (x)} = I{Yj y} = Fn∗ (y, Y[n] ),
n j=1 n j=1
где Fn∗ (y, Y[n] ) — эмпирическая функция распределения, по-

строенная по выборке из равномерного распределения, y =
= F0 (x).
Тогда имеет место равенство:

sup Fn∗ (x, X[n] ) − F0 (x) = sup Fn∗ (y, Y[n] ) − y .
x∈R y∈[0,1]
Отсюда следует равенство:

P {sup Fn∗ (x, X[n] ) − F0 (x) z} =
x∈R

= P { sup Fn∗ (y, Y[n] ) − y z}.
y∈[0,1]
Последнюю вероятность можно вычислять для различных зна-

чений z как многомерный интеграл от плотности, тождествен-
но равной единице внутри гиперкуба [0, 1]n . Интегрирование
проводится по множеству точек в [0, 1]n , удовлетворяющих
неравенству, содержащемуся под знаком вероятности. Таким
образом, для рассматриваемого случая можно построить точ-
ные критические области с заданным уровнем значимости
независимо от конкретного вида F0 (x).
Можно найти квантиль z1−α для некоторого α. Рассмот-
рим критическую область (z1−α , 1], если статистика (2.1) по-
падает в данную область, тогда отвергаем H0 и принимаем
H1 . Если Dn ∈ [0, z1−α ), тогда принимаем гипотезу H0 .
Замечание 2.1. Доказательство леммы 2.1 можно распро-

странить на случай, когда от F0 (x) не требуется строгой моно-
тонности, для доказательства необходимо рассмотреть обоб-
щенную обратную функцию:
F0−1 (y) = sup{x : F0 (x) y}.
Таким образом, возможно построение точного критерия со-

гласия для фиксированного n. Однако, при больших n возни-
кают серьезные вычислительные трудности. Справедлива сле-
дующая теорема А. Н. Колмогорова.
Теорема 2.1. Если гипотеза H0 верна и F0 (x) — непрерыв-

ная функция на R, тогда имеет место сходимость:
∞

√ 2 2
P { nDn (X[n] ) z} −−−−→ K(z) = 1 + 2 (−1)m e−2m z .
n→∞
m=1
Находим константу d1−α как решение уравнения:
K(d1−α ) = 1 − α.
Правило
√ проверки гипотез будет следующим. Если
√n [n] ∈ (d1−α , ∞), тогда гипотеза H0 отвергается; ес-
nD (X )
ли nDn (X[n] ) ∈ / (d1−α , ∞), тогда гипотеза H0 принимается.
Для практической проверки гипотез согласия по критерию
Колмогорова можно воспользоваться таблицами математиче-
ской статистики.
Статистику Dn (X[n] ) можно вычислить с помощью просто-
го вычислительного алгоритма:
7 +
i i−1
Dn (X[n] ) = max − F0 (X(i) ), F0 (X(i) ) − ,
1in n n
где X(1) < . . . < X(n) — вариационный ряд, построенный по
выборке X[n] .
Замечание 2.2. Критерий ω̄ 2 .
пределения Fξ и выборка X[n] = (X1 , . . . , Xn ) из этой гене-
ральной совокупности. Выдвинем нулевую гипотезу H0 : Fξ =
= F0 , при конкурирующей гипотезе H1 : Fξ = F0 . Статистика
критерия имеет вид:
n
2
1 2i − 1
ω̄n2 = + F0 (X(i) ) − ,
12n i=1 2n
где X(1) < . . . < X(n) — вариационный ряд, построенный по

выборке X[n] .
При справедливости гипотезы H0 и непрерывности функ-
ции F0 распределение статистики омега-квадрат зависит толь-
ко от n и не зависит от F0 . При малых n имеются таблицы
критических точек, а для больших значений n следует исполь-

зовать предельное (при n → ∞) распределение статистики ω̄n2 .
Для него составлены подробные таблицы и вычислительные
программы. Важное с теоретической точки зрения свойство
критериев, основанных на Dn и ω̄n2 : они состоятельны против
любой альтернативной гипотезы Fξ = F0 .
Статистический критерий для проверки гипотезы H0 на-
зывают состоятельным против альтернативной гипотезы H1 ,
если вероятность отвергнуть H0 , когда на самом деле верна
H1 , стремится к 1 при неограниченном увеличении объема
наблюдений.
Глава 15
ТОЧЕЧНЫЕ ОЦЕНКИ
§ 1. СВОЙСТВА ТОЧЕЧНЫХ ОЦЕНОК

Рассмотрим выборку X[n] = (X1 , . . . , Xn ), генеральную
совокупность ξ и ее функцию распределения Fξ (x, θ), где
θ = (θ1 , . . . , θm ) — неизвестные параметры в распределении
случайной величины ξ. По имеющейся выборке можно постро-
ить оценку для этих параметров.
Определение 1.1. Пусть θ ∈ Θ ⊂ Rm . Под оценкой понимает-

ся статистика θ̂(X[n] ) такая, что получившееся значение мож-
но рассматривать как точечную оценку параметра θ (θ̂(X[n] ) ∼
∼ θ).
Невозможно найти численное значение вероятности

P θ̂(X[n] ) − θ > ε для произвольного ε, так как вероят-
ность содержит неизвестный параметр θ. Тогда какую оценку
считать «хорошей»?
Свойства точечных оценок
1. Несмещенность.
Определение 1.2. Пусть параметр θ ∈ Θ ⊂ R. Говорят, что

оценка θ̂(X[n] ) является несмещенной оценкой параметра θ,
если
E θ̂(X[n] ) = θ (1.1)
для любого θ ∈ Θ.
§ 1. Свойства точечных оценок 279
Определение 1.3. Говорят, что оценка θ̂(X[n] ) является

асимптотически несмещенной оценкой параметра θ, если
E θ̂(X[n] ) −−−−→ θ (1.2)

n→∞
Замечание 1.1. Свойство несмещенности позволяет агреги-
ровать информацию, накопленную в различных научных цен-
трах. Рассмотрим следующий пример. Пусть θ̂1 — несмещен-
ная оценка параметра θ, полученная в некотором научном цен-
тре, θ̂2 — несмещенная оценка того же параметра, полученная
в другом научном центре. Предполагая, что техническая осна-
щенность научных центров одинаковая, будем считать, что
дисперсии оценок одинаковы:
D(θ̂i ) = E(θ̂i − θ)2 = σ 2 (θ),
E(θ̂i ) = θ, i = 1, 2.
Рассмотрим новую оценку:
θ̂1 + θ̂2
θ̂ = ,
2
E θ̂1 + E θ̂2
E θ̂ = = θ,
2
тогда имеют место равенства:
1 σ 2 (θ)
Dθ̂ = E(θ̂ − θ)2 = E{(θ̂1 − θ) + (θ̂2 − θ)}2 = .
4 2
Как видим, агрегированная оценка оказывается более точной,
дисперсия уменьшилась в два раза.
Пример 1.1. Выборочное среднее является несмещенной
оценкой для математического ожидания:
& n *
1 1
n
E X̄ = E Xk = EXk = Eξ = a1 .
n n
k=1 k=1
280 Глава 15. Точечные оценки
Рассмотрим выборочную дисперсию, проверим, выполнено ли

свойство несмещенности:

& *2
1 1
n n
2
Es = E Xk − a 1 − (Xi − a1 ) =
n n i=1
k=1
⎧ n 2 ⎫
⎨1 n
1 ⎬
=E (Xk − a1 )2 − (Xk − a1 ) =
⎩n n ⎭
k=1 k=1
1
n
1
n
1 2 n−1 2
= E(Xk − a1 )2 − σ2 = σ2 − σ = σ ,
n n2 n n
k=1 k=1
при выводе формулы учитывалось следующее соотношение:

2
2 σ , k = l;
E{(Xk − a1 )(Xl − a1 )} = σ δkl =
0, k = l.
Таким образом, получаем равенство:

n−1 2
Es2 = σ ,
n
следовательно, s2 — смещенная оценка, однако она является
асимптотически несмещенной оценкой: Es2 −−−−→ σ 2 .
n→∞
Рассмотрим исправленную оценку дисперсии:
1
n
n 2
s̃2 = s = (Xk − X)2 ,
n−1 n−1
k=1
как легко видеть, s̃2 — несмещенная оценка дисперсии.

2. Состоятельность.
Определение 1.4. Пусть параметр θ ∈ Θ ⊂ R. Говорят, что
оценка θ̂(X[n] ) состоятельна, если
P
θ̂(X[n] ) −−−−→ θ (1.3)
n→∞
Определение 1.5. Оценка θ̂(X[n] ) называется сильно состоя-

тельной оценкой параметра θ, если
п.н.
θ̂(X[n] ) −−−−→ θ (1.4)
n→∞
Замечание 1.2. В случае, когда θ̂(X[n] ) — векторная оценка,

свойство состоятельности и сильной состоятельности рассмат-
риваются покомпонентно.
Замечание 1.3. В определении оценки предполагалось, что

n фиксировано, но обычно под оценкой понимают некоторое
правило, по которому можно построить оценку для любого n.
Замечание 1.4. Пусть существует Eξ k , тогда a∗k — статисти-

ка первого типа, где a∗k — эмпирический момент порядка k.
п.н.
Тогда a∗k −−−−→ ak = Eξ k , т. е. a∗k является сильно состоятель-
n→∞
ной оценкой.
Пусть существует E(ξ − Eξ)k , тогда
1
n
a0∗
k = (Xi − X̄)k
n i=1
— сильно состоятельная оценка для теоретического момента:
a0∗ −−−→ a0k = E(ξ − Eξ)k .

п.н.
k −
n→∞
Пример 1.2. Выборочное среднее и выборочная дисперсия

представляют собой сильно состоятельные оценки соответ-
ствующих числовых характеристик случайной величины при
условии, что они существуют и конечны.
a∗1 = X̄ −−−−→ a1 = Eξ,

п.н
n→∞
1
n
s2 = (Xk − X̄)2 = a0∗ −−−→ a02 = Dξ.
п.н
2 −
n n→∞
k=1
3. Эффективность.
Пусть в распределении генеральной совокупности имеет-
ся неизвестный параметр θ ∈ Θ ⊂ R. Рассмотрим некоторый
класс оценок K = {θ̂(X[n] )} параметра θ.
Определение 1.6. Говорят, что оценка θ∗ (X[n] ) ∈ K является

эффективной оценкой параметра θ в классе K, если для любой
другой оценки θ̂ ∈ K имеет место неравенство:
E(θ∗ − θ)2 E(θ̂ − θ)2 (1.5)
Класс несмещенных оценок обозначим через

K0 = θ̂(X[n] ) : E θ̂ = θ, ∀θ ∈ Θ .
Оценка, эффективная в классе K0 , называется эффектив-

ной оценкой.
Рассмотрим случай, когда m > 1, то есть θ = (θ1 , . . . , θm ).
Для любого y ∈ Rm определим αy = (θ, y) = θ1 y1 +. . .+θm ym .
Тогда αy∗ = (θ∗ , y) — оценка параметра αy .
Определение 1.7. Будем говорить, что оценка θ∗ ∈ K являет-

ся эффективной оценкой параметра θ = (θ1 , . . . , θm ) в классе
K, если для любой другой оценки θ̂ ∈ K и любого y ∈ Rm при
любом допустимом значении θ ∈ Θ имеет место неравенство:
E(αy∗ − αy )2 E(α̂y − αy )2 , (1.6)
где α̂y = (θ̂, y).
Теорема 1.1. Пусть несмещенные оценки θ̂1 и θ̂2 параметра

θ ∈ Θ ⊂ R являются эффективными, тогда оценки θ̂1 и θ̂2
почти наверное совпадают.
Доказательство. Рассмотрим θ̃ = (θ̂1 + θ̂2 )/2. Нетрудно

показать несмещенность данной оценки. Справедливо тожде-
ство:
2
(θ̂1 − θ)2 (θ̂2 − θ)2 (θ̂1 − θ) (θ̂2 − θ)
+ = − +
2 2 2 2
2
(θ̂1 − θ) (θ̂2 − θ)
+ + .
2 2
Из условия теоремы следует, что для любого θ ∈ Θ имеет

место равенство:
Dθ̂1 = Dθ̂2 = d2 (θ).
Кроме того, для любого θ̃ ∈ K0 должно выполняться нера-
венство: Dθ̃ d2 (θ). Найдем для тождества математическое
ожидание:
1
d2 (θ) = E(θ̂1 − θ̂2 )2 + Dθ̃.
4
Следовательно, E(θ̂1 − θ̂2 )2 = 0 (так как если это неверно, то
п.н
Dθ̃ < d2 (θ), чего быть не может), но тогда θ̂1 = θ̂2 .
Замечание 1.5. Утверждение теоремы переносится на много-

Рассмотрим случай, когда θ вектор. Пусть θ = (θ1 , . . .

. . . , θk )T ∈ Θ ⊂ Rk , θ̂ ∈ K0 , то есть E θ̂ = θ для любого
θ ∈ Θ. Возьмем любой вектор y ∈ Rk , рассмотрим скалярное
произведение:

k
(θ̂, y) = θ̂i (X[n] )yi ,
i=1
как оценку для скалярного произведения (θ, y). Оценка (θ̂, y)

будет несмещенной оценкой:
E(θ̂, y) = (θ, y)
для любого θ ∈ Θ и y ∈ Rk .
Оценка θ̂ эффективна, если D(θ̂, y) D(θ̃, y) для любой

оценки θ̃ ∈ K0 и любого θ ∈ Θ, и y ∈ Rk . Вычислим левую и
правую части неравенства, получим:
D(θ̂, y) = y T Dθ̂y,
где Dθ̂ — ковариацинонная матрица вектора θ̂,
D(θ̃, y) = y T Dθ̃y,
где Dθ̃ — ковариацинонная матрица вектора θ̃. Следовательно,

справедливо неравенство:
y T (Dθ̃ − Dθ̂)y 0.
Тогда, так как y — любое, получаем, что матрица коэффици-

ентов квадратичной формы является неотрицательно опреде-
ленной матрицей, т. е. Dθ̃ − Dθ̂ 0. В результате приходим к
определению 1.8, которое эквивалентно определению 1.7 для
класса несмещенных оценок.
Определение 1.8. Оценка θ̂ эффективна в классе K0 , или

просто эффективна, если Dθ̃ − D θ̂ 0 (неотрицательно опре-
деленная матрица), где θ̃ ∈ K0 для любого θ ∈ Θ ⊂ Rk .
4. Асимптотическая нормальность.
Определение 1.9. Пусть оценивается параметр θ ∈ Θ ⊂ R.

Оценка θ̂ называется асимптотически нормальной оценкой па-
раметра θ с коэффициентом рассеивания σ 2 (θ), если
√
n(θ̂ − θ) −−−−→ ζ ∼ N (0, σ 2 (θ)).
d
(1.7)
n→∞
Из этого определения следует, что для любого x ∈ R имеет

√ x 2
1 − y
P n(θ̂ − θ) x −−−−→ √ e 2σ2 (θ) dy.
n−→∞ 2πσ(θ)
−∞
§ 2. Методы построения точечных оценок 285
Определение 1.10. Пусть оценивается параметр θ ∈ Θ ⊂ Rm .

Оценка θ̂ = (θ̂1 , . . . , θ̂m ) называется асимптотически нормаль-
ной с матрицей рассеивания Σ(θ), если имеет место сходи-
мость по распределению:
√ d
n(θ̂ − θ) −−−−→ η ∼ N (0, Σ(θ)).
n→∞
5. Асимптотическая эффективность.
Определение 1.11. Оценка θ̂ называется асимптотически эф-

фективной в классе K оценок параметра θ ∈ Θ ⊂ R, если
E(θ̂ − θ)2
lim 1
n→∞ E(θ̃ − θ)2
для любого параметра θ ∈ Θ ⊂ R и любой оценки θ̃ ∈ K.
Статистическая оценка считается «хорошей», если она об-

ладает хотя бы некоторыми из свойств 1–5.
§ 2. МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ

ОЦЕНОК
Рассмотрим сначала метод моментов. Пусть требуется
оценить параметр θ ∈ Θ ⊂ R по имеющейся выборке X[n] =
= (X1 , . . . , Xn ). Рассмотрим борелевскую
∞ функцию g(x) :
R → R и определим функцию m(θ) = −∞ g(x)dFξ (x; θ).
Далее положим, что
∞
1
n
g(x)dFn∗ (x) = g(Xi ) = g. (2.1)
n i=1
−∞
Составим уравнение
1
n
m(θ) = ḡ = g(Xi ). (2.2)
n i=1
Предположим, что уравнение (2.2) имеет единственное реше-

ние θ̂(X[n] ), тогда будем это решение называть оценкой θ̂ неиз-
вестного параметра θ, полученной по методу моментов:
n
−1 1
θ̂(X[n] ) = m g(Xi ) .
n i=1
Введем следующее обозначение: h(·) = m−1 (·), оценка по ме-

тоду моментов при некоторых очевидных условиях является
статистикой первого типа. По теореме о предельном поведе-
нии статистики первого типа получаем сходимость:
п.н.
θ̂(X[n] ) −−−−→ θ.
n→∞
Свойства оценок, построенных по методу моментов:

1. Если функция m−1 (y) непрерывна на всей области опре-
деления, то оценка по методу моментов сильно состоя-
тельна.
2. Если m (θ) = 0 для всех θ ∈ Θ, тогда оценка по методу
моментов асимптотически нормальна с коэффициентом
Dg(ξ)
рассеяния (m (θ))2 , где θ — истинное значение параметра.
Метод моментов легко обобщить на многомерный случай, при

этом g(x) = (g1 (x), . . . , gk (x)), где k — число неизвестных па-
раметров, то есть θ = (θ1 , . . . , θk )T ∈ Θ ⊂ Rk . Название «ме-
тод моментов» связано с тем, что обычно в качестве функций
gi (x) берутся степенные функции: gi (x) = xi .
Пример 2.1. Пусть ξ ∼ N (a, σ 2 ), тогда θ = (a, σ 2 )T ∈ Θ = R×
× R+ . Выберем g(x) = (x, x2 ), тогда

Eξ a
Eg(ξ) = = ,
Eξ 2 σ 2 + a2
так как σ 2 = Dξ = Eξ 2 −(Eξ)2 = Eξ 2 −a2 . Нетрудно показать,

что ⎛ ⎞
n
1
⎜ n k=1 Xk ⎟ X̄
⎜
ḡ = ⎝ ⎟ = ,
1
n
2 ⎠ s2 + X̄ 2
n X k
k=1
1

n
так как s2 = n Xk2 − (X̄)2 . Таким образом, получили си-
k=1
стему:
a = X̄;
σ 2 + a2 = s2 + X̄ 2 .
Следовательно, оценки по методу моментов имеют следующий
вид:
â = X̄;
σ̂ 2 = s2 .
Пример 2.2. Рассмотрим равномерно распределенную слу-
чайную величину ξ с плотностью распределения:
1
fξ (x) = θ , x ∈ [0, θ];
0, x ∈/ [0, θ].
Так как неизвестный параметр один, то g(x) = x. Вычислим
математическое ожидание:
θ
1 1 2 θ
Eg(ξ) = Eξ = x dx = x = .
θ 2θ 2
0
Уравнение имеет вид:

θ
= X̄,
2
откуда получаем оценку:
2
n
θ̂ = 2X̄ = Xi .
n
k=1
1
n
Может оказаться, что k=1 Xi > θ/2, тогда θ̂ > θ. Данный
n
метод может дать сильно завышенную оценку.
Рассмотрим теперь метод максимального правдоподобия
построения точечных оценок. Пусть задана генеральная сово-
купность ξ с функцией распределения Fξ и плотностью рас-
пределения fξ (будем предполагать, что плотность распреде-
ления существует). Задана выборка X[n] = (X1 , . . . , Xn ) . Сов-
местная плотность распределения выборки имеет вид:

n
fX[n] (x1 , . . . , xn ) = fξ (xi ). (2.3)
i=1
В плотности распределения выборки существует неизвест-

ный параметр θ, поэтому ниже будем рассматривать совмест-
ную плотность распределения в виде:

n
fX[n] (x1 , . . . , xn |θ) = fξ (xi , θ),
i=1
подставив вместо x1 , . . . , xn выборку X[n] , получим:

n
fX[n] (X[n] |θ) = fξ (Xi , θ),
i=1
где θ = (θ1 , . . . , θm ) ∈ Θ.
Определение 2.1. Если генеральная совокупность имеет
плотность распределения fξ , то функцией правдоподобия вы-
борки X[n] будем называть функцию

n
L(X[n] , θ) = fξ (Xi , θ).
i=1
Определение 2.2. Если генеральная совокупность ξ — дис-

кретная случайная величина с возможными значениями {zi } и
соответствующими вероятностями pξ (zi , θ), то функцией прав-
доподобия выборки X[n] будем называть функцию

n
L(X[n] , θ) = pξ (Xi , θ).
i=1
Будем считать функцию правдоподобия функцией неиз-

вестного параметра θ. Для нахождения оценки параметра θ
решаем задачу:
max L(X[n] , θ).
θ∈Θ
Определение 2.3. Оценкой максимального правдоподобия па-

раметра θ называется оценка
θ̂(X[n] ) = arg max L(X[n] , θ), (2.4)
θ∈Θ
если решение задачи максимизации существует и единствен-

но.
Свойства оценок максимального правдоподобия:

1. Предположим, что существует взаимно однозначное со-
ответствие β : Θ ↔ B, пусть
b̂(X[n] ) = arg max L(X[n] , β −1 (b)). (2.5)

b∈B
Если решение (2.4) существует и единственно, то суще-

ствует и единственно решение (2.5), причем имеет место
равенство:
θ̂ = β −1 (b̂).
2. Если функция правдоподобия непрерывно дифференци-
руема, и выполнены некоторые условия гладкости, то
можно доказать, что оценки метода максимального прав-
доподобия — сильно состоятельны, асимптотически эф-
фективны и асимптотически нормальны [5, 20, 30].
Замечание 2.1. Часто вместо функции L(X[n] , θ) рассматри-
вают функцию ln L(X[n] , θ), поскольку функция ln(t) является
строго возрастающей функцией своего аргумента t и данный
переход правомерен.
Пример 2.3. Рассмотрим случайную величину ξ ∼ N (a, σ 2 ) с
плотностью распределения
1 (x−a)2
fξ (x) = √ e− 2σ2 .
2πσ
Функция правдоподобия имеет вид:
n

(Xi −a)2

n
1
−
i=1
2 2 2σ 2
L(X[n] , a, σ ) = fξ (Xi , a, σ ) = n e .
i=1
(2π) 2 σ n
Тогда

n
(Xi − a)2
1 i=1
ln L = ln − ,
1
((2π) 2 σ)n 2σ 2
n
продифференцируем по a: ∂ ln L/∂a = 0, или i=1 Xi −an = 0,
откуда â = X̄.
Продифференцируем по σ:

n
(Xi − a)2
∂ ln L n i=1
=− + = 0,
∂σ σ σ3

n
2
nσ = (xi − a)2 ,
i=1
откуда находим решение:
1 1
n n
σ̂ 2 = (Xi − a)2 = (Xi − X̄)2 = s2 .
n i=1 n i=1
Нетрудно проверить, что X̄ и s2 доставляют максимум функ-

ции правдоподобия.
Пример 2.4. Пусть случайная величина ξ подчиняется рав-

номерному распределению с плотностью:
1
θ, x ∈ [0, θ];
f (x, θ) =
0, x ∈ [0, θ].
Запишем функцию правдоподобия:

n 1
θn , если для ∀ i : Xi ∈ [0, θ];
L(X[n] , θ) = f (Xi , θ) =
0, если ∃ i : Xi ∈ [0, θ].
i=1
Построим вариационный ряд X(1) . . . X(n) . Таким обра-

зом, получаем:
1
θn , X(n) ∈ [0, θ];
L(X[n] , θ) =
0, ∃ k : X(k) ∈ [0, θ].
Очевидно, что оценка максимального правдоподобия θ̂(X[n] ) =

= X(n) .
§ 3. Достаточные статистики 291
§ 3. ДОСТАТОЧНЫЕ СТАТИСТИКИ
Пусть имеется выборка X[n] из генеральной совокуп-
ности ξ. Неизвестные параметры составляют вектор θ =
= (θ1 , . . . , θm ) ∈ Θ ⊂ Rm . Функция распределения генераль-
ной совокупности ξ имеет вид Fξ (·/θ).
Будем рассматривать некоторую статистику

S(X[n] ) = S1 (X[n] ), . . . , Sk (X[n] ) .
Обозначим через P (B/s) условное распределение выборки

X[n] при условии, что S(X[n] ) = s.
Распределение P (B/s), где B ∈ B(Rn ), называется услов-
ным распределением выборки X[n] при условии, что S(X[n] ) =
= s, если выполнены условия:
1. При любом фиксированном значении статистики s рас-
пределение P (·/s) является вероятностной мерой в про-
странстве (Rn , B(Rn )).
2. При любом фиксированном B функция P (B/·) как
функция второго аргумента является борелевской и
представляет собой условную вероятность P {X[n] ∈
∈ B/S = s}.
Определение 3.1. Статистика S(X[n] ) называется достаточ-

ной, если условное распределение выборки X[n] при условии,
что статистика S(X[n] ) принимает значение s, не зависит от
неизвестного параметра θ.
Если статистика является достаточной статистикой, то

можно говорить о том, что вся информация о параметре θ со-
держится в значении статистики S(X[n] ), и оставшийся «раз-
брос» элементов выборки уже не зависит от θ.
Пример 3.1. Пусть генеральная совокупность ξ подчиняется

k
распределению Пуассона: ξ ∼ λk! e−λ , λ > 0, k ∈ Z+ , Xi ∈ Z+ .
Тогда достаточная статистика имеет вид:

n
S(X[n] ) = Xi .
i=1
Действительно, пусть x = (x1 , . . . , xn ), xk ∈ Z+ , тогда
P {X[n] = x/S(X[n] ) = S(x) = s} =

P {X[n] = x, S(X[n] ) = S(x) = s} P {X[n] = x}
= = ,
P {S(X[n] ) = S(x) = s} P {S(X[n] ) = S(x) = s}
предполагается, что события совместны. Полученное пред-

ставление всегда верно для любых дискретных совокупностей.
Рассмотрим числитель:
P {X[n] = x} = P {X1 = x1 , . . . , Xn = xn } =

λ xi λs
= e−λn = e−λn .
x 1 ! . . . xn ! x 1 ! . . . xn !
Рассмотрим знаменатель:

P {S(X[n] ) = S(x) = s} = P {X[n] = y} =
y:S(y)=s
λs ns −λn s! 1 λs ns −λn
= e · s = e .
s! y:y +...+y
y ! . . . yn ! n
=s 1
s!
1 n
Тогда условная вероятность имеет вид:
P {X[n] = x} s! 1
= .
P {S(X[n] ) = S(x) = s} x1 ! . . . xn ! ns
И, как легко видеть, представляет собой полиномиальное рас-

пределение, в котором n исходов, вероятность каждого исхода
равна 1/n (исходы равновероятны), s — количество испыта-
ний, x1 — количество исходов с номером 1, . . ., xn — ко-
личество исходов с номером n. Вероятность того, что в по-
следовательности таких s испытаний произойдет x1 исходов с
номером 1, . . ., xn исходов с номером n, такова:
s! 1
P {x1 , . . . , xn } = .
x1 ! . . . xn ! ns
§ 4. Теорема Неймана–Фишера. Теорема Колмогорова 293
Замечание 3.1. Если статистика S(X[n] ) является достаточ-

ной, то взаимно однозначная функция от S(X[n] ) также до-
статочная статистика. Следовательно, возвращаясь к примеру,
получаем:
1
n
S̃(X[n] ) = Xi = X̄,
n i=1
также является достаточной статистикой в примере 3.1.
§ 4. ТЕОРЕМА НЕЙМАНА–ФИШЕРА.
ТЕОРЕМА КОЛМОГОРОВА
Теорема 4.1 (теорема Неймана–Фишера). Пусть имеет-
ся выборка X[n] из генеральной совокупности ξ с функци-
ей распределения Fξ . Пусть θ ∈ Θ — вектор неизвестных
параметров распределения. Для того, чтобы статистика
S(X[n] ) была достаточной необходимо и достаточно, что-
бы функция правдоподобия L(X[n] , θ) была представима в
виде:
L(X[n] , θ) = G(S(X[n] ), θ)H(X[n] ),
где G, H — измеримые функции, причем функция G зависит
от выборки только через значения статистики S(X[n] ), а
функция H не зависит от неизвестного параметра θ.
Доказательство. Теорему Неймана–Фишера докажем толь-
ко для двух случаев. Рассмотрим дискретный случай. Дока-
жем достаточность. Найдем условную вероятность:
P {X[n] = x/S(X[n] ) = s} =
P {X[n] = x} P (x ) . . . Pξ (xn )
= = ξ 1 =
P {X[n] = y} Pξ (y1 ) . . . Pξ (yn )
y:S(y)=s y:S(y)=s
L(x; θ) G(s, θ)H(x) H(x)

= = = .
L(y, θ) G(s, θ)H(y) H(y)
y:S(y)=s y:S(y)=s y:S(y)=s
Видим, что условная вероятность не зависит от θ. Теперь дока-

жем необходимость. Пусть условная вероятность не зависит от
неизвестных параметров. Обозначим через H(x) вероятность

P {X[n] = x/S(X[n] ) = S(x) = s}, и, как легко заметить,
L(x, θ) = P {X[n] = x} = P {S(X[n] ) = s}H(x).
Вероятность
P {S(X[n] ) = S(x) = s} = G(s, θ)
зависит от неизвестных параметров θ и зависит от x только

через значение статистики, справедливо равенство:
L(x, θ) = G(s, θ)H(x).
Рассмотрим «гладкий» случай. Будем считать, что существу-

ет плотность распределения fξ (·), борелевские функции S(x)
дифференцируемы для всех x ∈ Rn , S(x) ∈ Rk . Будем пред-
полагать, что мы можем дополнить статистику S статистикой
T (x) ∈ Rn−k , при этом
(s, t) = (S(x), T (x)),
где x ∈ Rn . Будем считать, что x взаимно однозначно соответ-

ствует (s, t). Пусть (s, t) диффиренцируемо по x, и, наоборот,
обратное отображение диффиренцируемо по s и t.
Плотность выборки запишем в виде:

n
fX[n] (x) = L(x, θ) = fξ (xi , θ).
i=1
Рассмотрим, что происходит с плотностью при взаимно одно-

значном отображении:

∂x

fS,T (s, t) = fX[n] (x(s, t)) det .
∂(s, t)
Докажем достаточность (факторизация выполнена). Пусть
fX[n] (x) = G(S(x), θ)H(x),

тогда

∂x

fS,T (s, t) = G(s, θ)H(x(s, t)) det .
∂(s, t)

fS,T (s, t) H(x(s, t)) det ∂(s,t)
∂x

fT /S (t/s) = =
.
fS (s)
H(x(s, t)) det ∂(s,t)
∂x
dt
Rn−k
Как видим, fT /S (t/s) не зависит

от θ, но тогда вероятность
P {X[n] ∈ B/S(X[n] ) = s} = Rn−k I{x(s, t) ∈ B}fT /S (t/s)dt не
зависит от θ.
Необходимость следует из того факта, что fT /S (t/s) не
зависит от θ, но тогда справедливо равенство:
fX[n] (x) = G(S(x), θ)H(x),

где H(x) = fT /S (t(x)/s(x)) det ∂(s,t)
∂x , G(S(x), θ) =
= fS (s(x)).
Пример 4.1. Предположим, что генеральная совокупность ξ

подчиняется нормальному распределению: ξ ∼ N (a, σ 2 ), θ =
T
= a, σ 2 ∈ R × R+ , тогда

n
n
1 (Xi −a)2
L(X, θ) = fξ (Xi ) = √ exp− 2σ2 =
i=1 i=1
2πσ

n
1 − 2σ12 (Xi −a)2
= n e i=1 = G(S(X[n] ), θ),
(2π) 2 σ n
и функция H(x) = 1. В качестве достаточной статистики
S(X[n] ) можно выбрать:
⎛ n ⎞

X
⎜ i=1 i ⎟ s1 (x)
⎜ n ⎟= = S(x).
⎝ 2 ⎠ s2 (x)
Xi
i=1
Сделаем взаимно однозначное преобразование:

⎧
⎪
n
n
⎪
⎨ S̃2 = a∗2 − (a∗1 )2 = n1 Xi2 − ( n1 Xi )2 ,
i=1 i=1
⎪
n
⎪
⎩ S̃1 =
1
n Xi .
i=1
Следовательно, (X̄, s2 ) — достаточная статистика, и (X̄, s̃2 )

также достаточная статистика.
Пример 4.2. Пусть случайная величина ξ подчиняется экспо-

ненциальному распределению с параметром λ с плотностью:

λe−λy , y > 0;
fξ (y) =
0, y 0.
Тогда
⎧
⎨
n
−λ xi
fX[n] (x) = L(x, θ) = λ e n i=1 , если для ∀ i: xi > 0;
⎩ 0, если ∃ i: xi 0.
Из теоремы 4.1 следует, что X̄ — достаточная статистика,

здесь H(x) = 1.
Теорема 4.2 (теорема Колмогорова–Рао–Блекуэлла). Пусть

имеется выборка X[n] из генеральной совокупности ξ.
Пусть θ ∈ Θ ⊂ R — неизвестный параметр распределения
генеральной совокупности, θ̂(X[n] ) — несмещенная оценка
параметра θ, S(X[n] ) — достаточная статистика. Введем
обозначение
θ̂S = E(θ̂/S(X[n] )).
Справедливы утверждения:
1. θ̂S — несмещенная оценка параметра θ.
2. θ̂S = g(S(X[n] )), т. е. θ̂S зависит от выборки X[n]
только через достаточную статистику S.
3. Dθ̂S Dθ̂, при этом равенство возможно только, ес-
ли оценки θ̂S и θ̂ почти наверное совпадают.

Доказательство. Заметим, что θ̂s = Rn θ̂(x)P (dx/S = s)
не зависит от θ и измеримо по s. Таким образом, θ̂s действи-
тельно является оценкой. Очевидно, что θ̂S = E(θ̂/S(X[n] ))
зависит от выборки только через статистику S.
По свойству условных математических ожиданий получа-
ем, что E θ̂s = EE(θ̂/S) = E θ̂ = θ, что говорит о несмещенно-
сти оценки θ̂s .
Воспользуемся свойствами условных математических ожи-
даний:
Dθ̂ = E(θ̂ − θ ± θ̂s )2 = E((θ̂ − θ̂s ) + (θ̂s − θ))2 =

= E(θ̂ − θ̂s )2 + E(θ̂s − θ)2 + 2E{(θ̂ − θ̂s )(θ̂s − θ)}.
Рассмотрим отдельно третье слагаемое:
E{(θ̂ − θ̂s )(θ̂s − θ)} = E{(θ̂s − θ)E[(θ̂ − θ̂s )/S]} = 0.
Получаем
Dθ̂ = E(θ̂ − θ̂s )2 + Dθ̂s ,
откуда следует, что
Dθ̂ Dθ̂s .
Причем Dθ̂ = D θ̂s равносильно тому, что E(θ̂ − θ̂s )2 = 0 или
θ̂ почти наверное совпадает с θ̂s .
Замечание 4.1. Теорема 4.2 переносится на многомерный

случай.
Рассмотрим еще одно свойство достаточной статистики.
Лемма 4.1. Если достаточная статистика существует, то

оценка максимального правдоподобия неизвестного параметра
является функцией от достаточной статистики.
Доказательство. Пусть θ ∈ Θ ⊂ Rk . Запишем функцию

правдоподобия:
L(X[n] , θ) = G(S(X[n] ), θ)H(X[n] ).

Для оценки максимального правдоподобия справедливы ра-

венства:
θ̂(X[n] ) = arg max L(X[n] , θ) =

θ∈Θ
= arg max G(S(X[n] ), θ) = θ̂(S(X[n] )),

θ∈Θ
что доказывает справедливость леммы.
§ 5. НЕРАВЕНСТВО РАО–КРАМЕРА
Пусть имеется выборка X[n] из генеральной совокупности
ξ с функцией распределения Fξ (x, θ) и плотностью распреде-
ления fξ (x, θ), где θ ∈ Θ ⊂ R — неизвестный параметр.
Замечание 5.1. Все результаты этого параграфа можно пере-

нести на дискретный случай.
Функция правдоподобия имеет вид:

n
L(X[n] , θ) = fξ (Xi , θ),
i=1
совместная плотность выборки

n
fX[n] (x, θ) = L(x, θ) = fξ (xi , θ).
i=1
Выполняется равенство:

L(x, θ)dx = 1. (5.1)
Rn
Пусть имеется оценка θ̂(X[n] ) неизвестного параметра θ:

E θ̂ = θ̂(x1 , . . . , xn )L(x, θ)dx = h(θ). (5.2)
Rn
§ 5. Неравенство Рао–Крамера 299
Обозначим через In (θ) математическое ожидание:

2 2
∂ ln L(X(n) , θ) ∂ ln L(x, θ)
In (θ) = E = L(x, θ)dx.
∂θ ∂θ
Rn
Определение 5.1. Величина In (θ), если математическое ожи-

дание существует и конечно, называется информационным ко-
личеством Фишера (соответствующим выборке объема n).
Будем предполагать, что выполнены условия регулярно-
сти:
• Для информационного количества Фишера выполнено
неравенство 0 < In (θ) < ∞ для любого θ ∈ Θ.
• Равенства (5.1) и (5.2) можно продифференцировать и
получить уравнения:

∂L(x, θ)
dx = 0, (5.3)
∂θ
Rn

∂L(x, θ)
θ̂(x1 , . . . , xn ) dx = h (θ). (5.4)
∂θ
Rn
• Множество N = {x ∈ Rn : L(x, θ) = 0} не зависит от θ.

Теорема 5.1 (неравенство Рао–Крамера). Пусть имеет-
ся генеральная совокупность ξ c функцией распределения
Fξ (y, θ), где θ ∈ Θ ⊂ R. Задана выборка X[n] из генеральной
совокупности ξ, и выполнены условия регулярности, тогда
справедливо неравенство:
(h (θ))2
Dθ̂ . (5.5)
In (θ)
Доказательство. Перепишем (5.3) и (5.4) следующим об-

разом:

∂ ln L(x, θ) ∂ ln L(X[n] , θ)
L(x, θ)dx = E = 0,
∂θ ∂θ
Rn

∂ ln L(x, θ)
θ̂(x) L(x, θ)dx =
∂θ
Rn

∂ ln L(X[n] , θ)
= E θ̂(X[n] ) = h (θ).
∂θ
Заметим, что множество N = {x : L(x, θ) = 0} — множество
меры нуль, так как

P {X[n] ∈ N } = L(x, θ)dx = 0.
N
Умножим первое равенство на E θ̂ и вычтем из второго:

∂ ln L(X[n] , θ)
E (θ̂(X[n] ) − E θ̂) = h (θ).
∂θ
Сделаем обозначения:
η1 = (θ̂(X[n] ) − E θ̂),
∂ ln L(X[n] , θ)
η2 = .
∂θ
Воспользуемся неравенством Коши–Шварца–Буняковского:
(h (θ))2 = (E{η1 η2 })2 Eη12 Eη22 = Dθ̂In (θ).
Замечание 5.2. Неравенство (5.5) выполнено как равенство

п.н.
тогда и только тогда, когда η1 = A(θ)η2 (следует из неравен-
ства Коши-Шварца-Буняковского), т. е.
п.н. ∂ ln L
(θ̂(X[n] ) − E θ̂) = A(θ) .
∂θ
Замечание 5.3. Если E θ̂ = θ для любого θ ∈ Θ (то есть
оценка — несмещенная), то справедливо неравенство:
1
Dθ̂ .
In (θ)
§ 5. Неравенство Рао–Крамера 301
∂ ln L 2
Замечание 5.4. По определению In (θ) = E ∂θ . Заметим,
что
∂ ln L(X[n],θ )
E = 0.
∂θ
Следовательно, имеют место равенства:
2
∂ ln L ∂ ln L(X[n] , θ)
In (θ) = E =D =
∂θ ∂θ
n
∂ ln fξ (Xi , θ) n
∂ ln fξ (Xi , θ)
=D = D = nI1 (θ),
i=1
∂θ i=1
∂θ
где I1 (θ) — информационное количество Фишера, соответству-

ющее одному наблюдению. Как видим, наблюдается линейный
рост информации.
Из неравенства Рао–Крамера можно сделать вывод, что
в регулярном случае дисперсия не может убывать быстрее,
чем 1/n. Для «хороших» оценок дисперсия должна убывать,
разброс должен становиться меньше с ростом n. Для несме-
щенных оценок при выполнении условий регулярности оценка
эффективна, если неравенство Рао–Крамера выполнено как
равенство.
Справедлива еще одна формула для вычисления In (θ) при
выполнении дополнительных условий, которые необходимы
для корректного проведения всех последующих преобразова-
ний. Продифференцируем равенство

∂ ln L(x, θ)
L(x, θ)dx = 0
∂θ
Rn
еще один раз, получаем:
2 2
∂ ln L(x, θ) ∂ ln L(x, θ)
L(x, θ)dx + L(x, θ)dx = 0,
∂θ ∂θ
Rn Rn
или, что тоже самое:
2 2
∂ ln L(X[n] , θ) ∂ ln L(X[n] , θ)
E +E = 0.
∂θ ∂θ2
Откуда сразу получаем равенство:

2
∂ ln L(X[n] , θ)
In (θ) = −E .
∂θ2
Замечание 5.5. Справедлив аналог неравенства Рао–Крамера

для многомерного случая. Пусть θ ∈ Θ ⊂ Rk , пусть E θ̂(X[n] ) =
= θ, тогда
Dθ̂ (In (θ))−1 ,
где In — информационная матрица Фишера, а Dθ̂ — ковариа-
ционная матрица:
& *
∂ ln L(X[n] , θ) ∂ ln L T
In (θ) = E ,
∂θ ∂θ

Dθ̂ = E (θ̂ − θ)(θ̂ − θ)T .
Таким образом, матрица Dθ̂ −(In (θ))−1 0 — неотрицательно

определенная.
Пример 5.1. Пусть ξ ∼ N (a, σ 2 ), методы максимального прав-

доподобия и моментов дали оценку â = X̄, которая являет-
ся сильно состоятельной, несмещенной, асимптотически нор-
мальной оценкой. Выясним, обращается ли неравенство Рао–
Крамера в равенство. Действительно, можно заметить, что

n
(Xi − a)
∂ ln L i=1 n
= = (X̄ − a),
∂a σ2 σ2
где n

i (X −a)2
1 − i=1 2σ2
L(X[n] , a) = n e .
(2π) 2 σ n
Как следует из замечания 5.2, X̄ — эффективная оценка.
Глава 16
ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ
§ 1. АСИМПТОТИЧЕСКИЕ ДОВЕРИТЕЛЬНЫЕ
ИНТЕРВАЛЫ
пределения Fξ (x). Имеется выборка X[n] = (X1 , . . . , Xn ) из
этой генеральной совокупности и неизвестный параметр рас-
пределения θ ∈ Θ ⊂ R.
Определение 1.1. Пусть для некоторого ε ∈ (0, 1) существу-
ют статистики S − (X[n] , ε) и S + (X[n] , ε) такие, что
, -
P S − (X[n] , ε) < θ < S + (X[n] , ε) = 1 − ε,

тогда интервал S − (X[n] , ε), S + (X[n] , ε) называется довери-
тельным интервалом для параметра θ с уровнем доверия
(1 − ε).
Определение 1.2. Пусть для некоторого ε ∈ (0, 1) существу-
ют статистики S − (X[n] , ε) и S + (X[n] , ε) такие, что
, -
lim P S − (X[n] , ε) < θ < S + (X[n] , ε) = 1 − ε,
n→∞

тогда интервал S − (X[n] , ε), S + (X[n] , ε) называется асимпто-
тическим (приближенным) доверительным интервалом с уров-
нем доверия 1 − ε.
Построение асимптотических доверительных интервалов
основано на асимптотически нормальных оценках. Предполо-
жим, что оценка θ̂ = θ̂(X[n] ) является асимптотически нор-
√ d
мальной, т. е. n(θ̂ − θ) −−−−→ ζ ∼ N (0, σ 2 ), где дисперсия
n→∞
304 Глава 16. Доверительные интервалы
σ 2 (θ) — коэффициент асимптотического рассеивания. Пред-

положим, что функция σ 2 (θ) непрерывна на Θ и отлична от
нуля для любого θ ∈ Θ.
√ d
Лемма 1.1. Случайный вектор ( n(θ̂ − θ), θ̂) −−−−→ (ζ, θ), где
n→∞
ζ подчиняется нормальному распределению N (0, σ 2 (θ)).
Доказательство. Покажем,
√ что характеристическая функ-
ция случайного вектора ( n(θ̂ − θ), θ̂) удовлетворяет условию:
ϕ(√n(θ̂−θ),θ̂) (t1 , t2 ) −−−−→ ϕ(ζ,θ) (t1 , t2 ) = Eeit1 ζ+it2 θ .

n→∞
Действительно,
√
n(θ̂−θ)+i(t2 θ̂±θt2 )
ϕ(√n(θ̂−θ),θ̂) (t1 , t2 ) = Eeit1 =
√ t t2
i n(θ̂−θ)(t1 + √2n )
= Ee eit2 θ = eit2 θ ϕ√n(θ̂−θ) (t1 + √ ) =
n

t2 t2
= eit2 θ ϕ√n(θ̂−θ) t1 + √ − ϕ ζ t1 + √ +
n n

t2
+ ϕζ t 1 + √ .
n
√
При этом ϕζ (t1 + t2 / n) −−−−→ ϕζ (t1 ), так как любая харак-
n→∞
теристическая функция равномерно непрерывна.
Имеет место сходимость:

t2 t2
ϕ n(θ̂−θ) t1 + √
√ − ϕ ζ t1 + √ −−−−→ 0,
n n n→∞
так как при любом t: ϕ√n(θ̂−θ) (t) → ϕζ (t) и сходимость рав-
номерна на любом конечном промежутке [22]. Следовательно,
выполняется сходимость:
ϕ(√n(θ̂−θ),θ̂) (t1 , t2 ) −−−−→ eit2 θ ϕζ (t1 ) =

n→∞
= Eeit2 θ+iζt1 = ϕ(ζ,θ) (t1 , t2 ).
Лемма доказана.
§ 1. Асимптотические доверительные интервалы 305
Рассмотрим функцию от двух переменных H(x1 , x2 ) =

= x1 /σ(x2 ), она непрерывна на R × Θ. Случайный вектор
(ζ, θ) ∈ R × Θ, следовательно, можем воспользоваться теоре-
мой непрерывности:
√ d ζ
H( n(θ̂ − θ), θ̂) −−−−→ H(ζ, θ) = ∼ N (0, 1).
n→∞ σ(θ)
Таким образом, имеет место сходимость:

√
n(θ̂ − θ) d
−−−−→ η ∼ N (0, 1).
σ(θ̂) n→∞
Тогда справедливо соотношение:

& √ *
n(θ̂ − θ)
P −z1− α2 < < z1− α2 −−−−→ 1 − α =
σ(θ̂) n→∞
z1− α
2
1 y2
=√ e− 2 dy,
2π
−z1− α
2
где z1− α2 — квантиль стандартного нормального распределе-

ния уровня 1 − α/2, т. е. F (z1− α2 ) = 1 − α/2, где F (x) —
функция стандартного нормального распределения. Получаем
асимптотический доверительный интервал с уровнем доверия
1 − α:
& *
σ(θ̂) σ(θ̂)
P θ̂ − z1− α2 √ < θ < θ̂ + z1− α2 √ ≈ 1 − α.
n n
Ширина доверительного интервала характеризует точность

интервальной оценки.
Рассмотрим схему Бернулли, в которой n испытаний.
Пусть m — число успехов. Выборка X[n] = (a1 , . . . , an ) со-
стоит из последовательности нулей и единиц, тогда функция
правдоподобия имеет вид:
L(X[n] , p) = pm q n−m , p ∈ Θ = (0, 1),

где m — число единиц в выборке. Логарифмическая функция

правдоподобия имеет вид:
ln L = m ln p + (n − m) ln(1 − p).
Найдем оценку максимального правдоподобия:

∂ ln L m n−m m − mp − np + mp
= − = = 0.
∂p p 1−p p(1 − p)
Следовательно, получаем оценку:
m
p̂ = .
n
Убеждаемся, что p̂ максимизирует функцию правдоподобия:
∂ 2 ln L m n−m
2
=− 2 − < 0.
∂p p (1 − p)2
Следовательно, p̂ = m/n — точка максимума или оценка по
методу максимального правдоподобия. Нетрудно показать, что
оценка p̂ асимптотически нормальна:

n
ξi − np
√
m m − np
i=1
n −p = √ = √ =
n n n
n
(ξi − p)
d
= i=1 √ −−−−→ ζ ∼ N (0, pq),
n n→∞
где P {ξi = 1} = p, P {ξi = 0} = q = 1 − p, σ 2 = pq = p(1 − p).

Воспользуемся доказанным утверждением:
√
n(θ̂ − θ) d
−−−−→ η ∼ N (0, 1).
σ(θ̂) n→∞
Тогда имеет место сходимость:

√ m
n( − p) d
2 m n m −−−−→ η ∼ N (0, 1).
n (1 − n ) n→∞
§ 2. Распределения статистик для выборок 307
Следуя приведенным выше рассуждениям, получаем асимпто-

тический доверительный интервал с уровнем доверия 1 − α
для вероятности p:
2m 2m
m (1 − m
n) m (1 − m
n)
− z1− α2 n
√ , + z1− α2 n
√ .
n n n n
§ 2. РАСПРЕДЕЛЕНИЯ СТАТИСТИК
ДЛЯ ВЫБОРОК ИЗ НОРМАЛЬНОЙ
ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ
Пусть имеется генеральная совокупность ξ ∼ N (a, σ 2 ) и

выборка X[n] из этой генеральной совокупности. Если ξ —
гауссова случайная величина, то функция плотности ее рас-
пределения имеет вид:
1 (x−a)2
fξ (x) = √ e− 2σ2 , x ∈ R,
2πσ
а если ξ — гауссов случайный вектор, то
1 1 T
Σ−1 (x−a)
fξ (x) = n2 e− 2 (x−a) , x ∈ Rm .
(2π) 2 |Σ|
В первом случае предполагается, что σ 2 > 0, а во-втором —

что det |Σ| = 0.
Любому распределению взаимно однозначно соответствует
характеристическая функция. С помощью характеристических
функций легко получить, что компоненты гауссова случайно-
го вектора независимы тогда и только тогда, когда ковариа-
ционная матрица Σ диагональна или, другими словами, когда
равны нулю попарные ковариации всех компонент.
Лемма 2.1. Пусть ζ — случайный вектор размерности m,

подчиняющийся многомерному нормальному распределению
N (a, Σ), пусть A — любая матрица размерности n × m, b —
вектор размерности n×1. Тогда вектор η = Aζ
+b подчиняется

нормальному распределению с параметрами Aa + b; AΣAT .
Доказательство. Рассмотрим
T T T
ϕη (t) = Eeit η
= eit b Eei(t A)ζ
=
itT b T
(Aa+b)− 12 tT AΣAT t
=e ϕζ (t A) = eit
T
,
где Aa + b — математическое ожидание, AΣAT — ковариаци-

онная матрица случайного вектора η.

Лемма 2.2. Пусть ξ = (ξ1 , . . . , ξn )T ∼ N 0, σ 2 En и ξ¯ =
1 n
= n i=1 ξi — среднее арифметическое. Тогда ξ¯ и вектор
¯ ¯
ξ1 − ξ, . . . , ξn − ξ взаимно независимы.
Доказательство. Возьмем любой элемент вектора, напри-

¯ и проверим его независимость с ξ.
мер ξk − ξ, ¯ Рассмотрим
разность:
1
n
ξk − ξ¯ = ξk − ξi =
n i=1
1 1 n−1 1 1
= − ξ1 − . . . − ξk−1 + ξk − ξk+1 − . . . − ξn =
n n n n n
1 1 n−1 1 1
= − ,...,− , ,− ,... − ξ,
n n n n n

1 1 1 1
ξ¯ = ξ1 + . . . + ξn = ,..., ξ.
n n n n
1
− n , . . . , − n1 , n−1 1 1
n , −n, . . . , −n ξk − ξ¯
1 1 1 ξ= .
n, n, . . . , n ξ¯
Тогда по лемме 2.1 получаем:

ξk − ξ¯ 0 σ12 0
∼N , ,
ξ¯ 0 0 σ22
§ 3. Распределение Стьюдента 309
1 2
где σ12 = n−1 2 2
n σ , σ2 = nσ , внедиагональные элементы равны
нулю, поскольку
T
1 1 n−1 1 1 1 1
σ2 − , . . . , − , ,− ,...,− ,..., =
n n n n n n n
−(n − 1) + (n − 1)
= σ2 = 0.
n2
T
Лемма 2.3. Пусть ξ = (ξ1 , . . . , ξm ) ∼ N (0, Em ), CC T =

m
= C T C = Em и η = Cξ. Тогда τ = ξk2 − η12 − . . . − ηr2 подчи-
k=1
няется распределению хи-квадрат с m − r степенями свободы,
и случайные величины η1 , . . . , ηr взаимно независимы с τ .
Доказательство. Из леммы 2.1 следует, что η ∼
∼ N (0, Em×m ). Как легко видеть, имеет место равенство:

m
m
ξi2 = ξ T ξ = ξ T C T Cξ = η T η = ηi2 .
i=1 i=1
Следовательно, справедливо равенство:

m
m
ξi2 − η12 − . . . − ηr2 = ηj2 ,
i=1 j=r+1
полученное равенство доказывает лемму.
§ 3. РАСПРЕДЕЛЕНИЕ СТЬЮДЕНТА
Определение 3.1. Пусть заданы случайные величины ζ ∼
∼ N (0, 1) и τk ∼ χ2k . Пусть случайные величины ζ и τk вза-
имно независимы. Распределение случайной величины
ζ
ξ = 2 τk
k
называется распределением Стьюдента с k степенями свободы

и обозначается через Tk .
Замечание 3.1. Очевидно, что если ζ ∼ N (0, 1) и ζ1 ,. . .,ζk —

взаимно независимые случайные величины, подчиняющиеся
стандартному нормальному распределению, независимые с ζ,
тогда
ζ
! 2 2
∼ Tk .
ζ1 +...+ζk
k
Лемма 3.1. Пусть ζ = η/ξ, где η, ξ — взаимно независимые

п.н.
случайные величины. Пусть ξ > 0, fξ (x), fη (y) — плотности
распределения ξ и η соответственно, тогда плотность распре-
деления fζ (z) дроби ζ имеет вид:
∞
fζ (z) = xfξ (x)fη (zx)dx.
0
Доказательство. Найдем функцию распределения случай-

ной величины ζ:

Fζ (z) = P {ζ z} = fξ (x)fη (y)dxdy =
y
{(x,y): x z,x>0}
⎛ ⎞
∞ zx ∞ z
= fξ (x)fη (y)dydx = fξ (x) ⎝ fη (xs)xds⎠ dx.
0 −∞ 0 −∞
Положим s = y/x, dy = xds. Меняем порядок интегрирования:

⎛ ⎞
z ∞
Fζ (z) = ⎝ xfξ (x)fη (xs)dx⎠ ds.
−∞ 0
Полученное равенство доказывает лемму.

√
Лемма 3.2. Пусть η ∼ N (0, 1), ξ = τ , τ ∼ χ2k . Пусть слу-
чайные величины η и τ взаимно независимы. Тогда случайная
величина ζ = η/ξ имеет плотность распределения следующего
вида:
Γ( k+1 ) 1
fζ (z) = √ 2 k k+1 .
πΓ( 2 ) (1 + z 2 ) 2
§ 3. Распределение Стьюдента 311
Доказательство. Распределение хи-квадрат с k степенями

свободы представляет собой гамма-распределение с парамет-
рами формы k/2 и масштаба 1/2:
& k −1
k x
( 12 ) 2 xΓ(2 k ) e− 2 , x > 0;
fτ (x) = 2
0, x 0.
Как легко заметить, имеет место равенство:

√
P { τ x} = P {τ x2 },
тогда
& 2
1 xk−1 − x2
2 e , x > 0;
f√ τ (x) = 2xfτ (x ) = k
2 2 −1 Γ( k
2)
0, x 0.
Следовательно, имеют место равенства:
∞
fζ (z) = xfξ (x)fη (zx)dx =
0
∞
1 x2 z 2 x2
= k √ x k e− 2 e− 2 dx =
2 2 −1 Γ( k2 ) 2π
0
∞
1 x2
(z 2 +1)
= k−1 √ x k e− 2 dx =
2 2 Γ( k2 ) π
0
∞ k−1 k−1
1 2 2 u 2 1
= k−1 √ e−u du =
2 2 πΓ( k2 ) (z 2 + 1)
k−1
2 z2 + 1
0
∞
1 1 k+1
=√ u 2 −1 e−u du,
k+1
πΓ( k2 ) (z 2 + 1) 2
0
∞ k+1
где u = x2 (z 2 + 1)/2, xdx = du/(z 2 + 1), причем u 2 −1 e−u ×
0
× du = Γ k+1 2 . Лемма доказана.
Следствие 3.1. Плотность распределения Стьюдента с k

степенями свободы имеет вид:
Γ( k+1 ) 1
f (z) = √ 2 k k+1 . (3.1)
πkΓ( 2 ) 1 + z2 2
k
Доказательство. Для доказательства

√ достаточно заме-
тить, что случайная величина kζ подчиняется распределе-
нию Стьюдента с k степенями свободы и f√kζ (z) = √1k fζ ( √zk ).
Замечание 3.2. Можно показать, что для плотности f (z) из

выражения (3.1) имеет место сходимость:
1 z2
f (z) −−−−→ √ e− 2 .
k→∞ 2π
§ 4. ТОЧНЫЕ ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ

ДЛЯ НОРМАЛЬНОЙ ГЕНЕРАЛЬНОЙ
СОВОКУПНОСТИ
Теорема 4.1. Пусть задана выборка X[n] из генеральной
совокупности ξ ∼ N (a, σ 2 ). Справедливы утверждения:
√
1. Статистика X̄−a σ n подчиняется стандартному
нормальному распределению.
1

n √
2. Если s̃2 = n−1 (Xi − X̄)2 , тогда статистика X̄−a
s̃ n
i=1
подчиняется распределению Стьюдента с n − 1 сте-
пенью свободы. 2
3. Статистика (n−1)s̃
σ2 подчиняется распределению хи-
квадрат с n − 1 степенью свободы.

n 2
4. Если s20 = n1 (Xi − a)2 , тогда статистика ns
σ 2 под-
i=1
чиняется распределению хи-квадрат с n степенями
свободы.
Доказательство. В лемме 2.1 было показано, что линей-
ное преобразование не меняет тип нормального распределения
и изменяет только параметры. Тогда утверждение 1 теоремы
очевидно.
§ 4. Точные доверительные интервалы 313
1
n
s̃2 = (Xi − X̄)2 =
n − 1 i=1
⎛ n 2 ⎞
1 ⎝
n
1
= (Xi − a)2 − n (Xi − a) ⎠ =
n − 1 i=1 n i=1
⎛ ⎛ ⎞2 ⎞
1 ⎜ n
1 n
⎟
⎝ (Xi − a) − ⎝ √ (Xj − a)⎠ ⎠ .
2
=
n − 1 i=1 n j=1
Тогда справедливо равенство:

⎛ ⎞2
n 2 n
(n − 1)s̃2 Xi − a 1 X − a ⎠ .
−⎝
j
= √
σ2 i=1
σ j=1
n σ
Введем обозначение:
⎛ X1 −a
⎞
σ
δ=⎝ ... ⎠,
Xn −a
σ
при этом δ подчиняется многомерному нормальному распреде-

лению с параметрами (0, En√ ). √
Рассмотрим строку (1/ n, . . . , 1/ n) = C1 . При этом
нетрудно заметить, что C1 C1T = 1, тогда методом ортогонали-
зации Грама–Шмидта последовательно получим n − 1 строку
C2 , . . . , Cn . Строки будут ортогональными и нормированными.
Составим матрицу: ⎛ ⎞
C1
C = ⎝ ... ⎠.
Cn
Рассмотрим преобразование Cδ = η, из лемм 2.1 и 2.3 следует:
(n − 1)s̃2 n
= δ12 − η12 ∼ χ2n−1 ,
σ2 i=1
n X −a n
где δi = Xiσ−a , η1 = j=1 √1n jσ = j=1 √1n δi = C1 δ. Утвер-
ждение 3 теоремы доказано.
В лемме 2.2 было доказано, что (X1 − X̄, . . . , Xn − X̄) и
X̄ − a взаимно независимы. Рассмотрим дробь Стьюдента:
X̄−a √
n X̄ − a √
! σ
= n ∼ Tn−1 .
1 (n−1)s̃2 s̃
n−1 σ2
Таким образом, доказано утверждение 2 теоремы.

Утверждение 4 следует из определения:

n
(Xi − a)2 n
2
ns20 Xi − a
= i=1
= ∼ χ2n .
σ2 σ2 i=1
σ
Точные доверительные интервалы для нормальной гене-
ральной совокупности можно построить по следующим пра-
вилам:
1. Если a неизвестно, σ 2 известно, тогда

σ σ
P X̄ − √ z1− 2ε < a < X̄ + √ z1− 2ε = 1 − ε,
n n
где z1− 2ε — квантиль стандартного нормального распре-
деления.
2. Если a неизвестно, σ 2 неизвестно, то доверительный ин-
тервал для a будет иметь вид:

s̃ s̃
P X̄ − √ t1− 2 < a < X̄ +
ε √ t1− 2 = 1 − ε,
ε
n n
где t1− 2ε — квантиль распределения Стьюдента с n − 1

степенью свободы.
3. Предположим, что a неизвестно, σ 2 неизвестно и необхо-
димо построить доверительный интервал для σ 2 . Пусть
ε = ε1 + ε2 . Пусть u1−ε2 — квантиль распределения хи-
квадрат с n − 1 степенью свободы уровня 1 − ε2 , uε1 —
§ 4. Точные доверительные интервалы 315
квантиль распределения хи-квадрат с n−1 степенью сво-

боды уровня ε1 , тогда доверительный интервал для σ 2
будет следующим:

(n − 1)s̃2 2 (n − 1)s̃2
P <σ < = 1 − ε.
u1−ε2 u ε1
4. Если a известно, σ 2 неизвестно, тогда доверительный

интервал строится так же, как и в случае 3, только в
качестве статистики рассматривается статистика ns20 /σ 2
из пункта 4 теоремы 4.1. Пусть vε1 — квантиль распре-
деления хи-квадрат с n степенями свободы уровня ε1 ,
v1−ε2 — квантиль распределения хи-квадрат с n степеня-
ми свободы уровня 1−ε2 , тогда доверительный интервал
для σ 2 будет

ns20 2 ns20
P <σ < = 1 − ε,
v1−ε2 v ε1
здесь ε = ε1 + ε2 .
Обычно при построении доверительных интервалов для
дисперсии выбирают ε1 = ε2 = ε/2.
Глава 17
ПРОВЕРКА
СТАТИСТИЧЕСКИХ ГИПОТЕЗ
§ 1. ПРОВЕРКА ДВУХ ПРОСТЫХ

СТАТИСТИЧЕСКИХ ГИПОТЕЗ
Под статистической гипотезой принято понимать лю-
бое предположение о законе распределения генеральной сово-
купности. Статистическая гипотеза называется простой, ес-
ли при условии истинности гипотезы закон распределения ге-
неральной совокупности однозначно определен, в противном
случае гипотеза называется сложной.
Пусть задана выборка X[n] из генеральной совокупности ξ
с функцией распределения Fξ (x). Пусть имеются две простые
гипотезы:
• H0 : Fξ (x) = F0 (x).
• H1 : Fξ (x) = F1 (x).
Причем, функции F0 (x) и F1 (x) полностью известны. По вы-
борке X[n] требуется принять решение об истинности нулевой
гипотезы H0 при альтернативной гипотезе H1 .
Выборка X[n] — точка из пространства Rn . Выделим мно-
жество S ⊂ Rn — критическую область для гипотезы H0 ,
тогда можно сформулировать правило проверки гипотезы H0
при альтернативе H1 :
• Если X[n] ∈ S, то отвергаем гипотезу H0 , принимаем H1 .
• Если X[n] ∈ / S, то принимаем гипотезу H0 , отвергаем H1 .
Правило проверки статистической гипотезы при некоторой
фиксированной альтернативе принято называть статистиче-
ским критерием.
§ 1. Проверка двух простых статистических гипотез 317
За исключением тривиальных ситуаций сформулированное

правило не может всегда приводить к правильным решениям.
Возможны два типа ошибок:
1. Ошибка первого рода — отклонить гипотезу H0 , когда
она верна, вероятность ошибки первого рода α(S) опре-
деляется равенством:
, - , -
α(S) = P X[n] ∈ S/H0 = P0 X[n] ∈ S .
2. Ошибка второго рода — принять гипотезу H0 , когда

верна H1 , вероятность ошибки второго рода β(S) опре-
деляется равенством:
, - , -
β(S) = P X[n] ∈ / S/H1 = P1 X[n] ∈/S .
Также будем рассматривать вероятность

, -
γ(S) = 1 − β(S) = P1 X[n] ∈ S ,
вероятность γ(S) называют мощностью критерия. Если

γ(S) < α(S), то попасть в S при условии истинности ги-
потезы H1 труднее, чем при условии истинности гипотезы H0 ,
т. е. S — критическая область скорее для H1 . Следовательно,
неравенство должно иметь вид:
γ(S) > α(S),
т. е. S следует выбирать так, чтобы выполнялось это неравен-

ство.
Определение 1.1. Критерий называется несмещенным, если

выполняется условие
α(S) γ(S) = 1 − β(S).
В большинстве задач гипотезы H0 и H1 не равноправны.

Поэтому в дальнейшем изложении будем считать, что H0 —
основная гипотеза, H1 — альтернативная гипотеза.
Зададим α0 и будем иметь дело только с такими критери-
ями, где α0 α(S) (т. е. вероятность ошибки первого рода не
318 Глава 17. Проверка статистических гипотез
превосходит величины α0 ) и дополнительно будем решать за-

дачу: β(S) → min. Получаем две эквивалентные задачи опре-
S
деления критической области S:
&
α0 α(S),
β(S) → min;
S
&
α0 α(S),
γ(S) → max .
S
Задачи в такой постановке не всегда решаемы, так как тре-

буется ответить точно «да» или «нет». Такие статистические
критерии называются нерандомизированными критериями.
Можно рассмотреть функцию ϕ(x) = I{x ∈ S}. Тогда
нерандомизированный критерий примет вид:
• Если ϕ(X[n] ) = 1, тогда отвергаем гипотезу H0 , прини-
маем H1 .
• Если ϕ(X[n] ) = 0, тогда принимаем гипотезу H0 , отвер-
гаем H1 .
Функцию ϕ принято называть критической функцией.
Пусть теперь ϕ не является индикатором множества S, и
, -
ϕ(x) = P H̄0 /X[n] = x ,
тогда ϕ(X[n] ) ∈ [0, 1] — условная вероятность отклонения ги-

потезы H0 . При таком определении ϕ(x) приходим к рандоми-
зированному критерию, то есть критерию, который при неко-
торых значениях x может не давать ответа «да» или «нет»
в отношении истинности нулевой гипотезы H0 . Тогда с ве-
роятностью 1 − ϕ(X[n] ) следует принимать гипотезу H0 и с
вероятностью ϕ(X[n] ) принимать гипотезу H1 . При исполь-
зовании введенного обозначения вероятность ошибки первого
рода, вероятность ошибки второго рода и мощность критерия
будем обозначать: α(ϕ), β(ϕ) и γ(ϕ) = 1 − β(ϕ) соответствен-
но. Определение 1.1 можно переформулировать в новых тер-
минах, критерий называется несмещенным, если α(ϕ) γ(ϕ).
Без ограничения общности будем предполагать, что су-
ществует плотность f0 (x) для функции распределения F0 (x)
и существует плотность f1 (x) для функции распределения

F1 (x). В дискретном случае все результаты аналогичны.
В дальнейшем будем считать, что плотности fi (x), i = 1, 2,
определены относительно сигма-конечной меры μ. Если в ка-
честве меры μ рассматривается мера Лебега, то плотности
распределения представляют собой обычные плотности рас-
пределения. Если в качестве меры μ рассматривается «счита-
ющая» мера, тогда плотности распределения являются веро-
ятностями, что соответствует
x дискретному случаю. При этом
в любом случае Fi (x) = −∞ fi (t)μ(dt), i = 0, 1.
Функция правдоподобия выборки (совместная плотность
выборки) при справедливости гипотезы H0 имеет вид:

n
L0 (X[n] ) = f0 (Xi ).
i=1
Если верна гипотеза H1 , то функция правдоподобия имеет

вид:

n
L1 (X[n] ) = f1 (Xi ).
i=1
Для рандомизированного критерия получаем

P0 (H̄0 ) = ϕ(x)L0 (x)μn (dx) = α(ϕ),
Rn

P1 (H0 ) = (1 − ϕ(x))L1 (x)μn (dx) = β(ϕ),
Rn

γ(ϕ) = ϕ(x)L1 (x)μn (dx),
Rn
где μn — произведение мер μ. Очевидно, что γ(ϕ) = 1 − β(ϕ).
Тогда задача построения статистического критерия сводит-
ся к нахождению критической функции ϕ(x) и будет форму-
лироваться следующим образом:
&
α0 α(ϕ),
β(ϕ) −→ min .
ϕ
Эквивалентная формулировка имеет вид:

&
α0 α(ϕ),
γ(ϕ) −→ max .
ϕ
Таким образом, задача заключается в том, чтобы найти наибо-

лее мощный критерий, когда вероятность ошибки первого ро-
да не превосходит некоторого заданного порогового значения.
Решение сформулированных задач дается леммой Неймана–
Пирсона.
Лемма 1.1 (лемма Неймана–Пирсона). Пусть α0 ∈ (0, 1), то-
гда при фиксированной вероятности ошибки первого рода α0
наиболее мощный критерий имеет критическую функцию ϕ∗
вида ⎧
⎪
⎨1, если L1 (x) > cL0 (x);
∗
ϕ (x) = ε, если L1 (x) = cL0 (x);
⎪
⎩
0, если L1 (x) < cL0 (x),
5n
L0 (x) = i=1 f0 (xi ) соответствует гипотезе H0 , L1 (x) =
где 5
n
= i=1 f1 (xi ) — гипотезе H1 . Константы c и ε — решения
уравнения α(ϕ∗ ) = α0 .
Доказательство. Покажем, что константы c и ε могут
быть найдены из уравнения α(ϕ∗ ) = α0 . Заметим, что
α(ϕ∗ ) = P0 {L1 (X[n] ) > cL0 (X[n] )}+

, -
+ εP0 L1 (X[n] ) = cL0 (X[n] ) =

L1 (X[n] ) L1 (X[n] )
= P0 > c + εP0 =c . (1.1)
L0 (X[n] ) L0 (X[n] )
Может ли быть так, что L0 (X[n] ) = 0? Да, может, но тогда

P0 {L0 (X[n] ) = 0} = L0 (x)μn (dx) = 0
{x: L0 (x)=0}
и, следовательно, равенство (1.1) корректно. Поэтому рассмот-

рим случайную величину η(X[n] ) = L1 (X[n] )/L0 (X[n] ). Поло-
жим FH0 ,η (t) = P0 {η t}, тогда
α(ϕ∗ ) = 1 − FH0 ,η (c) + ε(FH0 ,η (c) − FH0 ,η (c − 0)).
Пусть g(c) = 1 − FH0 ,η (c), константу cα0 можно выбрать так,

чтобы было выполнено неравенство:
g(cα0 ) α0 g(cα0 − 0),
если g(cα0 ) = g(cα0 − 0), то положим εα0 = 0, если g(cα0 ) <

< g(cα0 −0), то в качестве εα0 выберем следующую величину:
α0 − g(cα0 )
εα0 = ∈ [0, 1].
g(cα0 − 0) − g(cα0 )
Нетрудно заметить, что в обоих случаях выполнено равенство:
α0 = g(cα0 ) + εα0 (g(cα0 − 0) − g(cα0 )) = α(ϕ∗ ).
Докажем, что ϕ∗ (x) — критическая функция наиболее мощно-

го критерия. Выберем любую другую критическую функцию
ϕ̃(x) такую, что α(ϕ̃) α0 , и сравним ее с критической функ-
цией ϕ∗ . Заметим, что для любого x справедливо неравенство:
(ϕ∗ (x) − ϕ̃(x))(L1 (x) − cα0 L0 (x)) 0.
Тогда

(ϕ∗ (x) − ϕ̃(x))(L1 (x) − cα0 L0 (x))μn (dx) 0.
Rn
Раскроем скобки и преобразуем:

ϕ∗ (x)L1 (x)μn (dx) − ϕ̃(x)L1 (x)μn (dx)
Rn Rn
⎛ ⎞

cα0 ⎝ ϕ∗ (x)L0 (x)μn (dx) − ϕ̃(x)L0 (x)μn (dx)⎠ 0.
Rn Rn
Следовательно, γ(ϕ∗ ) − γ(ϕ̃) cα0 (α(ϕ∗ ) − α(ϕ̃)), откуда по-

лучаем неравенство:
γ(ϕ∗ ) γ(ϕ̃).
§ 2. ПРОСТЫЕ ГИПОТЕЗЫ О ПАРАМЕТРАХ

НОРМАЛЬНОГО И БИНОМИАЛЬНОГО
РАСПРЕДЕЛЕНИЙ
Нормальное распределение
Пусть задана генеральная совокупность ξ, выборка X[n] из

этой генеральной совокупности, имеются две гипотезы о рас-
пределении генеральной совокупности N (a0 , σ 2 ), N (a1 , σ 2 ),
где a0 , a1 известны. Также считаем, что σ 2 известна. Пусть
для определенности a1 > a0 . То есть имеем две гипотезы:
• H0 : a = a0 .
• H1 : a = a1 > a0 .
Без ограничения общности считаем, что a1 > a0 . Применим
критерий Неймана–Пирсона. Выпишем функции правдоподо-
бия для каждой гипотезы:

n
1 − 12 (Xi −a0 )2
L0 (X[n] ) = n
n
e 2σ i=1 ,
(2π) 2 σ

n
1 − 2σ12 (Xi −a1 )2
L1 (X[n] ) = n e i=1 .
(2π) 2 σ n
Рассмотрим отношение:
L1 (X[n] ) 1 , -
= exp 2 2(a1 − a0 )nX̄ − n(a21 − a20 ) .
L0 (X[n] ) 2σ
Нетрудно заметить, что L1 (X[n] )/L0 (X[n] ) > c тогда и толь-

ко тогда, когда X̄ > c1 , поэтому оптимальный критерий
Неймана–Пирсона выглядит следующим образом:
⎧
⎪
⎨1, X̄ > c1 ;
∗
ϕ (x) = ε, X̄ = c1 ;
⎪
⎩
0, X̄ < c1 ,
при этом константы c1 и ε выбираются при заданном α0 ∈

∈ (0, 1) как решение уравнения α0 = α(ϕ∗ ). Так как при спра-
ведливости гипотезы H0 распределение статистики X̄ являет-
ся нормальным, то P {X̄ = c1 } = 0, поэтому можно положить
§ 2. Простые гипотезы о параметрах распределений 323
ε = 0, тогда &
1, X̄ > c1 ;
ϕ∗ (x) =
0, X̄ c1 .
В этом случае всегда g(cα0 ) = g(cα0 − 0), поэтому можно вы-
брать ε = 0. Оптимальный критерий является нерандомизиро-
ванным.
Зададим вероятность ошибки первого рода α0 :
α0 = α(ϕ∗ ) = P0 {X̄ > c1 } =

X̄ − a0 √ c1 − a 0 √ c1 − a 0 √
= P0 n> n =1−Φ n ,
σ σ σ
где Φ(x) — функция распределения, соответствующая стан-

дартному нормальному распределению,
x
1 t2
Φ(x) = √ e− 2 dt.
2π
−∞
Таким образом, получили уравнение:

c1 − a 0 √
Φ n = 1 − α0 .
σ
Его решением является квантиль уровня
√ 1 − α0 стандартного
нормального распределения z1−α0 = n(c1 − a0 )/σ. Равенство
α(ϕ∗ ) = α0 (2.1)
√
будет выполнено, если выбрать c1 = a0 + z1−α0 σ/ n и, следо-
вательно, критическая область для нулевой гипотезы H0 при
использовании статистики X̄ имеет следующий вид:

σ
S = a0 + √ z1−α0 ; +∞ .
n
Если X̄ ∈ S, то гипотезу H0 следует отклонить, если X̄ ∈

/ S,
то гипотезу H0 следует принять. Оптимальный критерий в
данном случае является нерандомизированным.
Если выберем
σ
c1 a0 + √ z1−α0 , (2.2)
n
то вероятность ошибки первого рода будет удовлетворять

неравенству α(ϕ∗ ) α0 . Введем в рассмотрение ошибку вто-
рого рода β. Зададим уровень ошибки второго рода β0 и вы-
ясним условия, когда β(ϕ∗ ) β0 :
β(ϕ∗ ) = P1 {X̄ c1 } =

X̄ − a1 √ c1 − a 1 √ c1 − a 1 √
= P1 n n =Φ n .
σ σ σ
Неравенство β(ϕ∗ ) β0 окажется выполненным, если

c1 − a 1 √
n zβ0 ,
σ
где zβ0 — квантиль стандартного нормального распределения
уровня β0 . Из последнего неравенства получаем:
σ
c 1 a 1 + √ zβ 0 . (2.3)
n
Константа c1 , для которой выполнены неравенства (2.2) и

(2.3), может быть выбрана, если имеет место неравенство:
σ σ
a0 + √ z1−α0 a1 + √ zβ0 .
n n
Преобразуя последнее неравенство, получим

σ 2 (z1−α0 − zβ0 )2
n . (2.4)
(a1 − a0 )2
Таким образом, при объеме выборки n, удовлетворяющем

неравенству (2.4), будут выполнены условия: α(ϕ∗ ) α0 и
β(ϕ∗ ) β0 .
Предположим, что известно математическое ожидание a.
Сформулируем гипотезы:
• H0 : σ = σ 0 .
• H1 : σ = σ1 > σ0 .
Без ограничения общности считаем, что σ1 > σ0 , σ0 и σ1

известны.
Статистический критерий проверки гипотезы H0 при аль-
тернативе H1 основан на статистике отношения правдопо-
добия, как следует из леммы Неймана–Пирсона. Выпишем
функции правдоподобия:

n
1 − 12 (Xi −a)2
2σ0
L0 (X[n] ) = n e i=1 ,
(2π) 2 σ0n

n
1 − 12 (Xi −a)2
2σ1
L1 (X[n] ) = n e i=1 .
(2π) 2 σ1n
Тогда неравенство

n
n
L1 (X[n] ) σ0 1
2 − 1
2 (Xi −a)2
2σ0 2σ1
= e i=1 >c
L0 (X[n] ) σ1
равносильно неравенству:

n
(Xi − a)2 > c1 .
i=1
n
Ранее было показано, что статистика σ12 i=1 (Xi − a)2 подчи-
0
няется распределению хи-квадрат с n степенями свободы при
условии справедливости
n гипотезы H0 . Следовательно, вероят-
ность P0 ( i=1 (Xi −a)2 = c1 ) равна нулю при любом значении
константы c1 , поэтому в оптимальном критерии можно поло-
жить ε = 0. Поэтому критерий имеет вид:
⎧
⎪
n
⎪1,
⎨ (Xi − a)2 > c1 ;
∗ i=1
ϕ (x) =
n
⎪
⎪ (Xi − a)2 c1 ,
⎩0,
i=1
и, оказывается, нерандомизированным. Выберем константу

так, чтобы выполнялось равенство: α(ϕ∗ ) = α0 . Нетрудно
заметить, что
& *

n
∗ 2
α(ϕ ) = P0 (Xi − a) > c1 =
i=1
& n 2 *
Xi − a c1 c1
= P0 > 2 = 1 − Fχ2n ,
i=1
σ0 σ0 σ02
где Fχ2n (·) — функция распределения закона хи-квадрат с n

степенями свободы. Решением уравнения Fχ2n c1 /σ02 = 1 − α0
является квантиль распределения χ2 с n степенями свободы,
то есть u1−α0 ,n .
Критическая область для гипотезы H0 выглядит следую-
щим образом: n
• Если i=1 (Xi − a)2 ∈ (σ02 u1−α0 ,n ; +∞) = S, то гипотеза
H0 отклоняется.
n
• Если i=1 (Xi − a)2 ∈ [0; σ02 u1−α0 ,n ], то гипотеза H0 при-
нимается.
Оптимальный критерий является нерандомизированным
критерием.
Биномиальное распределение
Теперь рассмотрим случай, когда проверяется гипотеза о

параметре биномиального распределения. Рассмотрим схему
Бернулли. Выборка X[n] состоит из нулей и единиц, единицы
соответствуют успехам. Тогда вероятность того, что в серии
из n испытаний произойдет ровно m успехов равна
Pn {ξ = m} = Cnm pm (1 − p)n−m ,
где n — число испытаний; p — вероятность успеха; m — число

успехов.
• H 0 : p = p0 .
• H1 : p = p 1 > p0 .
Как и в предыдущих примерах, без ограничения общности
считаем, что p1 > p0 , p1 и p0 известны. Применим оптималь-
ный критерий Неймана–Пирсона. Выпишем функции правдо-

подобия для каждой гипотезы:
1 (1 − p1 )
L1 (m) = Cnm pm n−m
,
0 (1 − p0 )
L0 (m) = Cnm pm n−m
.
Неравенство
m n−m
L1 (m) p1 1 − p1
= >c
L0 (m) p0 1 − p0
эквивалентно неравенству:
m n
p1 (1 − p0 ) 1 − p1
> c,
p0 (1 − p1 ) 1 − p0
или эквивалентно неравенству: m > c1 . Следовательно, опти-
мальную критическую функцию можно записать в виде:
⎧
⎪
⎨1, m > c1 ;
∗
ϕ (x) = ε, m = c1 ;
⎪
⎩
0, m < c1 .
Оптимальный критерий является рандомизированным. Кон-
станты c1 и ε нужно выбирать из условия: α(ϕ∗ ) = α0 . Вос-
пользуемся асимптотикой:
α(ϕ∗ ) = P0 {m > c1 } + εP0 {m = c1 } −−−−→

n→∞

c1 − np0
−−−−→ 1 − Φ 2 .
n→∞ np0 (1 − p0 )
Решением уравнения

c1 − np0
Φ 2 = 1 − α0
np0 (1 − p0 )
является квантиль стандартного нормального распределения
уровня 1 − α0 :
c1 − np0
z1−α0 = 2 .
np0 (1 − p0 )
Из полученного условия можно найти константу c1 :

2
c1 = np0 + np0 (1 − p0 )z1−α0 .
Критическая область для гипотезы H0 имеет вид (c1 ; ∞). Та-
ким образом, построен статистический
2 критерий:
• Если m ∈ (np0 + np0 (1 − p0 )z1−α0 ; +∞), то гипотеза
H0 отклоняется. 2
• Если m ∈ [0; np0 + np0 (1 − p0 )z1−α0 ], то гипотеза H0
принимается.
Построенный критерий является нерандомизированным, одна-
ко, в отличие от предыдущих примеров, построенный крите-
рий не является точным. Нельзя утверждать, что вероятность
ошибки первого рода равна α0 . Для выборок большого объ-
ема вероятность ошибки первого рода окажется приближенно
равной α0 .
§ 3. ГИПОТЕЗЫ О ПАРАМЕТРАХ РАСПРЕДЕЛЕНИЙ

ДЛЯ СЛОЖНЫХ АЛЬТЕРНАТИВ
Пусть заданы генеральная совокупность ξ и выборка
X[n] из генеральной совокупности. Сформулируем две гипо-
тезы о распределении генеральной совокупности: генераль-
ная совокупность ξ подчиняется нормальному распределению
N (a0 , σ 2 ), и генеральная совокупность ξ подчиняется нор-
мальному распределению N (a1 , σ 2 ), где a1 неизвестно, a0 из-
вестно, также считаем, что σ 2 известна. Будем предполагать,
что a1 > a0 . Таким образом, имеем две гипотезы:
• H0 : a = a0 .
• H1 : a > a0 .
Гипотезу H1 можно записать в виде: a = a1 > a0 , a1 неизвест-
но. Гипотеза H1 представляет собой правостороннюю альтер-
нативу. Оптимальный критерий имеет вид:
&
∗ 1, X̄ > c1 ;
ϕ (x) =
0, X̄ c1 ,
где c1 находится из уравнения:
α0 = P0 {X̄ > c1 },
§ 3. Гипотезы о параметрах распределений 329
где α0 — вероятность ошибки первого рода (уровень значимо-

сти критерия). Как показано в предыдущем параграфе:
√
c1 = a0 + z1−α0 σ/ n.
Критерий Неймана–Пирсона является равномерно наиболее

мощным критерием для проверки гипотезы H0 : a = a0 при
альтернативе H1 : a > a0 , то есть он не зависит от конкрет-
ного значения a1 и является наиболее мощным при любом
a1 > a0 .
Результат полностью сохраняется для левосторонней аль-
тернативы a = a1 < a0 при соответствующих изменениях. Для
двусторонней альтернативы не удается построить равномерно
наиболее мощный критерий.
Рассмотрим двустороннюю альтернативу:
• H0 : a = a0 .
• H1 : a = a0 .
Как и раньше фиксируем вероятность ошибки первого рода
α0 . В качестве статистики критерия возьмем X̄. В предполо-
жении истинности нулевой гипотезы выберем константу c1 из
условия:
P0 {|X̄ − a0 | > c1 } = α0 .
Критическая область для гипотезы H0 при двусторонней аль-
тернативе H1 при использовании статистики X̄ имеет вид:
S = {x : |x − a0 | > c1 }.
Выберем вероятность ошибки первого рода:
P {X̄ ∈ S/H0 } = α0 .
Преобразуем выражение:
√ √
n|X̄ − a0 | nc1
P0 = α0 .
σ σ
√
Пусть η = n(X̄ − a0 )/σ, тогда при условии справедливости
гипотезы H0 случайная величина η подчиняется стандартному
нормальному распределению N (0, 1). Следовательно, в каче-

стве c1 можно выбрать
σ
c1 = z1− α20 √ ,
n
где z1− α20 — квантиль стандартного нормального распределе-
ния уровня 1 − α0 /2. Критическая область для нулевой гипо-
тезы при использовании статистики X̄ принимает следующий
вид:
S = (−∞; a0 − c1 ) ∪ (a0 + c1 ; +∞).
Критерий проверки таков:
• Если X̄ ∈ S, то гипотеза H0 отклоняется.
• Если X̄ ∈
/ S, то гипотеза H0 принимается.
Теперь рассмотрим случай, когда σ 2 неизвестна. Рассмот-
рим правостороннюю альтернативу:
• H0 : a = a0 .
• H1 : a > a0 , то есть a = a1 > a0 , a1 — неизвестно.
Вычислим статистику
X̄ − a0 √
t= n,
s̃
1
n
где s̃2 = n−1 2
i=1 (Xi − X̄) .
При справедливости нулевой гипотезы статистика t долж-
на подчиняться распределению Стьюдента с n − 1 степенью
свободы. Если верна альтернативная гипотеза H1 , то можно
заметить, что статистика будет смещена вправо по отношению
к распределению Стьюдента с n − 1 степенью свободы.
Критическая область в данном случае для нулевой гипоте-
зы будет иметь вид S = {t > c1 } = (c1 ; +∞), где константу c1
следует выбирать из условия P0 {t > c1 } = α0 . Таким образом,
c1 = t1−α0 ,n−1 — квантиль распределения Стьюдента с n − 1
степенью свободы уровня 1 − α0 . Критерий с вероятностью
ошибки первого рода α0 имеет вид:
• Если статистика t ∈ (t1−α0 ,n−1 ; +∞), то отклоняем ги-
потезу H0 в пользу H1 .
• Если статистика t ∈ (−∞; t1−α0 ,n−1 ], то отклоняем гипо-
тезу H1 в пользу H0 .
§ 4. Распределение Фишера 331
Для левосторонней альтернативы критическая область для ги-

потезы H0 при использовании статистики t будет следующей:
S = (−∞; tα0 ,n−1 ),
где tα0 ,n−1 — квантиль уровня α0 распределения Стьюдента с

n − 1 степенью свободы.
Для двусторонней альтернативы критическая область с ве-
роятностью ошибки первого рода α0 для гипотезы H0 при ис-
пользовании статистики t будет следующей:
S = (−∞; t α20 ,n−1 ] ∪ [t1− α20 ,n−1 ; +∞),
где t α20 ,n−1 — квантиль уровня α0 /2 распределения Стьюдента

с n − 1 степенью свободы; t1− α20 ,n−1 — квантиль уровня 1 −
− α0 /2 того же распределения.
§ 4. РАСПРЕДЕЛЕНИЕ ФИШЕРА
Определение 4.1. Пусть случайные величины η ∼ χ2m , ξ ∼

∼ χ2n независимы. Будем говорить, что случайная величина
η/m
ζ= ∼ Fm,n
ξ/n
подчиняется распределению Фишера со степенями свободы

числителя m и знаменателя n.
Лемма 4.1. Плотность распределения случайной величины

ζ ∼ Fm,n имеет вид:
⎧ m n m
⎪ m+n −1
⎨ Γ( 2 ) m 2 n 2 z 2 , если z > 0;
m+n
fζ (z) = Γ( m n
2 )Γ( 2 ) (n + mz) 2
⎪
⎩0, если z 0.
Доказательство. Рассмотрим случайную величину ζ̃ =

= η/ξ и напишем для нее плотность распределения, считая,
что z > 0:
∞
fζ̃ (z) = xfξ (x)fη (zx)dx =
0
m ∞
z 2 −1 m+n x
= n x 2 −1 e− 2 (z+1) dx.
n+m
2 2 Γ m
2 Γ 2 0
Далее сделаем замену переменных: y = x(z + 1)/2, dx =

= 2dy/(1+ z), x = 2y/(1+ z). После преобразований получаем
формулу плотности распределения для случайной величины ζ̃:
m
Γ m+n 2 z 2 −1
fζ̃ (z) = m+n , z > 0.
Γ m n
2 Γ 2 (1 + z) 2
Как нетрудно заметить, ζ = (n/m)ζ̃, следовательно,

m
m
fζ (z) = fζ̃ z .
n n
§ 5. КРИТЕРИИ ОДНОРОДНОСТИ
ДЛЯ ДВУХ НЕЗАВИСИМЫХ ВЫБОРОК
ИЗ НОРМАЛЬНО РАСПРЕДЕЛЕННОЙ
ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ
Критерий Фишера
Важная задача прикладной статистики — сравнение двух

и более выборок, что позволяют осуществить критерии одно-
родности.
Пусть имеются две генеральные совокупности η с выбор-
кой X[m] и ξ с выборкой Y[n] . Будем считать, что η подчи-
няется нормальному распределению N (a1 , σ12 ) и ξ подчиня-
ется нормальному распределению N (a2 , σ22 ), причем матема-
тические ожидания a1 , a2 и дисперсии σ12 и σ22 неизвестны.
Сформулируем нулевую и альтернативную гипотезы:
• H0 : σ12 = σ22 .
• H1 : σ12 = σ22 .
§ 5. Критерии однородности для двух независимых выборок 333
Альтернативная гипотеза является двусторонней. Тогда
(m − 1)s̃2X /σ12 ∼ χ2m−1 ,
(n − 1)s̃2Y /σ22 ∼ χ2n−1 ,

где
1
m
s̃2X = (Xi − X̄)2 ,
m − 1 i=1
1
n
s̃2Y = (Yi − Ȳ )2 .
n − 1 i=1
В соответствии с определением распределения Фишера:
s̃2X σ22
Fm−1,n−1 = ∼ Fm−1,n−1 .
s̃2Y σ12
Тогда при справедливости нулевой гипотезы:
s̃2X
∼ Fm−1,n−1 .
s̃2Y
Пусть u α2 , u1− α2 — квантили распределения Фишера Fm−1,n−1 .
Можно сформулировать критерий проверки гипотезы H0 при
альтернативе H1 с вероятностью ошибки первого рода α
(уровнем значимости критерия):
s̃2
• Если s̃X 2 ∈ [u , u1− ], то принимается гипотеза H0 .
α
2
α
2
Y
s̃2X
• Если s̃2Y
∈
/ [u α2 , u1− α2 ], то принимается гипотеза H1 .
Если альтернативная гипотеза H1 односторонняя, т. е. σ12 >
> σ22 , то в качестве критической области для нулевой гипо-
тезы рассматривается S = (u1−α , +∞), где α — вероятность
ошибки первого рода. Случай σ22 > σ12 сводится к предыдущей
переменой мест выборок.
Критерий Стьюдента
Пусть заданы случайные величины η ∼ N (a1 , σ12 ) с вы-

боркой X[m] и ξ ∼ N (a2 , σ22 ) с выборкой Y[n] . Сформулируем
нулевую и альтернативную двустороннюю гипотезы:
• H 0 : a1 = a 2 .
• H1 : a1 = a2 .
Рассмотрим два случая:
1. Дисперсии σ12 , σ22 известны, тогда используем статисти-
ку
X̄ − Ȳ
! ∼ N (0, 1),
σ12 σ22
m + n
которая при условии, что верна гипотеза H0 , подчиняется
стандартному нормальному распределению. Получаем крите-
рий с вероятностью ошибки первого рода α:
• Если справедливо неравенство:

X̄ − Ȳ
! u1− α2 ,
σ12 σ22
m + n
то принимается гипотеза H0 , где u1− α2 — квантиль уров-

ня 1 − α/2 стандартного нормального распределения.
• Если справедливо неравенство:

X̄ − Ȳ
! > u1− α2 ,
σ12 σ22
m + n
то принимается гипотеза H1 .
Для правосторонней альтернативной гипотезы H1 : a1 > a2
критическая область для H0 будет выглядеть следующим об-
разом:
S = (u1−α , +∞).
Для левосторонней альтернативной гипотезы H1 : a1 < a2
критическая область для H0 будет следующей:
S = (−∞, uα ).
2. Дисперсии неизвестны, но есть основания считать, что
σ12 = σ22 = σ 2 . Статистики (m−1)s̃2X /σ 2 , (n−1)s̃2Y /σ 2 , которые
были введены ранее, взаимно независимы и имеют распреде-
ления χ2m−1 и χ2n−1 соответственно, тогда статистика
s̃2X (m − 1) + s̃2Y (n − 1)
σ2
§ 6. Критерий однородности Вилкоксона и Манна–Уитни 335
подчиняется распределению хи-квадрат с m + n − 2 степенями

свободы. Если верна гипотеза H0 , то статистика
(0) X̄ − Ȳ
tn+m−2 = ! !
m+n s̃2X (m−1)+s̃2Y (n−1)
mn m+n−2
подчиняется распределению Стьюдента Tn+m−2 с n + m − 2

(0)
степенями свободы (tn+m−2 — дробь Стьюдента).
Если верна гипотеза H1 , то статистика
X̄ − Ȳ + (a2 − a1 )
tn+m−2 = ! ! 2 2
m+n s̃X (m−1)+s̃Y (n−1)
mn m+n−2
подчиняется распределению Стьюдента Tn+m−2 с n + m − 2

степенями свободы.
Сформулируем критерий с вероятностью ошибки первого
рода α:
(0)
• Если |tn+m−2 | t1− α2 , где t1− α2 — квантиль распределе-
ния Стьюдента с n + m − 2 степенями свободы уровня
1 − α/2, то принимается гипотеза H0 .
(0)
• Если |tn+m−2 | > t1− α2 , то принимается гипотеза H1 .
Для правосторонней альтернативной гипотезы H1 : a1 > a2
критическая область для H0 при использовании статистики
(0)
tn+m−2 будет следующей: S = (t1−α , +∞). Для левосторонней
альтернативной гипотезы H1 : a1 < a2 критическая область
(0)
для H0 при использовании статистики tn+m−2 будет следую-
щей: S = (−∞, tα ). Границы t1−α и tα — квантили распреде-
ления Стьюдента с n + m − 2 степенями свободы уровней 1 − α
и α соответственно.
§ 6. КРИТЕРИЙ ОДНОРОДНОСТИ ВИЛКОКСОНА

И МАННА–УИТНИ
Критерии Вилкоксона и Манна–Уитни неприменимы к дис-
кретным распределениям, и для применения этих критери-
ев не нужно предполагать нормальность распределений гене-
ральных совокупностей.
Пусть имеются две независимые выборки X[n] = (X1 , . . .

. . . , Xn ) и Y[m] = (Y1 , . . . , Ym ) из двух генеральных совокуп-
ностей с непрерывными функциями распределения равными
соответственно F и G. Сформулируем гипотезы:
• H0 : F (x) = G(x) для всех x ∈ R.
• H1 : F (x) G(x) для всех x ∈ R — правосторонняя
альтернативная гипотеза.

• H1 : F (x) G(x) для всех x ∈ R — левосторонняя

• H1 : F (x) = G(x) для всех x ∈ R — двусторонняя аль-
тернативная гипотеза (т.е. выполнена гипотеза H1 или

H1 ).
Критерий однородности Вилкоксона
Без ограничения общности будем считать, что m n. Со-

ставим объединенную выборку Z[n+m] = (X[n] , Y[m] ). Постро-
им вариационный ряд объединенной выборки:
z(1) < z(2) < . . . < z(m+n) ,
т. е. упорядочим все элементы объединенной выборки по воз-

растанию. Элементы получившегося вариационного ряда бу-
дем обозначать z(1) < z(2) < . . . < z(m+n) . Если распределе-
ния генеральных совокупностей непрерывны, то совпадения
возможны только с нулевой вероятностью. В дальнейшем бу-
дем предполагать, что совпадений нет. В литературе [3, 32]
имеются поправочные формулы, когда совпадения возникают,
например, вследствие округления. Однако следует заметить,
что при большом числе совпадений рассматриваемые крите-
рии неприменимы.
Найдем, какие места занимают в вариационном ряду, по-
строенном по объединенной выборке, элементы выборки Y[m] .
Назовем эти номера рангами элементов выборки Y[m] в объ-
единенной выборке Z[n+m] :
rank(Y1 ) = s1 , rank(Y2 ) = s2 , . . . , rank(Ym ) = sm .

§ 6. Критерий однородности Вилкоксона и Манна–Уитни 337
Рассмотрим статистику критерия:

m
W = si .
i=1
Очевидно, что минимальным значением статистики Вил-

коксона может быть величина Wmin = m(m + 1)/2, макси-
мальным — Wmax = mn+m(m + 1)/2. Поэтому статистика W
находится в промежутке [m(m + 1)/2; mn + m(m + 1)/2]. Рас-
пределение статистики Вилкоксона W является симметрич-
ным относительно середины данного промежутка при условии
справедливости нулевой гипотезы H0 .
Если справедлива альтернативная гипотеза H1 , то чаще
будут встречаться события xi < yj , то есть распределение
статистики W перестанет быть симметричным относительно
середины и будет сдвинуто вправо. Если справедлива альтер-

нативная гипотеза H1 , то распределение статистики W бу-
дет сдвинуто влево, так как чаще будут выполняться события
x i > yj .
Если выбрана альтернативой гипотеза H1 , то критическая
область для нулевой гипотезы H0 будет иметь вид:
7 +
m(m + 1)
S = c1 , mn + .
2

Если выбрана альтернативой гипотеза H1 , то критическая об-
ласть для нулевой гипотезы H0 будет иметь вид:
7 +
m(m + 1)
S= , c2 .
2

Если выбрана альтернативой гипотеза H1 , то критическая об-
ласть для нулевой гипотезы H0 будет иметь вид:
7 + 7 +
m(m + 1) m(m + 1)
S= , c3 ∪ c4 , mn + .
2 2
При этом константы c1 , c2 , c3 , c4 следует находить по таб-
лицам распределения статистики Вилкоксона W , рассчитан-
ным при условии справедливости нулевой гипотезы H0 для
разных m и n. В качестве искомых констант выбираются

квантили распределения. При этом константы c1 и c2 симмет-
ричны относительно середины промежутка [m(m + 1)/2, mn +
+ m(m + 1)/2]. Также симметрично относительно середины
этого промежутка расположены константы c3 и c4 . Общее тре-
бование заключается в том, что вероятность попадания стати-
стики W в критическую область при условии справедливости
нулевой гипотезы H0 должна быть равна заданному значе-
нию α:
P0 {W ∈ S} = α.
Числовые значения констант могут быть найдены из статисти-
ческих таблиц [3] и в приложении Д книги.
Критерий Манна–Уитни
Будем проверять те же нулевую и альтернативные гипоте-
зы, что и в критерии Уилкоксона. Запишем статистику крите-
рия Манна-Уитни:

n
m
U= I{Xi < Yj },
i=1 j=1
где
&
1, Xi < Yj ;
I{Xi < Yj } =
0, Xi > Y j .
Находим в таблице [34] критические значения распределения
статистики Манна–Уитни: Ulef t = Uα,n,m , Uright = Vα,n,m —
и сравниваем с ними статистику критерия. Здесь Uα,n,m
и Vα,n,m — критические значения уровня α статистики U
при условии справедливости гипотезы однородности H0 , т. е.
P0 {U Uα,n,m } = α, P0 {U Vα,n,m } = α, α — вероятность
ошибки первого рода.
Если U Uright , то нулевая гипотеза отвергается в пользу
правосторонней альтернативной гипотезы H1 . Если U Ulef t ,
то нулевая гипотеза отвергается в пользу левосторонней аль-

тернативной гипотезы H1 . Для случая двусторонней альтерна-

тивы H1 находятся точки Uright = Vα/2,n,m и Ulef t = Uα/2,n,m ,
§ 7. Непараметрические критерии анализа 339
и нулевая гипотеза H0 отвергается при выполнении любого из

неравенств: U Uright , U Ulef t .
Статистики Вилкоксона и Манна–Уитни связаны между
собой следующим соотношением:
m(m + 1)
W =U+ .
2
Для доказательства справедливости приведенной формулы за-

метим, что значение статистики Вилкоксона W по существу
равно количеству неравенств вида {Xi < Yj } плюс сумма ран-
гов элементов выборки Y[m] в самой выборке Y[m] . Последняя
сумма представляет собой арифметическую прогрессию чисел
от 1 до m шагом 1.
Полученная формула позволяет пересчитывать значение
одной статистики в другую и пользоваться тем распределе-
нием, которое удобнее для вычислений.
Для больших объемов выборок существуют аппроксима-
ции статистики W , которую можно найти, например, в [3].
§ 7. НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ АНАЛИЗА

ПАРНЫХ ПОВТОРНЫХ НАБЛЮДЕНИЙ
В отличие от предыдущего параграфа здесь рассматрива-

ются две зависимые выборки. При этом проверяются те же
гипотезы. Выборки имеют одинаковый объем, и зависимость
носит следующий характер. Внутри каждой из выборок эле-
менты независимы, но Xi и Yi — зависимые наблюдения. Чаще
всего i означает номер объекта, а Xi и Yi — два наблюдения
над одним и тем же объектом до и после некоторого воздей-
ствия.
Пусть имеются две выборки X[n] = (X1 , . . . , Xn ) и Y[n] =
= (Y1 , . . . , Yn ) из генеральных совокупностей с функциями
распределения равными соответственно F (x) и G(x), которые
считаем непрерывными. Сформулируем гипотезы:
• H0 : F (x) = G(x) для всех x ∈ R.
• H1 : F (x) G(x) для всех x ∈ R — правосторонняя

• H1 : F (x) G(x) для всех x ∈ R — левосторонняя

• H1 : F (x) = G(x) для всех x ∈ R — двусторонняя
Критерий знаков
Составим разности zi = Xi − Yi . Случайные величины zi ,

i = 1, . . . , n, взаимно независимы и одинаково распределены.
Переформулируем гипотезы:
• H0 : P {zi < 0} = P {zi > 0} = 1/2.
• H1 : P {zi < 0} > P {zi > 0}.

• H1 : P {zi < 0} < P {zi > 0}.

• H1 : P {zi < 0} = P {zi > 0}.
Так как в гипотезах фигурируют вероятности, то можем рас-
сматривать схему Бернулли, где событие zi < 0 означает
успех. Рассмотрим статистику:

n
L= I{zi < 0}.
i=1
Очевидно, что при выполнении гипотезы H0 статистика L под-

чиняется биномиальному распределению с вероятностью успе-
ха p = 1/2. Критическая область для нулевой гипотезы при
выборе альтернативной гипотезы H1 имеет вид: (c1 , n]. Кри-
тическая область для нулевой гипотезы при выборе альтерна-

тивной гипотезы H1 имеет вид: [0, c2 ). Критическая область
для нулевой гипотезы при выборе альтернативной гипотезы

H1 имеет вид: [0, c3 ) ∪ (c4 , n].
Для нахождения констант c1 , c2 , c3 , c4 можно исполь-
зовать таблицы вероятностей биномиального распределения.
Константы c1 и c2 расположены симметрично относительно
середины промежутка [0, n], то же относится и к константам
c3 и c4 . Общее правило, как всегда, заключается в том, что
вероятность попадания статистики критерия L в критическую
область при условии выполнения гипотезы H0 равна α.
§ 7. Непараметрические критерии анализа 341
Критерий знаковых ранговых сумм

Вилкоксона
Составим разности zi = Xi − Yi . Предполагаем, что вели-

чины zi не зависят друг от друга. Рассмотрим случаи, когда
zi < 0 и zi > 0. Рассмотрим те же гипотезы:
• H0 : P {zi < 0} = P {zi > 0} = 1/2.
• H1 : P {zi < 0} > P {zi > 0}.

• H1 : P {zi < 0} < P {zi > 0}.

• H1 : P {zi < 0} = P {zi > 0}.
Построим вариационный ряд из модулей разностей: |z1 |, . . .,
|zn |. Сопоставим каждому элементу вариационного ряда ранг:
s1 = rank(|z1 |), . . ., sn = rank(|zn |), т. е. номер в вариацион-
ном ряду. Составим ранговую статистику

n
U= Ψi si ,
i=1
где
&
1, zi > 0;
Ψi =
0, zi < 0.
Составлены статистические таблицы [34] распределения ста-

тистики U при условии справедливости гипотезы H0 .
Аналогично предыдущему критерию используем таблицы
[34] для нахождения критических значений tα,n и сравнения
их с полученным значением статистики U . При выборе лево-
сторонней альтернативы H1 критическая область имеет вид:

[0, c1 ]. При выборе правосторонней альтернативы H1 крити-
ческая область имеет вид: [c2 , n(n + 1)/2]. При выборе дву-

сторонней альтернативы H1 критическая область имеет вид:
[0, c3 ]∪[c4 , n(n+1)/2]. Константы c1 и c2 расположены симмет-
рично относительно середины промежутка [0, n(n + 1)/2], то-
же относится и к константам c3 и c4 . Вероятность попадания
статистики критерия U в критическую область при условии
выполнения гипотезы H0 равна α.
§ 8. ОДНОФАКТОРНЫЙ ДИСПЕРСИОННЫЙ
АНАЛИЗ
Однофакторный дисперсионный анализ является обобще-
нием T -критерия для двух выборок из генеральной совокуп-
ности.
Пусть число выборок k 2:
X11 X12 ... X1k
X21 X22 ... X2k
.. .. ..
. . .
Xn1 1 Xn2 2 ... Xnk k
N (a1 , σ 2 ) N (a2 , σ 2 ) ... N (ak , σ 2 ) .
Пусть все выборки взаимно независимы между собой, при
этом выборка (X1i , . . . , Xni i ) взята из генеральной совокуп-
ности с распределением N (ai , σ 2 ). Элементы каждой выборки
тоже, конечно, взаимно независимы.
Выдвигается гипотеза H0 : a1 = a2 = . . . = ak = a при аль-
тернативной гипотезе H1 , которая заключается в отрицании
гипотезы H0 . Рассмотрим следующие величины:
1 1
nj nj k k
X̄·j = Xij , X̄·· = Xij , N = nj ,
nj i=1 N i=1 j=1 j=1
где j — номер выборки.

Независимо от справедливости гипотезы H0 :
nj
(Xij − X̄·j ) 2 1 nj − 1
∼ χ nj −1 ∼ G , .
i=1
σ2 2 2
(Xij − X̄·j )2
nj k
S1 = 2
∼ χ2N −k .
i=1 j=1
σ
Рассмотрим величину
(X̄·j − aj ) √
nj ∼ N (0, 1).
σ
§ 8. Однофакторный дисперсионный анализ 343
Пусть гипотеза H0 верна. Рассмотри статистику S2 следую-

щего вида:
1
k
S2 = 2 nj (X̄·j − X̄·· )2 .
σ j=1
Прибавим и вычтем величину a, получим:
1
k
nj (X̄·j − X̄·· )2 =
σ 2 j=1
⎡ ⎤2
1 ⎣ 1
k k
= 2 nj (X̄·j − a) − nj (X̄·j − a)⎦ ,
σ j=1 N j=1
1

nj
k
1

k
так как X̄·· − a = N (Xij − a) = N nj (X̄·j − a).
i=1 j=1 j=1
1
k
S2 = nj (X̄·j − X̄·· )2 =
σ 2 j=1
⎡ ⎤2
1
k
1 k
= 2 nj ⎣(X̄·j − a) − nj (X̄·j − a)⎦ =
σ j=1 N j=1
8 92
k !
nj √
√ nj (X̄·j − a)
k
( nj (X̄·j − a))2 j=1
N
= − =
j=1
σ2 σ2
8√ 92 ⎡ k √ ⎤2
k
nj (X̄·j − a) nj nj (X̄·j − a)
= −⎣ ⎦ ∼ χ2k−1 ,
j=1
σ j=1
N σ
как следует из леммы 2.3 главы 16. Из леммы 2.2 главы 16

следует, что статистики S1 и S2 взаимно независимы. По опре-
делению распределения Фишера Fk−1,N −k получаем, что при
выполнении гипотезы H0 статистика
S2 /(k − 1)
F = ∼ Fk−1,N −k
S1 /(N − k)
подчиняется распределению Фишера с k −1 и N −k степенями

свободы числителя и знаменателя соответственно. Заметим,
что статистика F не зависит от σ 2 . Большие значения стати-
стики F свидетельствуют против нулевой гипотезы, поэтому
критическая область S для H0 с вероятностью ошибки первого
рода α имеет вид: S = (u1−α,k−1,N −k ; ∞), где u1−α,k−1,N −k —
квантиль уровня 1 − α распределения Фишера Fk−1,N −k .
§ 9. КРИТЕРИЙ ОДНОРОДНОСТИ
КОЛМОГОРОВА–СМИРНОВА
Пусть имеется две выборки X[n] = {X1 , . . . , Xn } и Y[m] =

= {Y1 , . . . , Ym } из генеральных совокупностей ξ и η соответ-
ственно. По выборке X1 , . . . , Xn построим вариационный ряд
X(1) X(2) . . . X(n) , а по Y1 , . . . , Ym построим вариаци-
онный ряд Y(1) Y(2) . . . Y(m) . Объемы выборок могут
быть различны, но, не нарушая общности, предположим, что
m n. Функции распределения этих генеральных совокуп-
ностей равны F (x) и G(x) соответственно. Наложим допол-
нительное ограничение: функции распределения F (x) и G(x)
непрерывны.
Критерий Колмогорова–Смирнова проверяет гипотезу о ра-
венстве функций распределения двух генеральных совокупно-
стей ξ и η, из которых извлечены выборки X[n] и Y[m] соответ-
ственно, т. е. H0 : F (x) = G(x) для всех x ∈ R при альтерна-
тивной гипотезе H1 : F (x) = G(x). Этот критерий основан на
использовании эмпирических функций распределения Fn∗ (x)
и G∗m (x), построенных по первой и второй выборкам соответ-
ственно.
Статистика Смирнова определяется следующей формулой:
Dm,n = sup |G∗m (x) − Fn∗ (x)|. (9.1)

|x|<∞
Теорема 9.1. Введем обозначение

Dm,n = sup G∗m (x, Y[m] ) − Fn∗ (x, X[n] ) .
x∈R
§ 9. Критерий однородности Колмогорова–Смирнова 345
Тогда

mn
P0 Dm,n z −→ K(z) =
m+n
∞
2 2
= (−1)j e−2j z
, (9.2)
j=−∞
если истинная функция распределения F0 (x) = F (x) = G(x)

непрерывна.
На практике значение статистики Dm,n рекомендуется вы-

числять по формулам:
r
+
Dm,n = max − Fn∗ (y(r) ) =
1rm m
7 +
s−1
= max G∗m (x(s) ) − , (9.3)
1sn n
7 +
− r−1
Dm,n = max Fn∗ (y(r) ) − =
1rm m
s
= max − G∗m (x(s) ) , (9.4)
1sn n
+ −
Dm,n = max(Dm,n , Dm,n ). (9.5)
При справедливости нулевой гипотезы и неограниченном
увеличении объемов выборок исправленная статистика

mn
Dm,n (9.6)
m+n
асимптотически подчиняется распределению Колмогорова с

функцией распределения K(z) из правой части (9.2). Таблицу
значений функции распределения Колмогорова можно найти
в [3]. Критическая область для гипотезы H0 при использова-
нии статистики (9.6) имеет вид: S = (k1−α , ∞), где k1−α —
квантиль уровня 1 − α распределения Колмогорова (9.2).
§ 10. КОЭФФИЦИЕНТЫ РАНГОВОЙ КОРРЕЛЯЦИИ

СПИРМЕНА И КЕНДЕЛЛА
Рассматриваемые в этом параграфе коэффициенты вычис-
ляются только для порядковых шкал.
Определение 10.1. Шкалы, в которых существенен лишь
взаимный порядок, в котором следуют результаты измерений,
а не их количественные значения, называют порядковыми или
ординальными шкалами.
Пусть имеется два признака A и B, между которыми
мы хотим установить наличие зависимости или независимо-
сти. Пусть (X1 , . . . , Xn ) — измерение степени выраженности
признака A, (Y1 , . . . , Yn ) — измерение степени выраженно-
сти признака B. Каждый объект характеризует пара (Xi , Yj ),
1 i n, 1 j n.
Коэффициент ранговой корреляции
Спирмена
Проранжируем наблюдения X1 , . . . , Xn и Y1 , . . . , Yn , ран-
ги которых будут соответственно обозначаться r1 , . . . , rn и
s1 , . . . , sn , то есть ri — номер наблюдения Xi в вариационном
ряду, построенном по наблюдениям X1 , . . . , Xn . Аналогично
si — номер наблюдения Yi в вариационном ряду, построенном
по наблюдениям Y1 , . . . , Yn . Будем предполагать, что в выбор-
ках нет повторяющихся элементов. n
Рассмотрим статистику Спирмена S = i=1 (si − ri )2 . Вы-
числим коэффициент ранговой корреляции Спирмена:
6S
=1− .
n3 −n
Нетрудно показать, что || 1. Если || = 1, то это означает
полную зависимость одного признака от другого, либо, ина-
че говоря, полную предсказуемость одной выборки по другой.
Если ранги признаков совпадают, то = 1. Если последова-
тельности рангов полностью противоположны, то = −1. Оба
случая означают полную предсказуемость одной ранговой по-
следовательности по другой, или, другими словами, полную
зависимость признаков A и B.
§ 10. Коэффициенты ранговой корреляции 347
• H0 : признаки A и B взаимно независимы.
• H1 : имеется монотонная положительная связь призна-
ков.
• H1 : имеется монотонная отрицательная связь признаков.

• H1 : имеется монотонная связь признаков.
Гипотеза H0 соответствует отсутствию взаимосвязи между
признаками или, иначе говоря, независимости признаков. Ес-
ли гипотеза H0 справедлива, то распределение статистики
симметрично и концентрируется около нуля. При наличии за-
висимости распределение окажется другим. Для монотонной
положительной зависимости распределение сдвинуто впра-
во, для монотонной отрицательной — влево.
Для проверки гипотезы H0 необходимо обратиться к таб-
лицам распределения коэффициента Спирмена [3], вычислен-
ным в предположении истинности гипотезы H0 . По заданной
вероятности ошибки первого рода α необходимо найти соот-
ветствующие пороговые значения, после чего при попадании
вычисленного по наблюдениям коэффициента в критическую
область следует отклонить гипотезу H0 в пользу альтернатив-
ной гипотезы. При выборе в качестве альтернативы гипотезы
H1 (положительная монотонная связь) критическую область
следует выбрать в виде: (c1 , 1]. При выборе альтернативы ги-
потезы H1 (отрицательная монотонная связь) критическую об-
ласть следует выбрать в виде: [−1, c2 ). При выборе альтерна-

тивной гипотезы H1 критическая область для гипотезы H0
имеет вид: [−1, c3 ) ∪ (c4 , 1]. Пороговые значения c1 , c2 , c3 ,
c4 определяются из статистических таблиц так, чтобы веро-
ятность попадания в критическую область при выполнении
гипотезы H0 была равна α.
Коэффициент ранговой корреляции Кенделла
Коэффициент ранговой корреляции Кенделла применяет-

ся для решения тех же задач, что и коэффициент Спирме-
на. Проверяются те же гипотезы, и алгоритм проверки такой
же, как и при использовании коэффициента Спирмена. Раз-
ница лишь в том, что используются статистические таблицы
для распределения коэффициента Кендалла [3]. Для вычис-

ления статистики Кенделла достаточно посчитать количество
инверсий (минимальное число перестановок соседних объек-
тов), которое надо сделать для того, чтобы одно упорядочение
объектов превратилось в другое.
Пусть есть пары наблюдений каждого из признаков
(X1 , Y1 ), . . ., (Xn , Yn ). Упорядочим наблюдения первого при-
знака и проранжируем их рангами от 1 до n. Затем ранжируем
последовательность наблюдений второго признака, при этом
объекты перенумерованы в соответствии с рангами первой
совокупности. Пусть во втором наборе приписаны каждому
наблюдению ранги z1 , . . . , zn , то есть теперь все объекты ха-
рактеризуются парами рангов: (1, z1 ), . . ., (n, zn ). После пе-
ренумерования ранги измерений признаков A представляют
собой новые номера самих объектов. Пусть R — число инвер-
сий в выборке {z1 , . . . , zn }. Инверсия суть нарушение порядка.
Например, в ряду (4, 3, 1, 2) имеется всего 5 инверсий.
Рассмотрим коэффициент ранговой корреляции Кенделла:
4R
τ =1− .
n(n − 1)
Нетрудно доказать, что |τ | 1. При этом |τ | = 1 означает
полную предсказуемость (зависимость) признаков. При боль-
√ n при справедливости
ших 2 гипотезы H0 случайные величины
n − 1 и τ 9n(n + 1)/(2(2n + 5)) приближенно распределе-
ны по стандартному нормальному закону N (0, 1), что позволя-
ет проверять гипотезу H0 , пользуясь указанной асимптотикой.
Для обоих коэффициентов корреляции характерно то об-
стоятельство, что они обнаруживают лишь монотонную зави-
симость признаков.
§ 11. КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ

ПИРСОНА
Коэффициент корреляции Пирсона применяется к данным,
измеренным в шкале отношений.
Определение 11.1. Шкалой отношений называют такую шка-
лу с непрерывным множеством числовых значений, в которой
§ 11. Коэффициент корреляции Пирсона 349
о двух сопоставляемых объектах можно сказать не только,

одинаковы они или различны, не только, в каком из них при-
знак выражен сильнее, но и во сколько раз сильнее этот при-
знак выражен.
Предположим, что есть генеральная совокупность, каждый

элемент которой обладает двумя количественными признака-
ми. Если случайным образом извлекать объекты, то пусть ξ —
значение, которое принимает первый признак, η — значение,
которое принимает второй признак. Величины ξ и η — слу-
чайные. Корреляция случайных величин ξ и η выражается
следующей формулой:
cov(ξ, η)
ρ(ξ, η) = √ √ .
Dξ Dη
Если случайные величины ξ и η независимы, то корреляция

равна нулю. Обратное утверждение, вообще говоря, неверно.
Если ρ = 1, то существует положительная линейная связь
между величинами ξ и η такая, что η = a + bξ, b > 0. Если
ρ = −1, то существует линейная связь между величинами ξ и
η такая, что η = a + bξ, b < 0. Если вектор (ξ, η)T подчиняется
совместному нормальному распределению с вектором матема-
тических ожиданий a = (a1 , a2 )T и ковариационной матрицей

σ12 σ1 σ2 ρ
,
σ1 σ 2 ρ σ22
то корреляция случайных величин ξ и η равна нулю тогда и

только тогда, когда эти случайные величины взаимно незави-
симы, σ12 = Dξ, σ22 = Dη.
Получим оценку коэффициента корреляции — выборочный
коэффициент корреляции Пирсона, который определяется вы-
ражением:
1
n
n (Xi − X̄)(Yi − Ȳ )
i=1
rX,Y = ,
sX sY
n n
где s2X = n1 i=1 (Xi − X̄)2 , s2Y = n1 i=1 (Yi − Ȳ )2 . Здесь
предполагается, что задана двумерная выборка: (X1 , Y1 ), . . .
. . . , (Xn , Yn ). Совместное распределение случайных величин ξ
и η является нормальным.
• H0 : ρ = 0 — гипотеза о независимости.
• H1 : ρ > 0.
• H1 : ρ < 0.
• H1 : ρ = 0 — двусторонняя альтернатива.
Справедливо утверждение. При сделанных предположениях о
распределении случайного вектора (ξ, η)T , статистика
√ 2
t = rX,Y n − 2/ 1 − r2 (11.1)
при выполнении гипотезы H0 подчиняется распределению

Стьюдента с n − 2 степенями свободы.
При использовании статистики (11.1) для альтернативы
H1 критическая область для гипотезы H0 имеет вид: S =
= (t1−α,n−2 , ∞), для альтернативы H1 критическая область
для гипотезы H0 имеет вид: S = (−∞, tα,n−2 ). Критическая
область для нулевой гипотезы H0 при альтернативе H1 будет
иметь вид:

S = −∞, t α2 ,n−2 ∪ t1− α2 ,n−2 , +∞ ,
где tβ,n−2 — квантиль уровня β распределения Стьюдента с

n − 2 степенями свободы. Если значение статистики t ∈ S, то
гипотеза H0 отклоняется, если t ∈
/ S, то гипотеза H0 прини-
мается. Величина вероятности ошибки первого рода равна α.
§ 12. КРИТЕРИЙ СОГЛАСИЯ ХИ-КВАДРАТ

ДЛЯ СЛОЖНЫХ ГИПОТЕЗ
В критерии согласия хи-квадрат реализуется следующая
схема. Выдвигаются гипотезы:
• H0 : Fξ (x) ≡ F (x) — нулевая гипотеза.
• H1 : Fξ (x) = F (x) — альтернативная гипотеза.
В прикладных задачах, как правило, известна не сама функ-
ция распределения, а параметрическое семейство, которому
§ 12. Критерий согласия хи-квадрат для сложных гипотез 351
она принадлежит:
, -
F (·/θ) : θ ∈ Θ ⊂ Rl .
Таким образом, проверяемая гипотеза принимает вид:

, -
H0 : Fξ ∈ F (·/θ) : θ ∈ Θ ⊂ Rl .
Альтернативная гипотеза H1 примет вид: гипотеза H0 не вер-

на.
Разобьем числовую ось на k промежутков: Δ1 , . . ., Δk та-
ким образо

Теория вероятностей и математическая статистика 2013 PDF

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Теория вероятностей и математическая статистика 2013 PDF

Оригинальное название:

Загружено:

Авторское право:

Доступные форматы

В. М.

Охраняется законом РФ об авторском праве.

© Издательство «Лань», 2013

Настоящее пособие содержит подробное изложение уни-

И. А. Ибрагимова и Р. З. Хасьминского [17], Я. Ю. Никитина

Пример 1.1. Пусть проводится эксперимент, в котором под-

где ai — число очков, выпавших на i-ом кубике.

Пример 1.2. Проведем другой статистический эксперимент,

Если в примере 1.1 нас интересует событие, которое за-

очков, тогда событие A можно описать следующим образом:

Если A∩B = ∅, то события A и B называют несовместны-

Доказательство. Докажем равенство(2.1). Покажем, что

Определение 2.3. Алгеброй, порожденной множеством B ⊂

Рассмотрим некоторое событие A ∈ A. Проведем статисти-

Замечание 2.1. Теория вероятностей может применяться

Определение 2.4. Пусть A — алгебра подмножеств множе-

Определение 2.6. Счетно-аддитивная мера μ называется σ-

Определение 2.7. Счетно-аддитивная мера μ называется ко-

Замечание 2.3. Счетно-аддитивная вероятностная мера P ,

Доказательство. Поскольку A ⊂ B, то множество B

4. Формула сложения вероятностей. Для любых событий

P (A ∪ B) = P (A) + P (B) − P (A ∩ B).

Доказательство. Представим событие A ∪ B в следую-

5. Для любых событий A1 , . . . , Am ∈ A выполняется нера-

Доказательство. Введем систему событий B1 = A1 ,

Так как событие Bi является подмножеством события Ai

6. Для любых событий A1 , . . . , Am ∈ A справедливо равен-

Это утверждение можно доказать, используя метод ма-

Доказательство. Введем систему событий B1 = A1 ,

Замечание 3.1. Свойства 1–6 справедливы для любой конечно-

1. Вероятностная мера P — счетно-аддитивная.

3. Конечно-аддитивная вероятностная мера P непре-

4. Конечно-аддитивная вероятностная мера P «непре-

Доказательство. Покажем, что из утверждения 1 следу-

2. Покажем, что из 2 следует 3. Рассмотрим последова-

Определение 3.1. Алгебра F подмножеств множества Ω на-

Замечание 3.2. В дальнейшем, в качестве вероятностно-

Теорема 4.1 (правило умножения в комбинаторике). Пусть

Доказательство. Обозначим группы объектов следующим

Таким образом, каждая клетка таблицы соответствует од-

таблицы и равняется n1 n2 . Для случая r = 2 теорема вер-

применив доказанное утверждение для случая r = 2 два раза.

называют числом сочетаний из n по r и обозначают через Cnr .

n(n − 1) · . . . · (n − r + 1)(n − r)! n!

В этом случае вероятность определяется равенством: P (ω) =

Определение 4.2. Любую числовую функцию, заданную на

Рассмотрим случайную величину ξ, равную числу белых

Равенство (5.1) принято называть определением геометриче-

Пример 5.1. Задача о встрече. Два лица A и B условились

Изобразим x и y на декартовой плоскости (рис. 1.2), в

больше стороны равностороннего треугольника, вписанного в

Данную задачу можно решить тремя способами.

Таким образом, искомая вероятность определяется как от-

Решение 3. В окружности радиуса R произвольным обра-

Причина возникновения парадокса связана с неоднозначно-

Решение. Пусть y — расстояние от середины иглы до бли-

Приближенное равенство следует из свойства «статистической

Из определения условной вероятности следует формула

Обобщим формулу умножения вероятностей на случай n

Определение 7.1. События A и B независимы, если справед-

P (A ∩ B) = P (A)P (B). (7.1)

Замечание 7.1. Определение 7.1 не нуждается в предполо-