Probability Zhukovsky

Московский физико-технический институт
факультет инноваций и высоких технологий
ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Лектор: М.Е. Жуковский
КОНСПЕКТ ЛЕКЦИЙ
автор: Александр Марков
30 января 2017 г.
Благодарности:
∙ М.Е. Жуковскому за проверку конспекта.
∙ Всем неравнодушным сокурсникам, сообщавшим об опечатках и ошибках, и в особенности

Васильеву Александру, нашедшему наиболее неочевидные неточности.
∙ Марии Носаревой за предоставленные рукописные конспекты многих лекций.
Комментарии, предложения и найденные ошибки приветствуются по адресу https: // vk. com/

id119012868 .
Содержание
1 Аксиоматика теории вероятностей 3
1.1 Аксиоматика Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Наименьшие сигма-алгебры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Условная вероятность. Независимость событий 8

2.1 Условная вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Независимость событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3 Распределение вероятностей 11
3.1 Борелевские сигма-алгебры. Функция распределения . . . . . . . . . . . . . . . . . . . . . 11
3.2 Виды распределений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3 Примеры распределений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.4 Многомерные распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
4 Случайные величины 18
4.1 Измеримые функции. Случайные величины. . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4.2 Примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.3 Независимость случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
5 Математическое ожидание 25
5.1 Дискретный случай. Свойства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2 Абсолютно непрерывный случай . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
5.3 Математическое ожидание произвольной случайной величины . . . . . . . . . . . . . . . . 27
5.4 Свойства математического ожидания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.5 Основные теоремы о предельном переходе под знаком интеграла Лебега . . . . . . . . . . 31
6 Дисперсия и ковариация 35
1
7 Неравенства в теории вероятностей 36
8 Виды сходимости случайных величин 38

8.1 Виды сходимости. Взаимосвязть между ними . . . . . . . . . . . . . . . . . . . . . . . . . . 38
8.2 Лемма Бореля-Кантелли. Критерий Коши сходимости случайных величин . . . . . . . . 41
9 Случайное блуждание 45
9.1 Определение. Закон повторного логарифма . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
9.2 Некоторые факты о случайном блуждании . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
10 Закон больших чисел 47

10.1 Закон больших чисел в форме Чебышева . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
10.2 Усиленные законы больших чисел . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
10.3 Неравенство больших уклонений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
11 Характеристические функции. Центральная предельная теорема 54

11.1 Характеристические функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
11.2 Гауссовские векторы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
11.3 Центральная предельная теорема . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2
1 Аксиоматика теории вероятностей
1.1 Аксиоматика Колмогорова
Определение 1.1. Произвольное множество Ω (не обязательно конечное) называется пространством

элементарных исходов.
Определение 1.2. F — система подмножеств Ω — называется алгеброй на Ω, если выполнены следу-

ющие свойства:
1. Ω ∈ F
2. 𝐴 ∈ F ⇒ 𝐴 ∈ F .
3. 𝐴1 , 𝐴2 ∈ F ⇒ 𝐴1 ∪ 𝐴2 и 𝐴1 ∩ 𝐴2 ∈ F . (Причем достаточно лишь одного из этого).

∞
Определение 1.3. Алгебра F называется 𝜎-алгеброй (сигма-алгеброй), если 𝐴1 , 𝐴2 , . . . ∈ F ⇒
⋃︀
𝐴𝑖 ∈
𝑖=1
F.
Замечание: Не важно, взять ли в определении сигма-алгебры объединение или пересечение множеств,
т.к. они выражаются через друг друга и дополнение множеств согласно законам де Моргана.
Докажем некоторые свойства алгебр и 𝜎-алгебр.
Утверждение 1.1.1. ∅ ∈ F
Доказательство. Ω = ∅ ∈ F
Утверждение 1.1.2. ∀𝐴, 𝐵 ∈ F : 𝐴 ∖ 𝐵 ∈ F
Доказательство. 𝐴 ∖ 𝐵 = 𝐴 ∩ 𝐵
Определение 1.4. Пусть (Ω, F ) — пространство элементарных событий и алгебра на нем. Тогда
функция 𝜇 : F → R+ ∪ {+∞} называется конечно-аддитивной мерой, если ∀𝐴1 , 𝐴2 ∈ F , 𝐴1 ∩ 𝐴2 = ∅
то 𝜇(𝐴1 ∪ 𝐴2 ) = 𝜇(𝐴1 ) + 𝜇(𝐴2 ).
∞ ∞
Если F — алгебра и ∀𝐴1 , 𝐴2 , . . . ∈ F , 𝐴𝑖 ∈ F ⇒ 𝜇(
⋃︀ ⋃︀ ∑︀
∀𝑖 ̸= 𝑗 𝐴𝑖 ∩ 𝐴𝑗 = ∅, 𝐴𝑖 ) = 𝜇(𝐴𝑖 ), то 𝜇
𝑖=1 𝑖=1
называется счетно-аддитивной мерой.
Определение 1.5. Если 𝜇(Ω) = 1, то 𝜇 называется конечно-аддитивной верятностью (в случае если

𝜇 конечно-аддитивная мера) и просто вероятностью, если 𝜇 — счетно-аддитивная. В таком случае,
будем обозначать 𝜇 символом P.
Утверждение 1.1.3. P(∅) = 0
Доказательство. ∅ ∩ Ω = ∅ ⇒ P(∅ ∪ Ω) = P(∅) + P(Ω) = P(Ω) = 1 ⇒ P(∅) = 0
Утверждение 1.1.4. Пусть 𝐴, 𝐵 ∈ F , такие, что: 𝐴 ⊂ 𝐵. Тогда P(𝐵) ≥ P(𝐴)

Доказательство. Следует из P(𝐵) = P(𝐴) + P(𝐵 ∖ 𝐴) и того, что вероятность — неотрицательная
функция.
∞
⋃︀ ∞
∑︀
Утверждение 1.1.5. P( 𝐴𝑖 ) ≤ P(𝐴𝑖 )
𝑖=1 𝑖=1
Доказательство. Рассмотрим события 𝐵𝑖 = 𝐴𝑖 ∖ (𝐴1 ∪ . . . ∪ 𝐴𝑖−1 ) 𝑖 ≥ 2; 𝐵1 = 𝐴1 . Тогда 𝐵𝑖 ∩ 𝐵𝑗 = ∅,

⋃︀ ⋃︀
𝐵 𝑖 = 𝐴𝑖 .
⋃︀ ⋃︀ ∑︀ ∑︀
Получается, что P( 𝐴𝑖 ) = P( 𝐵𝑖 ) = P(𝐵𝑖 ) ≤ 𝑃 (𝐴𝑖 ).
Заметим, что ряд слева сходится, т.к. его значение ограничено 1, а все его члены положительны.
Теорема 1.1. (О непрерывности вероятностной меры в 0)

Пусть Ω — произвольное множество, F — алгебра на Ω. Тогда следующие условия эквивалентны:
1. P — вероятность на (Ω, F )
2. P — конечно аддитивная вероятность на (Ω, F ), непрерывная сверху:

𝐴𝑖 ∈ F ⇒ lim P(𝐴𝑛 ) = P( 𝐴𝑖 )
⋃︀ ⋃︀
∀𝐴1 ⊂ 𝐴2 ⊂ . . . ;
𝑛→∞
3. P — конечно аддитивная вероятность на (Ω, F ), непрерывная снизу:

𝐴𝑖 ∈ F ⇒ lim P(𝐴𝑛 ) = P( 𝐴𝑖 )
⋂︀ ⋂︀
∀𝐴1 ⊃ 𝐴2 ⊃ . . . ;
𝑛→∞
4. P — конечно аддитивная вероятность на (Ω, F ), непрерывная в нуле:

⋂︀
∀𝐴1 ⊃ 𝐴2 ⊃ . . . ; 𝐴𝑖 = ∅ ⇒ lim P(𝐴𝑛 ) = 0
𝑛→∞
Доказательство.
1) ⇒ 2):
Рассмотрим множества 𝐴𝑖 , удовлетворяющие условию 2.
∞
⋃︀
𝐴𝑛 = 𝐴1 + (𝐴2 ∖ 𝐴1 ) + (𝐴3 ∖ 𝐴2 ) + . . .
𝑛=1
тогда имеем
∞
⋃︁
P( 𝐴𝑛 ) = P(𝐴1 ) + P(𝐴2 ∖ 𝐴1 ) + P(𝐴3 ∖ 𝐴2 ) + . . . =
𝑛=1
= P(𝐴1 ) + P(𝐴2 ) − P(𝐴1 ) + P(𝐴3 ) − P(𝐴2 ) + . . . = lim P(𝐴𝑛 )

𝑛→∞
2) ⇒ 3):
Пусть 𝑛 ≥ 1, тогда
P(𝐴𝑛 ) = P(𝐴1 ∖ (𝐴1 ∖ 𝐴𝑛 )) = P(𝐴1 ) − P(𝐴1 ∖ 𝐴𝑛 )
Последовательность множеств {𝐴1 ∖ 𝐴𝑛 }𝑛≥1 является неубывающей ( 𝐵𝑖 ⊂ 𝐵𝑖+1 ) и
∞
⋃︀ ∞
⋂︀
(𝐴1 ∖ 𝐴𝑛 ) = 𝐴1 ∖ 𝐴𝑛
𝑛=1 𝑛=1
Имеем, в силу 2):
∞
⋃︀
lim P(𝐴1 ∖ 𝐴𝑛 ) = P( (𝐴1 ∖ 𝐴𝑛 ))
𝑛→∞ 𝑛=1
и, значит,
lim P(𝐴𝑛 ) = P(𝐴1 ) − lim P(𝐴1 ∖ 𝐴𝑛 ) =

𝑛→∞ 𝑛→∞
∞
⋃︁ ∞
⋂︁
= P(𝐴1 ) − P( (𝐴1 ∖ 𝐴𝑛 )) = P(𝐴1 ) − P(𝐴1 ∖ 𝐴𝑛 ) =
𝑛=1 𝑛=1
∞
⋂︁ ∞
⋂︁
= P(𝐴1 ) − P(𝐴1 ) + P( 𝐴𝑛 ) = P( 𝐴𝑛 ).
𝑛=1 𝑛=1
3) ⇒ 4):
Очевидно.
4) ⇒ 1):
∞
Пусть множества 𝐴1 , 𝐴2 , . . . ∈ F попарно не пересекаются и 𝐴𝑛 ∈ F . Тогда
⋃︀
𝑛=1
∞
⋃︀ 𝑛
⋃︀ ∞
⋃︀
P( 𝐴𝑛 ) = P( 𝐴𝑖 ) + P( 𝐴𝑖 )
𝑛=1 𝑖=1 𝑖=𝑛+1
∞
⋃︀
и поскольку 𝐴𝑖 ↓ ∅ 𝑛 → ∞, то
𝑖=𝑛+1
∞
∑︁ 𝑛
∑︁ 𝑛
⋃︁
P(𝐴𝑖 ) = lim P(𝐴𝑖 ) = lim P( 𝐴𝑖 ) =
𝑛→∞ 𝑛→∞
𝑖=1 𝑖=1 𝑖=1
∞ ∞
[︀ ⋃︁ ⋃︁ ]︀
= lim P( 𝐴𝑖 ) − P( 𝐴𝑖 ) =
𝑛→∞
𝑖=1 𝑖=𝑛+1
∞
⋃︁ ∞
⋃︁ ∞
⋃︁
= P( 𝐴𝑖 ) − lim P( 𝐴𝑖 ) = P( 𝐴𝑖 )
𝑛→∞
𝑖=1 𝑖=𝑛+1 𝑖=1
Определение 1.6. Набор объектов

(Ω, F , P),
где
a) Ω — множество точек 𝜔,
b) F — 𝜎-алгебра подмножеств Ω,
c) P — вероятность на (Ω, F ),
называется вероятностным пространством или вероятностной моделью (эксперимента). При этом

пространство исходов Ω называется пространством элементарных исходов (или элементарных собы-
тий), множества 𝐴 из F — событиями, а P(𝐴) — вероятностью события 𝐴.
Пример 1.1. Классическая вероятность:

|𝐴|
Ω конечно, F = 2Ω , P(𝐴) = |Ω| .
Например, пространство элементарных событий Ω = {𝜔 : 𝜔 = (𝑎1 , 𝑎2 , . . . , 𝑎𝑛 ), 𝑎𝑖 ∈ {О, Р}} с

алгеброй F = 2Ω соответствует 𝑛-кратному подбрасыванию монеты.
Пример 1.2. Геометрическая вероятность
Ω ⊂ R𝑘 , т.ч. мера Жордана 𝜇(Ω) < ∞ (иными словами, Ω — измеримое по Жордану подмножество
𝜇(𝐴)
R𝑘 ). F ⊆ 2Ω — множество измеримых по Жордану подмножеств Ω. P(𝐴) = 𝜇(Ω)
Рассмотрим следующую задачу: Петя и Ваня приходят в столовую с 12 до 13 часов. Если Петя
пришел раньше Вани, то он ждет его 15 минут и уходит. Аналогично поступает Ваня. Нужно найти
вероятность того, что Петя и Ваня встретятся в столовой.
Пространство элементарных исходов составляет Ω = [0, 1]×[0, 1] = [0, 1]2 , а событие 𝐴 = {П и В встретились} =
{(𝑢, 𝑣) : |𝑢 − 𝑣| ≤ 14 }. Это множество на рисунке выделено красным цветом. Тогда
(︀ )︀2
𝜇(𝐴) 1 − 2 · 12 · 43 7
P(𝐴) = = =
𝜇(Ω) 1 16
0.75
0.5
0.25
0 0.25 0.5 0.75
1.2 Наименьшие сигма-алгебры
Определение 1.7. Пусть 𝑀 — система подмножеств Ω. Наименьшая 𝜎-алгебра, порожденая 𝑀 , есть

F — 𝜎-алгебра, т.ч. не существует 𝜎-алгебры, содержащей 𝑀 и содержащаяся в F как собственное
подмножество. Обозначение 𝜎(𝑀 ).
Пример 1.3. F = {∅, Ω} — тривиальная 𝜎-алгебра.
Пример 1.4. F = 2Ω
Пример 1.5. F𝐴 = {∅, 𝐴, 𝐴, Ω} — 𝜎-алгебра, порожденная событием 𝐴.

⋃︀
Пример 1.6. 𝐷1 , 𝐷2 , . . . ⊆ Ω, 𝐷𝑖 ∩ 𝐷𝑗 = ∅, 𝐷𝑖 = Ω
F = 𝜎({𝐷1 , 𝐷2 , . . .}) — наименьшая 𝜎-алгебра, порожденная разбиением 𝐷1 , 𝐷2 , . . . — все возможные
объединения конечного и бесконечного числа множеств из разбиения.
Утверждение 1.2.1. Если 𝑀 ⊂ 2Ω , то 𝜎(𝑀 ) существует.
Доказательство. Пусть 𝑋 — мн-во всех 𝜎-алгебр, содержащих 𝑀 (очевидно, что оно не пусто). F =
𝜀 Покажем, что F = 𝜎(𝑀 ):
⋂︀
𝜀∈𝑋
1. Ω ∈ F
2. Пусть 𝐴 ∈ F ⇒ ∀𝜀 ∈ 𝑋 𝐴∈𝜀⇒𝐴∈𝜀⇒𝐴∈F
3. Для объединения счетного числа множеств доказательство аналогично 2.
Заметим, что F — минимальная 𝜎-алгебра. Действительно, предположим, что ∃F0 - меньше F .

Тогда:
F0 ⊂ F , F0 ∈ 𝑋 ⇒ F ⊂ F0 .
Противоречие.
7
2 Условная вероятность. Независимость событий
2.1 Условная вероятность
Определение 2.1. Пусть (Ω, F , P) — вероятностное пространство. 𝐴, 𝐵 ∈ F — события. Вероятностью

события 𝐴 при условии 𝐵 называется величина
⎧
⎨ P(𝐴∩𝐵) , P(𝐵) ̸= 0
⎪
P(𝐵)
P(𝐴 | 𝐵) =
⎩0,
⎪
P(𝐵) = 0
Замечание 1: Если P(𝐵) = 0, то P(𝐴 | 𝐵) = 0.

|𝐴| |𝐴∩𝐵|
Замечание 2: В случае классической вероятности P(𝐴) = |Ω| , P(𝐴 ∩ 𝐵) = |Ω| , а значит
|𝐴∩𝐵|
P(𝐵 | 𝐴) = |𝐴| .
Установим некоторые очевидные свойства условных вероятностей:
1. P(𝐴 | 𝐴) = 1,
2. P(∅ | 𝐴) = 0,
3. P(𝐵 | 𝐴) = 1, 𝐵 ⊇ 𝐴,
4. P(𝐵1 ⊔ 𝐵2 | 𝐴) = P(𝐵1 | 𝐴) + P(𝐵2 | 𝐴),
5. P(𝐵 | 𝐴) + P(𝐵 | 𝐴) = 1.
Пример 2.1. Найдем вероятность встречи Васи и Пети при условии, что хотя бы один из них при-
ходит во вторую половину часа. Как и прежде, множество точек, удовлетворяющих событию 𝐴 =
{Вася и Петя встретились} выделено красным цветом, а множество точек, удовлетворяющих событию
𝐵 = {хотя бы один пришел во вторую половину часа} — зелеными. Тогда ответ на задачу
P(𝐴 ∩ 𝐵) 1 − 21 − 1
4 1
P(𝐴 | 𝐵) = = =
P(𝐵) 1 − 14 3
0.75
0.5
0.25
0 0.25 0.5 0.75
8
Теорема 2.1. Формула полной вероятности:
Пусть {𝐷1 , 𝐷2 , . . . , } — некоторое разбиение множества Ω, а 𝐴 — некоторое событие. Тогда:
∞
∑︀
P(𝐴) = P(𝐴 | 𝐷𝑛 )𝑃 (𝐷𝑛 ).
𝑛=1
Доказательство. Ясно, что

𝐴 = (𝐴 ∩ 𝐷1 ) ⊔ (𝐴 ∩ 𝐷2 ) ⊔ . . .
и, значит,
∞
∑︀
P(𝐴) = P(𝐴 ∩ 𝐷𝑖 ).
𝑖=1
но
P(𝐴 ∩ 𝐷𝑖 ) = P(𝐴 | 𝐷𝑖 )P(𝐷𝑖 ).
Пример 2.2. В ящике находиться 𝑛 шаров: 𝑘 черных 𝑛−𝑘 белых. Случайным образом без возвращения
из ящика вытягиваются шары. Какова вероятность события 𝐴 = { при 𝑗-том вытягивании достали
черный шар} для 𝑗 ∈ {1, 2, . . . , 𝑛}.
Решение: Ω = {𝜔 ∈ 𝜎(1, 2, . . . , 𝑛) — перестановки }. Пусть черным шарам соотвествует цифра 1, а

белым — 0.
Первый способ: Рассмотрим два события: 𝐴1 = {на 1 вытягивании достали черный шар} = {(1, 𝑘2 , . . . , 𝑘𝑛 )},
а 𝐴𝑗 = {на 𝑗 вытягивании достали черный шар} = {(𝑘1 , . . . , 𝑘𝑗−1 , 1, 𝑘𝑗+1 , . . . , 𝑘𝑛 )}. Очевидно, что меж-
𝑘
ду 𝐴1 и 𝐴𝑗 есть биекция, а значит |𝐴1 | = |𝐴𝑗 | ⇒ P(𝐴𝑗 ) = P(𝐴1 ) = 𝑛
𝑘
Второй способ: По индукции. P(𝐴1 ) = 𝑛. Предположение: пусть при изначальном количестве чер-
𝑥
ных шаров 𝑥 и всех шаров 𝑚 вероятность P(𝐴𝑗−1 ) = 𝑚.
Тогда, если всего шаров 𝑛, а черных шаров 𝑘, то

𝑘−1 𝑘 𝑘 𝑛−𝑘 𝑘
P(𝐴𝑗 ) = P(𝐴𝑗 | 𝐴1 )P(𝐴1 ) + P(𝐴𝑗 | 𝐴1 )P(𝐴1 ) = · + · =
𝑛−1 𝑛 𝑛−1 𝑛 𝑛
Теорема 2.2. Формула Байеса:

{𝐷1 , 𝐷2 , · · · } — разбиение Ω. 𝐴 — событие. Тогда справедлива формула Байеса:
P(𝐴 | 𝐷𝑛 )P(𝐷𝑛 )
P(𝐷𝑛 | 𝐴) = ∞
∑︀
P(𝐴 | 𝐷𝑖 )P(𝐷𝑖 )
𝑖=1
∞
∑︀
Доказательство. Следует из формулы полной вероятности P(𝐴) = P(𝐴 | 𝐷𝑛 )P(𝐷𝑛 ) и того, что
𝑛=1
P(𝐷𝑛 ∩𝐴)
P(𝐷𝑛 | 𝐴) = P(𝐴) , P(𝐷𝑛 ∩ 𝐴) = P(𝐴 | 𝐷𝑛 )P(𝐷𝑛 )
2.2 Независимость событий
Определение 2.2. События 𝐴 и 𝐵 называются независимыми, если P(𝐴 ∩ 𝐵) = P(𝐴)P(𝐵). Если

P(𝐵) ̸= 0, то
P(𝐴 ∩ 𝐵)
P(𝐴) = = P(𝐴 | 𝐵)
P(𝐵)
9
Определение 2.3. События 𝐴1 , 𝐴2 , . . . 𝐴𝑛 называются независимыми в совокупности, если
𝑘
∏︀
∀𝑛1 , 𝑛2 , . . . , 𝑛𝑘 (𝑘 ≥ 2, 𝑘 ≤ 𝑛) P(𝐴𝑛1 ∩ 𝐴𝑛2 ∩ . . . ∩ 𝐴𝑛𝑘 ) = P(𝐴𝑛𝑖 )
𝑖=1
Утверждение 2.2.1. Попарно независимые события не обязательно независимы в совокупности.
Доказательство. Приведем контрпример (пример Бернштейна): покрасим грани тетраэдра в 3 цвета:

одну во все 3 цвета (красный, зеленый и синий) и 3 других в различные.
Рассмотрим следующие события:
∙ 𝐴𝑅 = ’На грани тетраэдра есть красный цвет’
∙ 𝐴𝐺 = ’На грани тетраэдра есть зеленый цвет’
∙ 𝐴𝐵 = ’На грани тетраэдра есть синий цвет’
тогда:
1
∙ P(𝐴𝑅 ∩ 𝐴𝐺 ∩ 𝐴𝐵 ) = 4
1
∙ P(𝐴𝑅 ∩ 𝐴𝐺 ) = P(𝐴𝑅 ∩ 𝐴𝐵 ) = P(𝐴𝐺 ∩ 𝐴𝐵 ) = 4
1
∙ P(𝐴𝑅 ) = 𝑃 (𝐴𝐺 ) = P(𝐴𝐵 ) = 2
Приведенные события попарно независимы, но не независимы в совокупности.
Определение 2.4. Пусть дано мн-во {𝐴𝛼 }𝛼∈Γ . 𝐴𝛼 называется независимым в совокупности, если
∀𝑛 ∈ N ∀ различных 𝛼1 , 𝛼2 , . . . , 𝛼𝑛 ∈ Γ : 𝐴𝛼1 , . . . , 𝐴𝛼𝑛 независимы в совокупности.
Определение 2.5. M1 , . . . , M𝑛 ⊂ F называются независимыми в совокупности, если

∀𝐴𝑖 ∈ M𝑖 𝐴1 , . . . , 𝐴𝑛 независимы в совокупности
Утверждение 2.2.2. Пусть 𝐴1 , 𝐴2 , . . . , 𝐴𝑛 — независимые в совокупности события. Тогда F𝐴𝑖 =

{∅, Ω, 𝐴𝑖 , 𝐴𝑖 } — независимы в совокупности.
𝑛
∏︀
Доказательство. Пусть 𝐵𝑖 ∈ 𝐹𝑖 . Докажем, что 𝑃 (𝐵1 ∩ . . . ∩ 𝐵𝑛 ) = 𝑃 (𝐵𝑖 ).
𝑖=1
Случаи, когда одно из 𝐵𝑖 равно ∅ очевиден. Если же одно из 𝐵𝑖 равно Ω, то это очевидным образом
сводиться к случаю, когда такого 𝐵𝑖 нет (множитель P(𝐵𝑖 ) равен 1, а на пересечение событий множество
B𝑖 не влияет). Предположим теперь, что ∀𝑖 𝐵𝑖 ̸= ∅, Ω. Пусть 𝑘 это число множеств из 𝐵𝑖 вида 𝐴𝑖 .
Докажем утверждение индукцией по 𝑘.
База индукции при 𝑘 = 0 следует из условия независимости событий. Покажем переход индукции,
заметив, что 𝐴1 = Ω ∖ 𝐴1 .
P(𝐴1 ∩ . . . ∩ 𝐴𝑘 ∩ 𝐴𝑘+1 ∩ . . . ∩ 𝐴𝑛 ) = P(𝐴2 ∩ . . . ∩ 𝐴𝑘 ∩ 𝐴𝑘+1 ∩ . . . ∩ 𝐴𝑛 ) − P(𝐴1 ∩ . . . ∩ 𝐴𝑘 ∩ 𝐴𝑘+1 ∩ . . . ∩ 𝐴𝑛 ) =
= P(𝐴2 ) . . . P(𝐴𝑘 )P(𝐴𝑘+1 ) . . . P(𝐴𝑛 ) − P(𝐴1 )P(𝐴2 ) . . . P(𝐴𝑘 )P(𝐴𝑘+1 ) . . . P(𝐴𝑛 ) =
= P(𝐴2 ) . . . P(𝐴𝑘 )P(𝐴𝑘+1 ) . . . P(𝐴𝑛 )(1 − P(𝐴1 )) = P(𝐴1 ) . . . P(𝐴𝑘 )P(𝐴𝑘+1 ) . . . P(𝐴𝑛 )
10
3 Распределение вероятностей
3.1 Борелевские сигма-алгебры. Функция распределения
Определение 3.1. Пусть R действительная прямая и

(𝑎, 𝑏] = {𝑥 ∈ R : 𝑎 < 𝑥 ≤ 𝑏}
Обозначим через A систему множеств в R, состоящую из конечных объединений непересекающихся
интервалов вида (𝑎, 𝑏]:
𝑛
𝐴∈A,
⋃︀
если 𝐴 = (𝑎𝑖 , 𝑏𝑖 ], 𝑛<∞
𝑖=1
Нетрудно проверить, что данная система множеств в объединении с пустым образует алгебру, кото-
рая, однако, не является 𝜎-алгеброй, поскольку если положить 𝐴𝑛 = (0, 1− 𝑛1 ] ∈ A , то 𝐴𝑛 = (0, 1) ̸∈ A
⋃︀
𝑛
Пусть B(R) — наименьшая 𝜎-алгебра 𝜎(A ), содержащая систему A . Полученная 𝜎-алгебра назы-
вается борелевской алгеброй на числовой прямой, а ее множества — борелевскими.
Замечание. 1: Заметим, что

∞ ∞
⋃︁ 1 ⋂︁ 1
(𝑎, 𝑏) = (𝑎, 𝑏 − ], 𝑎 < 𝑏, [𝑎, 𝑏] = (𝑎 − , 𝑏], 𝑎 < 𝑏,
𝑛=1
𝑛 𝑛=1
𝑛
∞
⋂︁ 1
{𝑎} = (𝑎 − , 𝑎]
𝑛=1
𝑛
Таким образом, в борелевскую 𝜎-алгебру наряду с интервалами (𝑎, 𝑏] входят одноточечные множе-
ства {𝑎} а так же каждое из семи множеств вида
(𝑎, 𝑏), [𝑎, 𝑏], [𝑎, 𝑏), (−∞, 𝑏), (−∞, 𝑏], (𝑎, +∞), [𝑎, −∞).
Замечание. 2: В общем случае борелевской 𝜎-алгеброй называется минимальная 𝜎-алгебра, содержащая
все открытые множества топологического пространства.
Определение 3.2. Пара (R, B(R)) называется измеримым пространством.
Определение 3.3. Любая вероятностная мера на (R, B(R)) называется распределением вероятностей.
Определение 3.4. Функцией распределения, соответствующей распределению вероятностей P, назы-

вается функция 𝐹 : R → [0, 1], такая, что:
𝐹 (𝑥) = P((−∞, 𝑥]).
11
Теорема 3.1. Любая функция распределения обладает следующими свойствами:
1. lim 𝐹 (𝑥) = 0 и lim 𝐹 (𝑥) = 1

𝑥→−∞ 𝑥→+∞
2. 𝐹 —непрерывна справа: lim 𝐹 (𝑥) = 𝐹 (𝑥0 )

𝑥→𝑥0 +0
3. 𝐹 — неубывает
Доказательство. 1. lim 𝐹 (𝑥) = lim P((−∞, 𝑥])

𝑥→−∞ 𝑥→−∞
Т.к. (−∞, 𝑥] ↓ ∅, то по теореме о непрерывности вероятностной меры в 0:

lim P(−∞, 𝑥]) = P(∅) = 0.
𝑥→−∞
Далее, по той же теореме о непрерывности вероятностной меры в 0, lim 𝐹 (𝑥) = lim P((−∞, 𝑥]) =
𝑥→+∞ 𝑥→+∞
1, т.к. (−∞, 𝑥] ↑ R.
2. Пусть 𝑥 → 𝑥0 + 0. Тогда (−∞, 𝑥] ↓ (−∞, 𝑥0 ] и по теореме о непрерывности вероятностной меры

в 0 P((−∞, 𝑥]) → P((∞, 𝑥0 ])
3. Пусть 𝑥 > 𝑦. Тогда (−∞, 𝑥] ⊃ (−∞, 𝑦] ⇒ P((−∞, 𝑥]) ≥ P(−∞, 𝑦]) ⇒ 𝐹 (𝑥) ≥ 𝐹 (𝑦)
Замечание: Функция распределения не обязательно непрерывна слева, т.к (−∞, 𝑥] −−−−−→ (−∞, 𝑥0 ),а
𝑥→𝑥0 −0
значит P((−∞, 𝑥]) → P((−∞, 𝑥0 ]) − P({𝑥0 })
Теорема 3.2. (б/д)

Пусть 𝐹 : R → [0, 1] обладает свойствами 1) − 3). Тогда существует единственное распределение
вероятностей, т.ч. 𝐹 — его функция распределения.
Любую функцию, обладающую этими свойствами, будем называть функцией распределения.
⎧ ⎧
⎨1, 𝑥 ≥ 𝑎
⎪ ⎨1, 𝑎 ∈ 𝐴
⎪
Пример 3.1. 𝐹 (𝑥) = . P(𝐴) = 𝐼(𝑎 ∈ 𝐴) =
⎩0, 𝑥 < 𝑎
⎪ ⎩0, 𝑎 ̸∈ 𝐴
⎪
⎧
⎪
⎪
⎪ 0, 𝑥 < 0
⎪
⎨
Пример 3.2. 𝐹 (𝑥) = 𝑥, 𝑥 ∈ [0, 1) . 0 ≤ 𝑎 < 𝑏 ≤ 1 ⇒ P((𝑎, 𝑏)) = 𝑏 − 𝑎
⎪
⎪
⎪
⎪
⎩1, 𝑥 ≥ 1
P — мера Лебега на отрезке [0, 1]
3.2 Виды распределений
1. Дискретные
Пусть 𝑋 ⊂ R — не более чем счетный набор точек, т.ч. P(𝑋) = 1, P(R ∖ 𝑋) = 0.
Тогда P называется дискретным распределением.
𝑋 = {𝑥𝑛 | 𝑛 ∈ N}.
12
∑︀
𝐹 (𝑥) = P({𝑥𝑛 })
𝑛∈N
𝑥𝑛 ≤𝑥
Обозн: P({𝑥𝑛 }) = 𝑝𝑛 . Часто последовательность {𝑝𝑛 } называется распределением вероятностей,
т.к. распределение вероятностей в стандартном понимании однозначно восстанавливается по ней.
2. Абсолютно непрерывные
Пусть 𝐹 — функция распределения. Если существует функция 𝑝 : R → R+ , такая что
∫︀𝑥
∀𝑥 𝐹 (𝑥) = 𝑝(𝑡)𝑑𝑡
−∞
то распределение вероятностей и 𝐹 называются абсолютно непрерывными, а 𝑝 — плотностью этого
распределения.
Замечание: Приведены не все распределения из существующих.

+∞
∫︀
Утверждение 3.2.1. Пусть 𝑝 : R → R+ и 𝑝(𝑡)𝑑𝑡 = 1. Тогда функция
−∞
∫︀𝑥
𝐹 (𝑥) = 𝑝(𝑡)𝑑𝑡
−∞
является функцией распределения.
Доказательство. Покажем, что определенная таким образом функция 𝐹 удовлетворяет всем свой-
ствам функции распределения:
1.
∫︀𝑥 ∫︀∞ ∫︀∞
lim 𝐹 (𝑥) = lim 𝑝(𝑡)𝑑𝑡 = lim 𝑝(𝑡)𝐼(𝑡 ≤ 𝑥)𝑑𝑡 = lim 𝑝(𝑡)𝐼(𝑡 ≤ 𝑥)𝑑𝑡 = 0
𝑥→−∞ 𝑥→−∞ −∞ 𝑥→−∞ −∞ −∞ 𝑥→−∞
+∞
∫︀ +∞
∫︀
lim 𝐹 (𝑥) = lim 𝑝(𝑡)𝐼(𝑡 ∈ (−∞, 𝑥])𝑑𝑡 = 𝑝(𝑡)𝑑𝑡 = 1
𝑥→+∞ −∞ 𝑥→+∞ −∞
2. Непрерывность справа:
∫︀𝑥 ∫︀𝑥0
lim 𝐹 (𝑥) = lim 𝑝(𝑡)𝑑𝑡 = 𝑝(𝑡)𝑑𝑡 = 𝐹 (𝑥0 )
𝑥→𝑥0 +0 𝑥→𝑥0 +0 −∞ −∞
3. Неубывание:
∫︀𝑥 ∫︀𝑦 ∫︀𝑥 ∫︀𝑥
𝑥 > 𝑦 ⇒ 𝐹 (𝑥) = 𝑝(𝑡)𝑑𝑡 = 𝑝(𝑡)𝑑𝑡 + 𝑝(𝑡)𝑑𝑡 = 𝐹 (𝑦) + 𝑝(𝑡)𝑑𝑡 ⇒
−∞ −∞ 𝑦 𝑦
неубывание функции 𝐹 , т.к. 𝑝 принимает только неотрицательные значения.
13
Определение 3.5. Любую функцию, удовлетворяющую свойствам:
a) 𝑝 : R → R+
+∞
∫︀
b) 𝑝(𝑡)𝑑𝑡 = 1
−∞
будем называть плотностью вероятности.
Утверждение 3.2.2. ∀𝐵 ∈ B(R) P(𝐵) =

∫︀
𝑝(𝑥)𝑑𝑥, (где интеграл понимается в смысле интеграла
𝐵
Лебега.)
Доказательство (идея).
1. Доказать, что определенная таким образом функция является распределением вероятностей на

B(R)
∫︀𝑥
2. Понять, что ∀𝑥 𝐹 (𝑥) = 𝑝(𝑡)𝑑𝑡, где 𝐹 — функция распределения P.
−∞
3. из теоремы о единственности распределения вероятностей следует утверждение
Упражнение: Если 𝐹 — дифференцируемая функция, то 𝑝(𝑥) = 𝐹 ′ (𝑥).
3.3 Примеры распределений
Пример 3.3. 𝐵𝑒𝑟𝑛(𝑝), (𝑝 ∈ (0, 1) ) — распределение Бернулли.

P(0) = 1−𝑝 =: 𝑞, P(1) = 𝑝. Дискретное распределение,соответствующее однократному подбрасыванию
монеты.
(︀𝑛)︀
Пример 3.4. 𝐵𝑖𝑛(𝑛, 𝑝) — биномиальное распределение. P({𝑘}) = 𝑘 𝑝𝑘 (1 − 𝑝)𝑛−𝑘 , 𝑘 ∈ {0, . . . , 𝑛} —
дискретное распределение, соответствующее 𝑛-кратному подбрасыванию монеты.
𝜆𝑘 𝑒−𝜆
Пример 3.5. 𝑃 𝑜𝑖𝑠(𝜆), P({𝑘}) = 𝑘! , 𝑘 ∈ Z+ , 𝜆 ∈ R+ — распределение Пуасонна. Дискретное распре-
деления числа успехов в испытаниях Бернулли, где число испытаний 𝑛 достаточно велико, а вероятность
𝜆
успеха равна 𝑛.
1
Пример 3.6. 𝑈 ({1, 2, . . . , 𝑛}) — Дискретное равномерное распределение, P({𝑘}) = 𝑛
1
Пример 3.7. 𝑈 ([𝑎, 𝑏]) — Непрерывное равномерное распределение на отрезке [𝑎, 𝑏]. 𝑝(𝑥) = 𝑏−𝑎 𝐼(𝑎 ≤
𝑥 ≤ 𝑏)
(𝑥−𝜇)2
Пример 3.8. 𝑁 (𝜇, 𝜎 2 ) — Нормальное распределение. 𝑝(𝑥) = √ 1
2𝜋𝜎 2
𝑒− 2𝜎 2 .
14
Пример 3.9. 𝑒𝑥𝑝(𝜆), 𝜆 > 0 — экспоненциальное распределение, где 𝑝(𝑥) = 𝜆𝑒−𝜆𝑥 𝐼(𝑥 ≥ 0).
𝑥𝛽−1 𝑒−𝛼𝑥
Пример 3.10. Γ(𝛼, 𝛽), 𝛼, 𝛽 > 0 - гамма распределение. 𝑝(𝑥) = Γ(𝛽) · 𝐼(𝑥 ≥ 0), где Γ(𝛽) —
гамма-функция.
𝜃
Пример 3.11. 𝐶(𝜃), 𝜃 > 0 — распределение Коши. 𝑝(𝑥) = 𝜋(𝑥2 +𝜃 2 )
3.4 Многомерные распределения
Определение 3.6. B(R𝑛 ) — наименьшая 𝜎-алгебра, такая, что:
B(R𝑛 ) = 𝜎({(−∞, 𝑎1 ] × (−∞, 𝑎2 ] × . . . × (−∞, 𝑎𝑛 ]; 𝑎𝑖 ∈ R}) =
= 𝜎({𝐵1 × 𝐵2 × . . . × 𝐵𝑛 ; ∀𝑖 𝐵𝑖 ∈ B(R)})
Определение 3.7. Если P — вероятностная мера на B(R𝑛 ), то P называется 𝑛-мерным распределением

вероятностей.
Определение 3.8. 𝐹 : R𝑛 → [0, 1] называется функцией распределения, соответствующей распреде-

лению P, если
𝐹 (𝑥1 , . . . 𝑥𝑛 ) = P((−∞, 𝑥1 ] × . . . × (−∞, 𝑥𝑛 ])
Обозначим
𝐹 (𝑥1 , . . . 𝑥𝑛 ) = 𝐹𝑛 (𝑥) = P((−∞, 𝑥]),
где 𝑥 = (𝑥1 , . . . , 𝑥𝑛 ), (−∞, 𝑥] = (−∞, 𝑥1 ] × . . . × (−∞, 𝑥𝑛 ].
Введем разностный оператор ∆𝑎𝑖 𝑏𝑖 : R𝑛 → R, действующий по формуле (𝑎𝑖 ≤ 𝑏𝑖 )
∆𝑎𝑖 𝑏𝑖 𝐹𝑛 (𝑥1 , . . . , 𝑥𝑛 ) = 𝐹𝑛 (𝑥1 , . . . , 𝑥𝑖−1 , 𝑏𝑖 , 𝑥𝑖+1 , . . . , 𝑥𝑛 )−
− 𝐹𝑛 (𝑥1 , . . . , 𝑥𝑖−1 , 𝑎𝑖 , 𝑥𝑖+1 , . . . , 𝑥𝑛 ).
По индукции можно показать, что

∆𝑎1 𝑏1 . . . ∆𝑎𝑛 𝑏𝑛 𝐹𝑛 (𝑥) = P((𝑎, 𝑏]),
где (𝑎, 𝑏] = (𝑎1 , 𝑏1 ] × . . . × (𝑎𝑛 , 𝑏𝑛 ]. В частности, отсюда видно, что, в отличие от одномерного случая,
вероятность P(𝑎, 𝑏], вообще говоря, не равна разности 𝐹𝑛 (𝑏) − 𝐹𝑛 (𝑎).
Теорема 3.3. Функция распределения, соответствующая распределению P, обладает следующими

свойствами:
1. lim 𝐹 (𝑥) = 1 и ∀𝑖 ∈ {1, . . . 𝑛} lim 𝐹 (𝑥) = 0

𝑥1 →+∞ 𝑥𝑖 →−∞
···
𝑥𝑛 →+∞
2. Пусть 𝑥 = (𝑥1 , . . . , 𝑥𝑛 ) ≥ (𝑦1 , . . . , 𝑦𝑛 ) = 𝑦 ⇐⇒ ∀𝑖 ∈ {1, . . . , 𝑛} 𝑥𝑖 ≥ 𝑦𝑖 ,

(𝑘)
𝑥(𝑘) ↓ 𝑥 ⇐⇒ (𝑥(𝑘+1) ≤ 𝑥(𝑘) ∧ ∀𝑖 ∈ {1, . . . , 𝑛} 𝑥𝑖 → 𝑥𝑖 ). Тогда:
lim 𝐹 (𝑥(𝑘) ) = 𝐹 (𝑥).
𝑘→+∞
15
3. ∆𝑎1 𝑏1 . . . ∆𝑎𝑛 𝑏𝑛 𝐹𝑛 (𝑥) ≥ 0
Доказательство. 1. Зафиксируем 𝜀 > 0, 𝐵𝑘 = (−∞, 𝑘]𝑛 . Тогда очевидно, что:

∞
𝐵𝑘 = R𝑛 .
⋃︀
𝐵𝑘+1 ⊃ 𝐵𝑘 ,
𝑘=1
По теореме о непрерывности вероятностной меры в 0 lim P(𝐵𝑘 ) = 1 ⇒
𝑘→+∞
⇒ ∃𝑁 ∀𝑘 ≥ 𝑁 : P(𝐵𝑘 ) > 1 − 𝜀.
Пусть 𝑥 ∈ R𝑛 такое, что: 𝑥1 ≥ 𝑁, . . . , 𝑥𝑛 ≥ 𝑁 . Тогда (−∞, 𝑥] ⊃ (−∞, 𝑁 ]𝑛 и

𝐹𝑛 (𝑥) = P((−∞, 𝑥]) ≥ P(𝐵𝑘 ) > 1 − 𝜀.
Для доказательства второй части, без ограничения общности предположим, что 𝑥1 → −∞ и за-
фиксируем 𝑥2 , . . . , 𝑥𝑛 . Пусть 𝐵𝑘 = (−∞, −𝑘] × (−∞, 𝑥2 ] × . . . × (−∞, 𝑥𝑛 ]. Тогда:
∞
⋂︀
𝐵𝑘+1 ⊂ 𝐵𝑘 , 𝐵𝑘 = ∅.
𝑘=1
lim 𝐹 (𝐵𝑘 ) = 0 ⇒ ∃𝑁 ∀𝑘 ≥ 𝑁 P(𝐵𝑘 ) < 𝜀. Пусть 𝑥1 < 𝑁 . Тогда:
𝑘→+∞
𝐹 (𝑥) = P((−∞, 𝑥]) ≤ P((−∞, 𝑁 ] × (−∞, 𝑥2 ] × . . . × (−∞, 𝑥𝑛 ]) < 𝜀
2. Следствие теоремы о непрерывности вероятностной меры в 0.
3. ∆𝑎1 𝑏1 . . . ∆𝑎𝑛 𝑏𝑛 𝐹𝑛 (𝑥) = P((𝑎, 𝑏]) ≥ 0
Теорема 3.4. (б/д)

Если 𝐹 : R𝑛 → [0, 1] обладает свойствами 1)-3), то 𝐹 является функцией распределения для
некоторого распределения вероятностей, причем такое распределение единственное.
Пример 3.12. Пусть 𝐹 1 , . . . , 𝐹 𝑛 — одномерные функция распределения на R и

𝐹𝑛 (𝑥1 , . . . , 𝑥𝑛 ) = 𝐹 1 (𝑥1 )𝐹 2 (𝑥2 ) . . . 𝐹 𝑛 (𝑥𝑛 ).
Нетрудно проверить, что такая функция удовлетворяет условиям 1)-3), а значит является некоторой
функцией распределения.
Особо важен случай, когда
⎧
⎪
⎪
⎪ 0, 𝑥𝑘 < 0,
⎪
⎨
𝐹 𝑘 (𝑥𝑘 ) = 𝑥𝑘 , 0 ≤ 𝑥𝑘 ≤ 1
⎪
⎪
⎪
⎪
⎩ 1, 𝑥𝑘 > 1.
В этом случае для всех 0 ≤ 𝑥𝑘 ≤ 1, 𝑘 = 1, . . . , 𝑛.
𝐹𝑛 (𝑥1 , . . . , 𝑥𝑛 ) = 𝑥1 𝑥2 . . . 𝑥𝑛
Такая 𝐹 соответствует мере Лебега в [0, 1]𝑛 .
Определение 3.9. Если существует 𝑝 : R𝑛 → R+ такая, что

∫︀𝑥1 𝑥
∫︀𝑛
∀𝑥1 , . . . , 𝑥𝑛 ∈ R 𝐹 (𝑥1 , . . . , 𝑥𝑛 ) = ... 𝑝(𝑡1 , . . . , 𝑡𝑛 )𝑑𝑡1 𝑑𝑡2 . . . 𝑑𝑡𝑛
−∞ −∞
то распределение вероятностей и функция распределения называются абсолютно непрерывными, а 𝑝
называется плотностью этого распределения.
16
Утверждение 3.4.1. ∀𝐵 ∈ B(R) P(𝐵) =
∫︀
𝑝(𝑡1 , . . . , 𝑡𝑛 )𝑑𝑡1 𝑑𝑡2 . . . 𝑑𝑡𝑛
𝐵
Утверждение 3.4.2. Пусть функция 𝑝 : R𝑛 → R+ такая, что
∫︀
𝑝(𝑡1 , . . . , 𝑡𝑛 )𝑑𝑡1 𝑑𝑡2 . . . 𝑑𝑡𝑛 = 1.
R𝑛
Тогда 𝑝 — плотность некоторого абсолютно непрерывного распределения.
Утверждение 3.4.3. Если существует 𝜕𝑛 𝐹 (𝑥1 , 𝑥2 , . . . , 𝑥𝑛 ), то она является плотностью

𝜕𝑥1 𝜕𝑥2 . . . 𝜕𝑥𝑛
распределения 𝐹 .
Определение 3.10. Пусть 𝑋 ⊂ R𝑛 не более чем счетное множество точек 𝑛-мерного пространства.
Если P(𝑋) = 1, P(R𝑛 ∖ 𝑋) = 0, то распределение P называется дискретным. Аналогичено одномер-
ному случаю, последовательность {𝑝𝑛 }, 𝑝𝑛 = 𝑃 (𝑥(𝑛) ), 𝑋 = {𝑥(1) , . . . , 𝑥(𝑛) , . . . } иногда называется
распределением вероятностей, т.к. распределение вероятностей в стандратном смысле однозначно вос-
станавливается по ней.
17
4 Случайные величины
4.1 Измеримые функции. Случайные величины.
Определение 4.1. Пусть (Ω, F ), (𝐸, E ) — измеримые пространства и 𝑓 : Ω → 𝐸. Функция 𝑓 называ-

ется (F |E )-измеримой, если
∀𝐴 ∈ E : 𝑓 −1 (𝐴) ∈ F .
Если 𝐸 = R, E = B(R), то измеримая функция 𝑓 называется случайной величиной.
Если 𝐸 = R𝑛 , E = B(R𝑛 ), то измеримая функция 𝑓 называется случайным вектором.
В случае, когда (Ω, F ) = (R𝑛 , B(R𝑛 )), а (𝐸, E ) = (R𝑘 , B(R𝑘 )), то (F |E )-измеримые функции
называются борелевскими.
Случайные величины(и векторы) принято обозначать греческими буквами: 𝜉, 𝜂, . . .. Введем также

следующие обозначения:
∙ P(𝜉 ∈ 𝐵) = P({𝜔 : 𝜉(𝜔) ∈ 𝐵})
∙ P(𝜉 = 𝑥) = P({𝜔 : 𝜉(𝜔) = 𝑥})
∙ P(𝜉 > 𝑥) = P({𝜔 : 𝜉(𝜔) > 𝑥})
∙ P(𝜉 < 𝑥) = P({𝜔 : 𝜉(𝜔) < 𝑥})
∙ P(𝜉 ≥ 𝑥) = P({𝜔 : 𝜉(𝜔) ≥ 𝑥})
∙ P(𝜉 ≤ 𝑥) = P({𝜔 : 𝜉(𝜔) ≤ 𝑥})
Утверждение 4.1.1. Пусть F𝜉 = {𝐴 ∈ F : ∃𝐵 ∈ B(R𝑘 ) : 𝐴 = 𝜉 −1 (𝐵)}. Тогда 𝐹𝜉 — 𝜎-алгебра. Эта

𝜎-алгебра называется 𝜎-алгеброй, порожденной случайной величиной 𝜉. (Иногда она обозначается 𝜎(𝜉))
Доказательство. Покажем, что система множеств F𝜉 удовлетворяет определению 𝜎-алгебры:
1. Ω ∈ F𝜉 , т.к. Ω = 𝜉 −1 (R𝑘 )
2. 𝐴 ∈ F𝜉 ⇒ ∃𝐵 ∈ B(R𝑘 ) : 𝐴 = 𝜉 −1 (𝐵) ⇒ 𝐵 ∈ B(R𝑘 ) ⇒ 𝜉 −1 (𝐵) = 𝐴 ∈ F
3. 𝐴1 , 𝐴2 , . . . ∈ F𝜉 ⇒ ∃𝐵1 , 𝐵2 , . . . ∈ B(R𝑘 ) : 𝜉(𝐴𝑖 ) = 𝐵𝑖 ⇒ 𝜉 −1 ( 𝐵𝑖 ) = 𝐴𝑖 ∈ F

⋃︀ ⋃︀
Утверждение 4.1.2. Пусть 𝜉 — случайный вектор. 𝜂 является F𝜉 -измеримым случайным вектором

⇐⇒ F𝜂 ⊂ F𝜉 .
⇒:
Пусть 𝜂 — F𝜉 измерима. Тогда ∀𝐵 ∈ B(R𝑘 ) : 𝜂 −1 (𝐵) ∈ F𝜉 ⇐⇒ F𝜂 = {𝜂 −1 (𝐵)} ⊂ F𝜉 .
18
⇐:
Пусть F𝜂 ⊂ F𝜉 . Возьмем произвольное 𝐵 ∈ B(R𝑘 ). Тогда 𝜂 −1 (𝐵) ∈ F𝜂 ⇒ 𝜂 −1 (𝐵) ∈ F𝜉
Утверждение 4.1.3. Пусть 𝜉 — 𝑛-мерный случайный вектор. 𝜂 является F𝜉 измеримым 𝑘-мерным

случайным вектором ⇐⇒ существует борелевская функция 𝑔 : R𝑛 → R𝑘 , т.ч 𝜂 = 𝑔(𝜉).
Доказательство. Доказательство только в ⇐.

Пусть 𝜂 = 𝑔(𝜉). Покажем, что в таком случае F𝜂 ⊂ F𝜉 . Действительно, рассмотрим произвольное
𝐴 ∈ F𝜂 . Для него существует 𝐵 ∈ B(R𝑘 ) : 𝐴 = 𝜂 −1 (𝐵) = (𝑔(𝜉))−1 (𝐵) = 𝜉 −1 (𝑔 −1 (𝐵)), 𝐵𝑔 := 𝑔 −1 (𝐵) ∈
B(R𝑛 ), 𝜉 −1 (𝐵𝑔 ) ∈ F𝜉 ⇒ F𝜂 ⊂ F𝜉 .
Теорема 4.1. Критерий измеримости

Пусть даны (Ω, F ), (𝐸, E ) — измеримые пространства, 𝑀 ⊂ E , 𝜎(𝑀 ) = E . Тогда для (F | E )-
измеримости функции 𝑓 : Ω → 𝐸 необходимо и достаточно, чтобы ∀𝐵 ∈ 𝑀 𝑓 −1 (𝐵) ∈ F .
Доказательство. Необходимость очевидна по определению. Для доказательства достаточности вос-

пользуемся принципом подходящих множеств.
Рассмотрим множество A = {𝐵 ∈ E | 𝑓 −1 (𝐵) ∈ F }. Из условия теоремы следует, что 𝑀 ⊂ A .
Докажем, что система множеств A ялвяется 𝜎-алгеброй. Действительно:
1. 𝐸 ∈ A , т.к. 𝑓 −1 (𝐸) = Ω
2. Пусть 𝐴 ∈ A . Тогда 𝑓 −1 (𝐴) = 𝑓 −1 (𝐴) ∈ F ⇒ 𝐴 ∈ A
3. 𝐴1 , 𝐴2 , · · · ∈ A . Тогда 𝑓 −1 (𝐴𝑖 ) ∈ F , откуда:

𝑓 −1 ( 𝐴𝑖 ) = 𝑓 −1 (𝐴𝑖 ) ⇒ 𝐴𝑖 ∈ A
⋃︀ ⋃︀ ⋃︀
Мы доказали, что A — 𝜎-алгебра, причем 𝑀 ⊂ A ⊂ E . Но 𝜎(𝑀 ) = E ⇒ A = E
Следствие 4.1.1. Для того чтобы функция 𝜉 : Ω → R была случайной величиной, необходимо и
достаточно, чтобы ∀𝑥 ∈ R
{𝜔 : 𝜉(𝜔) < 𝑥} ∈ F
или
{𝜔 : 𝜉(𝜔) ≤ 𝑥} ∈ F .
Доказательство следует из того, что каждая из систем множеств
E1 = {𝑥 : 𝑥 < 𝑐, 𝑐 ∈ R},
E2 = {𝑥 : 𝑥 ≤ 𝑐, 𝑐 ∈ R}
порождают 𝜎-алгебру B(R).
Следствие 4.1.2. 𝜉 = (𝜉1 , 𝜉2 , . . . , 𝜉𝑛 ) — случайный вектор ⇐⇒ 𝜉1 , . . . , 𝜉𝑛 — случайные величины.
19
⇒:
𝑝𝑟𝑛𝑖 (𝜉) = 𝜉𝑖 , где 𝜉 — случайный вектор. Функция проектор — борелевская, и по утверждению 4.1.3 𝜉𝑖
— случайная величина.
⇐:
𝑛
Пусть 𝐵1 , . . . , 𝐵𝑛 ∈ B(R), 𝐵 = 𝐵1 × 𝐵2 × . . . × 𝐵𝑛 , 𝜉 −1 (𝐵) = 𝜉𝑖−1 (𝐵𝑖 ) ∈ F .
⋂︀
𝑖=1
Рассмотрим 𝑀 = {𝐵1 ×𝐵2 ×. . .×𝐵𝑛 : 𝐵𝑖 ∈ B(R)}. Тогда 𝜎(𝑀 ) = B(R𝑛 ) ⇒ по критерию измеримости
𝜉 — случайная величина.
Утверждение 4.1.4. (б/д)

Любая непрерывная(кусочно-непрерывная) функция является борелевской.
Следствие 4.1.3. Пусть 𝜉, 𝜂 — случайные величины. Тогда

𝜉
𝜉 + 𝜂, 𝜉 − 𝜂, 𝜉 · 𝜂, 𝜂 𝐼(𝜂 ̸= 0), 𝜉 𝑛 , 𝜉 + = 𝑚𝑎𝑥(𝜉, 0), 𝜉 − = −𝑚𝑖𝑛(𝜉, 0), |𝜉|
также являются случайными величинами.
Доказательство. Из следствия 4.1.2 — (𝜉, 𝜂) — случайный вектор. Из утверждения 4.1.4 функции

𝑥 + 𝑦, 𝑥 − 𝑦, 𝑥𝑦, 𝑥𝑛 , |𝑥|, 𝑥+ , 𝑥− , 𝑥
𝑦 𝐼(𝑦 ̸= 0) — борелевские. По утверждению 4.1.3 — все доказано.
Утверждение 4.1.5. Пусть 𝜉1 , 𝜉2 , . . . — случайные величины. Тогда следующие четыре функции явля-
ются расширенными случайными величинами (т.е. случайными величинами, принимающими значения
в R ∪ {±∞}):
inf 𝜉𝑛 ; sup 𝜉𝑛 ; lim 𝜉𝑛 ; lim 𝜉𝑛 .
𝑛 𝑛 𝑛→+∞ 𝑛→+∞
Доказательство. Простое следствие того, что

{𝜔 : 𝜉𝑛 > 𝑥} ∈ F
⋃︀
{𝜔 : sup 𝜉𝑛 > 𝑥} =
𝑛
{𝜔 : 𝜉𝑛 < 𝑥} ∈ F
⋃︀
{𝜔 : inf 𝜉𝑛 < 𝑥} =
𝑛
и lim 𝜉𝑛 = inf sup 𝜉𝑚 , lim 𝜉𝑛 = sup inf 𝜉𝑚
𝑛→+∞ 𝑛 𝑚≥𝑛 𝑛→+∞ 𝑛 𝑚≥𝑛
Определение 4.2. Распределением случайного 𝑛-мерного вектора 𝜉 называется такая функция P𝜉 :

B(R𝑛 ) → [0, 1], что P𝜉 (𝐵) = P(𝜉 ∈ 𝐵)
4.2 Примеры
Пример 4.1. Рассмотрим Ω = {𝜔1 , 𝜔2 }, F = 2Ω , P({𝜔1 }) = 𝑝 P({𝜔2 }) = 1 − 𝑝 =: 𝑞. Тогда случайной

величиной является функция 𝜉 : Ω → {0, 1}, такая что 𝜉(𝜔1 ) = 1, 𝜉(𝜔2 ) = 0. При этом, P(𝜉 = 1) =
𝑝, P(𝜉 = 0) = 𝑞
Пример 4.2. Рассмотрим (Ω, F , P), 𝐴 ∈ F . Тогда случайной величиной является функция 𝜉 = 𝐼𝐴 =
⎧
⎨1, 𝜔 ∈ 𝐴,
⎪
. При этом, P(𝜉 = 1) = P(𝐴), P(𝜉 = 0) = 1 − P(𝐴)
⎩0, 𝜔 ̸∈ 𝐴
⎪
20
Пример 4.3. Если F = 2Ω , то любая функция является случайной величиной. Если ∃𝐴 ∈ 2Ω ∧ 𝐴 ̸∈ F ,
то 𝐼𝐴 не является случайной величиной.
4.3 Независимость случайных величин
Определение 4.3. Пусть 𝜉 — 𝑛-мерный случайный вектор, 𝜂 — 𝑘-мерный. Тогда они называются
⊥ 𝜂) , если ∀𝐵1 ∈ B(R𝑛 ), 𝐵2 ∈ B(R𝑘 ) : P(𝜉 ∈ 𝐵1 , 𝜂 ∈ 𝐵2 ) = P(𝜉 ∈
независимыми (Обозначение: 𝜉 ⊥
𝐵1 )P(𝜂 ∈ 𝐵2 )
Случайные вектора 𝜉1 , 𝜉2 , . . . , 𝜉𝑛 называются попарно независимыми, если ∀𝑖 ̸= 𝑗 𝜉𝑖 ⊥
⊥ 𝜉𝑗
Если для любых борелевских множеств 𝐵1 , 𝐵2 , . . . , 𝐵𝑛 выполнено, что P(𝜉1 ∈ 𝐵1 , . . . , 𝜉𝑛 ∈ 𝐵𝑛 ) =
P(𝜉1 ∈ 𝐵1 ) . . . P(𝜉𝑛 ∈ 𝐵𝑛 ), то случайные вектора называются независимыми в совокупности.
Замечание: Взяв в определении независимости в совокупности 𝐵𝑖 = R𝑘 можно показать, что ана-
логичное равенство следует для любого поднабора случайных величин.
{𝜉𝛼 : 𝛼 ∈ 𝐴} независимы в совокупности, если ∀𝑛 ∈ N ∀ попарно различных 𝛼1 , . . . , 𝛼𝑛 ∈ 𝐴 :
𝜉𝛼1 , . . . , 𝜉𝛼𝑛 независимы в совокупности.
Утверждение 4.3.1. Пусть 𝜉1 , . . . , 𝜉𝑛 — дискретные случайные величины, 𝑋1 , . . . , 𝑋𝑛 — множества их

значений. Тогда 𝜉1 , . . . , 𝜉𝑛 независимы в совокупности ⇐⇒ ∀ 𝑥1 ∈ 𝑋1 , . . . , 𝑥𝑛 ∈ 𝑋𝑛 P(𝜉1 = 𝑥1 , . . . , 𝜉𝑛 =
𝑥𝑛 ) = P(𝜉1 = 𝑥1 ) . . . P(𝜉𝑛 = 𝑥𝑛 )
⇒:
Очевидно из определения.
⇐:
Пусть 𝐵𝑖 ∈ F𝜉𝑖 . Положим {𝑥(𝑖) } := 𝜉𝑖−1 (𝐵𝑖 )
𝑛 ⋃︀
(︁ ⋂︀ ∞ )︁ ∞
(︁ ⋃︀ ∞ )︁
(𝑗) ⋃︀ (1) (𝑛)
P(𝜉1 ∈ 𝐵1 , . . . , 𝑥𝑛 ∈ 𝐵𝑛 ) = P {𝜉𝑗 = 𝑥𝑖 } = P ... {𝜉1 = 𝑥𝑖1 } ∩ . . . ∩ {𝜉𝑛 = 𝑥𝑖𝑛 } =
𝑗=1 𝑖=1 𝑖1 =1 𝑖𝑛 =1
[︃
𝑘1
(︁ ⋃︀ 𝑘
⋃︀𝑛 )︁ 𝑘1 𝑘𝑛
(1) (𝑛) ∑︀ ∑︀ (1)
lim P ... {𝜉1 = 𝑥𝑖1 } ∩ . . . ∩ {𝜉𝑛 = 𝑥𝑖𝑛 } = lim ... P(𝜉1 = 𝑥𝑖1 ) . . . P(𝜉𝑛 =
𝑘1 →∞ 𝑖1 =1 𝑖𝑛 =1 𝑘1 →∞ 𝑖1 =1 𝑖𝑛 =1
··· ···
𝑘𝑛 →∞ ]︃ 𝑘𝑛 →∞
𝑘1
[︁ ∑︀ 𝑘𝑛 ]︁
(𝑛) (1) ∑︀ (𝑛)
𝑥𝑖𝑛 ) = lim 𝑃 (𝜉1 = 𝑥𝑖1 ) . . . P(𝜉𝑛 = 𝑥𝑖𝑛 ) = P(𝜉1 ∈ 𝐵1 ) . . . P(𝜉𝑛 ∈ 𝐵𝑛 )
𝑘1 →∞ 𝑖1 =1 𝑖𝑛 =1
···
𝑘𝑛 →∞
Определение 4.4. Пусть Ω — некоторое пространство. Система P подмножеств Ω называется 𝜋-

системой, если она замкнута относительно взятия конечных пересечений: ∀𝐴1 , . . . , 𝐴𝑛 ∈ P :
⋂︀
𝐴𝑘 ∈
1≤𝑘≤𝑛
P, 𝑛 ≥ 1.
Система L подмножеств Ω называется 𝜆-системой, если
1. Ω ∈ L
2. (𝐴, 𝐵 ∈ L и 𝐴 ⊆ 𝐵) ⇒ (𝐵 ∖ 𝐴 ∈ L )
21
3. (𝐴𝑛 ∈ L , 𝑛 ≥ 1, и 𝐴𝑛 ↑ 𝐴) ⇒ (𝐴 ∈ L )
Система D подмножеств Ω, являющаяся одновременно 𝜋-системой и 𝜆-системой, называется 𝜋-𝜆-

системой.
Если E — некоторая система множеств, то через 𝜋(E ), 𝜆(E ) и 𝑑(E ) будем обозначать соответственно
наименьшие 𝜋-, 𝜆- и 𝜋-𝜆-системы, содержащие E .
Заметим, что каждая 𝜎-алгебра является 𝜆-системой. Обратное же неверно. Например, если Ω =
{1, 2, 3, 4}, то система
L = {∅, Ω, (1, 2), (1, 3), (1, 4), (2, 3), (2, 4), (3, 4)}
является 𝜆-системой, но не 𝜎-алгеброй.
Теорема 4.2. (О 𝜋-𝜆-системах, на лекции б/д)

Верны следующие утверждения:
a) Всякая 𝜋-𝜆-система является 𝜎-алгеброй
b) Если E — некоторая 𝜋-система множеств, то 𝜆(E ) = 𝑑(E ) = 𝜎(E )
Доказательство. Сначала заметим, что следующее определение 𝜆-системы L эквивалентно данному

выше.
1. Ω ∈ L
2. 𝐴 ∈ L ⇒ 𝐴 ∈ L
3. если 𝐴𝑛 ∈ L , 𝑛 ≥ 1 и ∀𝑖 ̸= 𝑗 𝐴𝑖 ∩ 𝐴𝑗 = ∅, то 𝐴𝑛 ∈ L
⋃︀
а) Система E содержит Ω т.к. это 𝜆-система. Из определения 𝜆-систем, E замкнуто относительно взя-
тия дополнения множества, а из определения 𝜋-систем — конечного пересечения множеств, а значит,
что E является алгеброй. Покажем, что это 𝜎-алгебра. Для этого докажем, что система E замкнута
относительно взятия счетного объединения множеств 𝐵1 , 𝐵2 , . . . из E .
𝐴𝑛 ∈ E . Но
⋃︀
Положим 𝐴1 = 𝐵1 и 𝐴𝑛 = 𝐵𝑛 ∩ 𝐴1 ∩ . . . ∩ 𝐴𝑛−1 . Тогда ∀𝑖 ̸= 𝑗 𝐴𝑖 ∩ 𝐴𝑗 = ∅, а значит
𝐴𝑛 = 𝐵𝑛 ⇒ 𝐵𝑛 ∈ E , откуда следует а).
⋃︀ ⋃︀ ⋃︀
b) Рассмотрим 𝜆-систему 𝜆(E ) и 𝜎-алгебру 𝜎(E ). Как отмечалось, всякая 𝜎-алгебра является 𝜆-
системой. Поскольку 𝜎(E ) ⊇ E , то 𝜎(E ) = 𝜆(𝜎(E )) ⊇ 𝜆(E ). Тем самым 𝜆(E ) ⊆ 𝜎(E )
Теперь, если показать, что система 𝜆(E ) является 𝜋-системой, то по утверждению a) она является
и 𝜎-алгеброй, содержащей E . А т.к. 𝜎(E ) — минимальная 𝜎-алгебра, то 𝜆(E ) = 𝜎(E )
Воспользуемся принципом подходящих множеств. Пусть
E1 = {𝐵 ∈ 𝜆(E ) : 𝐵 ∩ 𝐴 ∈ 𝜆(E ) для всех 𝐴 ∈ E }
Если 𝐵 ∈ E , то 𝐵 ∩ 𝐴 ∈ E (т.к. E — 𝜋-система). Значит, E ⊆ E1 . Но система E1 есть 𝜆-система (в
силу своего определения). Поэтому 𝜆(E ) ⊆ 𝜆(E1 ) = E1 . С другой стороны, по определнию системы E1
имеет место включение E1 ⊆ 𝜆(E ).
22
Таким образом E1 = 𝜆(E ).
Пусть теперь
E2 = {𝐵 ∈ 𝜆(E ) : 𝐵 ∩ 𝐴 ∈ 𝜆(E ) для всех 𝐴 ∈ 𝜆(E )} .
Как и E1 , E2 является 𝜆-системой.
Возьмем множество 𝐵 ∈ E . Тогда по опредлению системы E1 для всех 𝐴 ∈ E1 = 𝜆(E ) находим, что
𝐵 ∩ 𝐴 ∈ 𝜆(E ). Следовательно, из определния системы E2 видим, что E ⊆ E2 и 𝜆(E ) ⊆ 𝜆(E2 ) = E2 . Но
𝜆(E ) ⊇ E2 . Поэтому 𝜆(E ) = E2 , и, значит, для любых 𝐴 и 𝐵 из 𝜆(E ) множество 𝐴∩𝐵 ∈ 𝜆(E ), т.е. система
𝜆(E ) является 𝜋-системой. Значит, система 𝜆(E ) является 𝜋-𝜆-системой (а, значит, 𝜆(E ) = 𝑑(E )), а, как
отмечено выше, отсюда следует, что 𝜆(E ) = 𝜎(E ).
Теорема 4.3. Критерий независимости.

Пусть 𝜉1 , . . . , 𝜉𝑛 — случайные величины, и 𝜉 = (𝜉1 , . . . , 𝜉𝑛 ). Пусть 𝐹𝜉 (𝑥1 , . . . , 𝑥𝑛 ) = P(𝜉1 ≤
𝑥1 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) — функция распределения случайного вектора 𝜉, а 𝐹𝜉𝑖 (𝑥) — функция распределения
𝜉𝑖 .
Тогда для того, чтобы случайные величины 𝜉1 , . . . , 𝜉𝑛 были независимы, необходимо и достаточно,
чтобы для всех векторов (𝑥1 , . . . , 𝑥𝑛 ) ∈ R𝑛
𝐹𝜉 (𝑥1 , . . . , 𝑥𝑛 ) = 𝐹𝜉1 (𝑥1 ) . . . 𝐹𝜉𝑛 (𝑥𝑛 )
Доказательство. Необходимость очевидна.

Для доказательства достаточности положим 𝑀 = {(−∞, 𝑥], : 𝑥 ∈ R}. Очевидно, что 𝑀 это 𝜋-
система. Докажем индукцией по 𝑘 утверждение: ∀𝑘 ∈ {1, . . . , 𝑛}, ∀𝐵1 , . . . , 𝐵𝑘 ∈ B(R) и ∀𝑥𝑘+1 , . . . , 𝑥𝑛 ∈ R
верно:
P(𝜉1 ∈ 𝐵1 , . . . , 𝜉𝑘 ∈ 𝐵𝑘 , 𝜉𝑘+1 ≤ 𝑥𝑘+1 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) =
= P(𝜉1 ∈ 𝐵1 ) . . . P(𝜉𝑘 ∈ 𝐵𝑘 )P(𝜉𝑘+1 ≤ 𝑥𝑘+1 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 )
База индукции:
Воспользуемся методом подходящих множеств.
Положим E = {𝐵1 ∈ B(R) : P(𝜉1 ∈ 𝐵1 , 𝜉2 ≤ 𝑥2 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) = P(𝜉1 ∈ 𝐵1 )P(𝜉2 ≤ 𝑥2 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 )}
Заметим следующее:
P(𝜉1 ≤ 𝑥1 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) = 𝐹𝜉 (𝑥1 , . . . , 𝑥𝑛 ) =
= 𝐹𝜉1 (𝑥1 ) . . . 𝐹𝜉𝑛 (𝑥𝑛 ) = P(𝜉1 ≤ 𝑥1 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 )
а значит, 𝑀 ⊂ E ⊆ B(R). Покажем, что E является 𝜆-системой.
1. P(𝜉1 ∈ R, 𝜉2 ≤ 𝑥2 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) = lim P(𝜉1 ≤ 𝑥1 , 𝜉2 ≤ 𝑥2 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) = lim P(𝜉1 ≤

𝑥1 →+∞ 𝑥1 →+∞
𝑥1 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 ) = P(𝜉1 ∈ R) . . . P(𝜉𝑛 ≤ 𝑥𝑛 ) ⇒ R ∈ E (по теореме о непрерывности вероятностной
меры в 0).
23
2. Рассмотрим 𝐴, 𝐵 ∈ E , 𝐴 ⊂ 𝐵.
P(𝜉1 ∈ 𝐵 ∖ 𝐴, 𝜉2 ≤ 𝑥2 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) =
= P(𝜉1 ∈ 𝐵, 𝜉2 ≤ 𝑥2 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) − P(𝜉1 ∈ 𝐴, 𝜉2 ≤ 𝑥2 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) =
= P(𝜉1 ∈ 𝐵)P(𝜉2 ≤ 𝑥2 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 ) − P(𝜉1 ∈ 𝐴)P(𝜉2 ≤ 𝑥2 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 ) =
= (P(𝜉1 ∈ 𝐵) − P(𝜉1 ∈ 𝐴))P(𝜉2 ≤ 𝑥2 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 ) = P(𝜉1 ∈ 𝐵 ∖ 𝐴)P(𝜉2 ≤ 𝑥2 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 )
Откуда следует, что 𝐵 ∖ 𝐴 ∈ E
3. Пусть 𝐴𝑛 ↑ 𝐴, ∀𝑖 𝐴𝑖 ∈ E . Тогда (по теореме о непрерывности вероятностной меры в 0).:
P(𝜉1 ∈ 𝐴, 𝜉2 ≤ 𝑥2 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) = lim P(𝜉1 ∈ 𝐴𝑘 , 𝜉2 ≤ 𝑥2 , . . . , 𝜉𝑛 ≤ 𝑥𝑛 ) =

𝑘→+∞
= lim P(𝜉1 ∈ 𝐴𝑘 )P(𝜉2 ≤ 𝑥2 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 ) =

𝑘→+∞
= P(𝜉1 ∈ 𝐴)P(𝜉2 ≤ 𝑥2 ) . . . P(𝜉𝑛 ≤ 𝑥𝑛 )
а значит 𝐴 ∈ E
⇒ B(R) ⊇ E = 𝜆(E ) ⊇ 𝜆(𝑀 ) = 𝜎(𝑀 ) = B(R) ⇒ E = B(R)( по теореме 4.2 ). База индукции доказана.
Шаг индукции. Доказательство аналогично доказательству базы.
Следствие 4.3.1. Пусть {𝜉𝛼 , 𝛼 ∈ 𝐴} — набор независимых в совокупности случайных величин.

Пусть 𝛼1 , . . . , 𝛼𝑘1 , 𝛼𝑘1 +1 , . . . , 𝛼𝑘1 +𝑘2 , . . . , 𝛼𝑘1 +...+𝑘𝑛 — различные индексы из 𝐴. Тогда случайные
вектора 𝜂1 := (𝜉𝛼1 , . . . , 𝜉𝛼𝑘1 ), . . . , 𝜂𝑛 := (𝜉𝛼𝑘1 +...+𝑘𝑛−1 +1 , . . . , 𝜉𝛼𝑘1 +...+𝑘𝑛 ) — независимы в совокупности.
Доказательство. По критерию независимости (𝑥𝑖 ∈ R𝑘𝑖 ):

𝐹(𝜂1 , ..., 𝜂𝑛 ) (𝑥1 , . . . 𝑥𝑛 ) = 𝐹𝜂1 (𝑥1 ) . . . 𝐹𝜂𝑛 (𝑥𝑛 ) = 𝐹𝜉1 (𝑥11 ) . . . 𝐹𝜉𝑘1 (𝑥𝑘11 ) . . . 𝐹𝜉𝑘1 +...𝑘𝑛 (𝑥𝑘𝑛𝑛 ),
а это так, т.к. критерий независимости верен для любого поднабора 𝜉𝑖
Утверждение 4.3.2. Пусть 𝜉1 , . . . , 𝜉𝑛 — независимые в совокупности случайные векторы размерности

𝑘𝑖 , а 𝑔1 , . . . , 𝑔𝑛 — борелевские функции, 𝑔𝑖 : R𝑘𝑖 → R𝑚𝑖 . Тогда случайные вектора 𝑔1 (𝜉1 ), . . . , 𝑔𝑛 (𝜉𝑛 ) —
независимы в совокупности.
Доказательство. P(𝑔1 (𝜉1 ) ∈ 𝐵1 , . . . , 𝑔𝑛 (𝜉𝑛 ) ∈ 𝐵𝑛 ) = P(𝜉1 ∈ 𝑔1−1 (𝐵1 ), . . . , 𝜉𝑛 ∈ 𝑔𝑛−1 (𝐵𝑛 )) = P(𝜉1 ∈
𝑔1−1 (𝐵1 )) . . . P(𝜉𝑛 ∈ 𝑔𝑛−1 (𝐵𝑛 )) = P(𝑔1 (𝜉1 ) ∈ 𝐵1 ) . . . P(𝑔𝑛 (𝜉𝑛 ) ∈ 𝐵𝑛 )
24
5 Математическое ожидание
5.1 Дискретный случай. Свойства
Определение 5.1. Пусть 𝜉 — дискретная случайная величина на пространстве (Ω, F , P). 𝑋 — множе-
∑︀
ство ее значений. Тогда математическим ожиданием 𝜉 называется число, равное E𝜉 = 𝑥P(𝜉 = 𝑥),
𝑥∈𝑋
если этот ряд сходится абсолютно.
Утверждение 5.1.1. Пусть 𝐴1 , 𝐴2 , . . . — разбиение Ω, такое что ∀𝑖 𝜉|𝐴𝑖 = 𝑐𝑜𝑛𝑠𝑡. Пусть 𝜔𝑖 ∈ 𝐴𝑖 . Тогда
∑︀
E𝜉 = 𝜉(𝜔𝑖 )P(𝐴𝑖 )
𝑖
∑︀ ∑︀ ⋃︀ ∑︀ ∑︀ ∑︀
Доказательство. E𝜉 = 𝑥P(𝜉 = 𝑥) = 𝑥P( 𝐴𝑖 ) = 𝑥 P(𝐴𝑖 ) = 𝜉(𝜔𝑖 )P(𝐴𝑖 )
𝑥∈𝑋 𝑥∈𝑋 𝑖 : 𝜉(𝜔𝑖 )=𝑥 𝑖:𝜉(𝜔𝑖 )=𝑥
Замечание: В частном случае, когда (Ω, F , P) — дискретное вероятностное пространство, формула

1
∑︀ ∑︀
принимает вид E𝜉 = 𝜉(𝜔)P({𝜔}). В случае классической вероятности, E𝜉 = |Ω| 𝜉(𝜔)
𝜔∈Ω 𝜔∈Ω
Утверждение 5.1.2. Математическое ожидание дискретной случайной величины обладает следую-
щими свойствами:
1. 𝜉 = 𝑐, 𝑐 ∈ R. E𝑐 = 𝑐
2. E𝐼𝐴 = P(𝐴)
3. Если 𝜉 ≥ 0, то E𝜉 ≥ 0
4. Если P(𝜉 = 0) = 1, то E𝜉 = 0
5. (Линейность) 𝜉, 𝜂 — случайные величины, 𝑎, 𝑏 ∈ R. Тогда E(𝑎𝜉 + 𝑏𝜂) = 𝑎E𝜉 + 𝑏E𝜂
6. Пусть 𝜉 ≥ 𝜂. Тогда E𝜉 ≥ E𝜂
7. |E𝜉| ≤ E|𝜉|
8. Если 𝜉 ⊥
⊥ 𝜂, то E𝜉𝜂 = E𝜉 E𝜂 (обратное неверно)
9. (неравенство Коши-Буняковского) (E𝜉𝜂)2 ≤ (E𝜉)2 (E𝜂)2
1. 𝜉 = 𝑐 ⇒ P(𝜉 = 𝑐) = 1, E𝜉 = 𝑐P(𝜉 = 𝑐) = 𝑐
2. 𝜉 = 𝐼𝐴 ⇒ P(𝜉 = 1) = P(𝐴), P(𝜉 = 0) = 1 − P(𝐴), E𝜉 = 1 · P(𝐴) + 0 · (1 − P(𝐴)) = P(𝐴)

∑︀
3. 𝜉 ≥ 0, P(𝜉 = 𝑥) ≥ 0 ⇒ каждое отдельное слагаемое в 𝑥P(𝜉 = 𝑥) неотрицательно ⇒ E𝜉 ≥ 0
𝑥∈𝑋
∑︀
4. P(𝜉 = 0) = 1 ⇒ E𝜉 = 0 · P(𝜉 = 0) + 𝑥P(𝜉 = 𝑥) = 0
𝑥∈𝑋, 𝑥̸=0
25
∑︀ ∑︀
5. 𝑐 ∈ R. E𝑐𝜉 = 𝑐𝑥P(𝜉 = 𝑥) = 𝑐 𝑥P(𝜉 = 𝑥) = 𝑐E𝜉
𝑥∈𝑋 𝑥∈𝑋
∑︀ ∑︀ ∑︀
E(𝜉 + 𝜂) = (𝜉(𝜔𝑖 ) + 𝜂(𝜔𝑖 ))P({𝜔𝑖 }) = 𝜉(𝜔𝑖 )P({𝜔𝑖 }) + 𝜂(𝜔𝑖 )P({𝜔𝑖 }) = E𝜉 + E𝜂
𝑖 𝑖 𝑖
∑︀
6. Следует из записи E𝜉 = 𝜉(𝜔)P({𝜔})
𝜔∈Ω
∑︀ ∑︀ ∑︀
7. |E𝜉| = | 𝑥P(𝜉 = 𝑥)| ≤ | |𝑥|P(𝜉 = 𝑥)| = |𝑥|P(|𝜉| = 𝑥) = E|𝜉|
𝑥∈𝑋 𝑥∈𝑋 𝑥∈|𝑋|
∑︀ ∑︀ ∑︀ ∑︀
8. E𝜉𝜂 = (𝑥𝑘 𝑦𝑛 )P(𝜉 = 𝑥𝑘 , 𝜂 = 𝑦𝑛 ) = (𝑥𝑘 𝑦𝑛 )P(𝜉 = 𝑥𝑘 )P(𝜂 = 𝑦𝑛 ) = 𝑥𝑘 P(𝜉 = 𝑥𝑘 ) 𝑦𝑛 P(𝜂 =
𝑘, 𝑛 𝑘, 𝑛 𝑘 𝑛
𝑦𝑛 ) = E𝜉E𝜂
9. Рассмотрим функцию 𝑓 (𝜆) = E(𝜉 + 𝜆𝜂)2 ≥ 0. По линейности мат.ожидания, 𝑓 (𝜆) = E𝜉 2 + 2𝜆E𝜉𝜂 +

𝜆2 E𝜂 2 — это всюду неотрицательный квадратный трехчлен относительно 𝜆 ⇒ его дискриминант
меньше либо равен нулю.
4(E𝜉𝜂)2 − 4E𝜉 2 E𝜂 2 ≤ 0 ⇒ требуемое.
Утверждение 5.1.3. Пусть 𝜉 — случайная величина, 𝑋 — ее множество значений, а 𝜙 — борелевская

∑︀
функция. Тогда E𝜙(𝜉) = 𝜙(𝑥)𝑃 (𝜉 = 𝑥)
𝑥∈𝑋
Доказательство. Пусть 𝑌 — множество значений 𝜙(𝜉).

∑︀ ∑︀ ∑︀ ∑︀ ∑︀ ∑︀
E𝜙(𝜉) = 𝑦P(𝜙(𝜉) = 𝑦) = 𝑦 P(𝜉 = 𝑥) = 𝜙(𝑥)P(𝜉 = 𝑥) = 𝜙(𝑥)P(𝜉 = 𝑥)
𝑦∈𝑌 𝑦∈𝑌 𝑥: 𝜙(𝑥)=𝑦 𝑦∈𝑌 𝑥: 𝜙(𝑥)=𝑦 𝑥∈𝑋
Пример 5.1. 𝜉 ∼ 𝐵𝑒𝑟𝑛(𝑝).

E𝜉 = 0P(𝜉 = 0) + 1P(𝜉 = 1) = 𝑝
Пример 5.2. 𝜉 ∼ 𝐵𝑖𝑛(𝑛, 𝑝).

∑︀
E𝜉 = E(𝜉1 + . . . + 𝜉𝑛 ), где 𝜉𝑖 ∼ 𝐵𝑒𝑟𝑛(𝑝) — независимые с.в. Тогда E𝜉 = E𝜉𝑖 = 𝑛𝑝
1
Пример 5.3. 𝜉 ∼ 𝑈 ({1, . . . , 𝑛}), P({𝑘}) = 𝑛
𝑛
E𝜉 = 𝑛1 𝑘 = 𝑛+1
∑︀
2
𝑘=1
Пример 5.4. 𝜉 ∼ 𝑃 𝑜𝑖𝑠(𝜆)

∞ 𝑘 −𝜆
∞ ∞
𝑘𝜆𝑘 𝑒−𝜆 𝜆𝑘−1
𝑘 𝜆 𝑘!
𝑒
= 𝜆𝑒−𝜆 = 𝜆𝑒−𝜆 𝑒𝜆 = 𝜆
∑︀ ∑︀ ∑︀
E𝜉 = = 𝑘! (𝑘−1)!
𝑘=0 𝑘=1 𝑘=1
5.2 Абсолютно непрерывный случай
Определение 5.2. Пусть 𝜉 — абсолютно непрерывная случайная величина. 𝐹𝜉 , 𝑝𝜉 — ее функция

распределения и плотность соответственно. Тогда ее математическим ожиданием называется величина
+∞
∫︀ +∞
∫︀
E𝜉 = 𝑥𝑑(𝐹𝜉 (𝑥)) = 𝑥𝑝𝜉 (𝑥)𝑑𝑥
−∞ −∞
1
Пример 5.5. 𝜉 ∼ 𝑈 ([𝑎, 𝑏]). 𝑝𝜉 (𝑥) = 𝑏−𝑎 𝐼(𝑥 ∈ [𝑎, 𝑏])
𝑎+𝑏
E𝜉 = 2
26
Пример 5.6. 𝜉 ∼ 𝐸𝑥𝑝(𝜆). 𝑝𝜉 (𝑥) = 𝜆𝑒−𝜆𝑥 𝐼(𝑥 > 0)
+∞ +∞
𝑥𝜆𝑒−𝜆𝑥 𝐼(𝑥 > 0)𝑑𝑥 = 𝑥𝜆𝑒−𝜆𝑥 𝑑𝑥 = 𝜆1
∫︀ ∫︀
E𝜉 =
−∞ 0
(𝑥−𝑎)2
Пример 5.7. 𝜉 ∼ 𝑁 (𝑎, 𝜎 2 ). 𝑝𝜉 (𝑥) = √ 1
2𝜋𝜎 2
𝑒− 2𝜎 2
+∞
∫︁
1 (𝑥−𝑎)2
E𝜉 = 𝑥√ 𝑒− 2𝜎2 𝑑𝑥 =
2𝜋𝜎 2
−∞
+∞ +∞
𝑥 − 𝑎 − (𝑥−𝑎)
∫︁ ∫︁
2
1 (𝑥−𝑎)2
= √ 𝑒 2𝜎 2
𝑑𝑥 + 𝑎 √ 𝑒− 2𝜎2 𝑑𝑥 =
2𝜋𝜎 2 2𝜋𝜎 2
−∞ −∞
+∞
∫︁
𝑥 𝑥2
= √ 𝑒− 2𝜎2 𝑑𝑥 + 𝑎 · 1 = 0 + 𝑎 = 𝑎
2𝜋𝜎 2
−∞
т.к. интегрируемая функция нечетная и абсолютно интегрируема.
5.3 Математическое ожидание произвольной случайной величины
Определение 5.3. Пусть 𝜉 — случайная величина на (Ω, F , P). Если существует интеграл Лебега по
пространству Ω по вероятностной мере P, то он называется математическим ожиданием 𝜉
∫︀ ∫︀
E𝜉 = 𝜉(𝜔)P(𝑑𝜔) = 𝜉𝑑P𝜉
Ω Ω
(интеграл Лебега по вероятностной мере будет определен далее)
Определение 5.4. Случайная величина 𝜉 называется простой, если ее множество значений конечно.
(частный случай дискретной с.в.)
Определение 5.5. Пусть 𝜉 — с.в. Последовательность случайных величин {𝜉𝑛 } монотонно сходится
к 𝜉 (обозначение: 𝜉𝑛 ↑ 𝜉), если функц. последовательность 𝜉𝑛 поточечно сходится к 𝜉 на Ω и ∀𝑛 ∈ N ∀𝜔 ∈
Ω : 𝜉𝑛 (𝜔) ≤ 𝜉𝑛+1 (𝜔)
Определение 5.6. Пусть 𝜉 — случайная величина. Тогда 𝜉 + = 𝑚𝑎𝑥(𝜉, 0), 𝜉 − = −𝑚𝑖𝑛(𝜉, 0). Нетрудно
заметить, что 𝜉 = 𝜉 + − 𝜉 −
Теорема 5.1. О приближении простыми.
1. Пусть 𝜉 — неотрицательная случайная величина. Тогда найдется последовательность простых

P𝜉 -измеримых случайных величин {𝜉𝑛 }, такая что 𝜉𝑛 ↑ 𝜉
2. Пусть 𝜉 — произвольная случайная величина. Тогда найдется последовательность простых P𝜉 -

измеримых случайных величин, такая что 𝜉𝑛 → 𝜉 и |𝜉𝑛 | ≤ |𝜉𝑛+1 |
27
1. Пример такой последовательности:⎧

⎨ 𝑘−1 𝑘−1 𝑘
𝑘 = 1, . . . , 𝑛2𝑛
2𝑛 , 2𝑛 ≤ 𝜉 < 2𝑛 ,
⎪
𝜉𝑛 =
⎩𝑛, 𝜉≥𝑛
⎪
[︀ 𝑘−1 𝑘 ]︀
Зафиксируем 𝜔 ∈ {𝜉 ∈ 2𝑛 , 2𝑛 }. Тогда для него
(︂ [︂ )︂)︂ (︂ [︂ )︂)︂
𝑘−1 𝑘−1 𝑘 − 1 2𝑘 − 1 2𝑘 − 1 2𝑘 − 1 𝑘
𝜉𝑛 (𝜔) = , 𝜉𝑛+1 (𝜔) = 𝐼 𝜉(𝜔) ∈ , + 𝐼 𝜉(𝜔) ∈ ,
2𝑛 2𝑛 2𝑛 2𝑛 2𝑛+1 2𝑛+1 2𝑛
а значит 𝜉𝑛 ≤ 𝜉𝑛+1 . Сходимость же следует из того, что {𝜉 ≤ 𝑛} ↑ Ω и на этом множестве

1
|𝜉𝑛 − 𝜉| ≤ 2𝑛 → 0.
2. Сначала заметим, что 𝜉 = 𝜉 + − 𝜉 − , |𝜉| = 𝜉 + + 𝜉 − , где 𝜉 + , 𝜉 − — неотрицательные случайные

величины. Пусть 𝜂𝑛 ↑ 𝜉 + , 𝜁𝑛 ↑ 𝜉 − . Положим 𝜉𝑛 = 𝜂𝑛 − 𝜁𝑛 . Тогда 𝜉𝑛 сходится поточечно к 𝜉, а
|𝜉𝑛 | = 𝜂𝑛 + 𝜁𝑛 ≤ 𝜂𝑛+1 + 𝜁𝑛+1 = |𝜉𝑛+1 |
Пусть 𝜉 — неотрицательная случайная величина. Построим последовательность простых 𝜉𝑛 ↑ 𝜉.

Т.к. 𝜉𝑛 ≤ 𝜉𝑛+1 , то E𝜉𝑛 ≤ E𝜉𝑛+1 , а значит существует lim E𝜉𝑛
𝑛→∞
Определение 5.7. Математическим ожиданием неотрицательной случайной величины 𝜉, или ее

интегралом Лебега называется величина
E𝜉 = lim E𝜉𝑛
𝑛→∞
Лемма 5.1. Пусть 𝜉𝑛 , 𝜂 — простые неотрицательные случайные величины, и 𝜉𝑛 ↑ 𝜉 ≥ 𝜂. Тогда:

lim E𝜉𝑛 ≥ E𝜂
𝑛→+∞
Доказательство. Зафиксируем 𝜀 > 0. Положим

𝐴𝑛 := {𝜔 ∈ Ω : 𝜉𝑛 ≥ 𝜂 − 𝜀} ∈ F
Поскольку 𝜉𝑛 ↑ 𝜉 ≥ 𝜂, то 𝐴𝑛 → Ω ⇒ P(𝐴𝑛 ) → 1 и
𝜉𝑛 = 𝜉𝑛 𝐼𝐴𝑛 + 𝜉𝑛 𝐼𝐴𝑛 ≥ 𝜉𝑛 𝐼𝐴𝑛 ≥ (𝜂 − 𝜀)𝐼𝐴𝑛
Используя свойста мат.ожидания от простых случайных величин, находим, что
E𝜉𝑛 ≥ E(𝜂 − 𝜀)𝐼𝐴𝑛 = E𝜂𝐼𝐴𝑛 − 𝜀P(𝐴𝑛 ) =
= E𝜂 − E𝜂𝐼𝐴𝑛 − 𝜀P(𝐴𝑛 ) ≥ E𝜂 − 𝐶P(𝐴𝑛 ) − 𝜀
где 𝐶 = max 𝜂. Переходя к пределу при 𝑛 → ∞, получаем требуемое неравенство.
Утверждение 5.3.1. Определение математического ожидание корректно, т.е. не зависит от выбора

аппроксимирующей последовательности.
28
Доказательство. Пусть 𝜉𝑛 ↑ 𝜉, 𝜂𝑛 ↑ 𝜉. Тогда по по лемме 5.1:
lim E𝜂𝑛 ≥ E𝜉𝑛 ⇒ lim E𝜂𝑛 ≥ lim E𝜉𝑛 .
𝑛 𝑛 𝑛
Абсолютно аналогично получаем, что lim E𝜉𝑛 ≥ lim E𝜂𝑛 ⇒ lim E𝜉𝑛 = lim E𝜂𝑛
𝑛 𝑛 𝑛 𝑛
Следствие 5.1.1. Если 𝜉 ≥ 0 — случайная величина, то
E𝜉 = sup E𝜂
𝜂:𝜂≤𝜉
где 𝜂 — простые случайные величины.
Определение 5.8. Пусть 𝜉 — произвольная случайная величина на (Ω, F , P). Тогда ее математи-
ческим ожиданием E𝜉, или интегралом Лебега, называется
1. E𝜉 + − E𝜉 − , если E𝜉 + и E𝜉 − — конечны.
2. +∞, если E𝜉 + = ∞, E𝜉 − — конечно.
3. −∞, если E𝜉 − = ∞, E𝜉 + — конечно.
4. неопределено, если E𝜉 + и E𝜉 − — бесконечны.
5.4 Свойства математического ожидания
Утверждение 5.4.1. Пусть 𝜉 ≤ 𝜂. E𝜉, E𝜂 — существуют. Тогда E𝜉 ≤ E𝜂.
Доказательство. Для простых доказано. Пусть 𝜂 ≥ 𝜉 ≥ 0. Тогда по следствию 5.1.1:

E𝜉 = sup E𝜇 ≤ sup E𝜇 = E𝜂.
𝜇≤𝜉 𝜇≤𝜂
что доказывает утверждение для неотрицательных случайных величин.
Пусть 𝜉, 𝜂 — произвольные. Тогда 𝜉 = 𝜉 + − 𝜉 − , 𝜂 = 𝜂 + − 𝜂 − ⇒ 𝜉 + ≤ 𝜂 + , 𝜉 − ≥ 𝜂 − (т.к. 𝜂 ≥ 𝜉) ⇒
E𝜉 + ≤ E𝜂 + , E𝜉 − ≥ E𝜂 −
Разбор случаев, когда одно или оба математических ожидания бесконечны тривиален.
Ежели |E𝜉| < ∞, |E𝜂| < ∞, то:
E𝜉 = E𝜉 + − E𝜉 − ≤ E𝜂 + − E𝜂 − = E𝜂.
Утверждение 5.4.2. Если 𝜉 ≥ 0, то E𝜉 ≥ 0. Дополнительно, если E𝜉 = 0, то 𝑃 (𝜉 = 0) = 1.
Доказательство. Взяв 𝜂 = 0 и применив свойство 5.4.1 получаем требуемое.

∑︀
Для простых: E𝜉 = 𝑐𝑛 P(𝐴𝑛 ) = 0 и ∀𝑖 : 𝑐𝑖 ≥ 0 ⇒ P(𝜉 = 0) = 1
𝑛
Пусть 𝜉 ≥ 0 — произвольная. Тогда существует последовательность простых 𝜉𝑛 ↑ 𝜉. Откуда:
0 ≤ E𝜉𝑛 ≤ E𝜉 = 0 ⇒ P(𝜉𝑛 = 0) = 1
Т.к. 𝜉𝑛 ↑ 𝜉, то {𝜉𝑛 = 0} ↓ {𝜉 = 0} ⇒ P(𝜉 = 0) = 1
29
Утверждение 5.4.3. Пусть 𝜉 случайная величина на (Ω, F , P). Тогда, если существует E𝜉, то для
любого события 𝐴 ∈ F существует E𝜉 · 𝐼𝐴 . Дополнительно, если E𝜉 конечно, то для любого события
𝐴 ∈ F конечно E𝜉 · 𝐼𝐴 .
Доказательство. E𝜉 существует ⇐⇒ min(E𝜉 + , E𝜉 − ) < ∞. Тогда имеем:

𝜉 − 𝐼𝐴 ≤ 𝜉 − , 𝜉 + 𝐼𝐴 ≤ 𝜉 + ⇒ E(𝜉 − 𝐼𝐴 ) ≤ E𝜉 − , E(𝜉 + 𝐼𝐴 ) ≤ E𝜉 + ⇒ min(E(𝜉 + 𝐼𝐴 ), E(𝜉 − 𝐼𝐴 )) < ∞,
а значит E𝜉𝐼𝐴 существует.
Если мат. ожидание 𝜉 конечно, то конечно мат.ожидание 𝜉 + и 𝜉 − . А значит:
E(𝜉𝐼𝐴 )+ = E𝜉 + 𝐼𝐴 < ∞, E(𝜉𝐼𝐴 )− = E𝜉 − 𝐼𝐴 < ∞ ⇒ |E𝜉𝐼𝐴 | < ∞
Утверждение 5.4.4. Если P(𝜉 = 0) = 1, то E𝜉 = 0
Доказательство. Для простых доказано. Пусть 𝜉 = 𝜉 + − 𝜉 − — произвольная. Из условия следует, что

P(𝜉 + = 0) = P(𝜉 − = 0) = 1 Пусть 𝜉𝑛+ ↑ 𝜉 + , 𝜉𝑛− ↑ 𝜉 − — последовательности неотрицательных простых.
Тогда:
P(𝜉𝑛+ = 0) = P(𝜉𝑛− = 0) = 1 ⇒ E𝜉𝑛+ = E𝜉𝑛− = 0 ⇒ E𝜉 + = E𝜉 − = 0 ⇒ E𝜉 = 0
Утверждение 5.4.5. Если E𝜉 существует, то |E𝜉| ≤ E|𝜉|
Доказательство. Для простых доказано. Для неотрицательных очевидно.

|𝜉| = 𝜉 + + 𝜉 − . Разберем случаи:
1. E𝜉 − = ∞, E𝜉 + < ∞. Тогда |E𝜉| = E|𝜉| = +∞
2. E𝜉 + = ∞, E𝜉 − < ∞. Тогда аналогично |E𝜉| = E|𝜉| = +∞
3. E𝜉 + < ∞, E𝜉 − < ∞. Тогда |E𝜉| = |E𝜉 + − E𝜉 − | ≤ |E𝜉 + | + |E𝜉 − | = E𝜉 + + E𝜉 − = E|𝜉|
Утверждение 5.4.6. Пусть 𝑐 ∈ R. Тогда если E𝜉 существует, то E𝑐𝜉 = 𝑐E𝜉
Доказательство. Для простых доказано.

Пусть 𝜉 ≥ 0. Рассмотрим последовательность простых 𝜉𝑛 ↑ 𝜉
1. 𝑐 ≥ 0 ⇒ 𝑐𝜉𝑛 ↑ 𝑐𝜉 — последовательность неотрицательных простых. Тогда для нее:

E𝑐𝜉𝑛 → E𝑐𝜉, E𝑐𝜉𝑛 = 𝑐E𝜉𝑛 → 𝑐E𝜉 ⇒ E𝑐𝜉 = 𝑐E𝜉
2. 𝑐 < 0 Тогда E𝑐𝜉 = −E(𝑐𝜉)− = −E(−𝑐𝜉) = −(−𝑐)E𝜉 = 𝑐E𝜉
Пусть теперь 𝜉 = 𝜉 + − 𝜉 − — произвольная случайная величина. Случаи, когда одно из мат.ожиданий

E𝜉 + , E𝜉 − бесконечно разбирается очевидно. Предположим, что E𝜉 + < ∞, E𝜉 − < ∞. Пусть 𝜉𝑛+ ↑ 𝜉 + , 𝜉𝑛− ↑
𝜉−.
30
1. 𝑐 ≥ 0. Тогда 𝑐𝜉𝑛+ ↑ 𝑐𝜉, 𝑐𝜉𝑛− ↑ 𝑐𝜉 − . По определению мат. ожидания
E𝑐𝜉 = E(𝑐𝜉)+ − E(𝑐𝜉)− = lim(E𝑐𝜉𝑛+ − E𝑐𝜉𝑛− ) = 𝑐 lim E𝜉𝑛 = 𝑐E𝜉
𝑛 𝑛
2. 𝑐 < 0. Тогда −𝑐𝜉𝑛+ ↑ −𝑐𝜉 + , −𝑐𝜉𝑛− ↑ −𝑐𝜉 − . По определению мат. ожидания

E𝑐𝜉 = E(𝑐𝜉)+ − E(𝑐𝜉)− = lim E(−𝑐𝜉𝑛− ) − E(−𝑐𝜉𝑛+ ) = lim −𝑐(E𝜉 − − E𝜉 + ) = 𝑐E𝜉
𝑛 𝑛
Утверждение 5.4.7. Если 𝜉, 𝜂 — неотрицательные случайные величины или такие, что E|𝜉| < ∞, E|𝜂| <
∞, то
E(𝜉 + 𝜂) = E𝜉 + E𝜂
Доказательство. Для простых уже доказано.

Пусть 𝜉, 𝜂 — неотрицательные. Рассмотрим последовательности простых 𝜉𝑛 ↑ 𝜉, 𝜂𝑛 ↑ 𝜂, сходящиеся
к ним. Тогда E𝜉𝑛 → E𝜉, E𝜂𝑛 → E𝜂. А значит ⎫
E(𝜉𝑛 + 𝜂𝑛 ) = E𝜉𝑛 + E𝜂𝑛 → E𝜉 + E𝜂 ⎬
⇒ E(𝜉 + 𝜂) = E𝜉 + E𝜂
E(𝜉𝑛 + 𝜂𝑛 ) → E(𝜉 + 𝜂)
⎭
(б/д): Случай E|𝜉| < ∞, E|𝜂| < ∞ сводится к рассмотреному, если воспользоваться тем, что 𝜉 =
𝜉 + − 𝜉 − , 𝜂 = 𝜂 + − 𝜂 − и тем, что 𝜉 + ≤ |𝜉|, 𝜉 − ≤ |𝜉|.
Утверждение 5.4.8. Пусть математические ожидания 𝜉, 𝜂 конечны и для всех 𝐴 ∈ F : E𝜉𝐼𝐴 ≤ E𝜂𝐼𝐴 .
Тогда P(𝜉 ≤ 𝜂) = 1.
Доказательство. Действительно, пусть 𝐴 = {𝜔 : 𝜉(𝜔) > 𝜂(𝜔)} ∈ F . Тогда E𝜂𝐼𝐴 ≤ E𝜉𝐼𝐴 ≤ E𝜂𝐼𝐴 ⇒
E𝜂𝐼𝐴 = E𝜉𝐼𝐴 . По линейности математического ожидания E((𝜉 − 𝜂)𝐼𝐴 ) = 0 ⇒ P(𝐴) = 0 ⇒ P(𝜉 ≤ 𝜂) =
1.
Утверждение 5.4.9. Если 𝜉 = 𝜂 почти наверное (т.е. P( {𝜉 ̸= 𝜂 } ) = 0) и E|𝜉| < ∞, то E|𝜂| < ∞ и
E𝜉 = E𝜂.
Доказательство. Пусть 𝑁 = {𝜔 : 𝜉 ̸= 𝜂}. Тогда P(𝑁 ) = 0 и 𝜉 = 𝜉𝐼𝑁 +𝜉𝐼𝑁 , 𝜂 = 𝜂𝐼𝑁 +𝜂𝐼𝑁 . По линейности
математического ожидания, E𝜉 = E𝜉𝐼𝑁 + E𝜉𝐼𝑁 = E𝜉𝐼𝑁 = E𝜂𝐼𝑁 = E𝜂𝐼𝑁 + 0 = E𝜂𝐼𝑁 + E𝜂𝐼𝑁 = E𝜂

Пусть математические ожидания 𝜉, 𝜂 конечны, а 𝜉 ⊥
⊥ 𝜂. Тогда E𝜉𝜂 = E𝜉 E𝜂
5.5 Основные теоремы о предельном переходе под знаком интеграла Лебега
Теорема 5.2. (Лебега о монотонной сходимости)

Пусть 𝜂, 𝜉, 𝜉1 , 𝜉2 , . . . — случайные величины.
a) Если 𝜉𝑛 ≥ 𝜂 для всех 𝑛 ≥ 1, E𝜂 > −∞ и 𝜉𝑛 ↑ 𝜉, то

E𝜉𝑛 ↑ E𝜉
31
b) Если 𝜉𝑛 ≤ 𝜂 для всех 𝑛 ≥ 1, E𝜂 < +∞ и 𝜉𝑛 ↓ 𝜉, то
E𝜉𝑛 ↓ E𝜉
Доказательство. (На лекции была б/д)
a) Предположим сначала, что 𝜂 ≥ 0. Определим для каждого 𝑘 ≥ 1 последовательность случайных

(𝑛)
величин {𝜉𝑘 }𝑛≥1 как последовательность простых случайных величин, сходящуюся к 𝜉𝑘 (т.е.
(𝑛) (𝑛)
𝜉𝑘 ↑ 𝜉𝑘 ). Обозначим за 𝜁 (𝑛) = max 𝜉𝑘 . Тогда
1≤𝑘≤𝑛
(𝑛−1) (𝑛)
𝜁 ≤ 𝜁 (𝑛) = max 𝜉𝑘 ≤ max 𝜉𝑘 = 𝜉𝑛 .
1≤𝑘≤𝑛 1≤𝑘≤𝑛
(𝑛)
Пусть 𝜁 = lim 𝜁 . Поскольку для 1 ≤ 𝑘 ≤ 𝑛
𝑛
(𝑛)
𝜉𝑘 ≤ 𝜁 (𝑛) ≤ 𝜉𝑛 ,
то, переходя к пределу при 𝑛 → ∞ получим, что для любого 𝑘 ≥ 1 верно
𝜉𝑘 ≤ 𝜁 ≤ 𝜉
а значит 𝜉 = 𝜁.
Случайные величины 𝜁 (𝑛) простые и 𝜁 (𝑛) ↑ 𝜁, поэтому

E𝜉 = E𝜁 = lim E𝜁 (𝑛) ≤ E𝜉𝑛 .
С другой стороны, поскольку 𝜉𝑛 ≤ 𝜉𝑛+1 ≤ 𝜉, то lim E𝜉𝑛 ≤ E𝜉. Тем самым, E𝜉 = lim E𝜉𝑛 .
Пусть теперь 𝜂 — произвольная случайная величина с E𝜂 > −∞.
Если E𝜂 = ∞, то в силу E𝜉𝑛 = E𝜉 = ∞ и утверждение доказано. Пусть теперь E𝜂 < ∞. То-

гда E|𝜂| < ∞. Тогда 0 ≤ 𝜉𝑛 − 𝜂 ↑ 𝜉 − 𝜂 поточечно на Ω. Значит, согласно доказанному ранее,
E(𝜉𝑛 − 𝜂) ↑ E(𝜉 − 𝜂) и, по линейности
E𝜉𝑛 − E𝜂 ↑ E𝜉 − E𝜂 ⇒ E𝜉𝑛 ↑ E𝜉
b) Доказательство следует из 𝑎), если вместо исходных величин рассмотреть величины со знаком
минус.
Теорема 5.3. (лемма Фату)

Пусть 𝜂, 𝜉1 , 𝜉2 , . . . — случайные величины.
a) Если 𝜉𝑛 ≥ 𝜂 для всех 𝑛 и E𝜂 > −∞, то

E lim 𝜉𝑛 ≤ lim E𝜉𝑛
𝑛→∞ 𝑛→∞
b) Если 𝜉𝑛 ≤ 𝜂 для всех 𝑛 и E𝜂 < +∞, то

lim E𝜉𝑛 ≤ E lim 𝜉𝑛
𝑛→∞ 𝑛→∞
c) Если |𝜉𝑛 | ≤ 𝜂 для всех 𝑛 и E𝜂 < ∞, то

E lim 𝜉𝑛 ≤ lim E𝜉𝑛 ≤ lim E𝜉𝑛 ≤ E lim 𝜉𝑛
𝑛→∞ 𝑛→∞ 𝑛→∞ 𝑛→∞
32
Доказательство. Положим 𝜁𝑛 = inf 𝜉𝑚 . Тогда, очевидно, что 𝜁𝑛 ≤ 𝜁𝑛+1 . Кроме этого,
𝑚≥𝑛
lim 𝜉𝑛 = lim inf 𝜉𝑚 = lim 𝜁𝑛 ⇒ 𝜁𝑛 ↑ lim 𝜉𝑛
𝑛→∞ 𝑛→∞ 𝑚≥𝑛 𝑛→∞ 𝑛→∞
Т.к. 𝜁𝑛 ≥ 𝜂 для всех 𝑛. Тогда из теоремы 5.2
E lim 𝜉𝑛 = E lim 𝜁𝑛 = lim E𝜁𝑛 = lim E𝜁𝑛 ≤ lim E𝜉𝑛
𝑛→∞ 𝑛→∞ 𝑛→∞ 𝑛→∞ 𝑛→∞
что и доказывает утверждение 𝑎). Второе утверждение следует из первого, если рассмотреть величины
со знаком минус. Третье утверждение это следствие первых двух.
Теорема 5.4. (Лебега о мажорируемой сходимости)

Пусть случайные величины 𝜂, 𝜉, 𝜉1 , 𝜉2 , . . . таковы, что |𝜉𝑛 | ≤ 𝜂, E|𝜂| < ∞ и 𝜉𝑛 → 𝜉 почти наверное
(т.е. 𝑃 ( {𝜔 : 𝜉𝑛 (𝜔) → 𝜉(𝜔) } ) = 1). Тогда E|𝜉| < ∞ и
E𝜉𝑛 → E𝜉
E|𝜉𝑛 − 𝜉| → 0
Доказательство. По предположению, lim 𝜉𝑛 = lim 𝜉𝑛 = 𝜉 (почти наверное). Поэтому, в силу утвер-

𝑛→∞ 𝑛→∞
ждения 5.4.9 и леммы Фату:
E𝜉 = E lim 𝜉𝑛 ≤ lim E𝜉𝑛 ≤ lim E𝜉𝑛 ≤ E lim 𝜉𝑛 = E𝜉
𝑛→∞ 𝑛→∞ 𝑛→∞ 𝑛→∞
что и доказывает первое утверждение. Ясно также, что |𝜉| ≤ 𝜂 ⇒ E|𝜉| < ∞.
Далее заметим, что |𝜉 − 𝜉𝑛 | ≤ |𝜉| + |𝜉𝑛 | ≤ 2𝜂 и lim |𝜉 − 𝜉𝑛 | = 0. В силу линейности математического
𝑛→∞
ожидания:
0 = lim |E𝜉 − E𝜉𝑛 | = lim |E(𝜉 − 𝜉𝑛 )| ≤ lim E|𝜉 − 𝜉𝑛 |.
𝑛→∞ 𝑛→∞ 𝑛→∞
Тогда, применяя лемму Фату, имеем:
lim E|𝜉 − 𝜉𝑛 | ≤ E lim |𝜉 − 𝜉𝑛 | = 0 ⇒ lim E|𝜉 − 𝜉𝑛 | = 0,
𝑛→∞ 𝑛→∞ 𝑛→∞
что завершает доказательство теоремы.
Теорема 5.5. (теорема о замене переменных под знаком интеграла Лебега)

Пусть 𝜉 — случайная величина с распределением вероятностей 𝑃𝜉 , 𝑔 — борелевская функция и
∫︀ ∫︀
существует E𝑔(𝜉). Тогда E𝑔(𝜉) = 𝑔(𝜉(𝜔))𝑃 (𝑑𝜔) = 𝑔(𝑥)𝑃𝜉 (𝑑𝑥)
Ω R
Доказательство. 1. для индикаторов 𝑔(𝑥) = 𝐼(𝑥 ∈ 𝐵)

∫︀ ∫︀ ∫︀
E𝑔(𝜉) = P(𝜉 ∈ 𝐵) = P𝜉 (𝑑𝑥) = 𝐼(𝑥 ∈ 𝐵)P𝜉 (𝑑𝑥) = 𝑔(𝑥)P𝜉 (𝑑𝑥)
𝐵 R R
𝑛
𝑐𝑖 𝐼(𝑥 ∈ 𝐵𝑖 ), 𝐵1 ⊔ . . . ⊔ 𝐵𝑛 = R, 𝐵𝑖 ∈ B(R) имеем (по линейности
∑︀
2. для простых 𝑔(𝑥) =
𝑖=0
мат.ожидания):
𝑛
∑︁ 𝑛
∑︁
E𝑔(𝜉) = E( 𝑐𝑖 𝐼(𝑥 ∈ 𝐵𝑖 )) = 𝑐𝑖 E𝐼(𝑥 ∈ 𝐵𝑖 ) =
𝑖=0 𝑖=0
𝑛
∑︁ ∫︁ 𝑛
∫︁ ∑︁ ∫︁
= 𝑐𝑖 𝐼(𝑥 ∈ 𝐵𝑖 )P𝜉 (𝑑𝑥) = 𝑐𝑖 𝐼(𝑥 ∈ 𝐵𝑖 )P𝜉 (𝑑𝑥) = 𝑔(𝑥)P𝜉 (𝑑𝑥)
𝑖=0 R R 𝑖=0 R
33
3. Пусть 𝑔 — произвольная неотрицательная. Тогда существует последовательность простых боре-
∫︀
левских функций 𝑔𝑛 ↑ 𝑔. По пункту 2)E𝑔𝑛 (𝜉) = 𝑔𝑛 (𝑥)P𝜉 (𝑑𝑥). Т.к. 𝑔𝑛 (𝜉) неотрицательны, то по
R
теореме Лебега о монотонной сходимости:
∫︀ ∫︀
lim E𝑔𝑛 (𝜉) = E𝑔(𝜉) = lim 𝑔𝑛 (𝑥)P𝜉 (𝑑𝑥) = 𝑔(𝑥)P𝜉 (𝑑𝑥)
𝑛→∞
R R
4. 𝑔 — произвольная борелевская. Тогда 𝑔 = 𝑔 + − 𝑔 − , где 𝑔 + и 𝑔 − — неотрицательные, и
∫︁ ∫︁
E𝑔(𝜉) = E𝑔 + (𝜉) − E𝑔 − (𝜉) = 𝑔 + (𝑥)P𝜉 (𝑑𝑥) − 𝑔 − (𝑥)P𝜉 (𝑑𝑥) =
R R
∫︁ ∫︁
+ −
= (𝑔 (𝑥) − 𝑔 (𝑥))P𝜉 (𝑑𝑥) = 𝑔(𝑥)P𝜉 (𝑑𝑥)
R R
Замечание: В случае, когда 𝜉 имеет абсолютно-непрерывное распределение, P𝜉 (𝑑𝑥) = 𝑝𝜉 (𝑥)𝑑𝑥.
Пример 5.8. Пусть 𝜉 имеет нормальное распределение с параметрами (0, 1). Найдем математическое
ожидание величины 𝜉 2 .
По теореме о замене переменных под знаком интеграла Лебега:
∫︁ ∫︁
1 𝑥2
E𝜉 2 = 𝑥2 P𝜉 (𝑑𝑥) = 𝑥2 √ 𝑒− 2 𝑑𝑥 =
2𝜋
R R
∫︁ ∫︁
1 − 𝑥2
2 1 𝑥2
= − 𝑥 √ 𝑑(𝑒 )= √ 𝑒− 2 𝑑𝑥 = 1
2𝜋 2𝜋
R R
Пример 5.9. Пусть 𝜉 имеет экспоненциальное распределение с параметром 𝜆. Найдем математическое

ожидание случайной величины 𝑒𝜉 :
∫︁ ∫︁
E𝑒 = 𝑒 P𝜉 (𝑑𝑥) = 𝑒𝑥 (𝜆𝑒−𝜆𝑥 )𝑑𝑥𝐼(𝑥 ≥ 0) =
𝜉 𝑥
R R
⎧
+∞
∫︁
𝜆𝑒 𝑥(1−𝜆) ⃒∞ ⎨∞,
⎪
𝜆≤1
𝑥(1−𝜆)
= 𝜆𝑒 𝑑𝑥 = ⃒ =
⃒
1−𝜆 0 ⎩ 𝜆 , 𝜆>1
⎪
0 𝜆−1
34
6 Дисперсия и ковариация
Определение 6.1. Пусть 𝜉 — случайная величина на пространстве (Ω, F , P). Тогда ее дисперсией
называется величина D𝜉 = E(𝜉 − E𝜉)2 .
Определение 6.2. Пусть 𝜉, 𝜂 — две случайных величины на пространстве (Ω, F , P). Тогда их кова-
риацией называется величина cov(𝜉, 𝜂) = E(𝜉 − E𝜉)(𝜂 − E𝜂).
Определение 6.3. Пусть 𝜉, 𝜂 — две случайных величины на пространстве (Ω, F , P). Тогда их коэф-
cov(𝜉, 𝜂)
фицентом корреляции называется 𝜌(𝜉, 𝜂) = √︀ .
D𝜉 D𝜂
Установим свойства дисперсии и ковариации:
Утверждение 6.1.1. D𝜉 ≥ 0 — очевидно из определения.
Утверждение 6.1.2. D𝜉 = E𝜉 2 − (E𝜉)2 .
D𝜉 = E(𝜉 − E𝜉)2 = E(𝜉 2 − 2𝜉E𝜉 + (E𝜉)2 ) = E𝜉 2 − 2E𝜉 E𝜉 + E(E𝜉)2
= E𝜉 2 − 2(E𝜉)2 + (E𝜉)2 = E𝜉 2 − (E𝜉)2
Утверждение 6.1.3. cov(𝜉, 𝜂) = E𝜉𝜂 − E𝜉 E𝜂
Доказательство. cov(𝜉, 𝜂) = E(𝜉 − E𝜉)(𝜂 − E𝜂) = E(𝜉𝜂 − 𝜂E𝜉 − 𝜉E𝜂 + E𝜂E𝜉) = E𝜉𝜂 − E𝜉E𝜂
Утверждение 6.1.4. Если 𝜉 ⊥

⊥ 𝜂, то cov(𝜉, 𝜂) = 0 (обратное неверно).
Утверждение 6.1.5. D𝜉 = cov(𝜉, 𝜉)
Утверждение 6.1.6. Ковариация — билинейна ( cov(𝑎𝜉1 + 𝑏𝜉2 , 𝜂) = 𝑎cov(𝜉1 , 𝜂) + 𝑏cov(𝜉2 , 𝜂)
Доказательство. Симметричность следует из определения.
cov(𝑎𝜉1 + 𝑏𝜉2 , 𝜂) = E((𝑎𝜉1 + 𝑏𝜉2 )𝜂) − E𝜂E(𝑎𝜉1 + 𝑏𝜉2 ) =
= 𝑎E𝜉1 𝜂 + 𝑏E𝜉2 𝜂 − 𝑎E𝜉1 E𝜂 − 𝑏E𝜉2 E𝜂 = 𝑎cov(𝜉1 , 𝜂) + 𝑏cov(𝜉2 , 𝜂)
𝑛
∑︀ ∑︀
Утверждение 6.1.7. D(𝜉1 + . . . + 𝜉𝑛 ) = D𝜉𝑖 + 2 cov(𝜉𝑖 , 𝜉𝑗 )
𝑖=1 1≤𝑖<𝑗≤𝑛
𝑛 ∑︁
∑︁ 𝑛 𝑛
∑︁ ∑︁
D(𝜉1 + . . . + 𝜉𝑛 ) = cov((𝜉1 + . . . + 𝜉𝑛 ), (𝜉1 + . . . + 𝜉𝑛 )) = cov(𝜉𝑖 , 𝜉𝑗 ) = D𝜉𝑖 + 2 cov(𝜉𝑖 , 𝜉𝑗 )
𝑖=1 𝑗=1 𝑖=1 1≤𝑖<𝑗≤𝑛
35
𝑛
∑︀
Утверждение 6.1.8. Если 𝜉1 , . . . , 𝜉𝑛 — попарно независимы, то D(𝜉1 + . . . + 𝜉𝑛 ) = D𝜉𝑖 .
𝑖=1
Замечание: условие попарной независимости сильное. Достаточным условием является попарная некор-
релированность.
7 Неравенства в теории вероятностей

Утверждение 7.1.1. Неравенство Коши-Буняковского
Пусть 𝜉, 𝜂 — случайные величины на (Ω, F , P), такие, что E𝜉 2 < +∞, E𝜂 2 < +∞. Тогда E|𝜉𝜂| < ∞ и
(E|𝜉𝜂|)2 ≤ E𝜉 2 · E𝜂 2
Доказательство. Сначала заметим, что если P(𝜉 = 0) = 1, то E𝜉 = 0 и E|𝜉𝜂| = 0. Аналогично с 𝜂.

Пусть теперь P(𝜉 = 0) ̸= 1; P(𝜂 = 0) ̸= 1. Рассмотрим слуайные величины 𝜉̃︀ := √|𝜉| 2 , 𝜂̃︀ := √|𝜂| 2 . Тогда
E𝜉 E𝜂
𝜉2 𝜂2
2
𝜂 2 ≥ 2𝜉̃︀
+ 2 = 𝜉̃︀2 +̃︀ ̃︀𝜂 ⇒
E𝜉 E𝜂
̃︀𝜂 = 2 √︀E|𝜉𝜂|
⇒ 2 ≥ 2E𝜉̃︀
E𝜉 2 E𝜂 2
Утверждение 7.1.2. Неравенство Йенсена

Пусть 𝜉 — случайная величина на (Ω, F , P), 𝑔 — выпуклая вниз функция и E𝑔(𝜉) существует, а |E𝜉| < ∞.
Тогда
𝑔(E𝜉) ≤ E𝑔(𝜉)
Доказательство. В силу выпуклости 𝑔 имеем
∀𝑥0 ∈ R ∃𝜆(𝑥0 ) ∀𝑥 ∈ R : 𝑔(𝑥) − 𝑔(𝑥0 ) ≥ 𝜆(𝑥0 )(𝑥 − 𝑥0 )
𝑔(𝜉) ≥ 𝑔(E𝜉) + 𝜆(E𝜉)(𝜉 − E𝜉)
E𝑔(𝜉) ≥ E(𝑔(E𝜉) + 𝜆(E𝜉)(𝜉 − E𝜉)) ⇒
⇒ E𝑔(𝜉) ≥ 𝑔(E𝜉)
36
Утверждение 7.1.3. Неравенство Маркова
Пусть 𝜉 — случайная величина на (Ω, F , P), E|𝜉| < ∞ и 𝑎 > 0. Тогда
E|𝜉|
P(|𝜉| ≥ 𝑎) ≤ 𝑎
Доказательство. Оценим математическое ожидание |𝜉|:
E|𝜉| = E|𝜉|𝐼(|𝜉| ≥ 𝑎) + E|𝜉|𝐼(|𝜉| < 𝑎) ≥ E|𝜉|𝐼(|𝜉| ≥ 𝑎) ≥ E𝑎𝐼(|𝜉| ≥ 𝑎) = 𝑎P(|𝜉| ≥ 𝑎)
Утверждение 7.1.4. Неравенство Чебышёва

Пусть 𝜉 — случайная величина на (Ω, F , P), E𝜉 2 < ∞. Тогда ∀𝜀 > 0
D𝜉
P(|𝜉 − E𝜉| ≥ 𝜀) ≤ 𝜀2
Доказательство. Следствие неравенства Маркова для случайной величины 𝜂 := |𝜉 − E𝜉|2 и 𝑎 = 𝜀2
37
8 Виды сходимости случайных величин
8.1 Виды сходимости. Взаимосвязть между ними
Пусть дано вероятностное пространство (Ω, F , P) и случайные величины 𝜉, 𝜉1 , 𝜉2 , . . . на нем.
Определение 8.1. Последовательность {𝜉𝑛 } сходится поточечно к 𝜉, если для любого 𝜔 ∈ Ω числовая
последовательность {𝜉𝑛 (𝜔)} сходится к 𝜉(𝜔).
Определение 8.2. Событие 𝐴 ∈ F выполнено почти наверное, если P(𝐴) = 1
Определение 8.3. Последовательность {𝜉𝑛 } сходится к 𝜉 почти наверное, если событие {𝜉𝑛 → 𝜉}
выполнено почти наверное. (т.е. P({𝜉𝑛 → 𝜉}) = 1 ).
п.н.
Обозначение: 𝜉𝑛 → 𝜉.
Определение 8.4. Последовательность {𝜉𝑛 } сходится к 𝜉 по вероятнсоти, если выполнено:

∀𝜀 > 0 : P(|𝜉𝑛 − 𝜉| > 𝜀) → 0
P
Обозначение: 𝜉𝑛 → 𝜉
Определение 8.5. Последовательность {𝜉𝑛 } сходится к 𝜉 в 𝐿𝑝 , (𝑝 > 0), если E|𝜉𝑛 − 𝜉|𝑝 → 0 при 𝑛 → ∞.
𝐿𝑝
Обозначение: 𝜉𝑛 → 𝜉.
Определение 8.6. Последовательность {𝜉𝑛 } слабо сходится к 𝜉 (или сходится по распределению),

если для любой ограниченной непрерывной функции 𝑓 : R → R верно:
E𝑓 (𝜉𝑛 ) → E𝑓 (𝜉)
𝑑
Обозначение: 𝜉𝑛 → 𝜉
Хотя и кажется, что определения сходимостей (быть может, за исключением сходимости по распре-
делнию) эквивалентны, это далеко не так. Для этого рассмотрим следующий пример:
Пример 8.1. Ω = [0, 1], F = B([0, 1]), P — равномерное распределение. 𝜉𝑛 (𝜔) = 𝜔 𝑛 . Тогда последова-
тельность 𝜉𝑛 сходится поточечно к 𝐼(𝜔 = 1), но
п.н.
𝜉𝑛 → 𝐼(𝜔 = 1)
п.н.
𝜉𝑛 → 0 т.к. P(𝜉𝑛 → 0) = P([0, 1)) = 1
п.н.
𝜉𝑛 → 𝐼(𝜔 ∈ Q) т.к. P(Q) = 0
Лемма 8.1. (Критерий сходимости почти наверное)

Пусть 𝜉, 𝜉1 , 𝜉2 , . . . – случайные величины на (Ω, F , P). Тогда
п.н.
𝜉𝑛 → 𝜉 ⇐⇒ ∀𝜀 > 0 : P(sup |𝜉𝑘 − 𝜉| > 𝜀) → 0 при 𝑛 → ∞.
𝑘≥𝑛
Доказательство. Для доказательства леммы рассмотрим следующие события:
𝐴𝜀𝑘 = {|𝜉𝑘 − 𝜉| > 𝜀}

∞ ⋃︁
⋂︁
𝐴𝜀 = 𝐴𝜀𝑘
𝑛=1 𝑘≥𝑛
38
Заметим тогда, что
⋃︁
{sup |𝜉𝑘 − 𝜉| > 𝜀} = {∃𝑘 ≥ 𝑛 : |𝜉𝑘 − 𝜉| > 𝜀} = 𝐴𝜀𝑘
𝑘≥𝑛
𝑘≥𝑛
∞ ⋂︁
∞ ⋃︁ ∞
1
𝜀= 𝑚 1
⋃︁ ⋃︁
{lim 𝜉𝑛 ̸= 𝜉} = {∃𝜀 > 0 : ∀𝑛 ∃𝑘 ≥ 𝑛 : |𝜉𝑘 − 𝜉| > 𝜀} = 𝐴𝑘 = 𝐴𝑚
𝑚=1 𝑛=1 𝑘≥𝑛 𝑚=1
Поэтому, имеем
∞
п.н. 1
⋃︁
𝜉𝑛 → 𝜉 ⇔ P(𝜉𝑛 ̸→ 𝜉) = 0 ⇔ P( 𝐴𝑚 ) = 0
𝑚=1
1
⇔ ∀𝑚 P(𝐴 𝑚 ) = 0
⇔ ∀𝜀 P(𝐴𝜀 ) = 0
⋃︁ ⋃︁
⇔ P( 𝐴𝜀𝑘 ) → 0 (т.к. 𝐴𝜀𝑘 ↓ 𝐴𝜀 и по теореме о непрерывности вероятностой меры)
𝑘≥𝑛 𝑘≥𝑛
⇔ P(sup |𝜉𝑘 − 𝜉| > 𝜀) → 0

𝑘≥𝑛
Теорема 8.1. (взаимосвязь между различными видами сходимости случайных величин)

Пусть 𝜉, 𝜉1 , 𝜉2 , . . . — случайные величины на (Ω, F , P). Тогда верны следующие импликации:
п.н. P
1. 𝜉𝑛 → 𝜉 ⇒ 𝜉𝑛 → 𝜉
𝐿𝑝 P
2. 𝜉𝑛 → 𝜉 ⇒ 𝜉𝑛 → 𝜉
P 𝑑
3. 𝜉𝑛 → 𝜉 ⇒ 𝜉𝑛 → 𝜉
Доказательство. 1. Т.к. sup |𝜉𝑘 − 𝜉| < 𝜀 ⇒ ∀𝑘 ≥ 𝑛 : |𝜉𝑘 − 𝜉| < 𝜀, то по критерию сходимости почти
𝑘≥𝑛
наверное получаем требуемое.
E|𝜉𝑛 − 𝜉|𝑝
2. P(|𝜉𝑛 − 𝜉| > 𝜀) = P(|𝜉𝑛 − 𝜉|𝑝 > 𝜀𝑝 ) ≤ → 0 по неравенству Маркова.
𝜀𝑝
3. Пусть 𝑓 — ограниченная и непрерывная функция, |𝑓 | ≤ 𝐶. Зафиксируем 𝜀 > 0. Т.к. P(|𝜉| = ∞) = 0,
то ∃𝑁 ∃𝛿 :
𝜀
1)P(|𝜉| > 𝑁 ) ≤ так как P(𝜉 = ∞) = 0
6𝐶
𝜀
2)P(|𝜉𝑛 − 𝜉| > 𝛿) ≤ из сходимости по вероятности (при достаточно больших 𝑛).
6𝐶
𝜀
3)∀𝑥 ∀𝑦 |𝑥| < 𝑁, |𝑥 − 𝑦| < 𝛿 |𝑓 (𝑥) − 𝑓 (𝑦)| ≤ т.к. 𝑓 равномерно непрерывна на отрезке [−𝑁, 𝑁 ]
3
Рассмотрим следующие события:
𝐴1 = {|𝜉𝑛 − 𝜉| ≤ 𝛿} ∩ {|𝜉| < 𝑁 }
𝐴2 = {|𝜉𝑛 − 𝜉| ≤ 𝛿} ∩ {|𝜉| ≥ 𝑁 }
𝐴3 = {|𝜉𝑛 − 𝜉| > 𝛿}
39
Очевидно, что эти события образуют разбиение Ω = 𝐴1 ⊔ 𝐴2 ⊔ 𝐴3 . Оценим |E𝑓 (𝜉𝑛 ) − E𝑓 (𝜉)|:
|E𝑓 (𝜉𝑛 ) − E𝑓 (𝜉)| = |E(𝑓 (𝜉𝑛 ) − 𝑓 (𝜉)| ≤ E|𝑓 (𝜉𝑛 ) − 𝑓 (𝜉)| = E|𝑓 (𝜉𝑛 ) − 𝑓 (𝜉)|(𝐼𝐴1 + 𝐼𝐴2 + 𝐼𝐴3 ) ≤
𝜀 𝜀 𝜀 𝜀
≤ P(𝐴1 ) + 2𝐶(P(𝐴2 ) + P(𝐴3 )) ≤ + 2𝐶( + )=𝜀
3 3 6𝐶 6𝐶
𝑑
откуда следует, что |E𝑓 (𝜉𝑛 ) − E𝑓 (𝜉)| → 0 ⇒ 𝜉𝑛 → 𝜉.
Из теоремы следует, что между видами сходимости существует следующая связь: поточечная схо-
димость ⇒ сходимость почти наверное ⇒ сходимость по вероятности ⇒ сходимость по распределнию.
Кроме того, сходимость по вероятности так же следует из сходимости в смысле 𝐿𝑝 , однако для всех
остальных случаев существуют контр-примеры.
𝑑 P
Пример 8.2. 𝜉𝑛 → 𝜉, но 𝜉𝑛 →
̸ 𝜉.
1
Пусть Ω = {𝜔1 , 𝜔2 }, P({𝜔𝑖 }) = 2. Определим для любого 𝑛 𝜉𝑛 (𝜔1 ) = 1, 𝜉𝑛 (𝜔2 ) = −1. Положим
𝜉 = −𝜉𝑛 . Тогда:
𝑓 (1)+𝑓 (−1)
E𝑓 (𝜉𝑛 ) = 2 = E𝑓 (𝜉) ,
P
но ∀𝑛 |𝜉𝑛 − 𝜉| = 2 ⇒ 𝜉𝑛 →
̸ 𝜉.
P п.н.
Пример 8.3. 𝜉𝑛 → 𝜉, но 𝜉𝑛 ̸ → 𝜉.
P
Положим 𝜉2𝑘 = 𝐼([0, 1
2𝑘
]), 𝜉2𝑘 +𝑝 = 𝐼([ 2𝑝𝑘 , 𝑝+1
2𝑘
]), 1 ≤ 𝑝 < 2𝑘 . Тогда 𝜉𝑛 → 0, т.к. P(𝜉𝑛 > 0) ≤ длина
2 п.н.
отрезка в индикаторе ≤ 𝑛 → 0, но 𝜉𝑛 ̸ → 0 т.к. ∀𝜔 ∃ бесконечно много 𝑛, таких что 𝜉𝑛 (𝜔) = 1.
𝐿𝑝 п.н.
Пример 8.4. 𝜉𝑛 → 𝜉, но 𝜉𝑛 ̸ → 𝜉. Подходит предыдущий пример.
п.н. 𝐿𝑝 P 𝐿𝑝
Пример 8.5. 𝜉𝑛 → 𝜉, но 𝜉𝑛 ̸→ 𝜉 и 𝜉𝑛 → 𝜉 но 𝜉𝑛 →
̸ 𝜉.
Ω = [0, 1], F = B([0, 1]), P — равномерное распределение. Определим для 𝑘 ≥ 1 𝜉𝑘 = 2𝑘−1 𝐼([0, 1
2𝑘−1
]).
Тогда ∀𝑘 E𝜉𝑘 = 1, но 𝜉 = 𝐼(𝜔 = 0)
P п.н. 𝐿𝑝
Пример 8.6. 𝜉𝑛 → 𝜉, но 𝜉𝑛 ̸ → 𝜉 и 𝜉𝑛 ̸→ 𝜉.
𝑘 𝑘
Положим 𝜉2𝑘 = 𝑒2 · 𝐼([0, 1
2𝑘
]), 𝜉2𝑘 +𝑝 = 𝑒2 +𝑝
· 𝐼([ 2𝑝𝑘 , 𝑝+1
2𝑘
]), 1 ≤ 𝑝 < 2𝑘 (т.е. случайные величины
из примера 8.3, домноженные на 𝑒𝑛 ). Аналогично примеру 8.3, имеется сходимость по вероятности к
𝜉 = 0, но нет сходимости почти наверное.
Заметим теперь, что E|𝜉𝑛 − 𝜉|𝑝 = E𝜉𝑛𝑝 ̸→ 0 при 𝑛 → ∞.
Определение 8.7. Последовательность {𝐹𝑛 }∞

𝑛=1 функций распределения на R сходится в основном
к функции распределения 𝐹 на R, если ∀𝑥 ∈ 𝐶(𝐹 ) : 𝐹𝑛 (𝑥) → 𝐹 (𝑥), где 𝐶(𝐹 ) — множество точек
непрерывности функции 𝐹 .
Обозначение: 𝐹𝑛 ⇒ 𝐹 .
𝑛=1 вероятностных мер на (R , B(R )) сходится в ос-

Определение 8.8. Последовательность {P𝑛 }∞ 𝑘 𝑘
новном к вероятностной мере P на (R𝑘 , B(R𝑘 )), если ∀𝐴 ∈ B(R𝑘 ), таких что P(𝜕𝐴) = 0 выполнено, что
40
P𝑛 (𝐴) → P(𝐴).
Обозначение: P𝑛 ⇒ P.
Теорема 8.2. (Александрова, б/д)

Следующие условия эквивалентны:
𝑑
1. 𝜉𝑛 → 𝜉
2. 𝐹𝜉𝑛 ⇒ 𝐹𝜉
3. P𝜉𝑛 ⇒ P𝜉
8.2 Лемма Бореля-Кантелли. Критерии Коши сходимости случайных вели-

чин
𝑛=1 – последовательность событий на (Ω, F , P). Тогда событием "𝐴𝑛

Определение 8.9. Пусть {𝐴𝑛 }∞
бесконечно часто" называется событие 𝐵 = {𝜔 ∈ Ω : |𝑘 ∈ N : 𝜔 ∈ 𝐴𝑘 | = ∞}.
Обозначение: {𝐴𝑛 б.ч. }.
∞ ⋃︀
⋂︀
{𝐴𝑛 б.ч. } = {𝜔| ∀𝑛 ∃𝑘 ≥ 𝑛 𝜔 ∈ 𝐴𝑘 } = 𝐴𝑘
𝑛=1 𝑘≥𝑛
Теорема 8.3. (лемма Бореля-Кантелли)

∞
∑︀
1. Если P(𝐴𝑛 ) < ∞, то P(𝐴𝑛 б.ч. ) = 0.
𝑛=1
∞
∑︀
2. Если P(𝐴𝑛 ) = ∞ и {𝐴𝑛 } независимы в совокупности, то 𝑃 (𝐴𝑛 б.ч. ) = 1.
𝑛=1
∞ ⋃︀
⋂︀ ⋃︀ ∞
∑︀
Доказательство. 1. P(𝐴𝑛 б.ч. ) = P( 𝐴𝑘 ) = lim P( 𝐴𝑘 ) ≤ lim P(𝐴𝑘 ) = 0 (как оста-
𝑛=1 𝑘≥𝑛 𝑛→∞ 𝑘≥𝑛 𝑛→∞ 𝑘=𝑛
точный член сходящегося ряда).
41
2.
∞ ⋃︁
⋂︁
P(𝐴𝑛 б.ч. ) = P( 𝐴𝑘 )
𝑛=1 𝑘≥𝑛
⋃︁
= lim P( 𝐴𝑘 )
𝑛→∞
𝑘≥𝑛
⋂︁
= 1 − lim P( 𝐴𝑘 )
𝑛→∞
𝑘≥𝑛
𝑁
⋂︁
= 1 − lim ( lim P( 𝐴𝑘 ))
𝑛→∞ 𝑁 →∞
𝑘=𝑛
𝑁
∏︁
= 1 − lim lim (1 − P(𝐴𝑘 ))
𝑛→∞ 𝑁 →∞
𝑘=𝑛
𝑁
∑︀
− P(𝐴𝑘 )
≥ 1 − lim lim 𝑒 𝑘=𝑛
𝑛→∞ 𝑁 →∞
∞
∑︀
− P(𝐴𝑘 )
= 1 − lim 𝑒 𝑘=𝑛
𝑛→∞
= 1 − lim 𝑒−∞ = 1
𝑛→∞
Определение 8.10. Последовательность случайных величин {𝜉𝑛 } на (Ω, F , P) называется фундамен-

тальной по вероятности, если ∀𝜀 > 0 : P(|𝜉𝑛 − 𝜉𝑚 | ≥ 𝜀) → 0 при 𝑛, 𝑚 → ∞.
Теорема 8.4. (критерий Коши сходимости случайных величин по вероятности)

{𝜉𝑛 } фундаментальна по вероятности ⇐⇒ ∃𝜉 — случайная величина на (Ω, F , P), такая что
P
𝜉𝑛 → 𝜉.
Доказательство. ⇐:
𝜀 𝜀 𝜀 𝜀
{|𝜉𝑛 − 𝜉| ≤ } ∩ {|𝜉𝑚 − 𝜉| ≤ } ⊆ {|𝜉𝑛 − 𝜉𝑚 | ≤ 𝜀} ⇒ {|𝜉𝑛 − 𝜉𝑚 | > 𝜀} ⊆ {|𝜉𝑛 − 𝜉| > } ∪ {|𝜉𝑚 − 𝜉| > } ↓ ∅
2 2 2 2
По условию вероятность каждого события стремится к 0, а значит P(|𝜉𝑛 − 𝜉𝑚 | > 𝜀) → 0 при 𝑛, 𝑚 → ∞.

⇒:
Cначала докажем следующую лемму:
Лемма 8.2. Если 𝜉𝑛 фундаментальна по вероятности, то существует такая случайная величина 𝜉

п.н.
и подпоследовательность 𝜉𝑛𝑘 , что 𝜉𝑛𝑘 → 𝜉 при 𝑘 → ∞.
Доказательство. Пусть 𝑛1 = 1, 𝑛𝑘 = min{𝑗 > 𝑛𝑘−1 ∀𝑟, 𝑠 ≥ 𝑗 P(|𝜉𝑟 − 𝜉𝑠 | ≥ 2−𝑘 ) < 2−𝑘 } ( это можно
сделать, т.к. последовательность фундаментальна по вероятности). Далее, рассмотрим событие {|𝜉𝑛𝑘 −
∞ ∞
𝜉𝑛𝑘−1 | ≥ 2−(𝑘−1) б.ч. }. По лемме Бореля-Кантелли P(|𝜉𝑛𝑘 − 𝜉𝑛𝑘−1 | ≥ 2−(𝑘−1) ) < 2−(𝑘−1) < ∞ а
∑︀ ∑︀
𝑘=2 𝑘=2
42
значит
P(|𝜉𝑛𝑘 − 𝜉𝑛𝑘−1 | ≥ 2−(𝑘−1) б.ч. ) = 0

∞
∑︁
⇒ P( |𝜉𝑛𝑘 − 𝜉𝑛𝑘−1 | < ∞) = 1
𝑘=2
∞
∑︁
⇒ P( 𝜉𝑛𝑘 − 𝜉𝑛𝑘−1 < ∞) = 1
𝑘=2
∞
∑︀
Положим 𝐴 = {𝜔 : |𝜉𝑛𝑘 − 𝜉𝑛𝑘−1 | < ∞}. Как было показано выше, P(𝐴) = 1. Определим случайную
𝑘=2
величину 𝜉 для любого 𝜔 ∈ 𝐴 как lim 𝜉𝑛𝑘 (опять же, выше показано, что на множестве 𝐴 этот предел
𝑘→∞
существует). Для 𝜔 ∈ 𝐴 положим, например 𝜉(𝜔) = 0. На сходимость почти наверное это никак не
повлияет. Лемма доказана.
п.н.
Выделим сходяющуюся почти наверное подпоследовательность 𝜉𝑛𝑘 → 𝜉. Рассмотрим событие
{|𝜉𝑛 − 𝜉| ≤ 𝜀} ⊇ {|𝜉𝑛𝑘 − 𝜉| ≤ 2𝜀 } ∩ {|𝜉𝑛𝑘 − 𝜉𝑛 | ≤ 2𝜀 }
Вероятность каждого из событий справа стремится к 1. Значит, и P(|𝜉𝑛 − 𝜉| ≤ 𝜀) → 1.
Определение 8.11. Последовательность случайных величин 𝜉𝑛 фундаментальна почти наверное, если

P(𝜉𝑛 фундаментальна ) = 1.
Теорема 8.5. (критерий Коши сходимости почти наверное)

Пусть 𝜉1 , 𝜉2 , . . . — случайные величины на (Ω, F , P). Тогда следующие утверждения эквивалентны:
1. {𝜉𝑛 } почти наверное фундаментальна

п.н.
2. Существует случайная величина 𝜉 на (Ω, F , P), такая что 𝜉𝑛 → 𝜉
3. ∀𝜀 > 0 : P(sup |𝜉𝑛 − 𝜉𝑛+𝑘 | ≥ 𝜀) → 0 при 𝑛 → ∞

𝑘≥1
Доказательство. 1) ⇔ 2):
𝜉𝑛 п.н. фундаментальна ⇔ P(𝜉𝑛 фундаментальна ) = 1
⇔ P(𝜉𝑛 сходится ) = 1.
1) ⇔ 3):
𝜉𝑛 п.н. фундаментальна ⇔ P(∀𝜀 > 0 ∃𝑁 ∀𝑛, 𝑚 ≥ 𝑁 |𝜉𝑛 − 𝜉𝑚 | ≤ 𝜀) = 1

1
⇔ P(∀𝑘 ∈ N ∃𝑁 ∀𝑛, 𝑚 ≥ 𝑁 |𝜉𝑛 − 𝜉𝑚 | ≤ )=1
𝑘
1
⇔ ∀𝑘 ∈ N : P(∃𝑁 ∀𝑛, 𝑚 ≥ 𝑁 |𝜉𝑛 − 𝜉𝑚 | ≤ ) = 1
𝑘
⇔ ∀𝜀 > 0 : P(∃𝑁 ∀𝑛, 𝑚 ≥ 𝑁 |𝜉𝑛 − 𝜉𝑚 | ≤ 𝜀) = 1
⇔ ∀𝜀 > 0 : P(∀𝑁 ∃𝑛, 𝑚 ≥ 𝑁 |𝜉𝑛 − 𝜉𝑚 | ≥ 𝜀) = 0
⇔ ∀𝜀 > 0 : P(∀𝑁 ∃𝑛 ≥ 𝑁 ∃𝑘 ∈ N |𝜉𝑛 − 𝜉𝑛+𝑘 | ≥ 𝜀) = 0 — (1)
43
С другой стороны,
∀𝜀 > 0 : P(sup |𝜉𝑛 − 𝜉𝑛+𝑘 | ≥ 𝜀) → 0 ⇐⇒ ∀𝜀 > 0 : P(∃𝑘 ≥ 1 : |𝜉𝑛+𝑘 − 𝜉𝑛 | ≥ 𝜀) → 0 — (2).
𝑘≥1
(1) ⇔ ∀𝜀 > 0 : lim P(∃𝑛 ≥ 𝑁 ∀𝑘 ∈ N |𝜉𝑛 − 𝜉𝑛+𝑘 | ≥ 𝜀) = 0

𝑁 →∞
Отсюда, очевидно, следует (2). Наоборот, если (2) выполнено, то
∀𝜀 > 0 ∀𝛿 > 0 ∃𝑛0 ∀𝑁 > 𝑛0 P(∃𝑘 ≥ 1 : |𝜉𝑁 +𝑘 − 𝜉𝑁 | ≥ 𝜀/2) < 𝛿
тогда
P(∃𝑛 ≥ 𝑁 ∃𝑘 ≥ 1 |𝜉𝑛+𝑘 − 𝜉𝑛 | ≥ 𝜀) ≤ P(∃𝑛 ≥ 𝑁 ∃𝑘 ≥ 1 |𝜉𝑁 +𝑘 − 𝜉𝑛 | ≥ 𝜀/2)
или
P(|𝜉𝑁 − 𝜉𝑛 | ≥ 𝜀/2) ≤ P(∃𝑘 ≥ 1 |𝜉𝑛+𝑘 − 𝜉𝑛 | ≥ 𝜀/2) < 𝛿.
44
9 Случайное блуждание
9.1 Определение. Закон повторного логарифма
Определение 9.1. Пусть {𝜉𝑛 }∞ 𝑛=1 — незавсимо одинаково распределенные случайные величины на
𝑛
(Ω, F , P). Обозначим за 𝑆0 = 0, 𝑆𝑛 = 𝜉𝑘 . Тогда последовательность {𝑆𝑛 }∞
∑︀
𝑛=1 называется случайным
𝑘=1
блужданием. Если P(𝜉𝑛 = 1) = 𝑝, P(𝜉𝑛 = −1) = 1 − 𝑝, то последовательность 𝑆𝑛 называется про-
стейшим случайным блужданием. Если 𝑝 = 21 , то случайное блуждание называется симметричным.
Последовательность {𝑆𝑛 (𝜔)} для фиксированного 𝜔 ∈ Ω называется траекторией.
Теорема 9.1. (закон повторного логарифма, б/д)

Пусть 𝜉1 , 𝜉2 , . . . — независимые одинаково распределенные случайные величины, E𝜉𝑖 = 0, D𝜉𝑖 = 𝜎, 0 <
𝜎 < +∞. Тогда:
|𝑆𝑛 |
P( lim √ = 1) = 1
𝑛→∞ 2𝑛𝜎 ln ln 𝑛
Утверждение 9.1.1. Пусть {𝜉𝑛 } — последовательность независимых экспоненциально распределенных
случайных величин с параметром 1. Тогда
𝜉𝑛
P( lim = 1) = 1.
𝑛→∞ ln 𝑛
𝜉𝑛
Доказательство. 1. Докажем, что P( lim ≥ 1) = 1. Для этого рассмотрим подробнее это собы-
𝑛→∞ ln 𝑛
тие:
𝜉𝑛 𝜉𝑛
{ lim ≥ 1} = {∀𝜀 > 0 ≥ 1 − 𝜀 б. ч. }
𝑛→∞ ln 𝑛 ln 𝑛
𝜉𝑛 1
= {∀𝑘 ∈ N ≥ 1 − б. ч. }
ln 𝑛 𝑘
⋂︁ 𝜉𝑛 1
= { ≥ 1 − б. ч. }
ln 𝑛 𝑘
𝑘∈N
Заметим, что достаточно доказать, что вероятность каждого события под знаком пересечения
равна одному. Очевидно тогда, что и вероятность всего пересечения будет равна одному. По лем-
ме Бореля-Кантелли имеем:
∞ ∞
∑︁ 𝜉𝑛 1 ∑︁ 1
P( ≥1− )= 𝑒−(1− 𝑘 ) ln 𝑛
𝑛=1
ln 𝑛 𝑘 𝑛=1
∞
1
∑︁
= 𝑛−(1− 𝑘 ) = ∞
𝑛=1
𝜉𝑛
а значит P({ lim ≥ 1}) = 1.
𝑛→∞ ln 𝑛
45
𝜉𝑛
2. Докажем, что P( lim ≤ 1) = 1 аналогично:
𝑛→∞ ln 𝑛
𝜉𝑛 𝜉𝑛
{lim ≤ 1} = {∃𝜀 > 0 : ≥ 1 + 𝜀 б.ч. }
ln 𝑛 ln 𝑛
𝜉𝑛 1
= {∃𝑘 ∈ N ≥ 1 + б. ч. }
ln 𝑛 𝑘
⋂︁ 𝜉𝑛 1
= { ≥ 1 + б. ч. }
ln 𝑛 𝑘
𝑘∈N
Покажем, что вероятность каждого события из пересечения равна 1 ⇐⇒ P({ ln𝜉𝑛𝑛 ≥ 1+ 𝑘1 б. ч. }) =

0
∞ ∞ ∞
∑︁ 𝜉𝑛 1 ∑︁ 1
∑︁ 1
P({ ≥ 1 + }) = 𝑒−(1+ 𝑘 ) ln 𝑛 = 𝑛−(1+ 𝑘 ) < ∞
𝑛=1
ln 𝑛 𝑘 𝑛=1 𝑛=1
откуда по лемме Бореля-Кантелли следует требуемое.

Объединяя результаты 1) и 2) получаем утверждение.
9.2 Некоторые факты о случайном блуждании
Утверждение 9.2.1. Рассмотрим простейшее случайное блуждание, P(𝜉𝑖 = 1) = 𝑝, P(𝜉𝑖 = 0) = 1 − 𝑝.

Тогда ⎧
𝑛+𝑘
⎨𝐶𝑛 2 𝑝 𝑛+𝑘
⎪ 𝑛−𝑘
2 (1 − 𝑝) 2 , |𝑘| ≤ 𝑛, 2 | 𝑛 + 𝑘
P(𝑆𝑛 = 𝑘) =
⎩0,
⎪
иначе
Доказательство. Представим, что мы находимся на прямой, и должны прийти в точку 𝑘. Для начала
заметим, что четность числа шагов и возможных положений за такое число шагов всегда совпадает.
Теперь, чтобы прийти в точку 𝑘, мы должны сделать 𝑘 шагов вправо, а потом 𝑥 шагов влево и 𝑥 шагов
вправо. Тогда, 𝑘 + 2𝑥 = 𝑛 и количество шагов вправо: 𝑘 + 𝑥, количество шагов влево: 𝑥.
Задача. Найти P(𝑆1 > 0, 𝑆2 > 0, . . . , 𝑆𝑛−1 > 0, 𝑆𝑛 = 𝑘) — вероятность того, что случайное блуждание
никогда не возвратиться в 0.
Решение: Найдем количество траекторий, пересекающих 0. Если траектория пересекает 0 первый раз
в точке 𝑥 = 𝑥0 , то отразим дальнейшую ее часть относительно оси 𝑥. Тогда, если раньше траектория
приходила в 𝑘, то теперь она приходит в −𝑘. Заметим, что между траекториями, где 𝑆1 > 0 до точки
𝑘 за еще 𝑛 − 1 шаг, касающимися 0, и траекториями где 𝑆1 > 0 до точки −𝑘 тогда существует биекция.
𝑛+𝑘
Обозначим за 𝑁 (𝑛, 𝑘) количество путей из 0 в 𝑘 за 𝑛 шагов. По предыдущей задаче, это 𝐶𝑛 2 . Тогда
искомая вероятность равна
𝑛+𝑘 𝑛−𝑘
(𝑁 (𝑛 − 1, 𝑘 − 1) − 𝑁 (𝑛 − 1, −𝑘 − 1))𝑝 2 𝑞 2
46
10 Закон больших чисел
10.1 Закон больших чисел в форме Чебышева
Теорема 10.1. (Закон больших чисел в форме Чебышева)

Пусть 𝜉1 , 𝜉2 , . . . — независимые одинаково распределенные случайные величины на (Ω, F , P), такие
что E𝜉𝑖2 < ∞. Тогда для любого 𝛿 > 0
𝑆𝑛 − E𝑆𝑛 →
P
0
𝑛1/2+𝛿
1 D𝑆𝑛 𝑛D𝜉1 D𝜉1

𝑃 (|𝑆𝑛 − E𝑆𝑛 | ≥ 𝜀𝑛 2 +𝛿 ) ≤ = 2 1+2𝛿 = 2 2𝛿
2
𝜀 𝑛 1 + 2𝛿 𝜀 𝑛 𝜀 𝑛
Замечание: это утверждение верно для попарно некоррелированых величин.
10.2 Усиленные законы больших чисел
Теорема 10.2. (неравенство Колмогорова)

Пусть 𝜉1 , 𝜉2 , . . . — независимые случайные величины, такие что E𝜉𝑖 = 0, E𝜉𝑖2 < ∞. Тогда:
E𝑆𝑛2
1. P( sup |𝑆𝑘 | ≥ 𝜀) ≤
1≤𝑘≤𝑛 𝜀2
(𝐶 + 𝜀)2
2. Если дополнительно ∀𝑖 : P(|𝜉𝑖 | ≤ 𝐶) = 1, то P( sup |𝑆𝑘 | ≥ 𝜀) ≥ 1 −
1≤𝑘≤𝑛 E𝑆𝑛2
Доказательство. Определим события
𝐴 = { sup |𝑆𝑘 | ≥ 𝜀}
1≤𝑘≤𝑛
𝐴𝑘 = {|𝑆1 | < 𝜀, |𝑆2 | < 𝜀, . . . , |𝑆𝑘−1 | < 𝜀, |𝑆𝑘 | ≥ 𝜀}.
𝑛
⨆︀
Тогда 𝐴 = 𝐴𝑘 и
𝑘=1
𝑛
E𝑆𝑛2 ≥ E𝑆𝑛2 𝐼𝐴 = E𝑆𝑛2 𝐼𝐴𝑘
∑︀
𝑘=1
Но
E𝑆𝑛2 𝐼𝐴𝑘 = E(𝑆𝑘 + (𝜉𝑘+1 + . . . + 𝜉𝑛 ))2 𝐼𝐴𝑘 =
= E𝑆𝑘2 𝐼𝐴𝑘 + 2E𝑆𝑘 (𝜉𝑘+1 + . . . + 𝜉𝑛 )𝐼𝐴𝑘 + E(𝜉𝑘+1 + . . . + 𝜉𝑛 )2 𝐼𝐴𝑘 ≥ E𝑆𝑘2 𝐼𝐴𝑘
поскльку E𝑆𝑘 (𝜉𝑘+1 + . . . + 𝜉𝑛 )𝐼𝐴𝑘 = E𝑆𝑘 𝐼𝐴𝑘 E(𝜉𝑘+1 + . . . + 𝜉𝑛 ) = 0 в силу предположений независимости
и E𝜉𝑖 = 0. Поэтому
𝑛
∑︁ 𝑛
∑︁
E𝑆𝑛2 ≥ E𝑆𝑛2 𝐼𝐴𝑘 ≥ 𝜀2 P(𝐴𝑘 ) = 𝜀2 P(𝐴)
𝑘=1 𝑘=1
47
что и доказывает неравенство 1). Для доказательства неравенства 2) заметим, что
E𝑆𝑛2 𝐼𝐴 = E𝑆𝑛2 − E𝑆𝑛2 𝐼𝐴 ≥ E𝑆𝑛2 − 𝜀2 P(𝐴) = E𝑆𝑛2 − 𝜀2 + 𝜀2 P(𝐴)
С другой стороны, на множестве 𝐴𝑘 выполнено |𝑆𝑘−1 | ≤ 𝜀, |𝑆𝑘 | ≤ |𝑆𝑘−1 | + |𝜉𝑘 | ≤ 𝜀 + 𝐶. И значит
𝑛
∑︁ 𝑛
∑︁
E𝑆𝑛2 𝐼𝐴 = E𝑆𝑘2 𝐼𝐴𝑘 + E(𝐼𝐴𝑘 (𝑆𝑛 − 𝑆𝑘 )2 ) ≤
𝑘=1 𝑘=1
𝑛
∑︁ 𝑛
∑︁ 𝑛
∑︁
≤ (𝜀 + 𝐶)2 P(𝐴𝑘 ) + P(𝐴𝑘 ) E𝜉𝑗2
𝑘=1 𝑘=1 𝑗=𝑘+1
[︁ 𝑛
∑︁ ]︁
≤ P(𝐴) (𝜀 + 𝐶)2 + E𝜉𝑗2 = P(𝐴) (𝜀 + 𝐶)2 + E𝑆𝑛2
[︀ ]︀
𝑗=1
Из этого находим, что

E𝑆𝑛2 − 𝜀2 (𝜀 + 𝐶)2 (𝜀 + 𝐶)2
P(𝐴) ≥ 2 2 2 =1− 2 2 2 ≥1−
(𝜀 + 𝐶) + E𝑆𝑛 − 𝜀 (𝜀 + 𝐶) + E𝑆𝑛 − 𝜀 E𝑆𝑛2
Теорема 10.3. (теорема Колмогорова-Хинчина)

Пусть {𝜉𝑛 } — последовательность независимых случайных величин, такая что E𝜉𝑖 = 0, E𝜉𝑖2 < ∞.
Тогда
∞ ∞
E𝜉𝑖2 следует сходимость почти наверное ряда
∑︀ ∑︀
1. Из сходимости ряда 𝜉𝑖
𝑖=1 𝑖=1
∞
∑︀
2. Если дополнительно для любого 𝑖 и некоторого 𝑐 < ∞ выполнено P(|𝜉𝑖 | ≤ 𝑐) = 1 и ряд 𝜉𝑖
𝑖=1
∞
E𝜉𝑖2
∑︀
сходится почти наверное, то сходится и ряд
𝑖=1
Доказательство. Заметим, что последовательность {𝜂𝑛 } сходится почти наверное тогда и только тогда,
𝑛
∑︀
когда ∀𝜀 > 0 : P(sup |𝜂𝑛+𝑘 − 𝜂𝑛 | > 𝜀) → 0 при 𝑛 → ∞. Возьмем 𝜂𝑛 := 𝜉𝑖 . Тогда:
𝑘≥1 𝑖=1
𝜂𝑛 сходится почти наверное ⇐⇒ ∀𝜀 > 0 : P(sup |𝜉𝑛+1 + . . . + 𝜉𝑛+𝑘 | > 𝜀) → 0
𝑘≥1
Рассмотрим 𝑆𝑘 = 𝜉𝑛+1 + . . . + 𝜉𝑛+𝑘 . По неравенству Колмогорова имеем
2
E𝑆𝑁 E(𝜉𝑛+1 + . . . + 𝜉𝑛+𝑁 )2
P( sup |𝑆𝑘 | > 𝜀) < 2 = =
1≤𝑘≤𝑁 𝜀 𝜀2
2 2 2 2
E𝜉𝑛+1 + . . . + E𝜉𝑛+𝑁 E𝜉𝑛+1 + E𝜉𝑛+2 + ...
= 2 ≤ 2 →0
𝜀 𝜀
∞
∑︀
как остаточный член сходящегося ряда. Но тогда сходится и ряд 𝜉𝑖 поскольку его остаточный член
𝑖=1
стремиться к 0, что и доказывает первую часть теоремы.
Для доказательства второй части заметим, что, по тому же неравенству Колмогорова, в случае
когда P(|𝜉𝑖 | ≤ 𝑐) = 1, 𝑐 < ∞ верно следующее:
(𝜀 + 𝑐)2 (𝜀 + 𝑐)2
P( sup |𝑆𝑘 | > 𝜀) ≥ 1 − 2 =1− 2 2
1≤𝑘≤𝑁 E𝑆𝑁 E𝜉𝑛+1 + . . . + E𝜉𝑛+𝑁
∞
E𝜉𝑖2 расходится. Тогда сумму, стоящую в знаменателе, можно сделать сколь
∑︀
Предположим, что ряд
𝑖=1
угодно большой, а значит P( sup |𝑆𝑘 | > 𝜀) → 1.
1≤𝑘≤𝑁
48
С другой стороны
∞
∑︁
𝜉𝑛 < ∞ ⇔ ∀𝜀 > 0 : P(sup |𝑆𝑘 | > 𝜀) → 0
𝑛=1 𝑘≥1
⇔ ∀𝜀 > 0 : P( lim sup |𝑆𝑘 | > 𝜀) → 0 при 𝑛 → ∞.

𝑁 →∞ 1≤𝑘≤𝑁
1 1 1
Возьмем 𝜀 = 2. Тогда, из выше сказанного, следует, что ∃𝑛 : P( lim sup |𝑆𝑘 | > 2) < 2. Так как
𝑁 →∞ 1≤𝑘≤𝑁
события { sup |𝑆𝑘 | > 12 } вложены друг в друга при росте 𝑁 , имеем
1≤𝑘≤𝑁
lim P( sup |𝑆𝑘 | > 12 ) < 1
2
𝑁 →∞ 1≤𝑘≤𝑁
∞
E𝜉𝑖2 неверно.
∑︀
что противоречит P( sup |𝑆𝑘 | > 𝜀) → 1, а значит предположение о расходимости ряда
1≤𝑘≤𝑁 𝑖=1
Лемма 10.1. (лемма Теплица)

Пусть {𝑥𝑛 } — сходящаяся к 𝑥 последовательность чисел, {𝑎𝑛 } такая последовательность чисел,
𝑘
∑︀ 𝑘
∑︀
что 𝑎𝑖 ≥ 0, ∀𝑘 ≥ 1 : 𝑎𝑛 > 0 и 𝑎𝑛 → ∞ при 𝑘 → ∞. Тогда
𝑛=1 𝑛=1
𝑘
∑︁
𝑥𝑛 𝑎𝑛
𝑛=1
𝑘
→ 𝑥, 𝑘 → ∞
∑︁
𝑎𝑛
𝑛=1
Доказательство. Из сходимости последовательности 𝑥𝑛 получаем ∀𝜀 > 0 ∃𝑛0 ∀𝑛 ≥ 𝑛0 : |𝑥𝑛 − 𝑥| < 2𝜀 .

⃒ 𝑛0 (𝑥 −𝑥)𝑎 ⃒
⃒ ∑︀ ⃒
⃒ 𝑖 𝑖⃒
Кроме этого, ∃𝑛1 ≥ 𝑛0 ∀𝑛 ≥ 𝑛1 : ⃒⃒ 𝑖=1 ∑︀
𝑛
⃒ < 𝜀 , т.к. числитель это фиксированное число, а знаменатель
⃒ 2
⃒ 𝑖=1 𝑎𝑖 ⃒
стремиться к бесконечности.
Тогда для 𝑛 ≥ 𝑛1 имеем
⃒ 𝑛 ⃒ ⃒ 𝑛 ⃒ ⃒ 𝑛0 ⃒ ⃒ 𝑛 ⃒
⃒ ∑︁ ⃒ ⃒ ∑︁ ⃒ ⃒ ∑︁ ⃒ ⃒ ∑︁ ⃒
⃒
⃒ 𝑥𝑖 𝑎𝑖 ⃒
⃒ ⃒
⃒ (𝑥𝑖 − 𝑥)𝑎𝑖 ⃒ ⃒
⃒ ⃒ (𝑥𝑖 − 𝑥)𝑎𝑖 ⃒ ⃒
⃒ ⃒ (𝑥𝑖 − 𝑥)𝑎𝑖 ⃒⃒
⃒ 𝑖=1 ⃒ ⃒ 𝑖=𝑛0 +1
− 𝑥⃒⃒ = ⃒⃒ 𝑖=1 𝑛
⃒ ⃒ ⃒ ⃒ 𝑖=1 ⃒
⃒ ⃒≤⃒ ⃒+⃒ ⃒
⃒ ∑︁𝑛 ∑︁ ⃒ ⃒ 𝑛
∑︁ ⃒ ⃒ ∑︁𝑛 ⃒
𝑎𝑖 𝑎𝑖 𝑎𝑖 𝑎𝑖
⃒ ⃒ ⃒ ⃒ ⃒ ⃒ ⃒ ⃒
⃒ ⃒ ⃒ ⃒ ⃒ ⃒ ⃒ ⃒
⃒ ⃒ ⃒ ⃒ ⃒ ⃒ ⃒ ⃒
𝑖=1 𝑖=1 𝑖=1 𝑖=1
𝑛
∑︁ 𝑛
∑︁
|𝑥𝑖 − 𝑥|𝑎𝑖 𝑎𝑖
𝜀 𝑖=𝑛0 +1 𝜀 𝜀 𝑖=𝑛0 +1
≤ + 𝑛 ≤ + · 𝑛 ≤𝜀
2 ∑︁ 2 2 ∑︁
𝑎𝑖 𝑎𝑖
𝑖=1 𝑖=1
Лемма 10.2. (лемма Кронекера)

Пусть даны две числовые последовательности: неубывающая {𝑏𝑛 } → +∞, такая что ∀𝑛 𝑏𝑛 > 0, и
∞
∑︀
{𝑥𝑛 }, такая что 𝑥𝑛 = 𝑥 < ∞. Тогда
𝑛=1
𝑛
1 ∑︀ 𝑏 𝑥 → 0 при 𝑛 → ∞.
𝑏𝑛 𝑘=1 𝑘 𝑘
49
𝑛
∑︀
Доказательство. Положим 𝑎𝑘 := 𝑏𝑘 − 𝑏𝑘−1 и 𝑏0 := 0. Тогда 𝑏𝑛 = 𝑎𝑘 . При этом
𝑘=1
⎛ ⎛ ⎞⎞
𝑛 𝑛 𝑘 𝑛 𝑛 𝑛 ∞ ∞
1 ∑︁ 1 ∑︁ ∑︁ 1 ∑︁ ∑︁ 1 ∑︁ ∑︁ ∑︁
𝑏𝑘 𝑥𝑘 = 𝑛 𝑥𝑘 𝑎𝑖 = 𝑛 𝑎𝑖 𝑥𝑗 = 𝑛 ⎝ 𝑎𝑖 ⎝ 𝑥𝑗 − 𝑥𝑗 ⎠⎠
𝑏𝑛 ∑︁
𝑖=1
∑︁
𝑖=1 𝑗=𝑖
∑︁
𝑖=1 𝑗=𝑖 𝑗=𝑛+1
𝑘=1 𝑎𝑘 𝑘=1 𝑎𝑘 𝑎𝑘
𝑘=1 𝑘=1 𝑘=1
∞
∑︀ ∞
∑︀
Положим 𝑦𝑛+1 := 𝑥𝑘 . Тогда, поскольку ряд 𝑥𝑛 сходится, имеем lim 𝑦𝑛 = 0, а значит ∀𝜀 > 0 :
𝑘=𝑛+1 𝑛=1 𝑛→∞
⃒ 𝑛 ⃒
⃒ ∑︁ ⃒
⃒
⃒ 𝑎𝑖 𝑦𝑖 ⃒⃒
⃒ 𝑖=1 ⃒ 𝜀
∃𝑛0 ∀𝑛 ≥ 𝑛0 |𝑦𝑛+1 | < 𝜀. По лемме 10.1 ∃𝑛1 ≥ 𝑛0 ∀𝑛 ≥ 𝑛1 : ⃒⃒ 𝑛 ⃒< .
⃒ 2
∑︁
𝑎𝑖 ⃒
⃒ ⃒
⃒
⃒ 𝑖=1 ⃒
Тогда ∀𝑛 ≥ 𝑛1 имеем
⃒ 𝑛 ⃒ ⃒ 𝑛 ⃒
⃒ ∑︁ ⃒ ⃒ ∑︁ ⃒
⃒ 𝑛
⃒ ⃒ ⃒ 𝑎𝑖 𝑦𝑖 ⃒ ⃒
⃒ ⃒ 𝑎𝑖 𝑦𝑛+1 ⃒⃒
⃒ 1 ∑︁ ⃒ ⃒ ⃒ 𝜀 𝜀
𝑏𝑘 𝑥𝑘 ⃒ ≤ ⃒⃒ 𝑖=1𝑛
⃒ ⃒ 𝑖=1
⃒ ⃒ ⃒+⃒ ⃒≤ + =𝜀
𝑛
⃒ 𝑏𝑛 ⃒ 2 2
⃒ ⃒ ⃒
⃒ ⃒ ∑︁ ⃒ ⃒ ∑︁
𝑘=1 ⃒ 𝑎𝑖 ⃒ ⃒ 𝑎𝑖 ⃒
⃒
⃒ ⃒ ⃒ ⃒
𝑖=1 𝑖=1
Теорема 10.4. (Усиленный закон больших чисел 1)

Пусть 𝜉1 , 𝜉2 , . . . — независимые случайные величины с E𝜉𝑖2 < ∞. Если существует последователь-
∞
∑︀ D𝜉𝑛
ность чисел {𝑏𝑛 }, такая что 0 < 𝑏1 ≤ 𝑏2 ≤ . . . , 𝑏𝑛 ≤ . . . → ∞ и 2 < ∞, то
𝑛=1 𝑏𝑛
𝑆𝑛 − E𝑆𝑛 п.н.
→ 0
𝑏𝑛
Доказательство. Заметим, что если последовательность 𝜉𝑛 такая, что ∀𝑛 : D𝜉𝑛 ≤ 𝐶, то можно поло-
∞ ∞
D𝜉𝑛 1
жить 𝑏𝑛 := 𝑛1/2+𝛿 . Тогда
∑︀ ∑︀
𝑏2 < 𝐶 𝑛𝑏2 < ∞ (т.е. для некоторых последовательностей случайных
𝑛
𝑛=1 𝑛=1
величин такая последовательность {𝑏𝑛 } существует. Сравните это с ЗБЧ в форме Чебышева.).
Приступим к доказательству теоремы. Без ограничения общности предположим, что E𝜉𝑖 = 0, то
есть D𝜉𝑛 = E𝜉𝑛2 (рассмотреть случайные величины 𝜂 = 𝜉 − E𝜉). Тогда
∞
𝜉
E( 𝑛 )2
∑︀
𝑛=1
𝑏𝑛
∞
∑︀ 𝜉𝑛
сходится, а значит, по теореме Колмогорова-Хинчина ряд 𝑏𝑛 сходится. Отсюда и из леммы Кроне-
𝑛=1
кера следует, что
𝑛
∑︁
𝜉𝑘
𝑛
1 ∑︀ 𝑏 · 𝜉𝑘 = 𝑘=1 п.н.
→ 0
𝑏𝑛 𝑘=1 𝑘 𝑏𝑘 𝑏𝑛
Теорема 10.5. (Усиленный закон больших чисел 2)

Пусть 𝜉1 , 𝜉2 , . . . — независимые одинаково распредленные случайные величины, E|𝜉1 | < ∞. Тогда
𝑆𝑛 − E𝑆𝑛 п.н.
→ 0.
𝑛
50
Доказательство. Опять же, положим E𝜉𝑛 = 0. Рассмотрим ряд
∞
∑︁ ∞
∑︁ ∞
∑︁
P(|𝜉1 | ≥ 𝑛) = 𝑛P(𝑛 ≤ |𝜉1 | ≤ 𝑛 + 1) = E𝑛𝐼(𝑛 ≤ |𝜉1 | ≤ 𝑛 + 1) =
𝑛=1 𝑛=1 𝑛=1
∞
∑︁ [︁ ]︁
=E 𝑛𝐼(𝑛 ≤ |𝜉1 | ≤ 𝑛 + 1) = E⌊|𝜉1 |⌋ ∈ E|𝜉1 | − 1; E|𝜉1 |
𝑛=1
∞
∑︀
а значит сходимость ряда P(|𝜉1 | ≥ 𝑛) эквивалентна конечности мат.ожидания E|𝜉1 | < ∞. Однако
𝑛=1
случайные величины одинаково распределенные, а значит
∞
∑︁ ∞
∑︁
P(|𝜉1 | ≥ 𝑛) < ∞ ⇔ P(|𝜉𝑛 | ≥ 𝑛) < ∞
𝑛=1 𝑛=1
⇒ P(|𝜉𝑛 | ≥ 𝑛 б. ч.) = 0 по лемме Бореля-Кантелли
Рассмотрим 𝜉˜𝑛 := 𝜉𝑛 𝐼(|𝜉𝑛 | ≤ 𝑛). Из того, что P(|𝜉𝑛 | ≥ 𝑛 б. ч.) = 0 следует, что лишь конечное число
членов последовательности {𝜉𝑘 } больше 𝑛 по модулю, а значит, для достаточо больших 𝑛, выполнено
𝜉˜𝑛 = 𝜉𝑛 почти наверное, и поэтому
𝜉1 + . . . + 𝜉𝑛 п.н. 𝜉˜ + . . . + 𝜉˜𝑛 п.н.
𝑛 → 0 ⇐⇒ 1 𝑛 → 0
E𝜉˜1 +...+E𝜉˜𝑛
Покажем, что 𝑛 → 0. Если это так, то
𝜉1 + . . . + 𝜉𝑛 п.н. 𝜉˜ + . . . + 𝜉˜𝑛 − E𝜉˜1 − . . . − E𝜉˜𝑛 п.н.
𝑛 → 0⇔ 1 𝑛 → 0
Действительно, имеем
E𝜉˜𝑛 = E𝜉𝑛 𝐼(|𝜉𝑛 | ≤ 𝑛) = E𝜉1 𝐼(|𝜉1 | ≤ 𝑛)
Заметим, что 𝜉1 𝐼(|𝜉1 | ≤ 𝑛) → 𝜉1 при 𝑛 → ∞, а |𝜉1 𝐼(|𝜉1 | ≤ 𝑛)| ≤ |𝜉1 |, E|𝜉1 | < ∞, а значит, по теореме
Лебега о мажорируемой сходимости
E𝜉˜𝑛 → E𝜉1 = 0
Применяя лемму Теплица для 𝑎𝑛 = 1 получаем, что 1 ˜ + . . . + E𝜉˜𝑛 ) → 0.
𝑛 (E𝜉1
∞
∑︀ D𝜉˜𝑛
Рассмотрим теперь 𝑛2 :
𝑛=1
∞ ∞ ∞
∑︁ D𝜉˜𝑛 ∑︁ E𝜉˜𝑛2 ∑︁ E𝜉𝑛2 𝐼(|𝜉𝑛 | ≤ 𝑛)
≤ =
𝑛=1
𝑛2 𝑛=1
𝑛2 𝑛=1
𝑛2
∞ 𝑛
∑︁ 1 ∑︁ 2
= E𝜉𝑛 𝐼(𝑘 − 1 < |𝜉𝑛 | ≤ 𝑘)
𝑛=1
𝑛2 𝑘=1
∞ 𝑛
∑︁ 1 ∑︁
≤ 𝑘E|𝜉𝑛 |𝐼(𝑘 − 1 < |𝜉𝑛 | ≤ 𝑘)
𝑛=1
𝑛2 𝑘=1
∞ ∞
∑︁ ∑︁ 1
= 𝑘 E|𝜉𝑛 |𝐼(𝑘 − 1 < |𝜉𝑛 | ≤ 𝑘)
𝑘=1 𝑛=𝑘
𝑛2
∞ ∞
∑︁ ∑︁ 1
= 𝑘 E|𝜉1 |𝐼(𝑘 − 1 < |𝜉1 | ≤ 𝑘)
𝑘=1 𝑛=𝑘
𝑛2
∞ ∞
∑︁ ∑︁ 1
= 𝑘E|𝜉1 |𝐼(𝑘 − 1 < |𝜉1 | ≤ 𝑘) 2
𝑘=1 𝑛=𝑘
𝑛
51
∞ +∞
1 𝑑𝑡 2
∑︀ ∫︀
Для того, чтобы оценить получившуюся сумму, воспользуемся неравенством 𝑛2 ≤ 𝑡2 = 𝑘−1 . С
𝑛=𝑘 𝑘−1
учетом этого, имеем:
∞ ∞ ∞
∑︁ ∑︁ 1 ∑︁ 2𝑘
𝑘E|𝜉1 |𝐼(𝑘 − 1 < |𝜉1 | ≤ 𝑘) 2 ≤ 4E|𝜉 1 |𝐼(0 < |𝜉 1 | ≤ 1) + E|𝜉1 |𝐼(𝑘 − 1 < |𝜉1 | ≤ 𝑘)
𝑛 𝑘−1
𝑘=1 𝑛=𝑘 𝑘=2
∞
∑︁
≤ 4E|𝜉1 |𝐼(0 < |𝜉1 | ≤ 1) + 4 E|𝜉1 |𝐼(𝑘 − 1 < |𝜉1 | ≤ 𝑘) = 4E|𝜉1 | < ∞
𝑘=2
∞
∑︀ D𝜉˜𝑛
Мы показали, что 𝑛2 сходится. Теперь, по теореме Колмогорова-Хинчина (как и в УЗБЧ-1), по-
𝑛=1
лучаем
∞ ˜
∑︁ 𝜉𝑛 − E𝜉˜𝑛
<∞
𝑛=1
𝑛
откуда по лемме Кронекера
𝑛
1 ∑︁ ˜
𝜉𝑘 − E𝜉˜𝑘 → 0
𝑛
𝑘=1
что и завершает доказательство теоремы.
10.3 Неравенство больших уклонений
Теорема 10.6. (Неравенство больших уклонений)

Пусть 𝜉1 , 𝜉2 , . . . — последовательность независимых одинаково распределенных случайных величин.
Пусть E𝜉𝑖 = E𝜉1 = 𝑎. Тогда, если у 𝜉1 существуют все моменты, то ∃𝑐1 , 𝑐2 > 0, такие что
(︂⃒ ⃒ )︂
⃒ 𝑆𝑛 − E𝑆𝑛 ⃒ −𝑐1 𝑛
P ⃒ ⃒
⃒≥𝜀 ≤𝑒
⃒ + 𝑒−𝑐2 𝑛
𝑛
Доказательство. Пусть случайная величина 𝜉 имеет такое же распределение, как и 𝜉𝑖 . Рассмотрим

функцию 𝜙𝜉 (𝜆) = ln E𝑒𝜆𝜉 . Пусть 𝑈 это некоторая окрестность 0, в которой функция 𝜙𝜉 бесконечно
диффференцируема (такая окрестность найдется поскольку у 𝜉 существуют все моменты). Тогда
⃒ E𝜉𝑒𝜆𝜉 ⃒⃒
𝜙′𝜉 (𝜆)⃒ = =𝑎
⃒
E𝑒𝜆𝜉 𝜆=0
⃒
𝜆=0
(︀ )︀2
⃒ E𝜉 2 𝑒𝜆𝜉 · E𝑒𝜆𝜉 − E𝜉𝑒𝜆𝜉 ⃒⃒
𝜙′′𝜉 (𝜆)⃒ = = D𝜉 > 0
⃒
(E𝑒𝜆𝜉 )2
⃒
𝜆=0 𝜆=0
Рассмотрим новую функцию 𝜓(𝑏) = sup (𝑏𝜆−𝜙𝜉 (𝜆)). Поскольку 𝜙𝜉 выпукла вниз, то при 𝑏 > 𝑎 супремум
𝜆∈𝑈
достигается при 𝜆 > 0, а при 𝑏 < 𝑎 соответственно при 𝜆 < 0:
𝑏 > 𝑎 ⇒ 𝜓(𝑏) = sup (𝑏𝜆 − 𝜙𝜉 (𝜆))

𝜆∈𝑈
𝜆>0
𝑏 < 𝑎 ⇒ 𝜓(𝑏) = sup (𝑏𝜆 − 𝜙𝜉 (𝜆))

𝜆∈𝑈
𝜆<0
𝜓(𝑎) = 0
52
Распишем по неравенству Маркова (𝜆 > 0):
(︂ )︂ (︂ )︂
𝑆𝑛 𝑆𝑛
P −𝑎>𝜀 =P >𝑎+𝜀
𝑛 𝑛
(︂ (︂ )︂ )︂
𝑆𝑛
= P 𝑒𝑥𝑝 𝜆 · > 𝑒𝑥𝑝 (𝜆(𝑎 + 𝜀))
𝑛
(︂ (︂ )︂)︂
𝑆𝑛
E 𝑒𝑥𝑝 𝜆 ·
𝑛
≤
𝑒𝑥𝑝(𝜆(𝑎 + 𝜀))
(︂ (︂ )︂)︂
𝑆𝑛
= 𝑒𝑥𝑝 −𝜆(𝑎 + 𝜀) + ln E 𝑒𝑥𝑝(𝜆 · )
𝑛
(︃ (︃ 𝑛 (︂ (︂ )︂)︂)︃)︃
∑︁ 𝜆
= 𝑒𝑥𝑝 − 𝜆(𝑎 + 𝜀) − ln E 𝑒𝑥𝑝 𝜉𝑖
𝑖=1
𝑛
(︂ (︂ (︂ (︂ )︂)︂)︂)︂ (︂ (︂ )︂)︂
𝜆 𝜆 𝜆 𝜆
= 𝑒𝑥𝑝 −𝑛 (𝑎 + 𝜀) − ln E 𝑒𝑥𝑝 𝜉 = 𝑒𝑥𝑝 −𝑛 (𝑎 + 𝜀) − 𝜙( )
𝑛 𝑛 𝑛 𝑛
Так как это верно для любого положительного 𝜆, то верно и для того, где достигается супремум (по-
скольку 𝑎 + 𝜀 > 𝑎). А значит (︂ )︂
𝑆𝑛
P −𝑎>𝜀 ≤ 𝑒−𝑛𝜓(𝑎+𝜀)
𝑛
Абсолютно аналогично (︂ )︂
𝑆𝑛
P − 𝑎 < −𝜀 ≤ 𝑒−𝑛𝜓(𝑎−𝜀)
𝑛
Тогда (︂⃒ ⃒ )︂
⃒ 𝑆𝑛
− 𝑎⃒⃒ > 𝜀 ≤ 𝑒−𝑛𝜓(𝑎−𝜀) + 𝑒−𝑛𝜓(𝑎+𝜀)
⃒
P ⃒⃒
𝑛
53
11 Характеристические функции. Центральная предельная тео-
рема
11.1 Характеристические функции
Определение 11.1. Пусть 𝜉 — случайная величина на (Ω, F , P). Тогда ее характеристической функ-
цией называется функция
𝜙𝜉 (𝑡) = E𝑒𝑖𝑡𝜉 (прямое преобразование Фурье)
Если 𝜉 — случайный вектор, то

𝜙𝜉 (𝑡) = E𝑒𝑖⟨𝑡, 𝜉⟩ , 𝑡 ∈ R𝑛
где ⟨𝑡, 𝜉⟩ — скалярное произведение.
Пример 11.1. 𝜉 ∼ 𝐵𝑒𝑟𝑛(𝑝). Тогда 𝜙𝜉 (𝑡) = 𝑒𝑖𝑡 · 𝑝 + (1 − 𝑝).
Пример 11.2. 𝜉 ∼ 𝑈 ([𝑎, 𝑏]). Тогда
∫︁𝑏 ⃒𝑏
𝑖𝑡𝑥 1 𝑒𝑖𝑡𝑥 ⃒⃒ 𝑒𝑖𝑡𝑏 − 𝑒𝑖𝑡𝑎
𝜙𝜉 (𝑡) = 𝑒 𝑑𝑥 = =
𝑏−𝑎 (𝑏 − 𝑎)𝑖𝑡 ⃒𝑎 𝑖𝑡(𝑏 − 𝑎)
𝑎
Пример 11.3. 𝜉 ∼ 𝑁 (0, 1).

+∞
∫︁ +∞
∫︁
1 𝑥2 1 (𝑥−𝑖𝑡)2 𝑡2 𝑡2
𝜙𝜉 (𝑡) = √ 𝑒𝑖𝑡𝑥 𝑒− 2 𝑑𝑥 = √ 𝑒− 2 𝑒− 2 𝑑𝑥 = 𝑒− 2
2𝜋 2𝜋
−∞ −∞
𝜉−𝑎
Пример 11.4. 𝜉 ∼ 𝑁 (𝑎, 𝜎 2 ). Тогда 𝜎 ∼ 𝑁 (0, 1).
𝑡2 𝜉−𝑎
𝜙 𝜉−𝑎 (𝑡) = 𝑒− 2 = E𝑒𝑖𝑡 𝜎
𝜎
сделаем замену 𝑡′ = 𝑡𝜎 т.к. 𝑡 — произвольное

𝑡2 𝜎 2
𝑒− 2 = E𝑒−𝑖𝑡(𝜉−𝑎)
1 2 2
𝜙𝜉 (𝑡) = E𝑒𝑖𝑡𝜉 = 𝑒𝑖𝑡𝑎− 2 𝜎 𝑡
Теорема 11.1. (теорема о единственности, б/д)

Пусть 𝜙𝜉1 (𝑡) = 𝜙𝜉2 (𝑡) ∀𝑡 ∈ R. Тогда у 𝜉1 и 𝜉2 одинаковые распределения (аналогичная теорема верна
и для случайных векторов).
Теорема 11.2. (О независимости)

Пусть 𝜉 = (𝜉1 , . . . , 𝜉𝑛 ) — случайный вектор. Тогда 𝜉1 , . . . , 𝜉𝑛 — независимы в совокупности тогда
и только тогда, когда
𝑛
∏︁
𝜙𝜉 (𝑡1 , . . . , 𝑡𝑛 ) = 𝜙𝜉𝑖 (𝑡𝑖 ) ∀𝑡1 , . . . , 𝑡𝑛 ∈ R
𝑖=1
54
Доказательство. ⇒:
Т.к. 𝜉𝑖 независимы в совокупности, то, по утверждению 4.3.2, независимы в совокупности случайные
вектора (cos 𝜉𝑖 , sin 𝜉𝑖 ). Имеем
∑︀
𝜙𝜉 (𝑡1 , . . . , 𝑡𝑛 ) = E𝑒𝑖 𝜉𝑖 𝑡𝑖
= E(cos 𝜉1 𝑡1 + 𝑖 sin 𝜉1 𝑡1 ) . . . (cos 𝜉𝑛 𝑡𝑛 + 𝑖 sin 𝜉𝑛 𝑡𝑛 )
= E(cos 𝜉1 𝑡1 + 𝑖 sin 𝜉1 𝑡1 ) . . . E(cos 𝜉𝑛 𝑡𝑛 + 𝑖 sin 𝜉𝑛 𝑡𝑛 ) = 𝜙𝜉1 (𝑡1 ) . . . 𝜙𝜉𝑛 (𝑡𝑛 )
⇒:
𝑑
Рассмотрим независимые с.в. 𝜂1 , . . . , 𝜂𝑛 , такие что ∀𝑖 : 𝜂𝑖 =𝜉𝑖 (существование б/д ). Тогда
𝑛
∏︁ 𝑛
∏︁
𝜙(𝜂1 , ..., 𝜂𝑛 ) (𝑡1 , . . . , 𝑡𝑛 ) = 𝜙𝜂𝑖 (𝑡𝑖 ) = 𝜙𝜉𝑖 (𝑡𝑖 ) = 𝜙𝜉 (𝑡1 , . . . , 𝑡𝑛 )
𝑖=1 𝑖=1
𝑑
и по теореме о единственности (𝜂1 , . . . , 𝜂𝑛 ) = 𝜉.
Пример 11.5 (Формула свертки). Пусть 𝜉 ⊥

⊥ 𝜂. Тогда
∫︁ +∞
∫︁ 𝑥−𝑢
∫︁ +∞
∫︁
𝐹𝜉+𝜂 (𝑥) = P(𝜉 + 𝜂 ≤ 𝑥) = P𝜉 (𝑑𝑢)P𝜂 (𝑑𝑣) = P𝜉 (𝑑𝑢) P𝜂 (𝑑𝑣) = 𝐹𝜂 (𝑥 − 𝑢)P𝜉 (𝑑𝑢)
𝑢+𝑣≤𝑥 −∞ −∞ −∞
С другой стороны, 𝜙𝜂+𝜉 (𝑥) = E𝑒𝑖(𝜂+𝜉)𝑥 = 𝜙𝜉 (𝑥)𝜙𝜂 (𝑥). Пусть, например, 𝜉 ∼ 𝑁 (𝑎1 , 𝜎12 ), 𝜂 ∼ 𝑁 (𝑎2 , 𝜎22 ).
Для хар.функции имеем:
1 2 2 1 2 2 1 2 2 2
𝜙𝜉+𝜂 (𝑡) = 𝑒𝑖𝑡𝑎1 − 2 𝜎1 𝑡 𝑒𝑖𝑡𝑎2 − 2 𝜎2 𝑡 = 𝑒𝑖𝑡(𝑎1 +𝑎2 )− 2 (𝜎1 +𝜎2 )𝑡
а значит, по теореме о единственности, 𝜉 + 𝜂 ∼ 𝑁 (𝑎1 + 𝑎2 , 𝜎12 + 𝜎22 ). Это удобнее, чем формула свертки.
Теорема 11.3. (формула обращения, б/д)

Пусть 𝜙𝜉 (𝑡) — характеристическая функция 𝜉. Тогда для любых точек 𝑎 < 𝑏, в которых 𝐹𝜉 непре-
рывна, выполнено
∫︁𝑐
1 𝑒−𝑖𝑡𝑎 − 𝑒−𝑖𝑡𝑏
𝐹𝜉 (𝑏) − 𝐹𝜉 (𝑎) = lim · 𝜙𝜉 (𝑡)𝑑𝑡
2𝜋 𝑐→∞ 𝑖𝑡
−𝑐
Если дополнительно 𝜙𝜉 (𝑡) абсолютно интегрируема, то

+∞
∫︁
1
𝑝𝜉 (𝑥) = 𝑒−𝑖𝑡𝑥 𝜙𝜉 (𝑡)𝑑𝑡 (обратное преобразование Фурье)
2𝜋
−∞
Утверждение 11.1.1. |𝜙(𝑡)| ≤ 1 и 𝜙(0) = 1.
Доказательство. |E𝑒𝑖𝑡𝜉 | ≤ E|𝑒𝑖𝑡𝜉 | = 1
Утверждение 11.1.2. Характеристическая функция равномерно непрерывна на R.
55
∀𝜀 > 0 : ⃒E𝑒𝑖𝑡𝜉 − E𝑒𝑖𝑠𝜉 ⃒ = ⃒E(𝑒𝑖𝑡𝜉 − 𝑒𝑖𝑠𝜉 )⃒

⃒ ⃒ ⃒ ⃒
⃒ ⃒
= ⃒E(𝑒𝑖𝑠𝜉 ) · (𝑒𝑖(𝑡−𝑠)𝜉 − 1))⃒
⃒ ⃒
≤ E|𝑒𝑖(𝑡−𝑠)𝜉 − 1|
√︁
= E (cos(𝑡 − 𝑠)𝜉 − 1)2 + sin2 (𝑡 − 𝑠)𝜉
⃒ ⃒
√︀ ⃒ (𝑡 − 𝑠)𝜉 ⃒⃒
= E 2 − 2 cos(𝑡 − 𝑠)𝜉 = 2 · E ⃒⃒sin
2 ⃒
Положим 𝛿 := 𝑡 − 𝑠. Тогда
⃒ ⃒ ⎫
⃒sin 𝛿𝜉
2 ⃒− −−→ 0⎪
⃒ ⃒ ⃒ ⃒
𝛿→0
⎬ ⃒ 𝛿𝜉 ⃒⃒
⇒ По теореме Лебега: E ⃒ sin →0
2⃒
⃒ ⃒ ⃒
𝛿𝜉 ⃒
⃒sin 2 ⃒ ≤ 1
⃒ ⎪
⎭
𝛿𝜉
а значит, что ∀𝜀 > 0 ∃𝛿0 ∀𝛿 < 𝛿0 : E sin2 2 < 𝜀. Возьмем |𝑡 − 𝑠| < 𝛿0 и все.
𝑑
Утверждение 11.1.3. 𝜙𝜉 (𝑥) принимает только действительные значения ⇐⇒ 𝜉 = −𝜉 (т.е. распределе-
ние 𝜉 симметрично относительно 0).
⇒:
𝑑
𝜙𝜉 (𝑡) = E cos 𝑡𝜉, 𝜙−𝜉 = E cos(−𝑡𝜉) = E cos 𝑡𝜉. Из теоремы о единственности следует, что 𝜉 = −𝜉.
⇐:
𝜙𝜉 (𝑡) = E (cos 𝑡𝜉 + 𝑖 sin 𝑡𝜉) = 𝜙−𝜉 (𝑡) = E (cos 𝑡𝜉 − 𝑖 sin 𝑡𝜉) ⇒ E sin 𝑡𝜉 = 0 ⇒ 𝜙𝜉 = E cos 𝑡𝜉
Утверждение 11.1.4. 𝜙𝜉 (−𝑡) = 𝜙𝜉 (𝑡) — очевидно по определению.

Пусть E|𝜉|𝑛 < +∞. Тогда 𝜙𝜉 (𝑡) 𝑛 раз дифференцируема и
(𝑛)
𝜙𝜉 (𝑡) = E(𝑖𝜉)𝑛 𝑒𝑖𝑡𝜉
𝑛
∑︁ (𝑖𝑡)𝑘
𝜙𝜉 (𝑡) = · E𝜉 𝑘 + 𝜀𝑛 (𝑡)
𝑘!
𝑘=0
𝑛
где |𝜀𝑛 (𝑡)| ≤ 3E|𝜉| , 𝜀𝑛 (𝑡) → 0 при 𝑡 → ∞.

Если существует производная четного порядка 𝜙(2𝑛) в точке 𝑥 = 0, то существует E𝜉 2𝑛 < +∞.
Утверждение 11.1.7. (б/д) √︀

𝑛
E|𝜉|𝑛
𝑛
Пусть ∀𝑛 ∈ N E|𝜉| < +∞ и lim 𝑛 = 𝑇 < ∞. Тогда для любого 𝑥 ∈ (− 𝑇1 ; 1
𝑇 )
𝑛→∞
+∞
∑︁ (𝑖𝑥)𝑘
𝜙𝜉 (𝑥) = · E𝜉 𝑘
𝑘!
𝑘=0
56
Теорема 11.4. (о непрерывности, б/д)
𝑑
1. Пусть 𝜉𝑛 → 𝜉. Тогда ∀𝑡 ∈ R : 𝜙𝜉𝑛 (𝑡) → 𝜙𝜉 (𝑡) при 𝑛 → ∞.
2. Пусть 𝜉1 , 𝜉2 , . . . — случайные величины и ∀𝑡 ∈ R : 𝜙𝜉𝑛 (𝑡) → 𝜙(𝑡) при 𝑛 → ∞, причем 𝜙(𝑡)

непрерывна в 0. Тогда 𝜙(𝑡) — характеристическая функция некоторой случайной величины 𝜉,
𝑑
причем 𝜉𝑛 → 𝜉.
Теорема 11.5. (Бохнера-Хинчина)

Пусть 𝜙 — непрерывна и 𝜙(0) = 1. Тогда она является характеристической тогда и только тогда,
когда она неотрицательно определена, то есть
∑︁
∀𝑛 ∈ N ∀𝑧1 , 𝑧2 , . . . , 𝑧𝑛 ∈ C ∀𝑡1 , . . . , 𝑡𝑛 ∈ R : 𝜙(𝑡𝑖 − 𝑡𝑗 )𝑧𝑖 𝑧𝑗 ≥ 0
1≤𝑖, 𝑗≤𝑛
⎛ ⎞
𝜙(𝑡1 − 𝑡1 ) 𝜙(𝑡1 − 𝑡2 ) ... 𝜙(𝑡1 − 𝑡𝑛 )
⎜ ⎟
⎜ 𝜙(𝑡2 − 𝑡1 ) 𝜙(𝑡2 − 𝑡2 ) ... 𝜙(𝑡2 − 𝑡𝑛 ) ⎟
⎜ ⎟
(Это условие означает, что для любых 𝑡1 , . . . , 𝑡𝑛 ∈ R матрица ⎜
⎜ .. .. .. ..
⎟
⎟
⎜ . . . . ⎟
⎝ ⎠
𝜙(𝑡𝑛 − 𝑡1 ) 𝜙(𝑡𝑛 − 𝑡2 ) ... 𝜙(𝑡𝑛 − 𝑡𝑛 )
неотрицательно определена.)
⇒:
Пусть 𝜙 — характеристическая. Тогда
∑︁ ∑︁ (︀ )︀ (︁ )︁ ∑︁
E𝑒𝑖(𝑡𝑖 −𝑡𝑗 )𝜉 𝑧𝑖 𝑧𝑗 = E 𝑧𝑖 𝑒𝑖𝑡𝑖 𝜉 𝑧𝑗 𝑒𝑖𝑡𝑗 𝜉 = E| 𝑧𝑗 𝑒𝑖𝑡𝑗 𝜉 |2 ≥ 0
𝑖, 𝑗 𝑖, 𝑗 𝑗
⇐:
Без доказательства.
11.2 Гауссовские векторы
Определение 11.2. 𝜉 = (𝜉1 , . . . , 𝜉𝑛 )𝑇 — гауссовский случайный вектор, если
1
𝜙𝜉 (𝑥) = 𝑒𝑖⟨𝑎, 𝑥⟩− 2 ⟨Σ𝑥, 𝑥⟩
где ⟨𝑥, 𝑦⟩ — скалярное произведение, Σ — неотрицательно определенная симметричная матрица 𝑛 × 𝑛,

𝑎 ∈ R𝑛 .
Теорема 11.6. (эквивалентные определения гауссовского вектора)

Следующие определения гауссовского вектора эквиваленты:
1. Определение 11.2
57
2. 𝜉 = 𝐴𝜂 + 𝑏, где 𝜂 = (𝜂1 , . . . , 𝜂𝑚 )𝑇 и 𝜂𝑖 ∼ 𝑁 (0, 1), независимые, а 𝐴 ∈ 𝑀 𝑎𝑡𝑛×𝑚 , 𝑏 ∈ R𝑛
3. ∀𝜆1 , . . . , 𝜆𝑛 ∈ R : 𝜆1 𝜉1 + . . . + 𝜆𝑛 𝜉𝑛 — нормальная случайная величина.
1) ⇒ 2):
1
𝜙𝜉 (𝑥) = 𝑒𝑖⟨𝑎, 𝑥⟩− 2 ⟨Σ𝑥, 𝑥⟩ . Тогда 𝜙𝜉−𝑎 (𝑥) = E𝑒𝑖⟨𝜉−𝑎, 𝑥⟩ = 𝑒−𝑖⟨𝑎, 𝑥⟩ 𝜙𝜉 (𝑥) = 𝑒−1/2⟨Σ𝑥, 𝑥⟩ . Так как Σ —
симметричная, то Σ = 𝑅𝑇 𝐷𝑅, где 𝑅 — отрогональная, а 𝐷 — диагональная с неотрицательными
числами на главной диагонали (спектральное разложение). Тогда Σ можно представить в виде Σ =
√ √ √ √
𝑅𝑇 𝐷𝑅 = 𝑅𝑇 𝐷 𝐷𝑅 = ( 𝐷𝑅)𝑇 ( 𝐷𝑅), а значит
𝑇
√ √ √ √
⟨Σ𝑥, 𝑥⟩ = (Σ𝑥) 𝑥 = 𝑥𝑇 Σ𝑇 𝑥 = 𝑥𝑇 ( 𝐷𝑅)𝑇 ( 𝐷𝑅)𝑥 = ( 𝐷𝑅𝑥)𝑇 ( 𝐷𝑅𝑥)
√ √ 𝑛 𝑦𝑖2
Сделаем замену 𝑥 = ( 𝐷𝑅)−1 𝑦. Тогда 𝜙𝜉−𝑎 (( 𝐷𝑅)−1 𝑦) = 𝑒−1/2⟨𝑦, 𝑦⟩ = 𝑒− 2 . С другой стороны
∏︀
𝑖=1
√ √
−1
𝜙𝜉−𝑎 (( 𝐷𝑅) 𝑦) = E𝑒 𝑖⟨𝜉 − 𝑎, ( 𝐷𝑅)−1 𝑦⟩
[︁ (︁ √ )︁ ]︁
= E 𝑒𝑥𝑝 𝑖(𝜉 − 𝑎)𝑇 ( 𝐷𝑅)−1 𝑦
[︁ (︁ √ )︁ ]︁
= E 𝑒𝑥𝑝 𝑖(𝜉 − 𝑎)𝑇 𝑅𝑇 ( 𝐷)−1 𝑦
[︁ (︁ √ )︁ ]︁
= E 𝑒𝑥𝑝 𝑖(( 𝐷)−1 𝑅(𝜉 − 𝑎))𝑇 𝑦 = 𝜙(√𝐷)−1 𝑅(𝜉−𝑎) (𝑦)
√
то есть характеристическая функция вектора 𝜂 := ( 𝐷)−1 𝑅(𝜉 − 𝑎) это произведение характеристиче-
ских функций стандартных нормальных распределений, а значит его компоненты ∼ 𝑁 (0, 1).
2) ⇒ 3):
Пусть 𝜉 = 𝐴𝜂 + 𝑏. Тогда
⟨𝜆, 𝜉⟩ = 𝜆𝑇 (𝐴𝜂 + 𝑏) = 𝜆𝑇 𝐴𝜂 + 𝜆𝑇 𝑏 ∼ 𝑁 (𝜆𝑇 𝑏, ⟨𝜆𝑇 𝐴, 𝜆𝑇 𝐴⟩)
3) ⇒ 1):
Перепишем функцию распределения:
2
1
·12
𝜙𝜉 (𝑥) = E𝑒𝑖⟨𝜉, 𝑥⟩ = E𝑒𝑖(𝑥1 𝜉1 +...+𝑥𝑛 𝜉𝑛 ) = 𝜙𝑥1 𝜉1 +...+𝑥𝑛 𝜉𝑛 (1) = 𝑒𝑖𝑎·1− 2 𝜎
где 𝑎 = E(𝑥1 𝜉1 + . . . + 𝑥𝑛 𝜉𝑛 ), a 𝜎 2 = D(𝑥1 𝜉1 + . . . + 𝑥𝑛 𝜉𝑛 ) Заметим, что 𝑎 = ⟨(E𝜉1 , . . . , E𝜉𝑛 )𝑇 , 𝑥⟩ и

∑︁ ∑︁
0 ≤ 𝜎2 = cov(𝜉𝑗 𝑥𝑗 , 𝜉𝑘 𝑥𝑘 ) = 𝑥𝑗 𝑥𝑘 cov(𝜉𝑗 , 𝜉𝑘 ) = ⟨Σ𝑥, 𝑥⟩
1≤𝑗, 𝑘≤𝑛 1≤𝑘, 𝑗≤𝑛
где Σ — матрица ковариаций вектора 𝜉.
Следствие 11.6.1. В условиях определения 11.2 𝑎 — вектор мат. ожиданий, а Σ — матрица кова-
риаций.
58
⎛ ⎞
Σ1 0 ... 0
⎜ ⎟
0 Σ2 ... 0
⎜ ⎟
⎜ ⎟
Следствие 11.6.2. Пусть 𝜉 — гауссовский вектор и Σ = ⎜
⎜ .. .. .. ..
⎟ имеет блочно-диагональный
⎟
⎜ . . . . ⎟
⎝ ⎠
0 0 . . . Σ𝑘
𝑖
вид. Обозначим за 𝑥𝑖 , 𝜉 , 𝑎𝑖 соответственно те координаты векторов 𝑥, 𝜉, 𝑎, которые отвечают Σ𝑖
в Σ. Тогда 𝜉 = (𝜉 1 , . . . , 𝜉 𝑘 ), где 𝜉 𝑖 случайный вектор и 𝜉 1 , . . . , 𝜉 𝑘 независимы в совокупности.
1
𝜙𝜉 (𝑥) = 𝑒𝑖⟨𝑎, 𝑥⟩− 2 ⟨Σ𝑥, 𝑥⟩
(︂ )︂
1 1
= 𝑒𝑥𝑝 𝑖⟨𝑎1 , 𝑥1 ⟩ + . . . + 𝑖⟨𝑎𝑘 , 𝑥𝑘 ⟩ − ⟨Σ1 𝑥1 , 𝑥1 ⟩ − . . . − ⟨Σ𝑘 𝑥𝑘 , 𝑥𝑘 ⟩
2 2
𝑘
1
∏︁
= 𝑒𝑖⟨𝑎𝑗 , 𝑥𝑗 ⟩− 2 ⟨Σ𝑗 𝑥𝑗 , 𝑥𝑗 ⟩
𝑗=1
𝑘
∏︁
= 𝜙𝜉𝑗 (𝑥𝑗 )
𝑗=1
Применяя критерий независимости получаем требуемое.
11.3 Центральная предельная теорема
Теорема 11.7. (центральная предельная теорема)

Пусть 𝜉1 , 𝜉2 , . . . — независимые одинаково распределенные случайные величины с конечным вторым
моментом. Тогда
𝑆𝑛 − E𝑆𝑛 𝑑
√ → 𝜂 ∼ 𝑁 (0, 1)
D𝑆𝑛
𝑘 −E𝜉𝑘
Доказательство. Рассмотрим 𝑆˜𝑛 = 𝑛 −E𝑆𝑛
𝑆√
D𝑆𝑛
, 𝜉˜𝑘 = 𝜉√
D𝑆𝑛
. Покажем, что характеристические функии
𝑆˜𝑛 сходятся к характеристической функции случайной величины ∼ 𝑁 (0, 1)
𝜙𝑆˜𝑛 (𝑥) = 𝜙 ∑︀
𝑛 (𝑥)
𝜉˜𝑗
𝑗=1
𝑛
∏︁
= 𝜙𝜉˜𝑗 (𝑥) (по независимости)
𝑗=1
˜ 𝑛
(︁ )︁
= E𝑒𝑖𝑥𝜉1 (т.к. одинаково распределенные)
(︃ [︃ (︂ )︂ ]︃)︃𝑛
𝑖𝑥
= E 𝑒𝑥𝑝 √ (𝜉1 − E𝜉1 )
D𝑆𝑛
(︃ (︃ )︃)︃𝑛
𝑥
= 𝜙𝜉1 −E𝜉1 √︀
D𝑆𝑛
(︂ (︂ )︂)︂𝑛
1 D𝜉1 1
= 1 − 𝑥2 +𝑜
2 D𝑆𝑛 D𝑆𝑛
(︂ (︂ )︂)︂𝑛
1 2 1 𝑥2
= 1− 𝑥 +𝑜 → 𝑒− 2
2𝑛 𝑛
59
Теорема 11.8. (многомерная ЦПТ, б/д)
Пусть 𝜉1 , 𝜉2 , . . . — независимые одинаково распределенные векторы, второй момент каждых ком-
√︁
понент которых конечен. Σ — матрица ковариаций 𝜉1 (существует т.к. E𝜉𝑖 𝜉𝑗 ≤ E𝜉𝑖2 · E𝜉𝑗2 ). Тогда
𝑆𝑛 − E𝑆𝑛 𝑑
√ → 𝜂 ∼ 𝑁 (0, Σ)
𝑛
где сходимость по распределению случайных векторов означает сходимость в основном, определенную

выше.
Теорема 11.9. (локальная предельная теорема, б/д)

Пусть 𝜉1 , 𝜉2 , . . . ∼ 𝐵𝑒𝑟𝑛(𝑝) — независимые одинаково распределенные случайные величины. Пусть
𝜙(𝑛) = 𝑜(𝑛2/3 ). Тогда ⃒ ⃒
⃒ ⃒
⃒ P(𝑆 𝑛 = 𝑘) ⃒
sup ⃒ (︁ 2
)︁ − 1⃒⃒ → 0
⃒ 1 (𝑘−𝑛𝑝)
𝑘: |𝑘−𝑛𝑝|<𝜙(𝑛) ⃒ √
2𝜋𝑛𝑝𝑞
𝑒𝑥𝑝 − 2𝑛𝑝𝑞 ⃒
(Теорема утверждает, что число успехов в таком случае имеет распределение, почти равное 𝑁 (𝑛𝑝, 𝑛𝑝𝑞))
Теорема 11.10. (интегральная предельная теорема Муавра-Лапласа, б/д)

Пусть 𝜉1 , 𝜉2 , . . . ∼ 𝐵𝑒𝑟𝑛(𝑝) — независимые одинаково распределенные случайные величины. Тогда
⃒ ⃒
⃒ (︂ )︂ ∫︁𝑏 ⃒
⃒P 𝑎 < 𝑆√𝑛 − 𝑛𝑝 1 −𝑥
⃒ 2 ⃒
sup < 𝑏 − √ 𝑒 2 𝑑𝑥⃒ → 0
−∞<𝑎<𝑏<+∞ ⃒
⃒ 𝑛𝑝𝑞 2𝜋 ⃒
⃒
𝑎
(Теорема утверждает, что выполнена ЦПТ с равномерной сходимостью)
Пример 11.6. Игральный кубик бросается 6 млн раз. Тогда вероятность того, что количество выпав-
ших троек отличается от 1 миллиона не более чем на 3000 примерно равна 0, 999.
Теорема 11.11. (предельная теорема Пуассона)

Пусть 𝜉1 , 𝜉2 , . . . , 𝜉𝑛 ∼ 𝐵𝑒𝑟𝑛(𝑝𝑛 ) — независимые случайные величины и 𝑝𝑛 → 𝜆 ∈ R при 𝑛 → ∞.
Тогда
𝑑
𝑆𝑛 → 𝜂 ∼ 𝑃 𝑜𝑖𝑠(𝜆)
𝜆
(︀ 𝜆 )︀
Доказательство. Из условия 𝑝𝑛 = 𝑛 +𝑜 𝑛 . Тогда имеем
𝑛(𝑛 − 1) . . . (𝑛 − 𝑘 + 1) 1
P(𝑆𝑛 = 𝑘) = 𝐶𝑛𝑘 𝑝𝑘 (1 − 𝑝)𝑛−𝑘 = 𝑘
(𝑛𝑝)𝑘 (1 − 𝑝)𝑛 (1 − 𝑝)−𝑘
𝑛 𝑘!
𝑘 1 −𝜆
→1·𝜆 · ·𝑒 ·1
𝑘!
𝑒−𝜆 𝜆𝑘
=
𝑘!
60

Probability Zhukovsky

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Probability Zhukovsky

Загружено:

Авторское право:

Доступные форматы

Московский физико-технический институт

факультет инноваций и высоких технологий

Лектор: М.Е. Жуковский

∙ М.Е. Жуковскому за проверку конспекта.

∙ Всем неравнодушным сокурсникам, сообщавшим об опечатках и ошибках, и в особенности

∙ Марии Носаревой за предоставленные рукописные конспекты многих лекций.

Комментарии, предложения и найденные ошибки приветствуются по адресу https: // vk. com/

2 Условная вероятность. Независимость событий 8

8 Виды сходимости случайных величин 38

10 Закон больших чисел 47

11 Характеристические функции. Центральная предельная теорема 54

1.1 Аксиоматика Колмогорова

Определение 1.1. Произвольное множество Ω (не обязательно конечное) называется пространством

Определение 1.2. F — система подмножеств Ω — называется алгеброй на Ω, если выполнены следу-

3. 𝐴1 , 𝐴2 ∈ F ⇒ 𝐴1 ∪ 𝐴2 и 𝐴1 ∩ 𝐴2 ∈ F . (Причем достаточно лишь одного из этого).

Докажем некоторые свойства алгебр и 𝜎-алгебр.

Утверждение 1.1.2. ∀𝐴, 𝐵 ∈ F : 𝐴 ∖ 𝐵 ∈ F

Определение 1.5. Если 𝜇(Ω) = 1, то 𝜇 называется конечно-аддитивной верятностью (в случае если

Утверждение 1.1.3. P(∅) = 0

Доказательство. ∅ ∩ Ω = ∅ ⇒ P(∅ ∪ Ω) = P(∅) + P(Ω) = P(Ω) = 1 ⇒ P(∅) = 0

Утверждение 1.1.4. Пусть 𝐴, 𝐵 ∈ F , такие, что: 𝐴 ⊂ 𝐵. Тогда P(𝐵) ≥ P(𝐴)

Доказательство. Рассмотрим события 𝐵𝑖 = 𝐴𝑖 ∖ (𝐴1 ∪ . . . ∪ 𝐴𝑖−1 ) 𝑖 ≥ 2; 𝐵1 = 𝐴1 . Тогда 𝐵𝑖 ∩ 𝐵𝑗 = ∅,

Теорема 1.1. (О непрерывности вероятностной меры в 0)

2. P — конечно аддитивная вероятность на (Ω, F ), непрерывная сверху:

3. P — конечно аддитивная вероятность на (Ω, F ), непрерывная снизу:

4. P — конечно аддитивная вероятность на (Ω, F ), непрерывная в нуле:

= P(𝐴1 ) + P(𝐴2 ) − P(𝐴1 ) + P(𝐴3 ) − P(𝐴2 ) + . . . = lim P(𝐴𝑛 )

lim P(𝐴𝑛 ) = P(𝐴1 ) − lim P(𝐴1 ∖ 𝐴𝑛 ) =

Определение 1.6. Набор объектов

называется вероятностным пространством или вероятностной моделью (эксперимента). При этом

Пример 1.1. Классическая вероятность:

Например, пространство элементарных событий Ω = {𝜔 : 𝜔 = (𝑎1 , 𝑎2 , . . . , 𝑎𝑛 ), 𝑎𝑖 ∈ {О, Р}} с

0 0.25 0.5 0.75

1.2 Наименьшие сигма-алгебры

Определение 1.7. Пусть 𝑀 — система подмножеств Ω. Наименьшая 𝜎-алгебра, порожденая 𝑀 , есть

Пример 1.3. F = {∅, Ω} — тривиальная 𝜎-алгебра.

Пример 1.5. F𝐴 = {∅, 𝐴, 𝐴, Ω} — 𝜎-алгебра, порожденная событием 𝐴.

Утверждение 1.2.1. Если 𝑀 ⊂ 2Ω , то 𝜎(𝑀 ) существует.

3. Для объединения счетного числа множеств доказательство аналогично 2.

Заметим, что F — минимальная 𝜎-алгебра. Действительно, предположим, что ∃F0 - меньше F .

2.1 Условная вероятность

Определение 2.1. Пусть (Ω, F , P) — вероятностное пространство. 𝐴, 𝐵 ∈ F — события. Вероятностью

Замечание 1: Если P(𝐵) = 0, то P(𝐴 | 𝐵) = 0.

Установим некоторые очевидные свойства условных вероятностей:

4. P(𝐵1 ⊔ 𝐵2 | 𝐴) = P(𝐵1 | 𝐴) + P(𝐵2 | 𝐴),

0 0.25 0.5 0.75

Доказательство. Ясно, что

Решение: Ω = {𝜔 ∈ 𝜎(1, 2, . . . , 𝑛) — перестановки }. Пусть черным шарам соотвествует цифра 1, а

Тогда, если всего шаров 𝑛, а черных шаров 𝑘, то

Теорема 2.2. Формула Байеса:

2.2 Независимость событий

Определение 2.2. События 𝐴 и 𝐵 называются независимыми, если P(𝐴 ∩ 𝐵) = P(𝐴)P(𝐵). Если

Доказательство. Приведем контрпример (пример Бернштейна): покрасим грани тетраэдра в 3 цвета:

∙ 𝐴𝑅 = ’На грани тетраэдра есть красный цвет’

∙ 𝐴𝐺 = ’На грани тетраэдра есть зеленый цвет’

∙ 𝐴𝐵 = ’На грани тетраэдра есть синий цвет’

Приведенные события попарно независимы, но не независимы в совокупности.

Определение 2.5. M1 , . . . , M𝑛 ⊂ F называются независимыми в совокупности, если

Утверждение 2.2.2. Пусть 𝐴1 , 𝐴2 , . . . , 𝐴𝑛 — независимые в совокупности события. Тогда F𝐴𝑖 =

P(𝐴1 ∩ . . . ∩ 𝐴𝑘 ∩ 𝐴𝑘+1 ∩ . . . ∩ 𝐴𝑛 ) = P(𝐴2 ∩ . . . ∩ 𝐴𝑘 ∩ 𝐴𝑘+1 ∩ . . . ∩ 𝐴𝑛 ) − P(𝐴1 ∩ . . . ∩ 𝐴𝑘 ∩ 𝐴𝑘+1 ∩ . . . ∩ 𝐴𝑛 ) =

= P(𝐴2 ) . . . P(𝐴𝑘 )P(𝐴𝑘+1 ) . . . P(𝐴𝑛 ) − P(𝐴1 )P(𝐴2 ) . . . P(𝐴𝑘 )P(𝐴𝑘+1 ) . . . P(𝐴𝑛 ) =

3.1 Борелевские сигма-алгебры. Функция распределения

Определение 3.1. Пусть R действительная прямая и