Вы находитесь на странице: 1из 29

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

имени М. В. ЛОМОНОСОВА
Механико-математический факультет

Курс лекций по
теории вероятностей
Лектор — Александр Вадимович Булинский

II курс, 4 семестр, поток математиков

Москва, 2004 г.
Оглавление
1. Элементарная теория вероятностей 5
1.1. Вероятностные пространства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1. Предмет теории вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.2. Алгебры событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.3. Вероятность. Аксиоматика Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
TODO: Лемма о баллотировке . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2. Свойства вероятностных мер. Непрерывность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.1. Простейшие свойства вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2. Непрерывность мер и её связь со счётной аддитивностью . . . . . . . . . . . . . . . . . . . . 6
1.3. Дискретные вероятностные пространства (примеры) . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1. Схема Бернулли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.2. Геометрическая вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.3. Гипергеометрическая вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3.4. Распределение Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4. Условная вероятность и формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.1. Понятие условной вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.2. Формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
TODO: пример . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5. Функции распределения и плотности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5.1. Распределения мер . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
TODO: пояснение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5.2. Примеры распределений вероятностных мер . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6. Независимость событий. Леммы Бореля – Кантелли . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.6.1. Попарная независимость и независимость в совокупности . . . . . . . . . . . . . . . . . . . 9
1.6.2. Две леммы Бореля – Кантелли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2. Случайные величины 10
2.1. Понятие случайного элемента . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1. Измеримые отображения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.2. Свойства измеримых функций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.3. Примеры случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2. Распределения случайных элементов. Пополнение вероятностного пространства . . . . . . . . . . 11
2.2.1. Вероятностные меры и распределения случайных величин . . . . . . . . . . . . . . . . . . . 11
2.2.2. Пополнение вероятностного пространства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3. Независимость случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.1. Независимые алгебры и случайные величины . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.2. Теорема о булочках с изюмом . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4. Теорема о монотонных классах и её следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4.1. π-системы и λ-системы множеств . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4.2. Следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5. Построение случайных величин с заданным распределением . . . . . . . . . . . . . . . . . . . . . . 15
2.5.1. Последовательности равномерно распределённых величин . . . . . . . . . . . . . . . . . . . 15
2.5.2. Построение произвольной последовательности вероятностных мер . . . . . . . . . . . . . . 16

3. Математическое ожидание 16
3.1. Интеграл Лебега по вероятностной мере . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.1.1. Определение интеграла Лебега . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.1.2. Свойства математического ожидания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.1.3. Теоремы о предельном переходе под знаком интеграла Лебега . . . . . . . . . . . . . . . . . 18
3.2. Дисперсия и ковариация. Пространство Lp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.2.1. Определения и свойства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.2.2. Неравенство Чебышева . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2
4. Сходимость случайных величин. Закон больших чисел 21
4.1. Закон больших чисел . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1.1. Простейший вариант ЗБЧ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1.2. Теорема Вейерштрасса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.2. Различные виды сходимости и их взаимосвязь . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.2.1. Теорема Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.2.2. Сходимость по вариации . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.2.3. Сходимость по распределению и слабая сходимость . . . . . . . . . . . . . . . . . . . . . . . 22
4.2.4. Сходимость почти всюду и сходимость по вероятности . . . . . . . . . . . . . . . . . . . . . 22
4.3. Усиленные законы больших чисел и их следствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.3.1. УЗБЧ для некоррелированных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.3.2. Теорема Этемади . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.3.3. Классическая теорема Колмогорова. Закон 0 и 1 . . . . . . . . . . . . . . . . . . . . . . . . . 25

5. Центральная предельная теорема 25


5.1. Теорема Александрова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2. Характеристические функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2.1. Определение, основные свойства и примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5.2.2. Формула обращения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5.2.3. Теорема Леви . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
5.3. Центральная предельная теорема в условиях Линдеберга . . . . . . . . . . . . . . . . . . . . . . . . 29
5.3.1. Ещё два (а может, три) свойства характеристических функций . . . . . . . . . . . . . . . . 29
5.4. Свёртки распределений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.5. Случайные векторы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.5.1. Основные определения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
5.5.2. Многомерная центральная предельная теорема . . . . . . . . . . . . . . . . . . . . . . . . . . 29

3
Предисловие
Данное издание является результатом совместного творчества DMVN Corporation и Дмитрия Горяшина.
Пока работа полностью не завершена, трудно сказать, оказался ли этот эксперимент удачным или нет. Стан-
дартизовать обозначения и исходные TEX-исходники непросто, но ряд усилий в этом направлении всё же было
приложено. Случайные величины мы решили обозначать греческими буквами, а не латинскими, как это было
на лекциях — все-таки, это общепринятый стандарт.
Порядок следования теорем, определений и т. д. в целом сохранён таким, каким он был на лекциях в 2004 году.
Некоторые перестановки с целью более логичной группировки утверждений были осуществлены во второй и
третьей главах настоящего издания. В частности, собраны воедино все теоремы, относящиеся к теории интеграла
Лебега.
В данной версии исправлено несколько опечаток, за что спасибо Игорю Приходько.
Вопросы, комментарии, замечания и предложения направляйте на dmvn@mccme.ru, обновления электронной
версии — на сайте http://dmvn.mexmat.net.
Набор и вёрстка: DMVN Corporation, GorDmit
Последняя компиляция: 15 февраля 2006 года
Версия: 0.3

4
1. Элементарная теория вероятностей
1.1. Вероятностные пространства
1.1.1. Предмет теории вероятностей
Теория вероятностей изучает математические модели случайных явлений. Один и тот же случайный экспе-
римент может быть описан с помощью разных пространств элементарных исходов. Одно и то же пространство
может описывать разные случайные эксперименты.

1.1.2. Алгебры событий


Будем рассматривать некоторое (фиксированное) множество Ω и различные семейства его подмножеств. Его
мы будем называть множеством элементарных исходов, а подмножества A ⊂ Ω — событиями.
Определение. Алгеброй подмножеств на Ω называется семейство A ⊂ 2Ω со следующими свойствами:
1◦ Ω ∈ A ;
2◦ Если A ∈ A , то и A := Ω r A ∈ A .
S
n
3◦ Если A1 , . . . , An ∈ A , то и Ai ∈ A .
i=1
Из определения следует, что и пересечение конечного набора элементов алгебры принадлежит ей: по правилу
T
n S
n
Де Моргана Ai = Ai ∈ A , так как Ai ∈ A .
i=1 i=1
Определение. Система F подмножеств Ω называется σ-алгеброй, если она является алгеброй, но к тому
S

же выдерживает счётные объединения и пересечения множеств, т. е. если {Ai }∞
i=1 ⊂ F , то и Ai ∈ F .
i=1
Элементы алгебр и σ-алгебр часто называют измеримыми множествами (по аналогии с классами множеств,
измеримых по Жордану или по Лебегу).
Заметим, что для любой системы M подмножеств Ω существует минимальная σ-алгебра σ {M}, порождённая
этой системой. Хотя бы одна есть — 2Ω , очевидно, является σ-алгеброй. Рассмотрим пересечение всех σ-алгебр,
содержащих M. Легко видеть, что оно тоже будет σ-алгеброй. Это и будет σ {M}.
Определение. Борелевской σ-алгеброй топологического или метрического пространства называется σ-ал-
гебра, порождённая всеми открытыми множествами.
Для обозначения объединения непересекающихся множеств часто будем использовать знак «⊔». Пересече-
ние множеств A и B будем иногда обозначать через AB. Сигма-алгебры будем обозначать шрифтом mathscr
(A , B, C , . . .), а пространства элементарных исходов — заглавными греческими буквами.

1.1.3. Вероятность. Аксиоматика Колмогорова


Определение. Пусть F — σ-алгебра на множестве Ω. Пара (Ω, F ) называется измеримым пространством.
Определение. Вероятностью называется функция P : F → R со свойствами:
1◦ Неотрицательность: P(A) > 0 для любого события A ∈ F ;
2◦ Нормировка: P(Ω) = 1; ∞ 
S ∞
P
3◦ Счётная аддитивность: если {Ai }∞
i=1 ⊂ F , и Ai не пересекаются, то P Ai = P(Ai ).
i=1 i=1
Аксиомы в определении вероятности называют аксиомами Колмогорова.
Если на измеримом пространстве задана функция P, то тройка (Ω, F , P) называется вероятностным про-
странством. Заметим, что вероятность есть частный случай σ-аддитивной меры на Ω.
Если пространство Ω не более чем счётно, то говорят, что вероятностное пространство дискретно. Пусть
∞ P

Ω = {ωi }i=1 . Пусть каждой точке ωi ∈ Ω приписан вес pi > 0, такой, что pi = 1. Вероятность определим
i=1
следующим образом. Пусть A = {wi1 wi2 , . . .}. Положим
X
P(A) := pi . (1)
i : ωi ∈A

Проверка того, что это действительно вероятность, предоставляется читателю.


1
Классическое определение вероятности таково: |Ω| = N , все «веса» исходов одинаковы и равны p = N.
Вероятность события A ⊂ 2Ω определяется как P(A) := |A|
N .

5
Задача 1.1. На экзамене1 по теории вероятностей студенту предлагают три билета. Один он знает
хорошо, а два других — не знает. Он выбирает один билет, после чего ему открывают один из оставшихся
билетов (которого он не знает). Что выгоднее сделать студенту: поменять свой выбор, или сохранить его?
TODO: Лемма о баллотировке

1.2. Свойства вероятностных мер. Непрерывность


1.2.1. Простейшие свойства вероятности

1 Если A ⊂ B, то P(A) 6 P(B). 
 Действительно, P(B) = P A ⊔ (B r A) = P(A) + P(B r A) > P(A). 
| {z }
>0
2◦ Для любых A, B ∈ F имеет место равенство P(A ∪ B) = P(A) + P(B) − P(AB).
 Имеем A∪B = AB⊔AB⊔AB. Значит, P(A∪B) = P(AB)+P(AB)+P(AB). Заметим, что P(AB)+P(AB) =
= P (A), и P(AB) + P(AB) = P(B). Подставим вероятности событий AB и AB и получим требуемое. 
Теорема 1.1 (Формула включений-исключений). Для любых A1 , . . . , An ∈ F верна формула
n
X X X
P (A1 ∪ . . . An ) = P(Ai ) − P(Ai Aj ) + P(Ai Aj Ak ) + . . . + (−1)n−1 P(A1 . . . An ). (2)
i=1 i6j i6j6k

 Предыдущее доказательство очевидным образом по индукции обобщается на случай произвольного


числа событий. 

1.2.2. Непрерывность мер и её связь со счётной аддитивностью


Определение. Мера P называется непрерывной (в нуле), если для любой последовательности вложенных
событий Bn ց ∅ их вероятность стремится к нулю: P(Bn ) → 0 при n → ∞.
Теорема 1.2. Счётная аддитивность функции P эквивалентна её конечной аддитивности и непрерывно-
сти в нуле.

 Выведем непрерывность из счётной аддитивности. Пусть {Ai }i=1 ⊂ F , и An+1 ⊂ An . Рассмотрим
события Bn := An r An+1 . Они не пересекаются, следовательно

P(A1 ) = P(B1 ) + . . . + P(Bn ) + P(An+1 ), (3)


| {z } | {z }
↓ ↓
P(A1 ) 0

так как вероятность события A1 конечна, а все члены ряда неотрицательны.



Пусть теперь P аддитивна и непрерывна. Докажем её σ-аддитивность. Пусть {Bi }i=1 — последовательность

S
попарно непересекающихся событий. Пусть An := Bi — «остаточные события». Они лежат в F , так как это
i=n T
дополнение к конечному объединению. Очевидно, что An = ∅ и An+1 ⊂ An . По непрерывности P(An ) → 0.
∞  n
S ∞
P
Значит, P Bi = P(Bi ). 
i=1 i=1

Теорема 1.3 (Каратеодори2 ). Вероятностная мера P на алгебре A однозначно продолжается на σ {A }.

1.3. Дискретные вероятностные пространства (примеры)


1.3.1. Схема Бернулли
В схеме испытаний Бернулли Ω = {ω = (k1 , . . . , kn )}, где ki ∈ {0, 1}, т. е. проводится n испытаний, каждое из
которых может быть либо успехом, либо неудачей. Вероятность успеха равна p ∈ (0, 1), а неудачи — q := 1 − p.
Вероятность задаётся корректно, так как строк с m единицами будет Cm n , а всего по формуле бинома Ньютона

n
X n
Cm m
n p (1 − p)
n−m
= p + (1 − p) = 1. (4)
m=0
1 Нематематическая постановка задачи слегка изменена по сравнению c версией А. В. Булинского.
2 Эта теорема доказывается в курсе действительного анализа.

6
1.3.2. Геометрическая вероятность
Модель геометрического распределения: монету бросают до первого выпадения герба. Вероятность этого
события при каждом бросании равна p. Положим P ({ωn }) := (1−p)n−1 p. Корректность проверяется аналогично.

1.3.3. Гипергеометрическая вероятность


Гипергеометрическое распределение моделируется так: в урне находится M белых и N чёрных шаров. Из
неё наугад вынимают n шаров. Найдём вероятность того, что вынуто k белых шаров. Имеем

Ckm Cn−k
N
P ({ωk }) = . (5)
CnM+N

Замечание. Будем считать, что Ckn = 0 при k < 0 или k > n.

1.3.4. Распределение Пуассона


В схеме Пуассона Ω = {0} ∪ N, а F = 2Ω . Положим

λn −λ
pn := P({ωn }) = e . (6)
n!
Задача 1.2. Доказать, что если npn → λ > 0, то

λk −λ
Ckn pkn (1 − pn )n−k → e , n → ∞. (7)
k!

1.4. Условная вероятность и формула Байеса


1.4.1. Понятие условной вероятности
S
Определение. Система непересекающихся непустых событий {Ai } называется разбиением Ω, если Ai = Ω.
Определение. Пусть P(B) > 0. Условной вероятностью события A при условии B называется число

P(AB)
P(A|B) := . (8)
P(B)

Теорема 1.4 (Формула полной вероятности). Пусть {Bi } — разбиение Ω. Тогда для ∀ A ∈ F
X
P(A) = P(A|Bn )P(Bn ). (9)

S P def P
 Действительно, P(A) = P(AΩ) = P( ABn ) = P(ABn ) = P(A|Bn )P(Bn ). 
Задача 1.3. На экзамене по теории вероятностей N билетов, из них n хороших. Студенты подходят по
очереди и вытягивают билеты. Доказать, что вероятность того, что попадётся хороший билет, не зависит
от позиции в очереди.
Решение. Пусть событие Bk — «первые m человек вынули k хороших билетов». Событие A — «достался
хороший билет». Тогда
n−k Ckn Cm−k
N −n
P(A|Bk ) = , P(Bk ) = . (10)
N −m CmN
Отсюда
n∧m m−k n∧m k m−k
X n − k Ckn CN −n n n X Cn−1 C(N −1)−(n−1) n
P(A) = = = , (11)
N − m Cm N N N C m−1
N
N
k=0 k=0

так как сумма в последней формуле есть в точности сумма вероятностей всех исходов в геометрическом рас-
пределении. Таким образом, искомая вероятность, вопреки бытующему мнению, зависит только степени подго-
товленности студентов, т. е. от концентрации хороших билетов. 

7
1.4.2. Формула Байеса
Можно все вероятности рассматривать как условные: P(A) = P(AΩ). Если {Bi } — разбиение Ω, то
P(ABj ) P(A|Bj )P(Bj )
P(Bj |A) = = P
n . (12)
P(A)
P(A|Bk )P(Bk )
k=1

К знаменателю дроби здесь была применена формула полной вероятности. Это и есть формула Байеса.
TODO: пример

1.5. Функции распределения и плотности


1.5.1. Распределения мер
Определение. Пусть P — вероятность на B(R). Функцией распределения меры P называется функция

FP (x) := P (−∞; x] . (13)

Теорема 1.5. Функция распределения F вероятностной меры P обладает следующими свойствами:


1◦ F (x) неубывает;
2◦ lim F (x) = 0, lim F (x) = 1;
x→−∞ x→∞
3◦ F (x) непрерывна справа на R.
 
 1◦ Очевидно, что если x 6 y, то P (−∞; x] 6 P (−∞; y] .
2◦ Рассмотрим последовательность xn → −∞. Тогда события An := (−∞; xn ] ց ∅. По непрерывности меры
F (xn ) → 0. Переходя к дополнению к An , получим значение предела F (x) на +∞.
3◦ Фиксируем точку x0 и рассмотрим последовательность xn → +x0 . Тогда An+1 ⊂ An , и An ց A = (−∞; x0 ].
Снова по непрерывности меры P(An ) → P(A). 
Замечание. Теорема даёт исчерпывающее описание всех распределений мер на R, т. е. если функция F (x)
обладает свойствами 1◦ – 3◦ , то существует единственная вероятностная мера P на B(R), такая, что её функция
распределения есть F .
TODO: пояснение
1.5.2. Примеры распределений вероятностных мер
Пример 5.1. Равномерное распределение на отрезке [a, b] имеет плотность
(
1
, x ∈ [a, b];
p(x) = b−a (14)
0, x∈ / [a, b].

Функция распределения F (x) имеет график

0 a b

Пример 5.2. Показательное распределение с параметром λ имеет плотность


(
λe−λx , x > 0;
p(x) = (15)
0, x < 0.

Функция распределения F (x) имеет график

0 1 2 3 4

Пример 5.3. Нормальное (гауссовское) распределение с параметрами a и σ 2 имеет плотность


 
1 (x − a)2
p(x) = √ exp − . (16)
σ 2π 2σ 2

8
График этой плотности при разных значениях σ выглядит примерно так:

Чем меньше величина σ 2 , тем явственнее выделяется «пик» в точке x = a. Обозначение: N (a, σ 2 ).

1.6. Независимость событий. Леммы Бореля – Кантелли


1.6.1. Попарная независимость и независимость в совокупности
Определение. Говорят, что событие A не зависит от события B, если P(A|B) = P(A). По-другому можно
переформулировать определение так: события A и B независимы, если P(AB) = P(A)P(B).
Замечание. Вторая форма определения удобнее, поскольку в ней не накладывается ограничений на веро-
ятности событий. Невозможные события, т. е. такие, что их вероятность равна 0, являются независимыми с
любыми событиями, ибо если P(A) = 0, то 0 6 P(AB) 6 P(A) = 0, а значит, и P(AB) = 0.
Определение. События A1 , . . . , An называются попарно независимыми, если P(Ai Aj ) = P(Ai )P(Aj ) для
∀ i 6= j. События A1 , . . . , An называются независимыми в совокупности, если для любого набора индексов
i1 , . . . , ik имеем P(Ai1 · . . . · Aik ) = P(Ai1 ) · . . . · P(Aik ).
Замечание. Независимость в совокупности, очевидно, влечёт попарную независимость. Обратное, однако,
неверно. Например, пусть Ω = {1, 2, 3, 4} и P ({i}) = 41 . Рассмотрим события A1 = {1, 2}, A2 = {1, 3}, A3 = {1, 4}.
3
Имеем Ai Aj = {1}, значит, P(Ai Aj ) = 14 . С другой стороны, P(A1 A2 A3 ) = P ({1}) = 41 6= 12 .

Определение. Говорят, что {Ai }i=1 — последовательность независимых событий, если для ∀ n > 2 события
A1 , . . . , An независимы в совокупности.
Определение. Верхним пределом системы событий {Ak } называется множество
∞ [
\ ∞
lim Ak = lim sup Ak := Ak . (17)
n=1 k=n

Непосредственно из определения следует, что верхний предел состоит их тех элементов Ω, принадлежащих
бесконечному числу Ak .
Определение. Нижним пределом системы событий {Ak } называется множество
∞ \
[ ∞
lim Ak = lim inf Ak := Ak . (18)
n=1 k=n

Непосредственно из определения следует, что нижний предел состоит их тех элементов Ω, принадлежащих
всем Ak -м, начиная с некоторого.

1.6.2. Две леммы Бореля – Кантелли



P
Лемма 1.6 (Бореля – Кантелли №1). Дана последовательность событий Ak . Пусть ряд P(Ak ) схо-
k=0
дится. Тогда вероятность события A := (произойдёт бесконечно много событий Ak ) равна нулю.
∞ 
S P

 Для ∀ n ∈ N имеем P(A) 6 P Ak 6 P(Ak ) → 0, так как это остаток сходящегося ряда. 
k=n k=n
Вторая лемма относится уже к независимым событиям.

P Лемма 1.7 (Бореля – Кантелли
 №2). Пусть {Ai }i=1 — последовательность независимых событий. Пусть
P(Ak ) = ∞. Тогда P lim Ak = 1.
S∞
 Введём обозначение Bn := Ak . Заметим, что Bn убывают. Тогда по свойству непрерывности меры
n=k

N
!
[
P(Bn ) = lim P Ak . (19)
N →∞
k=n

9
Рассмотрим дополнение:
[
N  \
N  YN N N  XN 
!  Y  !! Y 
P Ak = P Ak = P Ak = 1 − P(Ak ) 6 exp −P(Ak ) = exp − Ak → 0,
k=n k=n k=n k=n k=n k=n

так как ряд расходится. Переход «!» обоснован независимостью Ak , а «!!» — неравенством Бернулли. Переходя
к пределу при N → ∞, получаем, что P lim Ak = 1. 
Задача 1.4 (**). Доказать вторую лемму Бореля – Кантелли для последовательности попарно независи-
мых событий.
Задача 1.5 (**). Назовём событие A «атомом» вероятностного пространства, если оно обладает следу-
ющим свойством: если B ⊂ A, то либо P(B) = 0, либо P(B) = P(A). Доказать, что в любое вероятностное
пространстве разбивается на не более чем счётное число атомов и «непрерывную» часть C, обладающую
следующим свойством: если C ∈ C и P(C) = p, то для ∀ q ∈ [0, p] найдётся Cq ∈ C : P(Cq ) = q.

2. Случайные величины
2.1. Понятие случайного элемента
2.1.1. Измеримые отображения
Определение. Пусть (Ω, F ) и (Θ, B) — измеримые пространства. Отображение ξ : Ω → Θ называется
F |B-измеримым, если для ∀ B ∈ B имеем ξ −1 (B) ∈ F , т. е. прообраз измеримого множества измерим. В теории
вероятностей измеримые отображения называются случайными элементами.
В дальнейшем, если из контекста ясно, какие алгебры заданы на наших пространствах, будем опускать
префикс «F |B» и говорить просто «измеримая функция».
Определение случайной величины напоминает определение непрерывной функции в топологическом про-
странстве. Напомним, что топологическим пространством называется множество X , на котором задана то-
пология, т. е. отмечен класс подмножеств, называемых открытыми, такой, что объединение любого набора
открытых множеств открыто, и пересечение конечного набора открытых множеств открыто. Открытыми счи-
тают также ∅ и все множество X . Непрерывным отображением называется отображение, при котором прообраз
открытого множества открыт. Иными словами, непрерывное отображение f : X → Y должно быль измеримо
относительно топологий на X и Y.
Если в определении случайной величины B = B(R), то F |B-измеримые отображения называют действи-
тельными случайными величинами.
Определение. Борелевским называется отображение, при котором прообраз борелевского множества боре-
левский.

2.1.2. Свойства измеримых функций


Чтобы не загромождать формулировки следующих утверждений, оговоримся сразу о том, что мы будем
рассматривать измеримые пространства (Ω, F ) и (Θ, B) и случайную величину ξ : Ω → Θ.
Теорема 2.1. Пусть B = σ {M}. Чтобы ξ была измеримой функцией, необходимо и достаточно, чтобы
для ∀ С ∈ M было выполнено ξ −1 (C) ∈ F . Иными словами, свойство измеримости можно проверять только
на порождающих элементах σ-алгебры.

 Необходимость очевидна. Достаточность: рассмотрим класс множеств D := D ⊂ Θ : ξ −1 (D) ∈ F , т. е.
класс тех множеств, для которых свойство измеримости выполняется. Оно является S σ-алгеброй,
S так как опера-
ция взятия прообраза сохраняет все теоретико-множественные операции, т. е. ξ −1 ( Bn ) = ξ −1 (Bn ) и т. д. По
условию M ⊂ D, а значит, и σ {M } ⊂ D. Но σ {M} = B, поэтому D совпадает с B. 
Далее ξ : Ω → R — действительная случайная величина, а B = B(R).
Теорема 2.2. Чтобы ξ была случайной величиной, необходимо и достаточно измеримости прообразов лу-
чей (−∞; x], т. е. для ∀ x ∈ R множество {ω : ξ(ω) 6 x} должно содержаться в F .
 Заметим, что B(R) порождается лучами (−∞, x], так как открытое множество на прямой есть объеди-
нение не более чем счётного множества интервалов (возможно, бесконечных), а интервал из лучей соорудить
несложно. Остаётся применить предыдущую теорему. 
Аналогичное утверждение справедливо для открытых лучей вида (−∞; x).
Теорема 2.3. Пусть ξn : Ω → R — последовательность случайных величин. Тогда:
1◦ sup ξn , inf ξn , lim ξn , lim ξn будут случайными величинами;
2◦ Если ξn → ξ, то ξ — случайная величина.

10
 1◦ В самом деле, имеем

\
{ω : sup ξn (ω) 6 x} = {ξn (ω) 6 x} . (1)
| {z }
n=1
событие

Счётное пересечение событий есть событие, поэтому sup ξn измерима. Аналогично inf ξn измерима. Докажем
для верхних и нижних пределов. Имеем lim ξn = lim sup ξn = inf sup ξk . По доказанному функция ηn := sup ξk
n k>n k>n
будет случайной величиной. Точно также и inf ηn будет случайной величиной. Для нижнего предела имеем
lim ξn = lim sup ξn = sup inf ξk , далее рассуждения аналогичны.
n k>n
2◦ Существование предела равносильно совпадению верхнего и нижнего пределов. А по доказанному lim и
lim измеримы, значит, и lim будет измерим. 
Задача 2.1. Рассмотрим последовательность случайных величин ξn : Ω → S, где S — метрическое про-
странство. Доказать, что если ξn → ξ, то ξ ∈ F |B(S).
Лемма 2.4. Рассмотрим измеримые пространства (Ω, F ), (Θ, B), (Λ, A ) и случайные величины ξ ∈ F |B
и η ∈ B|A . Тогда η ◦ ξ ∈ F |A .

 Очевидно: η измерима, поэтому η −1 (A) ∈ B, а так как ξ измерима, то ξ −1 η −1 (A) ∈ F . 
| {z }
∈B
Следствие 2.1. Пусть ξ : Ω → R — случайная величина, а ϕ : R → R — борелевская функция. Тогда ϕ ◦ ξ —
случайная величина.
 Это частный случай предыдущего утверждения: ϕ ∈ B(R)|B(R). 
Следствие 2.2. Пусть ξ : Ω → R — случайная величина, а ϕ — непрерывная функция. Тогда ϕ ◦ ξ —
случайная величина.
 Это опять-таки частный случай первого следствия: непрерывная функция, очевидно, борелевская (про-
образ открытого множества открыт). 
Утверждение 2.5. Пусть ξ, η — действительные случайные величины. Тогда ξ ± η, ξ · η и ηξ (если η 6= 0)
также будут случайными величинами.
 Доказывать можно тремя способами. Первый (короткий): сослаться на следствие предыдущей леммы,
сказав, что арифметические операции на R непрерывны. Второй (подлиннее): открыть учебник М. И. Ульянова
и П. Л. Дьяченко «Мера и интеграл» на странице 44 и найти там полное доказательство этого утверждения.
Третий: немного подумать и доказать утверждение самостоятельно. 

2.1.3. Примеры случайных величин


Пример 1.1. Пусть Ω = [0, 1], F = B(Ω), а P — мера Лебега на Ω. Любая непрерывная функция f : Ω → R
будет случайной величиной.
Пример 1.2. Рассмотрим схему Бернулли. Случайной величины будет, например, количество успехов при
P
n
n испытаниях, т. е. Sn (ω) := ki , где ω = (k1 , . . . , kn ), kn ∈ {0, 1}.
i=1

Пример 1.3. Рассмотрим дискретное вероятностное пространство (Ω, F , P) в котором F = 2Ω . На таком


пространстве любая функция ξ : Ω → R будет случайной величиной, так как прообраз любого множества содер-
жится в 2Ω .

2.2. Распределения случайных элементов. Пополнение вероятностного пространства


2.2.1. Вероятностные меры и распределения случайных величин
Определение. Функцией распределения (действительной) случайной величины ξ называется функция

Fξ (x) := P {ω : ξ(ω) 6 x} . (2)

В дальнейшем для сокращения записи будем в подобных формулах писать просто «P(ξ 6 x)».
Пусть (Θ, B) — измеримое пространство. Покажем, что изучение вероятностных мер на (Θ, B) и случай-
ных элементов со значениями в Θ — это одно и то же. В самом деле, пусть нам дана мера Q. Найдём такое
вероятностное пространство, что распределение некоторого случайного элемента совпадает с Q. Положим

Ω := Θ, F := B, ξ := id : Θ → Θ, P := Q. (3)

Очевидно, что Fξ ≡ FQ (вспомните определение функции распределения меры!).

11
Определение. Индикатором 3 события A ⊂ Ω называется функция
(
1, ω ∈ A;
IA (ω) := (4)
0, ω ∈
/ A.

Задача 2.2. Рассмотрим измеримое пространство (Ω, F ). Доказать, что IA ∈ F |B(R) ⇔ A ∈ F .

2.2.2. Пополнение вероятностного пространства


В теории вероятностей всегда удобно считать вероятностное пространство (Ω, F , P) пополненным. Поясним,
что это означает. Рассмотрим класс N нулевых множеств, т. е. все события A ∈ F такие, что P(A) = 0 и все их
подмножества B ⊂ A (множество B уже не обязательно событие!), т. е.

N = {B : B ⊂ A, A ∈ F , P(A) = 0} . (5)

Пусть F := σ {F , N }.
Утверждение 2.6. F состоит из множеств вида A ∪ C, где A ∈ F , а C ∈ N , и только из них.
Доказательство этого утверждения предоставляется читателю в качестве упражнения (включения ⊃ и ⊂
легко устанавливаются).
Теперь, опираясь на это утверждение, определим на пространстве (Ω, F ) вероятностную меру P следующим
естественным образом:
P(A ∪ C) := P(A), где A ∈ F , C ∈ N . (6)
Все аксиомы вероятности, очевидно, выполняются. Таким образом, получено вероятностное пространство
(Ω, F , P). Оно и называется пополнением пространства (Ω, F , P).
Теперь поясним, собственно, зачем мы его построили. Сначала введём новый вид сходимости.
Определение. Говорят, что последовательность случайных величин ξn сходится к ξ почти наверное (почти
всюду), если ξn → ξ поточечно за исключением множества меры нуль, т. е. ξn → ξ на множестве Ω0 : P(Ω0 ) = 1.
п.н.
Обозначение: ξn −→ ξ.
Утверждение 2.7. Пусть действительные случайные величины ξn сходятся к ξ почти наверное. Тогда ξ
будет случайной величиной на пополнении нашего пространства по мере P.
Доказательство4 этого утверждения мы также предоставляем читателю.
В дальнейшем, когда речь пойдёт о сходимости случайных величин и их математических ожиданий, всегда
под словом «сходимость», как правило, будем иметь в виду сходимость почти наверное и считать пространство
пополненным.

2.3. Независимость случайных величин


2.3.1. Независимые алгебры и случайные величины
Теперь дадим одно из самых важных в теории вероятностей определений.
Определение. Алгебры (или σ-алгебры) A1 , . . . , An ⊂ F называются независимыми, если

P(A1 · . . . · An ) = P(A1 ) · . . . · P(An ) ∀ Ai ∈ Ai . (7)

Определение. Пусть (Ω, F ) и (Θ, B) — измеримые пространства, а ξ : Ω → Θ — случайная величина.


Сигма-алгеброй, порождённой величиной ξ, называется множество

σ {ξ} := ξ −1 (B), B ∈ B . (8)

Определение. Величины ξ1 , . . . , ξn называются независимыми, если σ {ξ1 } , . . . , σ {ξn } независимы.


Иными словами, независимость означает, что
n
\ n
Y
P (ξ1 ∈ B1 , . . . , ξn ∈ Bn ) = {ω : ξi (ω) ∈ Bi } = P(ξi ∈ Bi ). (9)
i=1 i=1

Аналогично событиям определяется последовательность независимых случайных величин.


3 Иногда используется термин «характеристическая функция», однако в теории вероятностей он имеет совсем другой смысл.
4 Его можно прочесть в книге А. В. Булинского и А. Н. Ширяева «Теория случайных процессов».

12
2.3.2. Теорема о булочках с изюмом
Теперь докажем одну из теорем о сходимости последовательности случайных вели-
чин. Рассмотрим куб V с ребром M . Пусть в нём выделено n непересекающихся боре- v2
v1
левских подмножеств vi . Будем бросать точки в куб и считать, сколько их попадает в
каждое подмножество. Вероятность попадания k-й точки в vi равна P(ξk ∈ vi ) = |v i|
|V |
(распределение равномерное, а модуль обозначает меру Лебега). Пусть Yi — число ча-
стиц, попавших в vi . Это случайная величина, так как она равна сумме N индикаторов vn
борелевских множеств (N — общее число частиц):
N
X 
Yi := Ivi ξk (ω) . (10)
k=1

Теорема 2.8. Пусть длина ребра куба стремится к +∞, а плотность частиц стремится к некоторому
(конечному) числу: |VN | → λ > 0. Тогда

Yn
(λ|v1 |)m1 (λ|vn |)mn
P (Y1 = m1 , . . . , Yn = mn ) → exp (−λ|v1 |) · . . . · exp (−λ|vn |) = P(zi = mi ), (11)
m1 ! mn ! i=1

где величины zi имеет пуассоновское распределение с параметром λ|vi |.


 Пусть m0 — число частиц, не попавших ни в одно из vi , а pi — вероятность попадания в vi .
P
n
n
X |V | − |vi |
|vi | i=1
m0 := N − mi , pi := , p0 := . (12)
i=1
|V | |V |

Тогда искомая вероятность равна


N!
· p m0 · p m mn
1 · . . . · pn .
1
(13)
m0 ! · m1 ! · . . . · mn ! 0
Заметим, что
P
n
N! N! mi
=  → N i=1 . (14)
m0 ! Pn
N− mi !
i=1

Тогда  mi  mi


|vi | N |vi |
N mi p m
i
i
= N mi = → (λ|vi |)mi . (15)
|V | |V |
В следующей формуле все операции суммирования — по i от 1 до n. Имеем
 P N −P mi  P N  P  N |V |  X 
|V | − |vi | |vi | |vi | |V |
pm
0 =
0
→ 1− = 1− → exp −λ |vi | , (16)
|V | |V | |V |
так как показатель степени стремится к λ|V |. Теорема доказана. 
Следствие 2.3. Если npn → λ > 0 при n → ∞, то
λm −λ
Cm m
n pn (1 − pn )
n−m
→ e . (17)
m!

2.4. Теорема о монотонных классах и её следствия


2.4.1. π-системы и λ-системы множеств
Определение. Система M подмножеств S называется π-системой, если A, B ∈ M ⇒ A ∩ B ∈ M.
Замечание. Если M — π-система, то можно считать, что S ∈ M.
Определение. Система M называется λ-системой, если:
1◦ S ∈ M;
2◦ A ⊂ B и A, B ∈ M ⇒ B r A ∈ M;
3◦ An ր A и An ∈ M ⇒ A ∈ M.

13
Очевидно, что пересечение π-систем будет π-системой. То же самое верно и для λ-систем.
Будем рассматривать π {K} и λ {K} — наименьшие π-системы и λ-системы, порождённые системой K. Их
существование доказывается аналогично соответствующему утверждению для σ-алгебр.
Лемма 2.9. Множество A является σ-алгеброй тогда и только тогда, когда оно является π-λ-системой.
 Честно проверяем аксиомы: замкнутость относительно пересечения уже есть, счётная аддитивность
легко выводится из свойства 3◦ определения λ-системы. Всё остальное совсем очевидно. 
Теорема 2.10 (О монотонных классах). Пусть π-система M содержится в λ-системе D. Тогда σ-ал-
гебра, натянутая на M, совпадает с λ-системой, порождённой M, т. е. σ {M} = λ {M} ⊂ D.
 Без потери общности можно считать, что D = λ {M}. Покажем, что D замкнуто относительно пересе-
чения, откуда по предыдущей лемме и будет следовать, что D есть σ-алгебра, так как это будет π-λ-система.
Рассмотрим произвольные множества A, B ∈ D и докажем, что A ∩ B ∈ D. Пусть B ∈ M. Рассмотрим класс
FB таких множеств A, для которых утверждение верно, т. е. FB := {A ∈ D : A ∩ B ∈ D}. Легко видеть, что этот
класс является λ-системой, а значит, он совпадает с D. Аналогично, фиксировав множество A, рассмотрим класс
GA := {B ∈ D : A ∩ B ∈ D}. Это также будет λ-система, поэтому GA = D для ∀ A ∈ D. Значит, A ∩ B ∈ D для
любых A, B ∈ D. 

2.4.2. Следствия
Теорема 2.11. Рассмотрим вероятностное пространство (Ω, F , P). Пусть A = σ {K}, где K — π-система
подмножеств Ω, а Q — некоторая вероятностная мера. Пусть P = Q на K. Тогда P = Q на A .
 Рассмотрим совокупность M множеств A ∈ F таких, что P(A) = Q(A). Она является λ-системой,
поэтому если An ր A, где An ∈ M, то и A ∈ M. В силу непрерывности P имеем P(An ) → P(A). Но P(An ) =
Q(An ) по определению класса M. Значит, P(A) = Q(A). 
Следствие 2.4. Пусть P, Q — меры на B(R), а F (x) и G(x) — их функции распределения. Пусть F = G.
Тогда меры P и Q совпадают на B(R).

 Действительно, очевидно, что класс M := (−∞; x], x ∈ R есть π-система. Кроме того, σ {M} = B(R).
Остается воспользоваться только что доказанной теоремой. 
Задача 2.3. Пусть A = σ {K}, где K — алгебра. Тогда для ∀ ε > 0 и для ∀ A ∈ A найдётся множество
Aε ∈ K такое, что P(A△Aε ) < ε.
Решение. Нужно всего лишь вспомнить теорему о продолжении меры (Каратеодори). 
Покажем теперь, что свойство независимости σ-алгебр можно проверять только на порождающих элементах,
если они образуют π-системы.
Теорема 2.12. Пусть A1 , . . . , An ⊂ F , где Ai = σ {Mi }, а Mi — π-системы. Пусть также для событий
Ai ∈ Mi справедливо равенство
P(A1 · . . . · An ) = P(A1 ) · . . . · P(An ). (18)
Тогда оно верно и для любых событий Ai ∈ Ai .
 Зафиксируем Ai ∈ Mi для i = 2, n. Рассмотрим класс событий K1 таких, что (18) верно для любого
A1 ∈ K1 . Легко видеть, что K1 будет λ-системой. Применяя теорему о монотонных классах, получаем, что
формула верна для любого A1 ∈ A1 . Далее, аналогично зафиксируем все множества, кроме A2 , и т. д. Тем
самым утверждение будет доказано для любых событий из A1 , . . . , An . 
Следствие 2.5. Независимость действительных случайных величин ξ1 , . . . , ξn равносильна тому, что для
∀ x1 , . . . , xn ∈ R совместная вероятность равна произведению вероятностей:
n
Y
P(ξ1 6 x1 , . . . , ξn 6 xn ) = P(ξi 6 xi ). (19)
i=1

Лемма 2.13. Пусть ξ1 , . . . , ξn — независимые случайные величины, а f1 , . . . , fn : R → R — борелевские


функции. Тогда функции f1 (ξ1 ), . . . , fn (ξn ) также независимы.
 В самом деле,    
−1 −1 −1

σ {fi (ξi )} = fi (ξi ) (B) = ξi fi (B) ⊆ σ {ξi } . (20)
| {z }
∈B(R)

Значит, определение независимости будет выполнено и для σ-алгебр σ {fi (ξi )}. 
Теперь обобщим утверждение леммы. Покажем, что борелевские функции от непересекающихся наборов
независимых случайных величин независимы.

14
Теорема 2.14. Рассмотрим независимые действительны случайные величины ξ1 , . . . , ξn и некоторые бо-
релевские функции f1 (x1 , . . . , xk1 ), . . . , fs (xkm , . . . , xn ). Тогда композиции f (ξ1 , . . . , ξk1 ), . . . , f (ξkm , . . . , ξn ) также
независимы.
 Легко видеть, что свойство независимости  справедливо для «параллелепипедов», т. е. множеств вида
B = C1 × . . . × Ck , где Ci ∈ B(R), для которых (x1 , . . . , xk ) ∈ B = x1 ∈ C1 , . . . , xk ∈ Ck . Параллелепипеды
образуют π-систему. Остаётся применить первое следствие из теоремы о монотонных классах (теорему 2.11). 

2.5. Построение случайных величин с заданным распределением


2.5.1. Последовательности равномерно распределённых величин
Рассмотрим независимые случайные величины ξk , принимающие только значения 0 и 1 с одинаковой веро-
ятностью p = 21 . Рассмотрим также величину

X ξk (ω)
ξ := . (21)
2k
k=1

Лемма 2.15. Величина ξ имеет равномерное распределение на [0, 1].


 Заметим сначала, что ξ будет случайной величиной, так как это предел суммы сходящегося ряда. Пусть
x ∈ [0, 1] имеет двоичное разложение
X∞
xk
x= . (22)
2k
k=1

Найдём функцию распределения ξ:


 !
P(ξ < x) = P {ξ1 < x1 } ∪ {ξ1 = x1 , ξ2 < x2 } ∪ {ξ1 = x1 , ξ2 = x2 , ξ3 < x3 } ∪ . . . =
X∞
! !!
= P (ξ1 = x1 , . . . , ξk−1 = xk−1 , ξk < xk ) =
k=1

X ∞
!!  X xk 
= P(ξ1 = x1 ) · . . . · P (ξk−1 = xk−1 ) · P (ξk < xk ) = = x = P [0, x] ,
2k
k=1 k=1

что и означает равномерную распределённость. Переход «!» обусловлен тем, что рассматриваемые события не
пересекаются, а равенство «!!» — независимостью величин ξk . 
Теперь построим не одну равномерно распределённую величину, а сразу много. Для этого запишем наши
величины ξk в виде таблицы, заполняя её по диагоналям:

ξ1 ξ2 ξ4 ξ7 . . .
ξ3 ξ5 ξ8 . . .
(23)
ξ6 ξ9 . . .
ξ10 ...
Перенумеруем ξk индексами по строкам и столбцам, получим величины ξij . Получатся последовательности
{ξij }∞
j=1 (при фиксированном i) независимых случайных величин, так как они являются подпоследовательно-
стями в последовательности независимых величин {ξk }. Рассмотрим теперь величины

X ξnk (ω)
ηn := . (24)
2k
k=1

По только что доказанной лемме они имеют равномерное распределение на [0, 1]. Остаётся показать их незави-
симость. Рассмотрим конечные суммы
m
X ξnk (ω)
θnm := → ηn , m → ∞. (25)
2k
k=1

Они будут независимыми как (борелевские) функции от непересекающихся наборов случайных величин. Довести
доказательство до конца, сославшись на непрерывность вероятности в нуле и равномерную распределённость
величин ηn , мы предоставляем читателю.

15
2.5.2. Построение произвольной последовательности вероятностных мер
Определение. Закон распределения случайной величины ξ : Ω → R есть

Law(ξ) = Pξ (B) := P ξ −1 (B) . (26)

Теперь определим нечто вроде «обратной функции» для функций распределения.


Определение. Пусть x ∈ (0, 1). Положим

F −1 (y) := inf {x : F (x) > y} , (27)

то есть из всевозможных прообразов берём их нижнюю грань.


Лемма 2.16. Для ∀ z ∈ R имеет место равенство множеств

x ∈ (0, 1) : F −1 (x) 6 z = {x ∈ (0, 1) : x 6 F (z)} . (28)

 Если x 6 F (z), то по определению


 F −1 (x) 6 z. Таким образом, включение «⊇» установлено.
 Наоборот,
если F (x) 6 z, то F F (x) 6 F (z), так как F неубывает. Покажем, что x 6 F F −1 (x) для ∀ x ∈ (0, 1).
−1 −1

Пусть F −1 (x) = a. Рассмотрим последовательность yn ց a. Тогда F (yn ) > a всилу неубывания F . Функция F
непрерывна справа, поэтому F (yn ) → F (a). Переход к пределу даёт F F −1 (a) > a. 
Следствие 2.6. Пусть ν имеет равномерное
 распределение на [0, 1], а F — функция распределения неко-
торой меры Q на B(R). Тогда Law F −1 (ν) = Q.
 ! 
 Действительно, P F −1 (ν) 6 z = P ω : ν(ω) 6 F (z) = F (z), так как распределение равномерно. Равен-
ство «!» обусловлено леммой. 
Таким образом, имея равномерно распределённую величину ξ, можно построить случайную величину с про-
извольной функцией распределения.
А вот теперь настало время прояснить, зачем всё это нам потребовалось.
Теорема 2.17. Пусть задана последовательность {Qn } вероятностных мер на B(R), т. е. последователь-
ность {Fn } их функций распределения. Тогда на некотором вероятностном пространстве существуют неза-
висимые случайные величины ξn c функциями распределения Fn , т. е. Law(ξn ) = Qn .
 Построим последовательность независимых случайных величин {νn }, равномерно распределённых на
[0, 1]. Положим ξn := Fn−1 (νn ). Величины ξn будут независимыми как борелевские функции от независимых
величин. По следствию из леммы их законы распределения суть в точности Qn . 

3. Математическое ожидание
3.1. Интеграл Лебега по вероятностной мере
3.1.1. Определение интеграла Лебега
Как обычно, мы рассматриваем вероятностное пространство (Ω, F , P).
Определение. Случайная величина ξ : Ω → R называется простой, если она представима в виде
n
X
ξ(ω) = ai IAi (ω), (1)
i=1

где A1 , . . . , An — разбиение Ω.
Математическое ожидание определяется в три этапа: сначала для простых случайных величин, потом для
произвольных неотрицательных, и только потом для любых. Приступим. . .
Определение. Интегралом Лебега по вероятностной мере P (математическим ожиданием) простой слу-
чайной величины ξ называется число
Xn
Eξ := ak P(Ak ). (2)
i=1

Задача 3.1. Показать, что значение Eξ не зависит от разбиения, т. е.


n
X m
X n
X m
X
ξ= ai IAi = bj IBj ⇒ Eξ = ai P(Ai ) = bj P(Bj ). (3)
i=1 j=1 i=1 j=1

16
Решение. Достаточно перейти к более мелкому разбиению, т. е. к попарным пересечениям всех Ai и Bj . 
Очевидно, что для простых случайных величин верны свойства:
1◦ E(cξ) = cEξ;
2◦ E(ξ ± η) = Eξ ± Eη;
3◦ ξ 6 η ⇒ Eξ 6 Eη (в частности, ξ > 0 ⇒ Eξ > 0).
Теперь определим математическое ожидание произвольной неотрицательной величины.
Определение. Пусть ξ > 0. Положим
Eξ := sup {Eη : η 6 ξ} , (4)
где η — простые случайные величины.
Замечание. Для неотрицательных случайных величин математическое ожидание определено всегда, однако
оно может принимать бесконечные значения.
Наконец, определим Eξ для произвольной величины ξ. Для этого введём следующие обозначения:
ξ + := max {ξ, 0} , ξ − := − min {ξ, 0} . (5)

Определение. Пусть ξ — действительная случайная величина. Положим


 
Eξ := E ξ + − E ξ − . (6)
При этом говорят, что математическое ожидание существует, если хотя бы одно из значений E (ξ + ) и E (ξ − )
конечно, причём C + ∞ := +∞, а C − ∞ := −∞. В противном случае Eξ не определено.
В дальнейшем будем говорить, что математическое ожидание существует, если интегралы от положительной
и отрицательной части конечны.
Интеграл Лебега обозначается так:
Z Z
Eξ = ξ dP = ξ(ω) P(dω). (7)
Ω Ω

Если ξ интегрируема по Лебегу, пишут ξ ∈ L1 .


Обозначение «E» происходит от французского «espérance mathématique». Иногда используется буква «M»,
происходящая от английского «mean value» (среднее значение), что лучше отражает смысл данного понятия.
Замечание. Интеграл Лебега относится к числу абсолютных интегралов, т. е. f ∈ L1 ⇔ |f | ∈ L1 .

3.1.2. Свойства математического ожидания


Далее будем рассматривать случайную величину ξ : Ω → R.
Следующее утверждение, несмотря на свою очевидность, чрезвычайно важно и будет многократно приме-
няться ниже.
Лемма 3.1 (об аппроксимации). Пусть ξ > 0. Тогда существует последовательность простых случай-
ных величин {ξn } такая, что ξn ր ξ.
 Построим «ступенчатые» функции, уменьшая высоту ступенек со скоростью 2−n и наращивая высоту
«лестницы» со скоростью n. Там, где наша функция оказывается между ступеньками, берем нижнюю границу,
а выше уровня n «срезаем» функцию. Более формально, положим
(
k2−n , k2n 6 ξ(ω) < (k + 1)2−n ;
ξn := где k = 0, 2n − 1. (8)
n, ξ(ω) > n,

Это — искомая последовательность. Сходимость к ξ и неубывание последовательности очевидны. 


Лемма 3.2. Пусть 0 6 ξn ր ξ, где ξn — простые случайные величины. Тогда Eξn → Eξ.
 Положим a := lim Eξn и покажем, что a = Eξ. По определению математического ожидания Eξn 6 Eξ,
а значит, и a 6 Eξ. Докажем обратное неравенство, т. е. что a > Eη для любой простой величины 0 6 η 6 ξ.
Пусть η принимает значения a1 , . . . , ak на множествах A1 , . . . , Ak соответственно. Фиксируем ε ∈ (0, 1). Введём
случайные величины
ηn := (1 − ε)η · I{(1−ε)η6ξn } . (9)
Рассмотрим множества Ain := Ai ∩ {(1 − ε)η 6 ξn }. Очевидно, что Ain ր Ai при n → ∞. Значит, P(Ain ) → P(Ai )
при n → ∞. Тогда
Xk k
X
Eηn = (1 − ε) ai P(Ain ) → (1 − ε) ai P(Ai ) = (1 − ε)Eη. (10)
i=1 i=1

17
Значит, (1 − ε)Eη 6 a, а так как ε произвольно, то Eη 6 a. 
Теорема 3.3. Множество интегрируемых функций L1 есть векторное пространство, а E — линейный
п.н.
оператор на L1 . Если ξ > 0, то и Eξ > 0. Если 0 6 η 6 ξ и ξ ∈ L1 , то и η ∈ L1 . Если ξ = η, то Eξ = Eη.
 Докажем первое утверждение теоремы. Если ξ и η — простые случайные величины, то αξ +βη — простая
случайная величина, и E(αξ+βη) = αEξ+βEη для любых α, β ∈ R. Если ξ, η > 0, то построим последовательности
0 6 ξn ր ξ и 0 6 ηn ր η. Тогда E(ξn + ηn ) = Eξn + Eηn , а по предыдущей лемме E(ξn + ηn ) ր E(ξ + η) и
Eξn + Eηn ր Eξ + Eη. Далее, если C > 0, то Cξn ր Cξ, поэтому E(Cξ) = CEξ.
Покажем теперь, что если ξ, η > 0, то
E(ξ − η) = Eξ − Eη. (11)
По определению, E(ξ − η) = E(ξ − η)+ − E(ξ − η)− . Так как (ξ − η)+ + η = ξ + (ξ − η)− , и каждое слагаемое справа
и слева неотрицательно, то E(ξ − η)+ + Eη = Eξ + E(ξ − η)− , а это равносильно (11). Представляя каждое из
слагаемых в виде разности двух неотрицательных, получаем

E(ξ + η) = E (ξ + + η + ) − (ξ − + η − ) = (Eξ + + Eη + ) − (Eξ − + Eη − ) = Eξ + Eη. (12)

Таким образом, первое утверждение доказано для любых ξ, η ∈ L1 .


Второе и третье утверждение теоремы очевидны. Докажем четвёртое утверждение. Как видно из доказа-
тельства первой части, можно рассматривать лишь случай ξ, η > 0. Пусть событие A := {ξ = η}. Построим
0 6 ξn ր ξ и 0 6 ηn ր η. Тогда Eηn ր Eη. Имеем

Eηn = E(ηn IA ) + E(ηn IA ). (13)

Возьмём ηn из леммы об аппроксимации. Так как P(A) = 0, то Eηn = E(ηn IA ) = E(ξn IA ) → E(ξIA ) = Eξ. 
Как известно, интеграл от произведения функций в общем случае не равен произведению интегралов. А вот
если случайные величины независимы, то оказывается, что это всегда верно. Настало время это доказать.
Теорема 3.4. Пусть ξ, η ∈ L1 — независимые случайные величины. Тогда (ξ · η) ∈ L1 и E(ξ · η) = Eξ · Eη.
 Очевидно, что ξ + , η + и ξ − , η − — также независимые величины (это борелевские функции от независимых
величин). Покажем, что E(ξ + ·η + ) = E(ξ + )·E(η + ). Снова построим величины 0 6 ξn ր ξ и 0 6 ηn ր η. Величины
ξn и ηn будут независимыми. Имеем
k
X m
X
(n) (n)
ξn = ai IA(n) , ηn = bj IB (n) . (14)
i j
i=1 j=1

(n) (n)  (n)  (n) 


Пользуясь тем, что P Ai · Bj = P Ai · P Bj , перемножим ряды, и получим, что E(ξn ηn ) = Eξn Eηn .
Остаётся перейти к пределу при n → ∞. 

3.1.3. Теоремы о предельном переходе под знаком интеграла Лебега


Следующая теорема является обобщением уже полученных результатов.
Теорема 3.5 (о монотонной сходимости). Пусть 0 6 ξn ր ξ. Тогда Eξn ր Eξ.
 Построим простые величины ηnk ր ξn при k → ∞.

η11 6 η12 6 . . . 6 η1k 6 . . . ր ξ1


6

.. ..
. .
6

ηk1 6 ηk2 6 . . . 6 ηkk 6 . . . ր ξk

Положим
ζk := max ηij = max ηnk . (15)
16i,j6k 16i6k

Это будет возрастающая последовательность простых случайных величин. Пусть ζk ր ζ. Имеем

0 6 ηnk 6 ζk 6 ξk 6 ξ. (16)

Устремим k → ∞, получим ξn 6 ζ 6 ξ. Теперь устремим n → ∞, получим ξ 6 ζ 6 ξ, откуда ζ = ξ.

18
В силу неравенства (16) Eηnk 6 Eζk 6 Eξk . В пределе при k → ∞ получаем Eξn 6 Eζ 6 lim Eξk . Переходя к
пределу при n → ∞, получаем lim Eξn 6 Eζ 6 lim Eξk . Но ζ = ξ, поэтому lim Eξn = Eξ. 
P∞ ∞
P
Следствие 3.1. Пусть ξn > 0. Тогда E ξn = Eξn .
n=1 n=1
 Нужно рассмотреть (неубывающую) последовательность частичных сумм и применить теорему. 
P
∞ P
∞ P
∞ P

Следствие 3.2. Пусть E|ξn | сходится. Тогда ξn сходится почти наверное и E ξn = Eξn .
n=1 n=1 n=1 n=1
 В самом деле, если бы функциональный ряд расходится на множестве положительной меры, то расхо-
дится и ряд из модулей. Но тогда расходится и ряд из интегралов от модулей. Противоречие. 
Задача 3.2. Доказать более общую теорему: пусть η 6 ξn ր ξ, где Eη > −∞. Тогда Eξn ր Eξ.
Лемма 3.6 (Фату). Пусть η 6 ξn , и Eη > −∞. Тогда E lim inf ξn 6 lim inf Eξn .
 Имеем
ξ := lim inf ξn = lim inf ξk . (17)
n k>n
| {z }
ηn

Тогда ηn ր ξ, и η 6 ηn 6 ξn . Из этого неравенства и теоремы о монотонной сходимости (точнее, из задачи 3.2)


следует, что Eξ = lim Eηn 6 lim inf Eξn . 
Теорема 3.7 (Лебега о мажорируемой сходимости). Пусть ξ, η — случайные величины, и ξn → ξ, и
|ξ| 6 η. Пусть η ∈ L1 . Тогда Eξn → Eξ.
 Имеем −ξn > −η и E(−η) > −∞. По лемме Фату

E lim inf(−ξn ) 6 lim inf E(−ξn ) ⇒ E(− lim sup ξn ) 6 − lim sup Eξn . (18)
Выносим минус за знак E, и получаем E(lim sup ξn ) > lim sup Eξn . Таким образом,
E lim sup ξn > lim sup Eξn > lim inf Eξn > E lim inf ξn . (19)
Отсюда всё следует, так как ξ = lim ξn = lim inf ξn = lim sup ξn , а потому Eξ > lim sup Eξn > lim sup Eξn > Eξ.
Следовательно, lim Eξn = Eξ. 
Теорема 3.8. Пусть (Ω, F , P) и (Θ, B, Pξ ) — вероятностные пространства, где ξ : Ω → Θ — случайная
величина, а Pξ = Law(ξ). Пусть также ϕ : Θ → R — борелевская функция. Тогда
Z Z
 
Eϕ ξ(ω) = ϕ ξ(ω) P(dω) = ϕ(θ) Pξ (dθ). (20)
Ω Θ

 Докажем утверждение сначала для индикаторов. Имеем


Z
 def
EIB ξ(ω) = P (ξ ∈ B) = Pξ (B) = IB (θ) Pξ (dθ). (21)
Θ

P
n
Для простой функции ϕ = ak IAk утверждение также справедливо по линейности интеграла.
k=1
Теперь пусть ϕ > 0. Построим простые функции 0 6 ϕn ր ϕ. По теореме о монотонной сходимости
Z Z
Eϕn (ξ) = ϕn (θ) Pξ (dθ) → ϕ(θ) Pξ (dθ) = Eϕ(ξ), n → ∞. (22)
Θ Θ
+ −
В общем случае рассмотрим ϕ и ϕ и повторим предыдущее рассуждение. 
Замечание. Как уже было замечено выше, все теоремы о сходимости случайных величин можно перефор-
мулировать в терминах сходимости почти наверное, пополнив вероятностное пространство, поскольку значение
интеграла не зависит от значений функции на множестве меры нуль.
Далее будем рассматривать вероятностное пространство с σ-конечной мерой, т. е. такое, которое можно раз-
бить на счётное число подмножеств, каждое из которых имеет конечную меру.
Определение. Пусть ξ — случайная величина. Говорят, что она обладает плотностью, если её функция
распределения представляется интегралом от неотрицательной функции p(t):
Zx
Fξ (x) = p(t) dt. (23)
−∞

19
Очевидно, что если функция f интегрируема по Риману, то она интегрируема по Лебегу и интегралы совпа-
дают. Если же существует несобственный интеграл Римана у |f |, то существует и интеграл Лебега и они также
совпадают.
Пусть p(t) — плотность величины ξ. Введём функцию
Z Z
Q(B) := p(t) dt = p(t)IB (t) dt. (24)
B R

Эта функция является мерой на B(R), так как


[  Z X XZ X
Q Bi = p(t) IBi (t) dt = p(t)IBi (t) dt = Q(Bi ). (25)
R R

 Rx
Имеем Q (−∞, x] = p(t) dt = Fξ (x). Значит, Q = Pξ .
−∞
Теорема 3.9. Пусть случайная величина ξ имеет плотность p(t), а ϕ — борелевская функция. Тогда
Z Z

E ϕ(ξ) = ϕ(x) Pξ (dx) = h(t)p(t) dt. (26)
R R

3.2. Дисперсия и ковариация. Пространство Lp


3.2.1. Определения и свойства
Определим понятие «момента инерции» случайной величины — величину среднеквадратичного отклонения
от своего среднего значения.
Определение. Пусть существует Eξ 2 . Дисперсией величины ξ называется число

Dξ := E(ξ − Eξ)2 . (27)

Рассмотрим множество Lp случайных величин ξ на вероятностном пространстве (Ω, F , P), у которых суще-
ствует E|ξ|p , где p ∈ (1, ∞) — некоторое (фиксированное) число. Введём на нём отношение эквивалентности:
p
ξ ∼ η ⇔ ξ = η. Положим Lp := L ∼ — пространство классов эквивалентных функций, интегрируемых вместе
п.н.

со своей p-й степенью.


Пространство L2 является полным нормированным (гильбертовым) пространством. Скалярное произведе-
ние вводится так: Z
hX, Y i := XY dP. (28)

Очевидно, что это симметричная билинейная положительно определённая форма. Как будет показано ниже,
п.н.
hX, Xi = 0 ⇔ X = 0.
Таким образом, Dξ имеет смысл, если ξ ∈ L2 .
Раскрывая скобки в определении дисперсии, по свойству линейности получаем
2   2
Dξ = E (ξ − Eξ) = E ξ 2 − 2ξEξ + (Eξ)2 = E(ξ 2 ) − (Eξ) . (29)

Теперь определим «скалярное произведение» случайных величин.


Определение. Ковариацией величин ξ, η ∈ L2 называется число
 
cov(ξ, η) := E (ξ − Eξ)(η − Eη) . (30)

Определение корректно в силу неравенства |XY | 6 21 |X|2 + |Y |2 , где X := ξ − Eξ, а Y := η − Eη.
Если в определении раскрыть скобки, получится ещё одна хорошая формула для ковариации:

cov(ξ, η) = E(ξ · η) − Eξ · Eη. (31)


Замечание. Если ξ, η — независимые случайные величины, то cov(ξ, η) = 0, так как EξEη = Eξη. Обрат-
ное, однако, неверно: существуют зависимые случайные величины, с нулевой ковариацией. В качестве примера
годятся, скажем, sin ν и cos ν, где величина ν равномерно распределена на [0, π].

20
Теперь сформулируем некоторые свойства дисперсии и ковариации. Очевидно, что ковариация если симмет-
ричная билинейная функция на L2 , именно потому она имеет сходство со скалярным произведением. Кроме
того, Dξ = cov(ξ, ξ), и D(Cξ) = C 2 Dξ.
Из свойства билинейности и симметричности ковариации следует, что
n
X n X
X n n
X X n
X X
D ξk = cov(ξi , ξj ) = Dξk + cov(ξi ξj ) = Dξk + 2 cov(ξi , ξj ). (32)
k=1 i=1 j=1 k=1 i6=j k=1 i<j
P P
Если же ξk попарно независимы, то D ξk = Dξk .
 
Пример 2.1. Пусть P(ξ = 1) = p, P(ξ = 0) = 1 − p. Тогда Eξ = p, а Dξ = E ξ 2 − Eξ 2 = p(1 − p).

3.2.2. Неравенство Чебышева


Лемма 3.10 (неравенство Чебышева5 для Lp ). Для ∀ α > 0 выполняется неравенство
Z
αp · P {x : |f (x)| > α} 6 |f (x)|p dP. (33)

 Пусть L := {ω : |f (x)| < α}, а G := Ω r L. Тогда


Z Z Z Z
|f |p dP = |f |p dP + |f |p dP > |f |p dP. (34)
Ω L G G
R
Последний интеграл оценим снизу числом αp P(G), ибо |f |p > αp на G. Значит, |f |p dP > αp · P {|f | > α}. 

На языке теории вероятностей это неравенство при p = 1 переформулируется так:
E|ξ|
P (|ξ| > ε) 6 . (35)
ε
п.н.
Следствие 3.3. Dξ = 0 ⇔ E|ξ| = 0 ⇔ ξ = 0.
 Справа налево утверждение очевидно. Наоборот: положим α = n1 для ∀ n ∈ N. Тогда по условию и
доказанному неравенству P |ξ| > n1 6 n · E|ξ| = 0. Так как n произвольно, то P (|ξ| =
6 0) = 0. 
Ещё одно следствие леммы будет много раз применяться в следующей главе.
Следствие 3.4 (неравенство Чебышева).
 Dξ
P |ξ − Eξ| > ε 6 2 . (36)
ε

 Рассмотрим случайную величину η := ξ − Eξ и запишем для неё неравенство Чебышева для L2 . Это и
будет требуемое неравенство, так как Eη 2 = Dξ. 

4. Сходимость случайных величин. Закон больших чисел


4.1. Закон больших чисел
4.1.1. Простейший вариант ЗБЧ
P
Определение. Говорят, что ξn → ξ по вероятности, и пишут «ξn −→ ξ», если для ∀ ε > 0 вероятность
отклонения ξn от ξ на величину ε стремится к нулю:

P |ξn − ξ| > ε → 0, n → ∞. (1)

Докажем теперь один из фундаментальных результатов теории вероятностей.


Теорема 4.1 (Закон больших чисел). Пусть {ξn } — последовательность попарно независимых случай-
ных величин. Пусть также их дисперсии ограничены в совокупности: Dξn 6 C < ∞ для ∀ n. Тогда
n n
1X P 1
X
ξk −→ Eξk . (2)
n n
k=1 k=1
5 Эта лемма в явном виде не доказывалась на лекциях, но она сильно сокращает дальнейшие выкладки.

21
1
P
n 
 Введём обозначение: ξ := n ξk . Нужно показать, что P |ξ − Eξ| > ε → 0. По неравенству Чебышева
k=1
n
X n
 Dξ 1 ! 1 X C·n C
P |ξ − Eξ| > ε 6 2 = 2 2 D ξk = 2 2 Dξk 6 2 2 = 2 → 0, n → ∞. (3)
ε n ε n ε n ε nε
k=1 k=1

Равенство «!» обусловлено попарной независимостью. 


Иными словами, при большом количестве случайных испытаний отклонение от среднего значения неслучай-
но. Это явление, замеченное уже давно, как мы сейчас убедились, имеет строгое математическое обоснование.
Следствие 4.1. В схеме испытаний Бернулли средняя частота успехов стремится к p.

4.1.2. Теорема Вейерштрасса


Покажем, как теперь можно сравнительно просто доказать теорему о плотности многочленов в C[0, 1].
Теорема 4.2. Пусть f ∈ C[0, 1]. Тогда найдётся последовательность многочленов {Pn } таких, что Pn ⇉
f.
 В силу непрерывности на компакте f ограничена по модулю числом M и равномерно непрерывна на
нём. Определим многочлены Бернштейна
n
X  
k
Bn (f, p) := f Ckn pk (1 − p)n−k . (4)
n
k=0
0
Для удобства считаем, что 0 = 1 и Bn (f, 0) = f (0), а Bn (f, 1) = f (1). Введём независимые величины
(
1 с вероятностью p;
ξk := (5)
0 с вероятностью (1 − p).
Пусть σn := ξ1 + . . . + ξn , тогда P(σn = k) = Ckn pk (1 − p)n−k . Теперь заметим, что
σ  X n  
n k
Ef = f · P(σn = k) = Bn (f, p). (6)
n n
k=0

Приступим у оценке разности. Так как E(const) = const, и |Eξ| 6 E|ξ|, то имеем
 σ   σ 
n n
|f (p) − Bn (f, p)| = Ef (p) − Ef 6 E f (p) − f = (∗). (7)
n n
 σn
Пусть событие A := n − p < δ , где δ > 0. Тогда, разбивая разность на две части и оценивая вторую по
неравенству Чебышева, получаем
 σ   σ   σ   σ 
n n n n
(∗) = E f (p) − f · IA + E f (p) − f · IA 6 ωf (δ) · P − p < δ +2M · P − p > δ 6
n n | n {z } n
61
 n
D σn
1 X np(1 − p) M
n
6 ωf (δ) + 2M · = ωf (δ) + 2M · Dξk = ωf (δ) + 2M · 6 ωf (δ) + → 0, n → ∞,
δ2 n2 δ 2 2
n δ 2 2nδ 2
k=0

так как max p(1 − p) = 14 , а модуль непрерывности f стремится к нулю при достаточно малых δ. 
[0,1]

4.2. Различные виды сходимости и их взаимосвязь


4.2.1. Теорема Пуассона
4.2.2. Сходимость по вариации
4.2.3. Сходимость по распределению и слабая сходимость
4.2.4. Сходимость почти всюду и сходимость по вероятности
4.3. Усиленные законы больших чисел и их следствия
4.3.1. УЗБЧ для некоррелированных величин
Теорема 4.3. Пусть X1 , . . . , Xn , . . . — случайные величины такие, что DXk 6 c < ∞ ∀k и cov Xi Xj = 0
∀i 6= j (т.е. случайные величины X1 , . . . , Xn , . . . некоррелированы). Тогда
n n
1X 1X п.н.
Xk − EXk −→ 0, n−
→ ∞. (8)
n n
k=1 k=1

22
 Без ограничения общности можно считать, что EXk = 0 ∀k. Действительно, иначе рассмотрим случайные
ek = 0 ∀k и 1 P Xk −
n
величины Xek = Xk − EXk . Для них DXek = DXk 6 c, cov X ei X
ej = cov Xi Xj = 0, EX
n
k=1
P
n P
n
1
EXk = 1 ek .
X
n n
k=1 k=1
Для каждого n > 2 найдем m(n) ∈ N: m(n)2 < n 6 (m(n) + 1)2 . Очевидно, m(n) ր ∞. Обозначим Sn = X1 +
|Sn | |Sm(n)2 | + Zm(n)

. . . + Xn . Тогда 6 , где Zm(n) := max Xm(n)2 +1 + . . . + Xm(n)2 +k (напоминаем, что
n n 16k62m(n)+1

2 2 |Sn | |Sm(n)2 | + Zm(n) Sm(n)2 Zm(n)


(m(n) + 1) = m(n) + 2m(n) + 1). Далее, имеем 6 6 2 + 2 , поэтому достаточно
n n m(n) m(n)
Sm(n)2 п.н. Zm(n) п.н.
доказать, что 2 −→ 0 и 2 −→ 0 при n − → ∞.
m(n) m(n) 
|Sm2 (ω)|
Для ∀ε > 0 рассмотрим P ω : m2 > ε . По неравенству Чебышёва и используя условия DXk 6 c < ∞
∀k и cov Xi Xj = 0 ∀i 6= j, получаем
2
P
m
  DXk
|Sm2 (ω)| DSm2 k=1 cm2 c
P ω: 2
> ε 6 2 4
= 2 4
6 2 4 = 2 2.
m ε m ε m ε m ε m

P   P∞
|Sm2 (ω)| 1
Следовательно, P m2 > ε 6 εc2 m2 < ∞. По лемме Бореля–Кантелли отсюда следует, что ∀ω ∈ Ω0 ,
m=1 m=1
|S 2 (ω)| S 2 п.н.
P(Ω0 ) = 1 ∃N (ω) : m 2 6 ε ∀m > N . А это и означает, что m2 −→ 0, m − → ∞.
m m
Zm
Теперь рассмотрим m2 . Имеем:
  [ 
2m+1 ! 2m+1
X  
|Zm | 2 2
P >ε =P |Xm2 +1 + . . . + Xm2 +k | > εm 6 P |Xm2 +1 + . . . + Xm2 +k | > εm ,
m2
k=1 k=1

и применяя неравенство Чебышёва и условия теоремы, отсюда получаем:


  2m+1
X
|Zm | D(Xm2 +1 + . . . + Xm2 +k ) c(2m + 1) 2c
P >ε 6 6 ∼ 2 3, m−
→ ∞,
m2 ε 2 m4 ε 2 m4 ε m
k=1

P
∞  Zm Zm п.н.
поэтому > ε < ∞. Снова по лемме Бореля–Кантелли получаем
P m2 −→ 0, m −
→ ∞. А так как
m=1 m2
Zm(n) п.н.
m(n) ր ∞ при n −
→ ∞, то и 2 −→ 0, n −
→ ∞. Теорема доказана. 
m(n)

4.3.2. Теорема Этемади


Теорема 4.4 (Этемади). Пусть X1 , X2 , . . . — попарно независимые одинаково распределенные случайные
величины, E|X1 | < ∞. Тогда
Sn п.н.
−→ EX1 , n − → ∞, (9)
n
где Sn = X1 + . . . + Xn .
Замечание. Если случайные величины Xn > 0, одинаково распределены, некоррелированы (т.е. cov Xi Xj =
0 ∀i 6= j) и существует E|X1 | < ∞, то соотношение (9) следует из теоремы 4.3.
 Покажем сначала, что достаточно рассмотреть случай неотрицательных случайных величин Xn . Дей-
ствительно, если они любого знака, то представляем их в виде Xn = Xn+ − Xn− = x+ (Xn ) − x− (Xn ), где
x+ = max(0, x), x− = x+ − x. Если Xi Xj , то x+ (Xi ) x+ (Xj ) и x− (Xi ) x− (Xj ). Поэтому если теоре-


ма будет доказана для неотрицательных величин, то применяя ее для X1+ , X2+ , . . . и X1− , X2− , . . . , получим
P
n P
n
Xi+ Xi−
= n − 1 n −→ EX1+ − EX1− = EX1 , n −
Sn 1 п.н.
n → ∞.
Итак, далее считаем, что Xn > 0, n = 1, 2, . . .. Введем «урезанные» случайные величины Yi = Xi I{Xi 6 i},
P
n
i = 1, 2, . . .. Пусть Sen = Yi . Определим последовательность kn = [αn ], n = 1, 2, . . ., где α > 1.
i=1
Sekn − ESekn п.н.
Лемма 4.5. −→ 0, n −
→ ∞.
kn

23
 Для доказательства
применим лемму Бореля–Кантелли. А именно, докажем, что ∀ε > 0 сходится ряд

P  e  ∞
P  e  ∞
P
Skn −ESekn Skn −ESekn ek
DS
P kn > ε < ∞. Применяя неравенство Чебышёва, получаем P kn > ε 6 2 . В
n
ε2 kn
n=1 n=1 n=1
P
kn
силу некоррелированности имеем DSekn = DYi , поэтому
i=1
!

X Se − ESe X∞
DSekn

1 X 1 X
kn
1 X
∞ X 1
kn kn
P > ε 6 2 2
= 2 2
DYi 6 2
EYi2 .
n=1
kn
n=1
ε kn ε n=1 kn i=1 ε i=1 kn2
n: kn >i

В последнем неравенстве мы изменили порядок суммирования и воспользовались оценкой DYn 6 EYn2 . Далее,
X 1 X 1 1 X 1 2
оцениваем последнюю сумму в правой части: 2 6 2n
= 2n
, т.к. [αn ] > cα α2n
n [αn]
n
c α α c α n
α
n:[α ]>i n:[α ]>i n:[α ]>i
X 1 1 X X
q2m 1 1 1
для некоторой константы cα . Так как = 1 = 2(m−1) , то = 6
q 2n 1 − q2 q (1 − q 2 ) α2n α2n
n>m n: [αn ]>i n>[logα (i+1)]
1 1
2 = e
cα .
α2 log α (i+1) 1−α
α2
(i + 1)2
X∞  e  ∞
C(α) X EYi2
S −ESe
Итак, мы доказали, что P kn kn kn > ε 6 . Далее, по формуле математического
n=1
ε2 i=1 (i + 1)2
R∞
ожидания Ef (X) = f (x)PX (dx) и учитывая, что PXi = PX1 ∀i (так как по условию X1 , X2 , . . . одинаково
−∞

X X∞ Zi
EYi2 1
распределены) имеем = x2 µ(dx), где µ = PX1 (в нашем случае функция f имеет вид
i=1
(i + 1)2 i=1
(i + 1)2
0
2
f (x) = x I{06x6i} ). Применяя аддитивность интеграла и меняя порядок суммирования, получаем:


X X ∞ Zi ∞
X X Z
i−1 k+1 X Z
∞ k+1 X
EYi2 1 2 1 2 1
2
= x µ(dx) = x µ(dx) = x2 µ(dx) .
i=1
(i + 1) i=1
(i + 1)2 i=1
(i + 1)2 (i + 1)2
0 k=0 k k=0 k i>k+1


P R∞
Далее, воспользуемся известной из математического анализа оценкой f (n) 6 f (x) dx; получим:
n=m m−1

X X 1 Z∞ X Z
∞ k+1 X ∞
X Z
k+1
1 dx 1 2 1 1
= 6 = . Следовательно, x µ(dx) 6 x2 µ(dx) 6
(i + 1)2 j2 x2 k+1 (i + 1)2 k+1
i>k+1 j>k+2 k+1 k=0 k i>k+1 k=0 k

X Z
k+1 ∞
X  e 
S −ESe
x µ(dx) = EX1 < ∞ (по условию). Подставляя эту оценку в исходную, получаем P kn kn kn > ε 6
k=0 k n=1

C(α)EX1 Sek − ESekn п.н.


2
< ∞ ∀ε > 0. Значит, по лемме Бореля–Кантелли n −→ 0, n −
→ ∞, что и требовалось. 
ε kn
k
Pn
ek EYi
ES
Вернемся к доказательству теоремы. Мы имеем = kn . Покажем, что EYi = EXi I{0 6 Xi 6 i} −
kn
n i=1
→ EX1 ,
Ri R∞ R∞
i−
→ ∞. Действительно, EXi I{0 6 Xi 6 i} = x µ(dx) = xI{x 6 i} µ(dx) −
→ x µ(dx) = EX1 , i −
→ ∞ по теореме
0 0 0
ESekn Sekn − ESekn п.н.
о монотонной сходимости. Следовательно, −
→ EX1 , n −
→ ∞. А так как по лемме 4.5 −→ 0,
kn kn
Sekn п.н. Skn п.н.
n −
→ ∞, то отсюда получаем −→ EX1 , n − → ∞. Докажем, что отсюда вытекает −→ EX1 , n − → ∞.
kn kn
P P P лемма
Действительно, так как P(Xi 6= Yi ) = P(Xi > i) = P(X1 > i) < EX1 + 1 < ∞, то по лемме Бореля–
i i i
1
P
kn
п.н.
Кантелли P(Xi 6= Yi ) = 0. Следовательно, для почти всех ω ∈ Ω и ∀n > N (ω) Xi (ω) = Yi (ω) =⇒ kn Xi −→
i=1
EX1 , n −
→ ∞.
Sn п.н.
Наконец, докажем, что −→ EX1 . Фиксируем α > 1. Для каждого n > N (α) найдем такое m(n), что
n
Sn S[αm(n) ] S[αm(n) ] [αm(n) ] 1
[αm(n) ] 6 n < [αm(n)+1 ]. Так как все Xi > 0, то lim > lim = lim m(n) > EX1 , так как
n n n n n [α ] n α

24
[αm(n) ] [αm(n) ] 1 Sn S[αm(n)+1 ] S[αm(n)+1 ] [αm(n)+1 ]
> m(n)+1 − → , n −→ ∞. Аналогично, lim 6 lim = lim m(n)+1 6 EX1 · α
n [α ] α n n n n n [α ] n
[αm(n)+1 ] [αm(n)+1 ] 1 Sn Sn
(воспользовались тем, что 6 −
→ α, n −
→ ∞). Итак, EX1 6 lim 6 lim 6 αEX1 , где
n [αm(n) ] α n n n n
Sn
α > 1 — любое. Устремим α ⇓ 1, тогда получим lim n = EX1 п.н., что и требовалось доказать. 
n
Следствием доказанной теоремы является важная классическая теорема Колмогорова:
Следствие 4.2 (Колмогоров). Пусть X1 , X2 , . . . — независимые в совокупности одинаково распределен-
Sn п.н.
ные случайные величины такие, что E|X1 | < ∞. Тогда −→ EX1 , n −
→ ∞, где Sn = X1 + . . . + Xn .
n
4.3.3. Классическая теорема Колмогорова. Закон 0 и 1
Теорема 4.6 (Закон 0 или 1 Колмогорова). T Пусть ξ1 , ξ2 , . . . — независимые случайные величины и
пусть Fn = σ{ξn , ξn+1 , . . .}. Обозначим F∞ = Fn . Тогда если A ∈ F∞ , то P(A) = 0 или P(A) = 1.
n
 
S
 Пусть A ∈ F∞ . Тогда A ∈ Fn ∀n. Обозначим Ank = σ{ξn , . . . , ξn+k }, тогда Fn = σ Ank . Но
S k>1
An = Ank — это алгебра, следовательно, ∀ε > 0 ∃Aε ∈ Ank = σ{ξn , . . . , ξn+k } : P(A△Aε ) < ε (см. задачу
k>1
такую-то). Но A ∈ Fn+k+1 = σ{ξn+k+1 , . . .}, поэтому A и Aε — независимые события, т.е. P(A∩Aε ) = P(A)P(Aε ).
Отсюда получаем, что P(A) = P(A)2 , откуда либо P(A) = 0, либо P(A) = 1, что и требовалось доказать. 

5. Центральная предельная теорема


5.1. Теорема Александрова
5.2. Характеристические функции
5.2.1. Определение, основные свойства и примеры
Пусть Q — вероятностная мера на B(R).
Определение. Характеристической функцией вероятностной меры Q называется функция
Z Z Z
ϕQ (t) := eitx Q(dx) = cos(tx)Q(dx) + i sin(tx)Q(dx).
R R R

Если X : Ω −
→ R — случайная величина, то на B(R) возникает вероятностная мера PX , определяемая по
формуле PX (B) = P(X −1 (B)). Тогда характеристической функцией случайной величины X называется харак-
теристическая функция вероятностной меры PX :
Z Z
ϕPX (t) = eitx PX (dx) = eitX dP = EeitX = ϕX (t).
R Ω

Таким образом, характеристическая функция случайной величины X записывается в виде ϕX (t) = EeitX .
Имеется взаимно-однозначное соответствие между вероятностными мерами Q на Ω, их функциями распре-
деления F и характеристическими функциями ϕ: Q ↔ F ↔ ϕ.
Приведем несколько примеров характеристических функций.
Пример 2.1. Пусть X(ω) = C = const ∀ ω ∈ Ω — постоянная случайная величина. Тогда ее характеристи-
ческая функция: ϕX (t) = EeitX = EeitC = eitC .

0, ..., k, ...
Пример 2.2. Пусть X ∼ πλ (пуассоновское распределение с параметром λ > 0), X = −λ λk e−λ
e , ..., k! ...
Найдем характеристическую функцию этого распределения:

X ∞
X ∞ k
X (λeit )
λk e−λ it it
ϕX (t) = EeitX = eitk P(X = k) = eitk = e−λ = e−λ eλe = eλ(e −1) .
k! k!
k=0 k=0 k=0

Итак, характеристическая функция пуассоновской случайной величины X ∼ πλ с параметром λ > 0 равна


it
ϕX (t) = eλ(e −1) .

25
Пример 2.3. Пусть случайная величина X ∼ N (0, 1) имеет стандартное нормальное распределение. То-
x2
гда, по определению, его плотность равна p(x) = √12π e− 2 , x ∈ R. Характеристическая функция равна ϕ(t) =
R∞ itx R∞ itx R∞ itx− x2
ϕX (t) = e dF (x) = e p(x) dx = √12π e 2 dx. Легко проверить, что эта функция от t удовлетворя-

−∞ −∞ −∞
ет дифференциальному уравнению ϕ′ (t) = −tϕ(t) (продифференцируйте интеграл по параметру t и убедитесь
t2
в этом!), решая которое, получаем решение ϕ(t) = e− 2 с начальным условием ϕ(0) = 1, которое должно быть
выполнено для любой характеристической функции.
Итак, характеристическая функция случайной величины X ∼ N (0, 1), имеющей стандартное нормальное
t2
распределение, равна ϕX (t) = e− 2 .
Теорема 5.1 (Свойства характеристических функций). Все характеристические функции обладают
следующими свойствами:
1) ϕ(0) = 1;
2) |ϕ(t)| 6 1;
3) ϕ равномерно непрерывна на R;
4) ϕ(−t) = ϕ(t);
5) X имеет симметричное распределение (т.е. Law(X) = Law(−X)) тогда и только тогда, когда ϕX —
действительная функция;
6) Если Y = aX + b, a, b ∈ R, то ϕY (t) = eitb ϕX (at).

R∞ R∞ itx

 Свойство 1) очевидно: ϕX (0) = Ee0 = 1. Свойство 2): |ϕX (t)| = eitx dF (x) 6 |e | dF (x) =
−∞ −∞
R∞
dF (x) = 1, так как |eitx | = 1.
−∞
Докажем свойство 3) — равномерную непрерывность. Имеем:
Z∞ Z∞
ϕ(t + h) − ϕ(t) = eitx (eihx − 1) dF (x), |ϕ(t + h) − ϕ(t)| 6 |eihx − 1| dF (x) ∀ x ∈ R.
−∞ −∞

Так как |eihx − 1| −


→ 0, h −
→ 0 ∀ x ∈ R, то по теореме о мажорируемой сходимости получаем требуемое.
Докажем свойство 4). Вспомним, что комплексно сопряженное число к z = u + iv (u, v ∈ R) — это число
R∞ −itx R∞
z̄ = u − iv. Имеем: ϕ(−t) = e dF (x) = eitx dF (x) = ϕ(t).
−∞ −∞
Свойство 5) сразу следует из свойства 4): действительно, пусть ϕ — действительная функция. Тогда ϕ−X (t) =
Eeit(−X) = Eei(−t)X = ϕX (−t) = ϕX (t) = ϕX (t), следовательно ϕ−X (t) = ϕX (t) ∀ t ∈ R. По теореме единственно-
сти (формула обращения; см. следующий пункт) Law(−X) = Law(X). Производя те же выкладки в обратном
порядке, получаем обратное утверждение (достаточность).
Осталось доказать свойство 6). Имеем: ϕaX+b (t) = Eeit(aX+b) = Eei(at)X eitb = eitb ϕX (at), что и требовалось
доказать. 
Доказанная теорема дает необходимые условия, которым должны удовлетворять характеристические функ-
ции произвольных случайных величин. В частности, если некоторая (данная) функция ϕ не удовлетворяет хотя
бы одному из этих условий, то теорема позволяет сделать вывод о том, что эта функция не является характе-
ристической ни для какой случайной величины X. Если же все свойства для функции ϕ выполнены, то этот
вопрос остается открытым.
Следующая теорема дает необходимое и достаточное условие того, что функция ϕ является характеристи-
ческой для некоторой случайной величины X. Чтобы сформулировать ее, дадим следующее
Определение. Функция ϕ(t) называется неотрицательно определенной, если ∀ n ∈ N, ∀ t1 , . . . , tn ∈ R и
∀ z1 , . . . , zn ∈ C
Xn X n
ϕ(tk − tl )zk z¯l > 0.
k=1 l=1

Теорема 5.2 (Бохнер–Хинчин). Функция ϕ(t), t ∈ R является характеристической функцией для неко-
торой случайной величины X тогда и только тогда, когда выполнены следующие три условия:
1) ϕ(0) = 1;
2) ϕ непрерывна в нуле;
3) ϕ является неотрицательно определенной функцией.

26
 Мы докажем только необходимость. Пусть ϕ — характеристическая функция. Тогда 1) и 2), очевидно,
Pn Pn
выполнены. Докажем 3), т.е. проверим, что ϕ — неотрицательно определенная функция. Имеем: ϕ(tk −
    k=1 l=1
P
n Pn  P
n P
n P
n P
n
tl )zk z¯l = Eei(tk −tl )X zk z¯l = E(zk eitk X )(z¯l eitl X ) = E zk eitk X z¯l eitl X = Eω ω̄ = E|ω|2 > 0
k=1 l=1 k=1 l=1 k=1 l=1
(применили линейность мат. ожидания), что и требовалось. 

5.2.2. Формула обращения


Теорема 5.3 (Формула обращения). 1) Для любых точек a, b ∈ C (F ) имеет место формула
Zc
1 e−ita − e−itb
F (b) − F (a) = lim ϕ(t) dt.
c−
→∞ 2π it
−c

R∞
2) Если ϕ ∈ L 1 (R), т.е. |ϕ(t)| dt < ∞, то F абсолютно непрерывна и имеет плотность
−∞

Z∞
1
p(x) = e−itx ϕ(t) dt, x ∈ R; p ∈ L 1 (R), p > 0.

−∞

 По формуле для характеристической функции ϕ(t) имеем:


Zc Zc  Z∞ 
1 e−ita − e−itb 1 e−ita − e−itb itx
ϕ(t) dt = e dF (x) dt.
2π it 2π it
−c −c −∞

Изменим в последнем интеграле порядок интегрирования. Для этого применим теорему Фубини. Чтобы ее
Zc Z −ita
e − e−itb itx
условия были выполнены, необходимо, чтобы e dF (x) dt < ∞. Так как |eiα | = 1 ∀ α ∈ R и
it
R −c
Zc Z −ita
−ita −itb Rb Rb Rb e − e−itb itx
e −e −itx −itx
it = e dx 6 |e | dx = dx = b − a, то имеет место оценка e dF (x) dt <
a a a it
−c R
2c(b − a) < ∞. Итак, можно поменять порядок интегрирования; получим:
Zc Zc  Z∞  Z∞  Zc −it(x−a) 
1 e−ita − e−itb 1 e−ita − e−itb 1 e − e−it(x−b)
ϕ(t) dt = eitx dF (x) dt = dF (x) dt = (∗)
2π it 2π it 2π it
−c −c −∞ −∞ −c

Rc cos t(x−a)
Так как eitα = cos α + i sin α и t dt = 0 (подынтегральная функция нечетна), то отсюда получаем:
−c

   
Z∞  1 Zc sin t(x − a) − sin t(x − b)  Z∞  c(x−a)
Z c(x−b)
Z  Z∞
1 sin z sin z 
(∗) = dF (x) dt = dz − dz dF (x) = ψc (x) dF (x).
 2π t  π z z 

−∞ −c −∞ 0 0 −∞

sin z
Функция f (z) = не интегрируема по Лебегу на (0, ∞), но интегрируема по Риману на этом множестве
z
R∞ sin z π
в несобственном смысле (интеграл Дирихле): z dz = 2 . Поэтому здесь мы понимаем этот интеграл как
0
Ru sin z Ru
несобственный интеграл Римана, т.е. как предел lim dz. Так как функция sinz z dz непрерывна по u, то
u−
→∞ 0 z
u 0
R sin z

∃A :
z dz 6 A = const ∀ u > 0. Значит, |ψc (x)| 6 2A ∀ x и
0


0 если x < a или x > b,
1
ψc (x) −
→ ψ(x) = если x = a или x = b, c−
→ ∞.
2

1 если a < x < b.

27
R∞ R∞ R∞ Q({a})
По теореме о мажорируемой сходимости получаем ψc (x) dF (x) −
→ ψ(x) dF (x) = ψ(x) dQ(x) = 2 +
−∞ −∞ −∞
Q({b})
2 + F (b−) − F (a) = F (a)−F 2
(a−)
+ F (b)−F
2
(b−)
+ F (b−) − F (a) =
− F (b)+F (b−)
Если a, b ∈ C (F ), то 2
F (a)+F (a−)
2 .
F (a)+F (a−) F (b)+F (b−)
2 = F (a), 2 = F (b), откуда и следует утверждение
1) теоремы.
1
R∞ −itx
Докажем утверждение 2). А именно, докажем, что функция p(x) = 2π e ϕ(t) dt, x ∈ R является плот-
−∞
Rx
ностью нашего распределения, F (x) = p(u) du. Функция p(x) является непрерывной на R по теореме о
−∞
R
мажорируемой сходимости, p(x + h) − p(x) = (e−i(x+h)t − e−ixt )ϕ(t) dt, |e−itx | = 1.
R
Применим теорему Фубини: ∀ a < b имеем

Zb Zb  Z  Z Zb  Z∞
1 −itx 1 −itx 1 e−ita − e−itb
p(x) dx = e ϕ(t) dt dx = e ϕ(t) dx dt = ϕ(t) dt = (∗)
2π 2π 2π it
a a R R a −∞

По теореме о мажорируемой сходимости и применяя уже доказанный пункт 1) теоремы, получаем:


Zc
1 e−ita − e−itb
(∗) = lim ϕ(t) dt = F (b) − F (a), a, b ∈ C (F ).
2π c−
→∞ it
−c

Rb
Итак, мы получили, что p(x) — непрерывная функция, такая что p(x) dx = F (b) − F (a), ∀ a, b ∈ C (F ). Следо-
a
Rb
вательно, p(x) > 0 ∀ x ∈ R. Устремим a −
→ −∞, тогда получим: p(x) dx = F (b) ∀ b ∈ C (F ). Этот интеграл
−∞
Rx
можно понимать как интеграл Лебега (так как p(x) > 0). Итак, F (x) = p(u) du ∀ x ∈ R, что и требовалось. 
−∞

5.2.3. Теорема Леви


Теорема 5.4 (Леви) (Теорема непрерывности). 1) Пусть последовательность функций распределения
ω
Fn (x) сходится к F (x) ∀ x ∈ C (F ): Fn (x) −
→ F (x). Тогда ϕn (t) −
→ ϕ(t) ∀ t ∈ R, где Fn ↔ ϕn , F ↔ ϕ.
2) Пусть характеристические функции ϕn (t) − → ϕ(t), n −→ ∞, причем ϕ непрерывна в 0. Тогда ϕ является
ω
характеристической функцией, и Fn − → F , где Fn ↔ ϕn , F ↔ ϕ.
X Zb
λk e−λ 1 x2
Пример 2.4. Докажем, что →√
− e− 2 dx, λ −→ ∞.
√ √ k! 2π
λ+a λ6k6λ+b λ a
Рассмотрим пуассоновскую случайную величину Zλ ∼ πλ . Тогда
   
X λk e−λ X √ √ Zλ − λ
= P(Zλ = k) = P Zλ ∈ [λ + a λ, λ + b λ] = P a 6 √ 6b .
√ √ k! √ √ λ
λ+a λ6k6λ+b λ λ+a λ6k6λ+b λ

Вспоминая свойство 6) характеристических


 функций
 и выражение для характеристической функции пуассо-
λ(eis −1)
новской случайной величины ϕZλ (s) = e , получаем:

  „ t
« „ «
i √t
√ t √ λ ei √λ −1 λ e λ −1− √itλ t2
−it λ −it λ
ϕ Z√
λ −λ (t) = ϕ √1

Zλ − λ (t) =e ϕZλ √ =e e =e → e− 2
− ∀ t, λ −
→ ∞,
λ λ λ
w2 t2
так как ew = 1 + w + 2+ o(w2 ), w −
→ 0. Итак, ϕ Z√ → ϕX (t) = e− 2 , λ −
λ −λ (t) − → ∞, ∀ t ∈ R, поэтому по теореме
λ
  Rb x2
λ −λ
D λ −λ
непрерывности Z√
λ
→ X ∼ N (0, 1), значит ∀ a < b будет P a 6 Z√
− λ
6b − → P (a 6 X 6 b) = √12π e− 2 dx,
a
λ−
→ ∞, так как функция распределения случайной величины X ∼ N (0, 1) непрерывна на R.
Доказательство теоремы непрерывности. R R
 1) Заметим сначала, что если Fn −→ F , то eitx dFn (x) −
→ eitx dF (x), поскольку eitx — непрерывная
R R
ограниченная функция.

28
Лемма 5.5. Пусть имеется соответствие функции распределения, вероятностной меры и характеристи-
ческой функции: F ↔ Q ↔ ϕ. Тогда ∀ a > 0
   Z Za
1 1 C
Q R\ − , = dF (x) 6 (1 − Re ϕ(t)) dt, где C = const.
a a a
R\( 1 1
−a ,a ) 0

 
Ra 1
Ra R∞ R∞
 (1 − Re ϕ(t)) dt = a (1 − cos tx) dF (x) dt = (∗), так как Re ϕ(t) = cos tx dF (x). По теореме
0 0 −∞ −∞
R∞ sin ax
 R sin ax
 sin u
 R R
Фубини (∗) = 1− ax dF (x) > 1− ax dF (x) > inf 1 − u dF (x) = (1 − sin 1) dF (x).
−∞ |ax|>1 u>1 1 1
|x|> a |x|> a
Полагая 1/C = 1 − sin 1, получаем нужное неравенство. Лемма доказана. 
Лемма 5.6. Пусть ϕn (t) − → ϕ(t), где ϕ(t) непрерывна в нуле. Тогда семейство распределений Qn (Qn ↔ ϕn )
плотно, т.е. ∀ ε > 0 ∃ Kε : sup Qn (R\Kε ) < ε.
n

 По предыдущей лемме ∀ a > 0 имеем Qn R\ − a1 , a1 6 


5.3. Центральная предельная теорема в условиях Линдеберга


5.3.1. Ещё два (а может, три) свойства характеристических функций
5.4. Свёртки распределений
5.5. Случайные векторы
5.5.1. Основные определения
5.5.2. Многомерная центральная предельная теорема

29