В В Горяйнов Теория вероятностей

В. В.
Горяйнов
Лекции по теории вероятностей
Содержание
Содержание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1. Пространство элементарных событий. Вероятность. . . . . . . . . . . . . . . . . . . . . 1
1.1. Теоретико–множественная модель . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2. Элементы комбинаторики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3. Геометрические вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2. Алгебры событий и свойства вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3. Условная вероятность и независимость . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
4. Независимые испытания. Схема Бернулли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
5. Дискретные случайные величины . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
6. Пространство с мерой и общая модель вероятностного пространства . . 25
7. Математическое ожидание . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
8. Неравенство Чебышева. Закон больших чисел . . . . . . . . . . . . . . . . . . . . . . . . . . 36
9. Характеристические функции. Центральная предельная теорема . . . . . . 40
10. Виды сходимости последовательностей случайных величин . . . . . . . . . . . 46
11. Цепи Маркова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
12. Ветвящиеся процессы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
13. Таблица нормального распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
§ 1. Пространство элементарных событий. Вероятность
Теория вероятностей представляет математические модели, которые отра-

жают свойства случайных явлений. Как и в любой другой теории (например,
классической механике, геометрии и др.), основные понятия теории вероятно-
стей отражают некоторые свойства реального мира, но являются идеальными
объектами. Для иллюстрации этого будем исходить из понятия случайного экс-
перимента, результат которого нельзя заранее предсказать, но сам эксперимент
можно провести в одних и тех же условиях любое количество раз. Примеры:
подбрасывание монеты, подбрасывание игральной кости. В результате экспе-
римента мы можем наблюдать те или иные события, которые будем обозначать
A, B, C, . . .. Если проводить эксперимент в одинаковых условиях большое ко-
личество n раз, то частота nA /n ( nA — число появления A) появление события
A будет стремиться к некоторой величине. Это позволяет предположить, что
событие A обладает некоторой скрытой характеристикой, которую называют
вероятностью и обозначают P(A).

c В. В. Горяйнов, 2019
2 В. В. ГОРЯЙНОВ
1.1. Теоретико–множественная модель. Построение теоретико-множе-

ственной модели теории вероятностей связано с выделением пространства Ω
элементарных событий ω (исходов). В результате каждого проведения слу-
чайного эксперимента может наблюдаться только одно элементарное событие
ω. При этом любое событие A ассоциируется с некоторым подмножеством Ω,
т. е. A ⊂ Ω. Само Ω также рассматривается как событие. Его называют до-
стоверным событием, поскольку оно происходит всегда. Наряду с этим пустое
множество ∅ связывают с невозможным событием.
Таким образом, результат эксперимента описывается элементарным событи-
ем ω. Если ω ∈ A, то говорят, что событие A произошло, если же ω 6∈ A, то
событие A в этом эксперименте не произошло. Теоретико множественные опе-
рации и отношения соответствуют логическим операциям над событиями. Если
A ⊂ B, то это означает, что наступление события A влечет наступление собы-
тия B. Событие A = Ω \ A называется отрицанием события A. Объединению
A ∪ B соответствует событие, которое происходит в случае, когда произошло A
или B. Пересечению A ∩ B соответствует событие, которое происходит лишь в
случае, когда происходят одновременно и A и B. Аналогичный смысл имеют
объединение и пересечение любого числа событий. Разность A \ B означает
событие, когда A произошло, но B в этом эксперименте не произошло.
Заметим, что операции объединения и пересечения множеств обладают свой-
ством дистрибутивности
! !
\ [ [ [ \ \ [
A Bi = (ABi ), A Bi = A Bi .
i∈I i∈I i∈I i∈I
Следующие соотношения известны как правила де Моргана:

[ \ \ [
Ai = Ai , Ai = Ai .
i∈I i∈I i∈I i∈I
Если Ω конечно или счетно, то говорят о дискретной модели теории веро-

ятностей (или случайного эксперимента). Пусть Ω = {ω1 , ω2 , . . .} конечно или
счетно и допустим, что каждому элементарному событию ωk соответствует ве-
P
роятность pk . Тогда pk > 0 и pk = 1. Кроме того, для любого события A ⊂ Ω
вероятность должна определяться как сумма
X
P(A) = pk .
k: ωk ∈A
В дискретных моделях особенно выделяется случай классического определения

вероятности. Допустим, что Ω состоит из конечного числа элементарных со-
бытий ω1 , . . . , ωn , которые в силу каких либо причин (например, симметрии)
являются равновозможными. Такая ситуация возникает при подбрасывании
монеты или игральной кости. Тогда pk = 1/n для всех k = 1, . . . , n, а подсчет
вероятности события A ⊂ Ω сводится к вычислению числа |A| элементарных
событий, составляющих A. В частности, |Ω| = n, а для P(A) в этих терминах
можно записать формулу
|A|
P(A) = .
|Ω|
Эта формула и составляет классическое определение вероятности.
ЛЕКЦИИ ПО ТВ 3
1.2. Элементы комбинаторики. При использовании классического опре-

деления вероятности основным инструментом являются комбинаторные мето-
ды. Отметим некоторые из них.
Основное правило комбинаторики. Пусть имеется m групп элементов,
причем i-тая группа состоит из ki элементов. Выберем по одному элементу из
каждой группы. Тогда общее число N способов, которыми можно произвести
такой выбор, определяется равенством
N = k1 · k2 · . . . · km .
Доказательство легко проводится по индукции.

Выборки. Многие комбинаторные вычисления укладываются в следую-
щую схему. Допустим, что мы имеем n занумерованных шаров: a1 , . . . , an .
Осуществляется выборка объема k из этой совокупности шаров. Нас интересу-
ет количество способов, которыми можно осуществить эту выборку. При этом
возникает четыре различные ситуации: выборка может быть упорядоченной
или неупорядоченной и с возвращением или без возвращения.
♣ Количество упорядоченных выборок с возвращением (или размещений из
n по k с повторениями) равно nk . Это сразу же следует из основного правила
комбинаторики.
♣ Количество упорядоченных выборок без возвращения (или размещений
из n по k без повторений) равно
n!
Akn = n(n − 1) · . . . · (n − k + 1) = .
(n − k)!
Эта формула также следует из основного правила комбинаторики.

♣ Количество неупорядоченных выборок без возвращения (или сочетаний
из n по k без повторений) равно
n! Ak
Cnk = = n.
k!(n − k)! k!
♣ Количество неупорядоченных выборок с возвращением (или сочетаний из

k
n по k с повторениями) равно Cn+k−1 .
Для подсчета числа таких выборок воспользуемся следующей конструкци-
ей. Каждую такую выборку однозначно мы можем представить упорядочен-
ной цепочкой нулей и единиц следующим образом. Вначале напишем столько
единиц, сколько в выборке присутствует a1 , после чего поставим нуль; затем
напишем столько единиц, сколько в выборке присутствует a2 , после чего снова
поставим нуль и так далее. Таким образом, каждой выборке будет соответ-
ствовать последовательность из k единиц и n − 1 нулей. Чтобы зафиксировать
выборку, достаточно указать места расположения единиц. Это эквивалентно
осуществлению неупорядоченной выборке из n + k − 1 элементов объема k, т. е.
k
их количество равно Cn+k−1 .
Полученные результаты можно представить в виде таблицы.
выборки с возвращением без возвращения

n!
упорядоченные nk Akn =
(n − k)!
k (n + k − 1)! k n!
неупорядоченные Cn+k−1 = Cn =
k!(n − 1)! k!(n − k)!
Размещение частиц по ячейкам. В физических приложениях приведен-
ная выше комбинаторная схема встречается в другой интерпретации. Разме-
щается k частиц по n ячейкам. В статистической физике в качестве частиц
могут быть электроны, протоны, а в качестве ячеек, например, энергетические
уровни. Здесь также выделяется четыре случая: различимые или неразличи-
мые частицы и размещение с ограничением (не более одной частицы в одной
ячейке) или без ограничений. Размещению без ограничений различимых ча-
стиц соответствует статистика Максвелла— Больцмана, размещению без огра-
ничений неразличимых частиц соответствует статистика Бозе— Эйнштейна, а
размещению с ограничениями неразличимых частиц соответствует статистика
Ферми— Дирака. Случай размещений с ограничениями различимых частиц в
статистической физике не используется.
Размещение частиц по ячейкам легко сводится к выборкам. Будем считать,
что ячейки занумерованы: a1 , . . . , an . Тогда под размещением можно понимать
назначение каждой частице номера ячейки. В результате приходим к следую-
щему результату.
♠ Количество размещений без ограничений различимых частиц (статистика
Максвелла— Больцмана) равно nk .
♠ Количество размещений без ограничений неразличимых частиц (стати-
k
стика Бозе— Эйнштейна) равно Cn+k−1 .
♠ Количество размещений с ограничением неразличимых частиц (статисти-
ка Ферми— Дирака) равно Cnk .
♠ Количество размещений с ограничениями различимых частиц равно Akn .
1.3. Геометрические вероятности. Рассмотрим теперь задачу, в кото-

рой пространство элементарных событий не является даже счетным. Допу-
стим, что два лица X и Y условились встретиться между 14 и 15 часами в
определенном месте. Пришедший первым ждет другого в течение 10 минут,
а затем уходит. Какова вероятность их встречи, если приход каждого лица в
любой момент времени из условленного промежутка равновероятен?
Выберем в качестве единицы измерения один час и пусть x — промежуток
времени (в долях часа) от 14 часов до момента прихода X, а y — промежуток
времени от 14 часов до момента прихода Y . Тогда пространством элементарных
событий будет квадрат
Ω = {(x, y) : 0 6 x 6 1, 0 6 y 6 1},
а событие A, которое отвечает встрече, представляет собой подмножество Ω,

выделяемое условием: |x − y| 6 1/6.
В этой задаче нельзя построить вероятностную модель, просто приписав ве-
роятность каждому элементарному событию. С другой стороны, логично счи-
тать, что вероятность события A равняется отношению ее площади к площади
всего Ω. Поскольку площадь Ω равна 1, а площадь A равна

2
1 11
1− 1− = ,
6 36
то P(A) = 11/36.
В общем случае, когда пространство элементарных событий Ω представля-
ет собой область в Rn , n = 1, 2, . . ., и все элементарные события считаются
равновероятными, вероятность события A ⊂ Ω будем вычислять по формуле
mes(A)
P(A) = ,
mes(Ω)
где под mes(A) понимается мера Жордана множества A, хотя в дальнейшем

мы выясним, что для более сложных множеств, чем области в Rn , следует
рассматривать меру Лебега.
§ 2. Алгебры событий и свойства вероятности
В случае, когда пространство элементарных событий Ω не является конеч-

ным или счетным, нет удовлетворительного способа определить вероятность на
всех его подмножествах. Поэтому возникает необходимость выяснить свойства
класса подмножеств Ω, которые будут отвечать событиям. Как мы видели,
теоретико множественные операции соответствуют логическим операциям над
событиями. Поэтому такой класс подмножеств Ω должен быть замкнут отно-
сительно теоретико множественных операций.
Определение 2.1. Класс A подмножеств Ω называется алгеброй, если Ω ∈
A и он замкнут относительно операций объединения, пересечения и взятия
дополнения.
Следующее утверждение оказывается полезным при проверке, является ли
выделенный класс подмножеств Ω алгеброй.
Предложение 2.1. Пусть A — класс подмножеств Ω, для которого вы-
полняются следующие условия:
(i) Ω ∈ A ;
(ii) Если A ∈ A , то A ∈ A ;
(iii) Если A, B ∈ A , то A ∪ B ∈ A .
Тогда A является алгеброй подмножеств Ω.
Доказательство. Нам нужно показать, что A замкнуто относительно всех
теоретико множественных операций. Из условий (ii) и (iii) следует, что класс
A замкнут относительно операции взятия дополнения и объединения. Остает-
ся показать, что класс A также замкнут относительно операции пересечения.
Пусть A и B из A . Тогда в силу условия (ii) дополнения A, B принадлежат
A . Представление
AB = A ∪ B
и условие (iii) доказывают принадлежность пересечения AB классу A .
Приведем один важный пример получения алгебры событий (множеств).

Определение 2.2. Совокупность событий D = {D1 , . . . , Dn } будем назы-
вать разбиением, если Di Dj = ∅ при i 6= j и ∪ni=1 Di = Ω. Множества Di
называются в этом случае атомами разбиения D.
Пусть D = {D1 , . . . , Dn } — некоторое разбиение. Через A (D) обозначим
класс событий, который включает ∅ и всевозможные объединения атомов раз-
биения. Очевидно, что A (D) представляет собой алгебру, которую мы будем
называть алгеброй, порожденной разбиением D.
Анализируя свойства частоты и примеры, приходим к выводу, что вероят-
ность P есть функция, определенная на некоторой алгебре A событий, которая
обладает следующими свойствами:
1◦ . P(A) > 0 для всех A из A (неотрицательность);
2◦ . P(Ω) = 1 (нормированность);
3◦ . Если A и B — два события из A и AB = ∅, то P(A ∪ B) = P(A) + P(B)
(аддитивность).
Эти простые три свойства вероятности приводят к более сложным свой-
ствам.
Предложение 2.2. Пусть A — алгебра подмножеств Ω и P : A → R —
функция, удовлетворяющая свойствам 1◦ − 3◦ . Тогда имеют место утвер-
ждения:
1. Для любого A ∈ A имеет место равенство P(A) = 1 − P(A) и P(∅) = 0;
2. Если A, B ∈ A и A ⊂ B, то P(B \ A) = P(B) − P(A);
3. Если A, B ∈ A и A ⊂ B то P(A) 6 P(B);
4. Для любого A ∈ A имеют место неравенства 0 6 P(A) 6 1;
5. Для любых A, B ∈ A имеет место равенство
P(A ∪ B) = P(A) + P(B) − P(AB). (2.1)
Доказательство. Пусть A ∈ A . Из равенства Ω = A ∪ A и в силу свойств

2◦ , 3◦ имеем 1 = P(A) + P(A), что и доказывает первое утверждение. В частно-
сти, P(∅) = P(Ω) = 0.
Допустим теперь, что A, B ∈ A и A ⊂ B. Тогда B = A ∪ (B \ A) и снова
в силу свойства 3◦ получаем P(B) = P(A) + P(B \ A). Отсюда следует второе
утверждение.
Третье утверждение следует из равенства P(B) = P(A) + P(B \ A) и неотри-
цательности вероятности.
Непосредственно из третьего утверждения, которое составляет свойство мо-
нотонности вероятности, следует
0 = P(∅) 6 P(A) 6 P(Ω) = 1.
Пусть теперь A, B — произвольные из алгебры A . Заметим, что A∪B можно

представить в виде объединения трех непересекающихся множеств
A ∪ B = (A \ (AB)) ∪ (B \ (AB)) ∪ (AB).

Но тогда по свойству аддитивности вероятности с использованием второго

утверждения получаем
P(A ∪ B) = P(A) − P(AB) + P(B) − P(AB) + P(AB) = P(A) + P(B) − P(AB),
и равенство (2.1) доказано.
В дальнейшем под элементарной вероятностной моделью мы будем понимать

тройку (Ω, A , P), где Ω — некоторое множество (пространство элементарных
событий), A — алгебра подмножеств Ω и P — функция (вероятность), опреде-
ленная на A и удовлетворяющая условиям 1◦ − 3◦ . Коротко тройку (Ω, A , P)
будем называть вероятностное пространство. Вскоре мы несколько расши-
рим понятия вероятностной модели и вероятностного пространства.
Равенство (2.1) допускает обобщение на случай произвольного числа собы-
тий.
Теорема 2.1. [Сложения]. Пусть A1 , . . . , An — произвольные события, т. е.
принадлежат алгебре A . Тогда имеет место равенство
n
! n
[ X X
P Ai = P(Ai ) − P(Ai1 Ai2 ) + . . . + (−1)n−1 P(A1 · . . . · An ).
i=1 i=1 16i1 <i2 6n
Доказательство. В случае n = 2 доказываемое утверждение совпадает

с равенством (2.1). Допустим теперь, что наше утверждение верно для всех
натуральных чисел вплоть до n − 1 и покажем, что оно тогда будет верным и
для n. Используя вначале равенство (2.1), а затем предположение индукции,
получаем
n−1
!! n−1
! n−1
!
[ [ [
P An ∪ Ai = P(An ) + P Ai − P An Ai
i=1 i=1 i=1
 
n−1
X X
= P(An ) +  P(Ai ) − P(Ai1 Ai2 ) + . . . + (−1)n−2 P(A1 · . . . · An−1 )
i=1 16i1 <i2 6n−1
 
n−1
X X
− P(An Ai ) − P(An Ai1 Ai2 ) + . . . + (−1)n−2 P(A1 · . . . · An )
i=1 16i1 <i2 6n−1
n
X X
= P(Ai ) − P(Ai1 Ai2 ) + . . . + (−1)n−1 P(A1 · . . . · An ).
i=1 16i1 <i2 6n
Теорема доказана.
Следующий результат выражает свойство полуаддитивности вероятности

для произвольного набора событий.
Предложение 2.3. Пусть A1 , . . . , An — произвольные события. Тогда
n
! n
[ X
P Ak 6 P(Ak ).
k=1 k=1
Доказательство. Рассмотрим события B1 = A1 , B2 = A2 A1 , . . . , Bn =

An A1 · . . . · An−1 . Очевидно, что Bi Bj = ∅ при i 6= j и ∪ni=1 Ai = ∪ni=1 Bi .
Кроме того, поскольку Bi ⊂ Ai , то в силу свойства монотонности вероятности
P(Bi ) 6 P(Ai ), i = 1, . . . , n. Используя эти неравенства и свойство аддитивно-
сти, получаем
n
! n
! n n
[ [ X X
P Ai = P Bi = P(Bi ) 6 P(Ai ).
i=1 i=1 i=1 i=1
§ 3. Условная вероятность и независимость
Допустим, что мы не знаем точный результат (элементарное событие) слу-

чайного эксперимента, но знаем, что произошло событие A. Эта информация
должна повлиять на переоценку вероятностей всех других событий. Принимая
во внимание то, что вероятность события проявляется через частоту его по-
явления, допустим, что при N испытаниях события A, B и AB наблюдались в
NA , NB и NAB числе случаев, соответственно. Тогда отношение NAB /NA будет
выражать частоту появления события B при условии, что произошло событие
A. Поскольку
NAB NAB /N
= ,
NA NA /N
то эта частота будет отражением величины P(AB)/P(A).
Определение 3.1. Пусть (Ω, A , P) — вероятностное пространство и собы-

тие A имеет положительную вероятность, P(A) 6= 0. Тогда для каждого B из
A под условной вероятностью этого события при условии A будем понимать
величину
P(AB)
P(B|A) = . (3.1)
P(A)
Условная вероятность P(B|A) = PA (B), как функция на A , обладает всеми
свойствами вероятности. Таким образом, информация о том, что произошло со-
бытие A, позволяет перейти к новому вероятностному пространству (Ω, A , PA ).
На практике чаще легче бывает вычислить условную вероятность P(B|A) и
тогда, используя равенство (3.1), получить вероятность совместного наступле-
ния этих событий
P(AB) = P(A)P(B|A). (3.2)
Это равенство известно как теорема умножения и имеет следующее обобще-

ние.
Теорема 3.1. Пусть события A1 , . . . , An таковы, что P(A1 · . . . · An ) > 0.

Тогда
P(A1 · . . . · An ) = P(A1 ) · P(A2 |A1 ) · . . . · P(An |A1 · . . . · An−1 ). (3.3)

Доказательство. Заметим прежде всего, что все условные вероятности в

правой части равенства (3.3) корректно определены, поскольку P(A1 ·. . .·An ) >
0 и A1 · . . . · An является подмножеством каждого условия. При n = 2 равен-
ство (3.3) совпадает с равенством (3.2). Допустим теперь, что равенство (3.3)
выполняется для всех номеров, вплоть до n − 1. Обозначим A = A1 , . . . , An−1 ,
B = An . Тогда, используя равенство(3.2) и предположение индукции, получа-
ем
P(A1 · . . . · An ) = P(A1 · . . . · An−1 )P(An |A1 · . . . · An−1 )
= P(A1 ) · P(A2 |A1 ) · . . . · P(An |A1 · . . . · An−1 ).

Следующий результат известен как формула полной вероятности.

Теорема 3.2. Пусть H1 , . . . , Hn — события, удовлетворяющие
Pn следующим
условиям Hi Hj = ∅ при i 6= j, P(Hi ) > 0, i = 1, . . . , n, и i=1 P(Hi ) = 1. Тогда
для любого события A имеет место равенство
n
X
P(A) = P(Hi )P(A|Hi ). (3.4)
i=1
Доказательство. Введем в рассмотрение также событие H0 = Ω \ ∪ni=1 Hi .

Очевидно, что P(H0 ) = 0 и D = {H0 , H1 , . . . , Hn } является разбиением. По-
скольку
A = AΩ = AH0 ∪ AH1 ∪ . . . ∪ AHn
представляет собой объединение попарно непересекающихся множеств (попар-
но несовместных событий) и P(AH0 ) = 0, то
n
X
P(A) = P(AHi ).
i=1
Применяя теперь к каждому слагаемому в последней сумме теорему умноже-

ния P(AHi ) = P(Hi )P(A|Hi ), приходим к формуле (3.4).
Формула (3.4) является эффективным инструментом при вычислении ве-

роятностей сложных событий. При этом события H1 , . . . , Hn в этой формуле
обычно называют гипотезами.
Теорема 3.3. [Формула Байеса] Пусть события H1 , . . . , Hn удовлетворя-
ют условиям теоремы 3.2 и A ∈ A , P(A) > 0. Тогда для k = 1, . . . , n имеют
место равенства
P(Hk )P(A|Hk )
P(Hk |A) = n .
X
P(Hi )P(A|Hi )
i=1
Доказательство. Непосредственно из определения условной вероятности
и теоремы умножения получаем
P(Hk A) P(Hk )P(A|Hk )
P(Hk ) = = .
P(A) P(A)
Остается знаменатель записать по формуле полной вероятности (3.4) и мы при-
ходим к требуемому утверждению.
Вероятности гипотез P(Hk ) называют обычно априорными вероятностями,

а условные вероятности P(Hk |A) — апостериорными. Таким образом, формула
Байеса позволяет переоценить априорную вероятность гипотезы при нали-
чии информации, что произошло событие A.
Независимость. Понятие независимости относится к одному из основных
в теории вероятностей. С информационной точки зрения под независимостью
события B от события A естественно понимать то, что знание о наступлении
события A не влияет на вероятность наступления события B. Это выражается
равенством P(B|A) = P(B). При таком определении мы должны предполагать,
что P(A) > 0. Если при этом и P(B) > 0, то из независимости B от A следует
P(AB) P(A)P(B|A)
P(A|B) = = = P(A).
P(B) P(B)
Это означает, что тогда и событие A не зависит от события B, т. е. свойство
независимости двух событий является симметричным. Кроме того, независи-
мость событий A и B в названном выше смысле сразу же следует из равенства
P(AB) = P(A)P(B). (3.5)
Определение 3.2. Для произвольных двух событий A, B ∈ A будем гово-

рить, что они независимы, если выполняется равенство (3.5).
Заметим, что в отличие от информационного подхода к определению неза-
висимости мы здесь не требуем условия положительности вероятностей собы-
тий A и B.
Предложение 3.1. Если события A и B независимы, то независимы так-
же пары событий A и B, A и B, A и B.
Доказательство. Утверждение достаточно доказать для пары A и B. Ис-
пользуя равенство (3.5), получаем
P(AB) = P(A \ AB) = P(A) − P(AB) = P(A)(1 − P(B)) = P(A)P(B).
Определение 3.3. Будем говорить, что события A1 , . . . , An независимы в

совокупности, если для любых k = 2, . . . , n и 1 6 i1 < i2 < . . . < ik 6 n
выполняются соотношения
P(Ai1 · . . . · Aik ) = P(Ai1 ) · . . . · P(Aik ). (3.6)
Заметим, что из попарной независимости событий не следует, вообще гово-

ря, независимость в совокупности. Кроме того, при проверке независимости
в совокупности не достаточно ограничиться проверкой лишь самых длинных
цепочек в равенстве (3.6). Сказанное подтверждается следующими двумя при-
мерами.
Пример 1. Пусть Ω = {ω1 , ω2 , ω3 , ω4 }, где все элементарные события ωi
равновероятны. Определим A = {ω1 , ω2 }, B = {ω1 , ω3 }, C = {ω1 , ω4 }. Эти
события попарно независимы, но не выполняется равенство
P(ABC) = P(A)P(B)P(C).
Пример 2. Подбрасывается две игральные кости. Рассмотрим три события:

A = {на первой кости выпала единица, двойка или пятерка},
B = {на первой кости выпала четверка, пятерка или
шестерка},
C = {сумма выпавших очков на двух игральных костях равна девяти}.
В этом случае выполняется равенство
P(ABC) = P(A)P(B)P(C),
но нет даже попарной независимости.
Определение 3.4. Классы событий F1 , . . . , Fn называются независимыми,
если для любого набора A1 ∈ F1 , . . . , An ∈ Fn события A1 , . . . , An независимы
в совокупности.
Заметим, что условие независимости алгебр F1 , . . . , Fn можно сформулиро-
вать просто: для любых A1 ∈ F1 , . . . , An ∈ Fn должно выполняться равенство
P(A1 · . . . · An ) = P(A1 ) · . . . · P(An ).
В действительности, здесь содержатся все цепочки из формулы (3.6), посколь-
ку выбор в качестве одного или нескольких событий A1 , . . . , An достоверного
события Ω приводит к более короткой цепочке.
(1) (1) (n) (n)
Теорема 3.4. Пусть D1 = {D1 , . . . , Dk1 }, . . . , Dn = {D1 , . . . , Dkn } — раз-
биения пространства Ω и A (D1 ), . . . , A (Dn ) — порожденные ими алгебры со-
бытий. Тогда A (D1 ), . . . , A (Dn ) независимы, если для любых i1 , . . . , in , 1 6
i1 6 k1 , . . . , 1 6 in 6 kn , выполняются равенства
(1) (n) (1) (n)
P(Di1 · . . . · Din ) = P(Di1 ) · . . . · P(Din ). (3.7)
Доказательство. Нам нужно доказать, что если A1 ∈ A (D1 ), . . . , An ∈
A (Dn ), то выполняется равенство
P(A1 A2 . . . An ) = P(A1 )P(A2 ) . . . P(An ).
Согласно условию теоремы, это равенство выполняется в случае, когда в ка-
честве A1 , . . . , An выбраны атомы разбиений. Поскольку любое событие алгеб-
ры в нашем случае представляет собой объединение атомов соответствующего
разбиения, а сами атомы одного разбиения взаимно не пересекаются, то для
доказательства теоремы достаточно установить, что при выполнении равенств
P(AH1 . . . Hm ) = P(A)P(H1 ) . . . P(Hm ), P(BH1 . . . Hm ) = P(B)P(H1 ) . . . P(Hm )
для некоторых H1 , . . . , Hm и двух непересекающихся A, B следует
P((A ∪ B)H1 . . . Hm ) = P(A ∪ B)P(H1 ) . . . P(Hm ).
Последнее очевидно, поскольку при этих условиях
P((A ∪ B)H1 . . . Hm ) = P(AH1 . . . Hm ) + P(BH1 . . . Hm )
= P(A)P(H1 ) . . . P(Hm ) + P(B)P(H1 ) . . . P(Hm )
= P(A ∪ B)P(H1 ) . . . P(Hm )
и теорема доказана.
§ 4. Независимые испытания. Схема Бернулли
Допустим, что проводится серия из n независимых экспериментов (испыта-

ний), в каждом из которых с вероятностью p, 0 < p < 1, может наступить
и с вероятностью q = 1 − p может не наступить некоторое событие A. Появ-
ление события A обычно называют успехом, а не появление — неудачей.
Основной вопрос в схеме Бернулли состоит в вычислении вероятности собы-
тия Bn (k), которое заключается в том, что в проведенной серии испытаний
произошло ровно k успехов, k = 0, 1, . . . , n.
Для решения поставленной задачи построим вероятностное пространство
(Ω, A , P), соответствующее схеме Бернулли. Каждый результат серии экспе-
риментов можно представить n-мерной точкой ω = (δ1 , . . . , δn ), где δi при-
нимает значение 1 в случае успеха в i-том испытании и значение 0 в случае
неуспеха. В силу независимости испытаний вероятность элементарного собы-
тия ω = (δ1 , . . . , δn ) будет определяться равенством
Pn Pn
δi n− δi
P({ω}) = p i=1 q i=1 . (4.1)
Если ω ∈ Bn (k), то из (4.1) следует, что P({ω}) = pk q n−k . Замечая теперь, что
Bn (k) состоит из Cnk элементарных событий, приходим к формуле
P(Bn (k)) = Cnk pk q n−k . (4.2)
События Bn (k), k = 0, 1, . . . , n, образуют разбиение. Это подтверждается ра-
венством
Xn Xn
P(Bn (k)) = Cnk pk q n−k = (p + q)n = 1.
k=0 k=0
Формула (4.2) выражает распределение вероятностей числа успехов в n неза-
висимых испытаниях. Это распределение называют биномиальным.
При больших значениях n реализация формулы (4.2) сопряжена с трудоем-
кими вычислениями. Поэтому ее пытаются заменить приближенными форму-
лами. Следующий результат относится к случаю, когда p мало, а n велико. В
связи с малостью p этот результат иногда называют законом редких событий.
Теорема 4.1. [Пуассона.] Если n → ∞ и p → 0 так, что np → λ, 0 < λ <
∞, то при всех k = 0, 1, 2, . . . выполняется соотношение
λk −λ
P(Bn (k)) = Cnk pk q n−k → e .
k!
Доказательство. Из преобразований
n! 1 (n − 1) · . . . · (n − k + 1) k k
pk q n−k = n p (1 − p)n−k
k!(n − k)! k! nk−1

(np)k 1 k−1 1
= 1− · ... · 1 − (1 − p)−k (1 − p) p np
k! n n
и предельного соотношения
lim (1 − p)1/p = e−1
p→0
следует утверждение теоремы.

Заметим, что в условиях теоремы Пуассона 4.1 имеет место оценка

k 2
P(Bn (k)) − λ e−λ 6 λ , λ = np,
k! n
т. е. результат применим, когда np2 мало.
Доказанная теорема относится к так называемым предельным теоремам в
схеме Бернулли. Распределение вероятностей
λk
pk = e−λ , k = 0, 1, 2, . . . ,
k!
к которому стремится в условиях теоремы биномиальное распределение, на-
зывают пуассоновским распределением. В случае, когда вероятность успеха
фиксирована, а число экспериментов стремится к бесконечности, используют
предельные теоремы Муавра— Лапласа.
Теорема 4.2. [Локальная теорема Муавра-Лапласа.] Пусть в схеме Бер-
√
нулли 0 < p < 1 фиксировано, σ = npq, x = x(k) = (k − np)/σ, k = 0, 1, 2, . . ..
Тогда для любого M > 0 равномерно по всем k таким, что |x(k)| 6 M , при
n → ∞ имеет место асимптотическое равенство
1 2
P(Bn (k)) = √ e−x /2 (1 + o(1)).
σ 2π
Доказательство. В основе доказательства теоремы лежит формула Стир-
линга √ θ
n! = 2πn · nn · e−n · e 12n , 0 < θ < 1.
Из этой формулы следует, что

√ 1
ln n! = ln 2πn + n ln n − n + O .
n
Пусть k таково, что |x(k)| 6 M . Тогда из равенства
xq
k = np + xσ = np 1 +
σ
следует, что k → ∞ при n → ∞ (σ → ∞). Аналогично, из равенства
xp
n − k = nq − xσ = nq 1 −
σ
видно, что (n − k) → ∞ при n → ∞. Следовательно, к (n − k)! и k! также
можно применить формулу Стирлинга. Кроме того,

1 1 1 1 1 1
= O , = O , = O .
n σ2 k σ2 n−k σ2
Таким образом,
ln P(Bn (k)) = ln n! − ln k! − ln(n − k)! + k ln p + (n − k) ln q
1 n
= ln + n ln n − k ln k − (n − k) ln(n − k)
2 2πk(n − k)

1
+ k ln p + (n − k) ln q + O
σ2

1 1 n k n−k 1
= ln + ln − k ln − (n − k) ln +O .
2 2π k(n − k) np nq σ2
Далее,

n 1 xq xp 1 1
ln = ln − ln 1 + − ln 1 − = 2 ln + O ,
k(n − k) npq σ σ σ σ
а также
k n−k xq xp
k ln + (n − k) ln = (np + xσ) ln 1 + + (nq − xσ) ln 1 −
np nq σ σ

xq x2 q 2 1
= (np + xσ) − +o
σ 2σ 2 σ2

xp x2 p2 1
+ (nq − xσ) − − + o
σ 2σ 2 σ2

x2 q x2 p 1
= xσ − + x2 q − xσ − + x2 p + O
2 2 σ

x2 1
= +O .
2 σ
В результате получаем

1 x2 1
ln P(Bn (k)) = ln √ − +O ,
σ 2π 2 σ
что и доказывает теорему.
Теорема 4.3. [Интегральная теорема Муавра-Лапласа.] Пусть в схеме

Бернулли 0 < p < 1 фиксировано и Sn — число успехов в серии из n независи-
мых экспериментов. Тогда для −∞ < a < b < +∞ при n → ∞ имеет место
предельное соотношение
Zb
Sn − np 1 x2
lim P a 6 √ 6b = √ e− 2 dx.
n→∞ npq 2π
a
Доказательство этой теоремы следует из центральной предельной теоремы,

которая будет рассмотрена позже.
Предельные теоремы Пуассона и Муавра— Лапласа используют для прибли-
женных вычислений вероятностей P(Sn = k) и P(k1 6 Sn 6 k2 ) в схеме Бернул-
ли, когда n велико. В теореме Пуассона появилось распределение Пуассона:
pk = e−λ λk /k!, k = 0, 1, 2, . . .. В теореме Муавра— Лапласа возникает√нормаль-
2
ное распределение, которое описывается плотностью ϕ(x) = e−x /2 / 2π. Для
распределения Пуассона и интеграла Лапласа
Zx
1 u2
Φ0 (x) = √ e− 2 du
2π
0
имеются таблицы.
Допустим, что нам нужно вычислить вероятность P(k1 6 Sn 6 k2 ) в схеме
Бернулли с n независимыми испытаниями и вероятностью p успеха в отдель-
ном испытании. Если n велико, то можно использовать интегральную теорему
Муавра— Лапласа следующим образом:

k1 − np Sn − np k2 − np
P(k1 6 Sn 6 k2 ) = P √ 6 √ 6 √ ≈ Φ(x2 ) − Φ(x1 ),
npq npq npq
где
Zx
k1 − np k2 − np 1 u2
x1 = √ , x2 = √ , Φ(x) = √ e− 2 du.
npq npq 2π
−∞
Если считать, что Φ0 (x) = −Φ0 (|x|) при отрицательных x, то Φ(x2 ) − Φ(x1 ) =
Φ0 (x2 ) − Φ0 (x1 ) для любых значений x1 , x2 . Это следует из четности функции
ϕ(x).
Полиномиальная схема является обобщением схемы Бернулли. Здесь ре-
зультатом каждого испытания может быть один из r взаимоисключающих ис-
ходов A1 , . . . , Ar с вероятностями появления p1 , . . . , pr , соответственно, p1 +
. . . + pr = 1. Элементарное событие, соответствующее серии независимых n
испытаний, можно представить в виде ω = (δ1 , . . . , δn ), где каждое δi может
принимать одно из значений 1, . . . , r. Вероятность элементарного события в
силу независимости испытаний будет определяться равенством
P({ω}) = pδ1 · . . . · pδn .
Подобно событию Bn (k), которое рассматривалось в схеме Бернулли, в полино-

миальной схеме вводится Bn (k1 , . . . , kr ) — событие, состоящее в том, что в серии
из n экспериментов произошло k1 исходов с номером 1, . . . , kr исходов с номе-
ром r, k1 + . . . + kr = n. Из общей формулы видно, что если ω ∈ Bn (k1 , . . . , kr ),
то
P({ω}) = pk11 · . . . · pkr r .
Используя основное правило комбинаторики, легко подсчитывается количество
элементарных событий в Bn (k1 , . . . , kr ):
k2 n!
Cnk1 · Cn−k · . . . · Ckkrr = .
1
k1 ! · . . . · kr !
Таким образом, мы приходим к основному результату полиномиальной схемы —
полиномиальному распределению
n!
P(Bn (k1 , . . . , kr )) = pk1 · . . . · pkr r , k1 + . . . + kr = n.
k1 ! · . . . · kr ! 1
В случае r = 2 мы снова получаем схему Бернулли.
§ 5. Дискретные случайные величины
Часто с результатом случайного эксперимента связывают число. В связи с

этим возникает важное понятие случайной величины.
Пусть (Ω, A , P) — некоторое вероятное пространство. Под случайной величи-
ной, определенной на этом вероятностном пространстве, будем понимать чис-
ловую функцию ξ : Ω → R такую, что
{ω : ξ(ω) 6 x} ∈ A
для всех x ∈ R. Другими словами, {ξ 6 x} является событием и мы можем

говорить о вероятности этого события. В этом параграфе мы будем изучать, в
основном, дискретные случайные величины, которые принимают конечное или
счетное множество значений. Если ξ : Ω → {x1 , x2 , . . .}, то условие того, что
ξ — случайная величина, выражается просто: {ξ = xk } ∈ A , k = 1, 2, . . ..
Вначале рассмотрим случай, когда ξ принимает конечное число значений.
Такие случайные величины называют простыми. Если ξ принимает только
значения x1 , . . . , xn , то события Dk = {ξ = xk } образуют разбиение Dξ =
{D1 , . . . , Dn }. Через Aξ будем обозначать алгебру, порожденную этим раз-
биением. Заметим также, что P(ξ = xk ) = P(Dk ).
Простейшей случайной величиной является индикатор события A ∈ A , ко-
торый определяется равенством
(
1, если ω ∈ A,
1A (ω) =
0, если ω 6∈ A.
Отметим основные свойства индикаторов, которые следуют непосредственно
из определения.
1Ω (ω) ≡ 1, 1∅ (ω) ≡ 0, 1A (ω) = 1 − 1A (ω).
В дальнейшем мы будем опускать зависимость от элементарного события и
писать просто 1A . Имеют место также следующие соотношения
Y Y
1∩Ai = 1Ai , 1∪Ai = 1 − 1∪Ai = 1 − 1∩Ai = 1 − (1 − 1Ai ) .
Пусть ξ — случайная величина, принимающая значения x1 , . . . , xn соответ-
ственно на D1 , . . . , Dn , т. е. Dξ = {D1 , . . . , Dn }. Тогда
n
X
ξ = xi 1Di . (5.1)
i=1
Другими словами, простую случайную величину можно представить как ли-

нейную комбинацию индикаторов.
Допустим теперь, что проводится большое количество N экспериментов, со-
ответствующих вероятностному пространству (Ω, A , P). Тогда значение xi бу-
дет приниматься случайной величиной ξ, определяемой равенством (5.1), при-
близительно в N pi , pi = P(Di ), случайных экспериментах. Следовательно,
среднее наблюдавшихся значений случайной величины ξ будет приблизитель-
но равно величине
Xn
1
(x1 N p1 + . . . + xn N pn ) = xi pi .
N i=1
Это делает интуитивно понятным следующее определение.

Определение 5.1. Математическим ожиданием случайной величины ξ, опре-
деляемой равенством (5.1), называется число
n
X n
X
Eξ = xi P(Di ) = xi P(ξ = xi ). (5.2)
i=1 i=1
Замечание 5.1. Если случайная величина ξ, определяемая равенством (5.1),

допускает также представление
N
X
ξ = yj 1 Hj ,
j=1
где {H1 , . . . , HN } — разбиение, а y1 , . . . , yN не обязательно все различные, то
N
X
Eξ = yj P(Hj ).
j=1
Доказательство. Действительно, множество индексов {1, . . . , N } можно

разбить на подмножества Jk = {j : yj = xk }, k = 1, . . . , n. Заметим, что при
этом Dk = ∪j∈Jk Hj . Следовательно,
N
X n X
X n
X
yj P(Hj ) = xk P(Hj ) = xk P(Dk ) = Eξ.
j=1 k=1 j∈Jk k=1
Замечание 5.2. Если ξ определена равенством (5.1), а ϕ : R → R — неко-

торая функция, то математическое ожидание случайной величины η = ϕ(ξ)
можно вычислить по формуле
n
X
Eη = ϕ(xi )P(Di ).
i=1
Свойства математического ожидания простых случайных величин.

1◦ . Для любого A ∈ A имеет место равенство E1A = P(A);
2◦ . (Линейность.) Если ξ, η — случайные величины и α ∈ R, то E(αξ) = αEξ
и E(ξ + η) = Eξ + Eη;
3◦ . (Монотонность.) Если ξ > 0, то Eξ > 0 и равенство Eξ = 0 возможно
лишь в случае P({ω : ξ(ω) 6= 0}) = 0, т. е. случайная величина ξ почти
наверное равна нулю;
4◦ . Для любой случайной величины ξ имеет место неравенство |Eξ| 6 E|ξ|;
5◦ . (Неравенство Шварца.) Для любых случайных величин ξ и η имеет
место неравенство (Eξη)2 6 (Eξ 2 )(Eη 2 ).
Доказательство. Свойство 1◦ очевидно. Равенство Pn E(αξ) =PαEξ следует

m
из замечания 5.2. Допустим теперь, что ξ = i=1 x i 1Di
, η = j=1 yj 1Hj —
две случайные величины, а {D1 , . . . , Dn }, {H1 , . . . , Hm } — соответствующие им
разбиения. Тогда случайная величина ξ + η может быть представлена в виде
X
ξ+η = (xi + yj )1Di Hj .
i,j
Но тогда, в силу замечания 5.1 имеем

X
E(ξ + η) = (xi + yj )P(Di Hj )
i,j
X X
= xi P(Di Hj ) + yj P(Di Hj )
i,j i,j
X X X X
= xi P(Di Hj ) + yj P(Di Hj )
i j j i
X X
= P(Di ) + yj P(Hj )
i j
= Eξ + Eη
и свойство 2◦ доказано.
Условие ξ > 0 означает, что в представлении (5.1) все xi , i = 1, . . . , n, неотри-
цательны. Но тогда и Eξ, как сумма неотрицательных слагаемых, также будет
неотрицательной. Равенство Eξ = 0 возможно лишь в случае, когда P(Di ) = 0
для тех индексов i, которые соответствуют строго положительным значениям
xi . Это доказывает свойство 3◦ .
Свойство 4◦ является непосредственным следствием неравенства треуголь-
ника. Для доказательства 5◦ заметим вначале, что в случае равенства нулю
правой части неравенства Шварца обращается в нуль и левая его часть. Если,
например, Eξ 2 = 0, то P(ξ = 0) = 1 и Eξη = 0. Допустим теперь, что Eξ 2 > 0 и
Eη 2 > 0. Тогда корректно определены случайные величины
|ξ| |η|
ξˆ = p , η̂ = p .
Eξ 2 Eη 2
Замечая, что Eξˆ2 = Eη̂ 2 = 1, и используя очевидное неравенство 2ξˆη̂ 6 ξˆ2 + η̂ 2 ,

получаем
2Eξˆη̂ 6 Eξˆ2 + Eη̂ 2 = 2, Eξˆη̂ 6 1,
что эквивалентно неравенству Шварца.
Другой важной числовой характеристикой случайной величины является

дисперсия, которая характеризует степень разброса значений случайной ве-
личины.
Определение 5.2. Дисперсией случайной величины ξ называется число
Dξ = E(ξ − Eξ)2 .
√
Величина σξ = Dξ называется стандартным (или среднеквадратическим) от-
клонением.
Свойства дисперсии.
1◦ . Dξ = Eξ 2 − (Eξ)2 ;
2◦ . Для любого вещественного числа c и случайной величины ξ имеют место
равенства
D(cξ) = c2 Dξ, D(ξ + c) = Dξ;
3◦ . Равенство Dξ = 0 возможно лишь в случае P(ξ = Eξ) = 1, т. е. случайная

величина ξ почти наверное равна постоянной.
Доказательство. Используя свойство линейности математического ожи-
дания, получаем
Dξ = E(ξ − Eξ)2 = Eξ 2 − 2Eξ · Eξ + (Eξ)2 = Eξ 2 − (Eξ)2 .
Пусть теперь c ∈ R и ξ — случайная величина. Тогда
D(cξ) = E(cξ − cEξ)2 = c2 E(ξ − Eξ)2 = c2 Dξ,
а также
D(ξ + c) = E(ξ + c − E(ξ + c))2 = E(ξ − Eξ)2 = Dξ.
Из свойства монотонности математического ожидания 3◦ следует, что Dξ =
E(ξ − Eξ)2 > 0 и равенство Dξ = 0 возможно лишь в случае ξ − Eξ = 0 почти
наверное.
Независимость случайных величин.

Пусть ξ — случайная величина с представлением (5.1). Информация о том,
какое из значений x1 , . . . , xn приняла случайная величина ξ, эквивалентна тому,
что мы знаем, какое из событий D1 , . . . , Dn разбиения Dξ произошло. Но тогда
мы можем сказать о любом событии из алгебры Aξ произошло оно или нет.
Другими словами, алгебра Aξ отражает информацию, связанную со случайной
величиной ξ. В связи с этим естественно ввести следующее определение.
Определение 5.3. Случайные величины ξ и η, определенные на вероят-
ностном пространстве (Ω, A , P), называются независимыми, если независимы
алгебры Aξ и Aη .
Напомним, что условие независимости алгебр Aξ и Aη эквивалентно тому,
что для любых A ∈ Aξ и B ∈ Aη выполняется равенство P(AB) = P(A)P(B).
Кроме того, в силу теоремы 3.4 для того, чтобы ξ и η были независимы, доста-
точно выполнения условия P(DH) = P(D)P(H) для любых D ∈ Dξ и H ∈ Dη .
Теорема 5.1. Если ξ и η — независимые случайные величины, то
Eξη = Eξ · Eη, D(ξ + η) = Dξ + Dη.
Доказательство. Пусть
n
X m
X
ξ = xi 1Di , η = yj 1Hj .
i=1 j=1
Тогда, в силу независимости случайных величин, выполняются равенства P(Di Hj ) =

P(Di )P(Hj ) и, следовательно,
X X
E(ξη) = xi yj P(Di Hj ) = xi yj P(Di )P(Hj )
i,j i,j
n
! m 
X X
= xi P(Di )  yj P(Hj ) = EξEη.
i=1 j=1
Далее,
D(ξ + η) = E(ξ + η)2 − (E(ξ + η))2 = Eξ 2 + 2E(ξη) + Eη 2 − (Eξ)2 − 2EξEη − (Eη)2 .
Отсюда с использованием равенства Eξη = EξEη получаем, что D(ξ + η) =

Dξ + Dη и теорема доказана.
Замечание 5.3. Если ξ и η — две независимые случайные величины, а ϕ :

R → R — некоторая функция, то ϕ(ξ) и η также являются независимыми слу-
чайными величинами.
Действительно, это сразу же следует из включения Aϕ(ξ) ⊂ Aξ .
Ковариация и коэффициент корреляции. Эти числовые характеристи-
ки можно рассматривать как меру зависимости случайных величин.
Определение 5.4. Пусть ξ и η — две случайные величины, определенные
на одном вероятностном пространстве. Под ковариацией этих случайных вели-
чин понимается число
cov(ξ, η) = E(ξ − Eξ)(η − Eη).
Для вычисления ковариации нужно знать совместное распределение случай-

Pn Pm
ных величин. Пусть ξ = i=1 xi 1Di , η = j=1 yj 1Hj , т. е. Dξ = {D1 , . . . , Dn },
Dη = {H1 , . . . , Hm }. Рассмотрим случайный вектор (ξ, η), который принимает
значение (xi , yj ) на Di Hj , i = 1, . . . , n, j = 1, . . . , m. Другими словами, случай-
ному вектору (ξ, η) можно сопоставить разбиение
Dξ,η = {Di Hj : i = 1, . . . , n, j = 1, . . . , m}.
Вероятности pij = P(Di Hj ) = P(ξ = i, η = j) определяют совместное распре-

деление случайных величин ξ и η. Совместное распределение двух простых
случайных величин удобно представить таблицей.
ξη y1 y2 ... ym
x1 p11 p12 ... p1m
x2 p11 p12 ... p1m
.. .. .. .. ..
. . . . .
xn pn1 pn2 ... pnm
Отметим некоторые
P особенности этой таблицы. Поскольку Dξη является
разбиением, то i,j pij = 1. Кроме того,
m
X n
X
pij = pxi = P(ξ = xi ), pij = pyj = P(η = yj ).
j=1 i=1
Таким образом, совместное распределение случайных величин ξ и η позволяет

получить их индивидуальные распределения. Условие независимости случай-
ных величин ξ и η эквивалентна выполнению равенств pij = pxi pyj , i = 1, . . . , n,
j = 1, . . . , m.PЗаметим также, что любая такая таблица с выполнением усло-
вий pij > 0, i,j pij = 1 определяет совместное распределение двух случайных
величин.
Наряду с ковариацией также рассматривают коэффициент корреляции. Его

вводят в рассмотрение при условии, что Dξ > 0 и Dη > 0. Заметим, что если
дисперсия одной из случайных величин равна нулю, например Dξ = 0, то ξ = Eξ
почти наверное и в этом случае cov(ξ, η) = 0. Допустим теперь, что Dξ > 0 и
Dη > 0. Тогда корректно определены случайные величины
ξ − Eξ η − Eη
ξˆ = √ , η̂ = √ ,
Dξ Dη
которые удовлетворяют условиям
Eξˆ = Eη̂ = 0, Dξˆ = Dη̂ = 1.
Коэффициент корреляции %(ξ, η) определяется равенством
cov(ξ, η)
%(ξ, η) = E(ξˆη̂) = √ √ .
Dξ · Dη
Свойства ковариации и коэффициента корреляции.
1◦ . cov(ξ, η) = Eξη − Eξ · Eη;
2◦ . Если ξ и η независимы, то cov(ξ, η) = 0;
3◦ . |%(ξ, η)| 6 1 и |%(ξ, η)| = 1 в том и только том случае, если P(η = aξ + b) =
1 при некоторых a, b ∈ R.
Доказательство. Свойства 1◦ и 2◦ очевидны. Остается доказать свойство
◦
3 . В силу неотрицательности дисперсии имеем
0 6 D(ξˆ ± η̂) = Dξˆ + Dη̂ ± 2%(ξ, η) = 2(1 ± %(ξ, η)).
Отсюда следует, что −1 6 %(ξ, η) 6 1. Если же %(ξ, η) = 1, то D(ξˆ − η̂) = 0

и тогда ξˆ − η̂ ≡ const почти наверное. Это влечет линейную зависимость ξ и
η. Аналогично, если %(ξ, η) = −1, то D(ξˆ + η̂) = 0 и тогда ξˆ + η̂ ≡ const почти
наверное.
Пример. Пусть ζ — случайная величина, которая с равными вероятностями

1/3 принимает значения 0, π/2 и π. Тогда случайные величины ξ = cos ζ и
η = sin ζ функционально связаны, но cov(ξ, η) = 0.
Определение 5.5. Случайные величины ξ и η называются некоррелиро-
ванными, если cov(ξ, η) = 0.
Для вычисления ковариации случайных величин достаточно знать таблицу
их совместного распределения, поскольку
n
X m
X m
X n
X n X
X m
Eξ = xi pij , Eη = yj pij , Eξη = xi yj pij .
i=1 j=1 j=1 i=1 i=1 j=1
Отметим также, что непосредственно из определений следуют равенства

p p
D(ξ + η) = Dξ + Dη + 2cov(ξ, η), cov(ξ, η) = Dξ · Dη · %(ξ, η).
Ковариационная матрица.
Пусть ξ1 , . . . , ξn — случайные величины, определенные на одном вероятност-

ном пространстве. Тогда степень их попарной зависимости отражает ковари-
ационная матрица V = (vij ), vij = cov(ξi , ξj ), i, j = 1, . . . , n. В случае i = j
элемент vij является дисперсией Dξi . Отметим некоторые особенности ковари-
ационной матрицы. Это симметрическая матрица, на диагонали которой стоят
неотрицательные числа. Кроме того, она неотрицательно определена, т. е.
n
X
xt Vx = vij xi xj > 0
i,j=1
для всех x = (x1 , . . . , xn ) из Rn . Будем x ∈ Rn представлять как вектор-столбец.

Также сформируем случайный вектор-столбец ξ~ = (ξ1 , . . . , ξn )t и пусть Eξ~ =
(Eξ1 , . . . , Eξn )t — его математическое ожидание. Тогда
V = E{(ξ~ − Eξ)(
~ ξ~ − Eξ)
~ t },
а значение квадратичной формы на векторе x ∈ Rn запишется в виде
xt Vx = E{xt (ξ~ − Eξ)(

~ ξ~ − Eξ)
~ t x} = E(xt (ξ~ − Eξ))
~ 2 > 0.
Замечание 5.4. Симметричность и неотрицательная определенность явля-

ются характеристическими свойствами ковариационной матрицы.
Если Dξi = vii > 0 при всех i = 1, . . . , n, то определена
√ также корреляци-
онная матрица K = (%ij ), %ij = vij /(σi σj ), где σi = Dξi . Корреляционная
матрица также является симметрической и неотрицательно определенной. Ее
отличительной чертой является то, что на главной диагонали стоят единицы.
Задача линейного оценивания.
Пусть ξ и η — две случайные величины, из которых лишь ξ является наблю-
даемой. Если ξ и η коррелированы, то естественно предположить, что знание
значения ξ позволит получить некоторые выводы о значениях ненаблюдаемой
случайной величины η. Всякую функцию ϕ : R → R в контексте этой задачи
называют оценкой для η. Оценка ϕ∗ называется оптимальной в смысле сред-
неквадратического отклонения в классе оценок Φ, если
E(η − ϕ∗ (ξ))2 = inf E(η − ϕ(ξ))2 .

ϕ∈Φ
Оказывается, что для отыскания оптимальной оценки в классе линейных функ-

ций ϕ(x) = ax + b достаточно знания ковариации cov(ξ, η).
Рассмотрим функцию двух переменных
ψ(a, b) = E(η − (aξ + b))2 ,
которая представляет собой неотрицательную квадратичную форму относи-

тельно переменных a и b. Поэтому она достигает минимума в некоторой точке
(a∗ , b∗ ), которая является решением системы уравнений
∂ψ ∂ψ
(a, b) = 0, (a, b) = 0.
∂a ∂b
Вычисляя частные производные функции ψ, получаем

(
Eξη − aEξ 2 − bEξ = 0,
Eη − aEξ − b = 0.
Умножая второе равенство на Eξ и вычитая из первого, приходим к соотноше-

нию
cov(ξ, η) − aDξ = 0,
откуда находим
cov(ξ, η)
a∗ =
Dξ
и далее
cov(ξ, η)
b∗ = Eη − Eξ.
Dξ
Следовательно, оптимальной оценкой в классе линейных функций является
cov(ξ, η)
η ∗ = ϕ∗ (ξ) = Eη + (ξ − Eξ).
Dξ
Это равенство называют также уравнением регрессии η на ξ.

Заметим также, что среднеквадратическая ошибка линейного оценивания
вычисляется по формуле
2
∗ 2 cov(ξ, η)
E(η − η ) = E (η − Eη) − (ξ − Eξ)
Dξ
(cov(ξ, η))2 (cov(ξ, η))2
= Dη − 2 +
Dξ Dξ
2

= Dη 1 − (%(ξ, η)) .
Отсюда видно, что оценка тем точнее, чем ближе коэффициент корреляции
%(ξ, η) по модулю к единице.
Целочисленные случайные величины и производящие функции.
С точки зрения распределения вероятностей легко ввести в рассмотрение
случайные величины, принимающие счетное число значений: P(ξ = xk ) = pk ,
P∞
pk > 0 и k=1 pk = 1. Однако в этом случае математическое ожидание и
дисперсия не всегда определены.
Определение 5.6. Пусть случайная величина ξ принимает счетное число
значений: P(ξ = xk ) = pk , k = 1, 2, . . .. Будем говорить, что
P∞для ξ определено
математическое ожидание, если сходится числовой ряд k=1 |xk |pk . В этом
случае определяется
X∞
Eξ = xk pk .
k=1
Дискретную случайную величину ξ, принимающую только целые неотри-

цательные значения, называют целочисленной случайной величиной. Ее рас-
пределение вероятностей P(ξ = k) = pk , k = 0, 1, 2, . . ., удобно представлять
производящей функцией
∞
X
gξ (x) = Exξ = p k xk .
k=0
Заметим, что степенной ряд, определяющий производящую функцию, сходится

при |x| 6 1. При этом gξ (1) = 1 и
1 (k)
pk = g (0), k = 0, 1, 2, . . . .
k! ξ
Если pk 6= 0 лишь для конечного числа индексов, то gξ (x) представляет собой
полином, а ξ принимает конечное число значений. В терминах производных от
производящей функции легко вычисляются математическое ожидание и дис-
персия случайной величины. Действительно,
∞
X
Eξ = kpk = gξ0 (1),
k=1
и аналогично
∞ ∞
!2
X X 2
Dξ = 2
k pk − kpk = gξ00 (1) + gξ0 (1) − gξ0 (1) .
k=1 k=1
Наиболее часто встречающиеся в приложениях дискретные случайные вели-

чины являются целочисленными. Перечислим некоторые из них и найдем их
производящие функции и числовые характеристики.
Бернуллиевское распределение.
P(ξ = 1) = p, P(ξ = 0) = q, q = 1 − p, 0 < p < 1.
gξ (x) = px + q, Eξ = p, Dξ = pq.
Биномиальное распределение.
P(ξ = k) = Cnk pk q n−k , 0 < p < 1, q = 1 − p, k = 0, 1, . . . , n.
gξ (x) = (px + q)n , Eξ = np, Dξ = npq.

Пуассоновское распределение.
λk
P(ξ = k) = e−λ , λ > 0, k = 0, 1, 2, . . . .
k!
gξ (x) = eλ(x−1) , Eξ = λ, Dξ = λ.
Геометрическое распределение.
P(ξ = k) = pq k , 0 < p < 1, q = 1 − p, k = 0, 1, . . . .

p q q
gξ (x) = , Eξ = , Dξ = .
1 − qx p p2
§ 6. Пространство с мерой и общая

модель вероятностного пространства
Напомним, что под алгеброй подмножеств Ω мы понимаем такой класс под-

множеств Ω, который замкнут относительно конечного числа теоретико-мно-
жественных операций. При работе с бесконечными множествами часто прихо-
дится иметь дело с последовательностями подмножеств и производить с ними
счетное число операций. Например, если A1 , A2 , . . . — последовательность мно-
жеств, то естественно возникают верхний и нижний пределы этой последова-
тельности
∞ [
\ ∞ \
[
A∗ = lim An = Ak , A∗ = lim An = Ak .
n→∞ n→∞
n=1 k>n n=1 k>n
Если A1 , A2 , . . . интерпретировать как события, то верхний предел A∗ выражает

то, что произошло бесконечно много событий последовательности, а нижний
предел A∗ соответствует тому, что произошли все события последовательно-
сти, за исключением, быть может, конечного числа. В случае A1 ⊂ A2 ⊂ . . .
последовательность {An } называется монотонно возрастающей и тогда A∗ =
A∗ = ∪∞ n=1 An . Аналогично, в случае A1 ⊃ A2 ⊃ . . . последовательность {An }
называется монотонно убывающей и A∗ = A∗ = ∩∞ n=1 An . В общем случае
последовательность {An } называется сходящейся, если A∗ = A∗ .
Определение 6.1. Класс A подмножеств Ω называется σ-алгеброй, если

он является алгеброй и замкнут относительно счетных объединений.
Замечание 6.1. Класс A подмножеств Ω является σ-алгеброй в том и толь-

ко том случае, если выполнены следующие условия:
1◦ Ω ∈ A ;
2◦ Если A ∈ A , то Ā ∈ A ;
3◦ Если {An } ⊂ A , то ∪∞
n=1 An ∈ A .
Другими словами, σ-алгебра замкнута относительно счетного числа теорети-

ко-множественных операций. Действительно, замкнутость относительно счет-
ных объединений содержится в пункте 3◦ , а замкнутость относительно счетных
пересечений выводится с использованием правил де Моргана.
Определение 6.2. Пусть K — некоторый класс подмножеств Ω. Тогда под

σ(K ) будем понимать σ-алгебру подмножеств Ω, которая удовлетворяет сле-
дующим условиям:
(i) K ⊂ σ(K );
(ii) Если F — σ-алгебра подмножеств Ω и K ⊂ F , то σ(K ) ⊂ F .
В силу условия (ii) σ-алгебру σ(K ) называют минимальной σ-алгеброй,

порожденной K . Поскольку 2Ω , множество всех подмножеств Ω, является
σ-алгеброй и пересечение любой совокупности σ-алгебр также является σ-алгеб-
рой, то для любого семейства K подмножеств Ω существует и единственна
σ(K ).
Если Ω = R, а K — совокупность открытых множеств в R, то в качестве

σ(K ) мы получаем борелевскую σ-алгебру подмножеств R. Ее обычно обозна-
чают через B(R) или B. Множества из B называют борелевскими множества-
ми.
Замечание 6.2. Если T — класс полуинтервалов вида (−∞, x], x ∈ R, то
σ(T ) = B.
Действительно, σ(T ) должна содержать полуинтервалы вида (a, b], посколь-
ку (a, b] = (−∞, b] \ (−∞, a]. Но тогда замкнутость σ(T ) относительно счетных
объединений влечет принадлежность и интервалов (a, b) = ∪∞ n=1 (a, b − ε/n],
0 < ε < (b − a)/2. С другой стороны, любое открытое множество в R можно
представить в виде объединения не более, чем счетного числа интервалов. Это
влечет равенство σ(T ) = B.
Определение 6.3. Пусть Ω — некоторое множество и A — некоторая σ-ал-
гебра его подмножеств. Пара (Ω, A ) называется измеримым пространством.
Введем еще несколько определений, связанных с понятием вероятности.
Определение 6.4. Пусть (Ω, A ) — измеримое пространство. Неотрицатель-
ная функция µ : A → R+ называется аддитивной, если µ(∅) = 0 и для всех
A, B ∈ A таких, что AB = ∅, выполняется равенство µ(A ∪ B) = µ(A) + µ(B).
Функция µ : A → R+ называется счетно-аддитивной, если µ(∅) = 0 и для
любой последовательности {AN } ⊂ A такой, что Ai Aj = ∅ при i 6= j, выпол-
няется равенство !
∞
[ ∞
X
µ An = µ(An ).
n=1 n=1
Определение 6.5. Пусть (Ω, A ) — измеримое пространство. Функция µ :

A → R+ называется мерой на (Ω, A ), если она счетно-аддитивна. Тройка
(Ω, A , µ) в этом случае называется пространством с мерой. Мера µ на (Ω, A )
называется вероятностной мерой, если µ(Ω) = 1.
В дальнейшем под вероятностным пространством будем понимать тройку
(Ω, A , P), где (Ω, A ) — измеримое пространство, а P — вероятностная мера на
(Ω, A ). Это определение вероятностного пространства составляет аксиомати-
ку Колмогорова.
Определение 6.6. Пусть (Ω, A ) — измеримое пространство. Функция µ :
A → R+ называется непрерывной, если µ(∅) = 0 и для всякой монотонной
исчезающей последовательности Hn & ∅ в A выполняется условие
µ(Hn ) → 0 при n → ∞.
Теорема 6.1. Пусть (Ω, A ) — измеримое пространство и µ : A → R+ —

аддитивная функция. Для того, чтобы µ была счетно-аддитивной, необхо-
димо и достаточно, чтобы она была непрерывной.
Доказательство. Допустим, что µ является счетно-аддитивной и {Hn } ⊂
A — исчезающая последовательность. Определим A1 = H1 H̄2 , A2 = H2 H̄3 , . . ..
Поскольку Hn & ∅, то A1 , A2 , . . . образуют последовательность попарно непе-

ресекающихся множеств в A . При этом для n = 1, 2, . . . выполняется равенство
Hn = ∪∞k=n Ak . В силу счетной аддитивности получаем
∞
X
µ(Hn ) = µ(Ak )
k=n
и µ(Hn ) → 0 при n → ∞ как остаток сходящегося ряда.

Обратно, допустим теперь, что µ удовлетворяет условию непрерывности и
A1 , A2 , . . . — последовательность попарно непересекающихся множеств из A .
Обозначим A = ∪∞ n
n=1 An , Bn = ∪k=1 Ak . Тогда Bn % A и в силу аддитивности
µ выполняются равенства
n
X n
X
µ(Bn ) = µ(Ak ), µ(A \ Bn ) = µ(A) − µ(Ak ).
k=1 k=1
Замечая также, что Hn = A \ Bn , n = 1, 2, . . ., образуют исчезающую последо-

вательность, с использованием непрерывности µ получаем
n
X ∞
X
µ(A) = µ(Hn ) + µ(Ak ) → µ(Ak )
k=1 k=1
при n → ∞.
Следствие 6.1. Пусть (Ω, A , µ) — пространство с мерой и {An } ⊂ A —

монотонная последовательность с пределом A = limn→∞ An . Тогда
lim µ(An ) = µ(A).

n→∞
Доказательство. Докажем это для монотонно возрастающей последова-

тельности. Допустим, что A1 ⊂ A2 ⊂ . . .. В этом случае множества Hn = A\An ,
n = 1, 2, . . ., образуют исчезающую последовательность и, следовательно, по-
лучаем
µ(Hn ) = µ(A) − µ(An ) → 0
при n → ∞, что и доказывает наше утверждение.
Уточним теперь понятие случайной величины, определенной на вероятност-

ном пространстве (Ω, A , P). Естественно исходить из того, что случайная ве-
личина — это функция от элементарного события, т. е. ξ : Ω → R. Однако
такое понимание случайной величины требует уточнения. Чтобы можно было
говорить о вероятности того, что случайная величина ξ примет значение из
интервала (a, b), необходимо, чтобы
ξ −1 ((a, b)) = {ω ∈ Ω : ξ(ω) ∈ (a, b)}
было событием, т. е. принадлежало σ-алгебре A . Поскольку минимальным

классом подмножеств R, замкнутым относительно счетного числа теоретико-мно-
жественных операций и содержащим интервалы, является борелевская σ-алгебра
B(R), то мы естественным образом приходим к следующему определению.
Определение 6.7. Пусть (Ω, A , P) — вероятностное пространство. Функ-

ция ξ : Ω → R называется случайной величиной, определенной на этом веро-
ятностном пространстве, если для всякого борелевского множества B ∈ B(R)
выполняется условие
{ω ∈ Ω : ξ(ω) ∈ B} ∈ A ,
т. е. ξ −1 (B) ∈ A .
Поскольку операция взятия прообраза обладает свойством
! !
[ [ \ \
−1 −1 −1
ξ Eα = ξ (Eα ), ξ Eα = ξ −1 (Eα )
α α α α
для любого семейства множеств Eα , то

σ(ξ) := {A = ξ −1 (B) : B ∈ B(R)}
является σ-алгеброй подмножеств Ω и σ(ξ) ⊂ A .
Теорема 6.2. Пусть (Ω, A , P) — вероятностное пространство и ξ : Ω →
R такая, что для всех x ∈ R выполняется условие
{ω ∈ Ω : ξ(ω) 6 x} ∈ A .
Тогда ξ является случайной величиной.
Доказательство. Нам нужно показать, что ξ −1 (B) ∈ A для всех B ∈ B.
Обозначим
F = {B ⊂ R : ξ −1 (B) ∈ A }
и покажем, что F является σ-алгеброй подмножеств R. Действительно, R ∈ F
поскольку ξ −1 (R) = Ω ∈ A . Если B ∈ F , то
ξ −1 (R \ B) = Ω \ ξ −1 (B) ∈ A
и R \ B также принадлежит F . Наконец, если Bn ∈ F , n = 1, 2, . . ., то
ξ −1 (∪∞ ∞
n=1 Bn ) = ∪n=1 ξ
−1
(Bn ) принадлежит A , т. е. ∪∞
n=1 Bn принадлежит F .
Таким образом выполнены условия, из которых следует, что F является σ-ал-
геброй. Далее, по условию теоремы совокупность T полуинтервалов (−∞, x],
x ∈ R, содержится в F . Но тогда и σ(T ) = B ⊂ F .
Замечание 6.3. Заключение теоремы будет верным, если в ее предполо-

жениях полуинтервалы (−∞, x] заменить полуинтервалами любого из трех ви-
дов: (−∞, x), (x, ∞), [x, ∞), поскольку минимальная σ-алгебра, порожденная
семейством полуинтервалов любого из этих трех видов также совпадает с бо-
релевской σ-алгеброй.
Определение 6.8. Случайные величины ξ1 , . . . , ξn , определенные на одном
и том же вероятностном пространстве (Ω, A , P), называются независимыми,
если независимы σ-алгебры σ(ξ1 ), . . . , σ(ξn ), т. е. для любых борелевских мно-
жеств B1 , . . . , Bn выполняется условие
n
Y
P({ω ∈ Ω : ξ1 (ω) ∈ B1 , . . . , ξn (ω) ∈ Bn }) = P({ω ∈ Ω : ξk (ω) ∈ Bk }).
k=1
Заметим теперь, что случайную величину ξ, определенную на вероятност-

ном пространстве (Ω, A , P), можно рассматривать как измеримое отображение
измеримых пространств (Ω, A ) и (R, B). При этом вероятностную меру P,
определенную на A , можно перенести на борелевскую σ-алгебру B(R) посред-
ством равенства
Pξ (B) := P(ξ −1 (B)) = P({ω ∈ Ω : ξ(ω) ∈ B}), B ∈ B.
Определенная таким образом Pξ является вероятностной мерой на измери-

мом пространстве (R, B). Действительно,
Pξ (R) = P({ω ∈ Ω : ξ(ω) ∈ R}) = P(Ω) = 1,
а если B1 , B2 , . . . — попарно непересекающиеся борелевские множества, то

∞
! ∞
!! ∞
!
[ [ [
−1 −1
Pξ Bn = P ξ Bn = P ξ (Bn )
n=1 n=1 n=1
∞
X ∞
X
= P(ξ −1 (Bn )) = Pξ (Bn ).
n=1 n=1
Здесь мы воспользовались свойством взятия прообраза и тем, что множества

ξ −1 (B1 ), ξ −1 (B2 ), . . . попарно не пересекаются.
Таким образом, каждая случайная величина ξ порождает вероятностное про-
странство (R, B, Pξ ). При этом мера Pξ называется распределением вероятно-
стей случайной величины ξ.
Определение 6.9. Функцию
Fξ (x) = Pξ ((−∞, x]) = P({ω ∈ Ω : ξ(ω) 6 x}),
определенную на R, называют функцией распределения случайной величины ξ.

Посредством функции распределения Fξ сразу же определяется мера полу-
интервалов
Pξ ((a, b]) = Fξ (b) − Fξ (a).
С полуинтервалов мера Pξ однозначно продолжается до меры на измеримом
пространстве (R, B). Отметим характеристические свойства функции распре-
деления:
1◦ . Fξ (x) не убывает на R;
2◦ . Fξ (x) непрерывна справа в каждой точке x ∈ R;
3◦ . Fξ (−∞) = lim Fξ (x) = 0, Fξ (∞) = lim Fξ (x) = 1.
x→−∞ x→∞
Доказательство. Монотонность функции Fξ следует из свойства моно-

тонности меры Pξ . Действительно, если x0 < x00 , то (−∞, x0 ] ⊂ (−∞, x00 ]
и Pξ ((−∞, x0 ]) 6 Pξ ((−∞, x00 ]), т. е. Fξ (x0 ) 6 Fξ (x00 ). Допустим теперь, что
xn & x при n → ∞. Тогда (−∞, xn ] & (−∞, x] и по свойству непрерывности
меры Pξ имеем
lim Fξ (xn ) = lim Pξ ((−∞, xn ]) = Pξ ((−∞, x]) = Fξ (x).

n→∞ n→∞
Тем самым доказана непрерывность справа функции Fξ . Свойство 3◦ также

следует из непрерывности меры Pξ поскольку (−∞, xn ] & ∅ при xn & −∞ и
(−∞, xn ] % R при xn % ∞.
Заметим, что любая функция F , определенная на R и удовлетворяющая

условиям 1◦ — 3◦ , может рассматриваться как функция распределения некото-
рой случайной величины.
В случае дискретной случайной величины ξ ее функция распределения яв-
ляется ступенчатой. Среди непрерывных функций распределения выделяются
абсолютно непрерывные, которые определяются плотностью
Zx
Fξ (x) = fξ (u) du.
−∞
В качестве плотности fξ может выступать любая неотрицательная функция f

на R, которая интегрируема на всей числовой оси и
Z∞
f (x) dx = 1.
−∞
В терминах плотности fξ просто выражаются следующие вероятности
Zb
P({ω : a < ξ(ω) < b}) = P({ω : a 6 ξ(ω) 6 b}) = fξ (x) dx.
a
Кроме того, в точках непрерывности плотности функция Fξ дифференцируема

и выполняется равенство
Fξ0 (x) = fξ (x).
Среди наиболее часто встречающихся в приложениях абсолютно непрерывных
распределений отметим следующие:
♦ Нормальное (или гауссовское) с плотностью
1 2 2
fξ (x) = √ e−(x−a) /2σ , a ∈ R, σ > 0;
σ 2π
♦ Равномерное на [a, b]
1
fξ (x) = 1[a,b] (x);
b−a
♦ Показательное
fξ (x) = λe−λx 1[0,∞) (x), λ > 0;
♦ Коши
1 1
fξ (x) = .
π x2 + 1
Совместное распределение случайных величин также можно описать

функцией распределения. Пусть ξ и η — две случайные величины, определен-
ные на одном вероятностном пространстве (Ω, A , P). Тогда под их совместной
функцией распределения понимают
Fξ,η (x, y) = P({ω ∈ Ω : ξ(ω) 6 x, η(ω) 6 y}),
(x, y) ∈ R2 . Отметим свойства Fξ,η как функции двух переменных.
1∗ . Fξ,η (x, y) не убывает по каждой переменной;
2∗ . Fξ,η (x, y) непрерывна справа по каждой переменной и
Fξ,η (−∞, y) = Fξ,η (x, −∞) = 0, Fξ,η (+∞, +∞) = 1;
3∗ . Для всех x, y ∈ R, ∆x > 0, ∆y > 0 выполняется неравенство
Fξ,η (x + ∆x, y + ∆y) − Fξ,η (x, y + ∆y) − Fξ,η (x + ∆x, y) + Fξ,η (x, y) > 0.
Свойства 1∗ — 3∗ являются характеристическими для совместной функции
распределения. Кроме того, совместная функция распределения содержит в
себе индивидуальные (одномерные) функции распределения:
Fξ (x) = lim Fξ,η (x, y), Fη (y) = lim Fξ,η (x, y).
y→∞ x→∞
Важный класс непрерывных совместных функций распределения составля-

ют абсолютно непрерывные, которые определяются плотностью
Zx Zy
Fξ,η (x, y) = fξ,η (u, v) dudv.
−∞ −∞
В терминах плотности fξ,η удобно вычислять вероятность попадания случайной

точки (ξ, η) в область D ⊂ R2 :
ZZ
P((ξ, η) ∈ D) = fξ,η (x, y) dxdy.
D
В качестве плотности совместного распределения двух случайных величин мож-

но рассматривать любую неотрицательную функцию f (x, y), для которой
ZZ
f (x, y) dxdy = 1.
R2
В точках непрерывности плотности fξ,η (x, y) выполняется равенство

∂2
Fξ,η (x, y) = fξ,η (x, y).
∂x∂y
Если совместная функция распределения Fξ,η абсолютно непрерывна, то также
абсолютно непрерывными будут одномерные функции распределения Fξ и Fη .
При этом
Z∞ Z∞
fξ (x) = fξ,η (x, y) dy, fη (y) = fξ,η (x, y) dx.
−∞ −∞
Замечание 6.4. Случайные величины ξ и η независимы в том и только том

случае, если для всех x, y ∈ R выполняется равенство
Fξ,η (x, y) = Fξ (x)Fη (y).
В абсолютно непрерывном случае это равенство эквивалентно следующему
fξ,η (x, y) = fξ (x)fη (y).
Аналогично двумерному случаю рассматривается совместное распределение

n случайных величин.
§ 7. Математическое ожидание
Ранее мы определили математическое ожидание для дискретных случайных

величин. В общем случае математическое ожидание (если оно существует) вво-
дится путем аппроксимации случайной величины последовательностями про-
стых случайных величин и предельным переходом.
Теорема 7.1. [Аппроксимационная] Пусть ξ — неотрицательная случай-
ная величина, определенная на вероятностном пространстве (Ω, A , P). Тогда
найдется последовательность {ξn } простых неотрицательных случайных ве-
личин такая, что ξn (ω) % ξ(ω) при n → ∞ для всех ω ∈ Ω.
n Доказательство. o Для каждого натурального n введем разбиение Dn =

(n) (n)
∆n , D1 , . . . , Dn2n , где

(n) k−1 k
∆n = {ω : ξ(ω) > n}, Dk = ω: n
6 ξ(ω) < n , k = 1, 2, . . . , n2n .
2 2
Далее определим простые случайные величины
n
n2
X k−1
ξn = n · 1∆n + · 1D(n)
2n k
k=1
и покажем, что ξn (ω) % ξ(ω) при n → ∞ для всех ω ∈ Ω. Вначале докажем

монотонность этой последовательности простых случайных величин. Пусть
ω ∈ Ω фиксировано. Если ξ(ω) > n, то ξn (ω) = n, а ξn+1 > n, как видно из
определения последовательности случайных величин ξn . В случае ξ(ω) < n
(n)
найдется k 6 n2n такое, что ω ∈ Dk . Но тогда ξn (ω) = (k − 1)2−n , а
(n) (n+1) (n+1)
Dk = D2k−1 ∪ D2k .
(n+1)
Если ω ∈ D2k−1 , то
ξn+1 (ω) = (2k − 2) · 2−(n+1) = (k − 1) · 2−n = ξn (ω),

(n+1)
а если ω ∈ D2k , то
ξn+1 (ω) = (2k − 1) · 2−(n+1) = (k − 1) · 2−n + 2−(n+1) = ξn (ω) + 2−(n+1) .

Монотонность последовательности ξn (ω) таким образом доказана.

Заметим теперь, что для фиксированного ω ∈ Ω найдется такое натуральное
N , что ξ(ω) < N . Из построения последовательности следует, что при n > N
будут выполняться неравенства
ξn (ω) 6 ξ(ω) < ξn (ω) + 2−n .
Отсюда следует, что ξn (ω) % ξ(ω) при n → ∞.
Для доказательства корректности вводимого ниже определения математи-

ческого ожидания нам потребуется также следующий результат.
Теорема 7.2. Пусть η, ξ1 , ξ2 , . . . — простые неотрицательные случайные ве-
личины и ξn (ω) % ξ(ω) > η(ω) при n → ∞ для всех ω ∈ Ω. Тогда
Eη 6 lim Eξn .
n→∞
Доказательство. Фиксируем произвольно ε > 0 и определим

An = {ω : ξn (ω) > η(ω) − ε}, n = 1, 2, . . . .
Поскольку
ξn = ξn 1An + ξn 1An > (η − ε)1An = η − η1An − ε1An > η − M 1An − ε,
где M = max{η(ω) : ω ∈ Ω}, то
Eξn > Eη − ε − M P(An ).
Из монотонности последовательности {ξn } и условия ξ > η следует, что An %
Ω при n → ∞. Но тогда An & ∅ и в силу непрерывности вероятностной
меры P(An ) → 0 при n → ∞. Поскольку числовая последовательность {Eξn }
не убывает, то она либо стремится к ∞, либо сходится к конечному пределу.
Следовательно,
lim Eξn > Eη − ε.
n→∞
Поскольку ε > 0 выбиралось произвольно, то
lim Eξn > Eη
n→∞
Следствие 7.1. Пусть {ξn }, {ηn } — две последовательности простых неот-

рицательных случайных величин и ξn % ξ, ηn % ξ. Тогда
lim Eξn = lim Eηn .
n→∞ n→∞
Доказательство. Из теоремы следует, что для каждого k = 1, 2, . . . вы-

полняется неравенство
lim Eξn > Eηk .
n→∞
Но тогда
lim Eξn > lim Eηk .
n→∞ k→∞
Меняя ролями эти последовательности, получим обратное неравенство, что и
влечет требуемое равенство.
Определение 7.1. Пусть ξ — неотрицательная случайная величина и ξn %

ξ, где {ξn } — последовательность простых неотрицательных случайных вели-
чин. Тогда
Eξ := lim Eξn ,
n→∞
если этот предел конечен.
Заметим, что существование последовательности {ξn } следует из теоремы 7.1,
а то, что определение Eξ не зависит от выбора аппроксимирующей последова-
тельности, следует из теоремы 7.2 и следствия 7.1.
Для произвольной случайной величины ξ рассматриваются две неотрица-
тельные случайные величины
ξ + = max{ξ, 0}, ξ − = max{−ξ, 0}.
Очевидно, что ξ = ξ + −ξ − . В случае, когда Eξ + и Eξ − конечны, будем говорить,

что ξ имеет конечное математическое ожидание
Eξ := Eξ + − Eξ − .
Из определения следует, что в случае, когда случайная величина ξ имеет конеч-

ное математическое ожидание, то и |ξ| также имеет конечное математическое
ожидание, поскольку |ξ| = ξ + + ξ − .
Введенное таким образом математическое ожидание сохраняет основные свой-
ства, которые были установлены для простых случайных величин:
1◦ Линейность: E(aξ + bη) = aEξ + bEη;
п.н.
2◦ Монотонность: если ξ > 0, то Eξ > 0 и равенство Eξ = 0 влечет ξ = 0,
т. е. P({ω : ξ(ω) = 0}) = 1;
3◦ Если ξ имеет конечное математическое ожидание, то |Eξ| 6 E|ξ|, а в слу-
чае конечных математических ожиданий Eξ 2 и Eη 2 выполняется нера-
венство Шварца (Eξη)2 6 (Eξ 2 )(Eη 2 ).
Кроме того, если ξ1 , . . . , ξn — независимые
Qn случайные величины с конечными
математическими ожиданиями, то ξ = k=1 ξk также имеет конечное матема-
тическое ожидание и выполняется равенство
n
Y
Eξ = Eξk .
k=1
Сформулируем также без доказательства основные теоремы о предельном

переходе под знаком математического ожидания.
Теорема 7.3. [О монотонной сходимости] Пусть ξ1 , ξ2 , . . . — неотрицатель-
ные случайные величины и ξn % ξ. Тогда Eξn % Eξ при n → ∞.
Здесь для удобства формулировки теоремы допускается случай Eξ = +∞.
Тогда и Eξn → ∞ при n → ∞. Это допущение предполагается и в последующих
формулировках теорем.
Теорема 7.4. [Лемма Фату] Пусть ξ1 , ξ2 , . . . — неотрицательные случай-
ные величины. Тогда
E lim ξn 6 lim Eξn .
n→∞ n→∞
Теорема 7.5. [Лебега о мажорируемой сходимости] Пусть η, ξ1 , ξ2 , . . . —

случайные величины, для которых выполняются следующие условия: |ξn | 6 η
для всех n, ξn → ξ при n → ∞ и Eη < ∞. Тогда
lim Eξn = Eξ, lim E|ξn − ξ| = 0.

n→∞ n→∞
В действительности, определение математического ожидания, приведенное

выше, является интегралом Лебега от функции ξ : Ω → R по мере P и
Z Z
Eξ = ξ(ω)dP(ω) = ξ(ω)P(dω).
Ω Ω
Как ранее отмечалось, с каждой случайной величиной ξ ассоциируется новое

вероятностное пространство (R, B, Pξ ), где B — борелевская σ-алгебра на R, а
Pξ — распределение вероятностей (борелевская мера) случайной величины ξ.
Все вычисления, связанные со случайной величиной ξ, мы можем перенести на
(R, B, Pξ ). В частности, если ξ имеет конечное математическое ожидание Eξ,
то Z
Eξ = xdPξ (x).
R
Кроме того, если ϕ : R → R — борелевская функция (для любого борелевского

множества B прообраз ϕ−1 (B) также является борелевским множеством), то
η = ϕ(ξ) также будет случайной величиной. При этом, если η имеет конечное
математическое ожидание Eη = Eϕ(ξ), то
Z
Eϕ(ξ) = ϕ(x)dPξ (x). (7.1)
R
В случае ϕ(x) = x мы снова приходим к формуле для вычисления Eξ. Фор-

мула (7.1) является основной при вычислениях, связанных со случайной вели-
чиной ξ. В частности, для вычисления дисперсии Dξ = Eξ 2 − (Eξ)2 требуется
существование интеграла Z
Eξ 2 = x2 dPξ (x).
R
Pn
В случае дискретной случайной величины ξ = k=1 xk 1Dk формула (7.1)
принимает вид
n
X n
X
Eϕ(ξ) = ϕ(xk )Pξ ({xk }) = ϕ(xk )P({ω : ξ(ω) = xk }).
k=1 k=1
Если же распределение вероятностей случайной величины ξ описывается плот-

ностью fξ , то формула (7.1) записывается в виде
Z Z∞
Eϕ(ξ) = ϕ(x)fξ (x)dx = ϕ(x)fξ (x)dx. (7.2)
R −∞
Интуитивно этот интеграл можно трактовать как бесконечную сумму про-

изведений значений ϕ(x) случайной величины ϕ(ξ) на вероятности fξ (x)dx,
с которыми эти значения принимаются. Формально интеграл в равенстве (7.2)
понимается в смысле Лебега. Однако в случае, когда он существует как несоб-
ственный абсолютно сходящийся интеграл Римана, то он будет совпадать с
интегралом Лебега.
Допустим теперь, что ξ и η — две случайные величины, определенные на
одном вероятностном пространстве (Ω, A , P). Тогда мы можем рассмотреть
измеримое отображение (ξ, η) : (Ω, A ) → (R2 , B(R2 )), где B(R2 ) — минималь-
ная σ-алгебра подмножеств в R2 , порожденная открытыми множествами. Как
и в случае одной случайной величины, мы можем определить на B(R2 ) меру
посредством равенства
Pξ,η (B) = P({ω : (ξ(ω), η(ω)) ∈ B}), B ∈ B(R2 ).
Мера Pξ,η называется совместным распределением случайных величин ξ и η,

или распределением вероятностей случайного вектора (ξ, η). Посредством сов-
местной функции распределения Fξ,η легко определяется мера прямоугольни-
ков
Pξ,η ((a1 , a2 ] × (b1 , b2 ]) = Fξ,η (a2 , b2 ) − Fξ,η (a1 , b2 ) − Fξ,η (a2 , b1 ) + Fξ,η (a1 , b1 ).
В случае абсолютно непрерывного совместного распределения, когда существу-

ет плотность fξ,η , вероятность попадания случайной точки (ξ, η) в область
D ⊂ R2 определяется двойным интегралом
ZZ
P({ω : (ξ(ω), η(ω)) ∈ D}) = fξ,η (x, y)dxdy.
D
Если ϕ(x, y) — борелевская функция и ζ = ϕ(ξ, η) имеет конечное математиче-

ское ожидание, то
ZZ
Eϕ(ξ, η) = ϕ(x, y)fξ,η (x, y)dxdy.
R2
В частности,
ZZ
Eξη = xyfξ,η (x, y)dxdy.
R2
Это дает способ вычисления ковариации cov(ξ, η) случайных величин ξ и η,

которые имеют абсолютно непрерывное совместное распределение.
§ 8. Неравенство Чебышева. Закон больших чисел
Неравенство Чебышева позволяет оценить вероятность отклонения случай-

ной величины от ее математического ожидания.
Теорема 8.1. Пусть случайная величина ξ имеет конечную дисперсию (ко-

нечный второй момент). Тогда для любого ε > 0 выполняются следующие
неравенства
E|ξ|
P({ω : |ξ(ω)| > ε}) 6 , (8.1)
ε
Dξ
P({ω : |ξ(ω) − Eξ| > ε}) 6 2 . (8.2)
ε
Доказательство. Из очевидного неравенства
|ξ| = |ξ|1{|ξ|>ε} + |ξ|1{|ξ|<ε} > ε1{|ξ|>ε}
и свойства монотонности математического ожидания получаем
E|ξ| > εP({|ξ| > ε}),
откуда следует неравенство (8.1). Доказательство неравенства (8.2) основыва-

ется на доказанном неравенстве (8.1). Действительно,
Dξ
P({|ξ − Eξ| > ε}) = P({(ξ − Eξ)2 > ε2 }) 6
ε2
Неравенство (8.1) иногда называют неравенством Маркова. Для его выпол-

нения достаточно конечности первого момента, т. е. E|ξ| < ∞. Конечность
второго момента, т. е. Eξ 2 < ∞, влечет и конечность первого момента. Это
следует из неравенства Шварца
(Eξη)2 6 (Eξ 2 )(Eη 2 ),
которое легко переносится с простых случайных величин на произвольные.

Неравенство (8.2) известно как неравенство Чебышева.
Приведем одно из приложений неравенства Чебышева, известное как пра-
вило трех сигм. Пусть ξ — случайная величина с математическим ожиданием
Eξ = m и дисперсией Dξ = σ 2 . Тогда применение неравенства Чебышева (8.2)
с ε = 3σ дает следующую оценку вероятности отклонения случайной величины
от ее математического ожидания
1
P({|ξ − m| > 3σ}) 6 .
9
Это общее неравенство существенно улучшается в случае конкретных распре-
делений. В частности, если случайная величина ξ имеет нормальное распреде-
ление, то вероятность отклонения ξ от m на 3σ очень близка к нулю.
Теорема 8.2. [Закон больших чисел Чебышева] Пусть ξ1 , ξ2 , . . . — последо-
вательность независимых случайных величин, для которых Dξn 6 C, n =
1, 2, . . ., при некотором C > 0. Тогда для любого ε > 0 выполняется следующее
предельное соотношение

Sn ESn
lim P − > ε = 0,
n→∞ n n
где Sn = ξ1 + . . . + ξn .
Доказательство. Применяя неравенство Чебышева (8.2), получаем

Sn ESn DSn
P − > ε 6 2 2.
n n ε n
Поскольку случайные величины ξ1 , . . . , ξn независимы, то
DSn = Dξ1 + . . . + Dξn 6 Cn.

Sn ESn Cn C

P − >ε 6 2 2 = 2 → 0
n n ε n ε n
при n → ∞. Теорема доказана.
Следствие 8.1. Пусть ξ1 , ξ2 , . . . — последовательность независимых слу-

чайных величин с одинаковыми математическими ожиданиями Eξn = a и
одинаковыми дисперсиями Dξn = σ 2 , n = 1, 2, . . .. Тогда для любого ε > 0
выполняется соотношение

Sn
lim P
− a > ε = 0.
n→∞ n
Предельные соотношения в теореме 8.2 и следствии 8.1 принято называть

законами больших чисел. Содержание закона больших чисел состоит в том,
что среднее арифметическое суммы независимых случайных величин стано-
вится близким к постоянной с вероятностью, сколь угодно близкой к единице,
при числе слагаемых, стремящимся к бесконечности. Один из первых законов
больших чисел был получен Бернулли.
Теорема 8.3. [Бернулли] Пусть Sn — число успехов в серии из n независи-
мых испытаний с вероятностью p, 0 < p < 1, в отдельном испытании. Тогда
для любого ε > 0 выполняется соотношение

Sn
lim P − p > ε = 0.
n→∞ n
Доказательство. Пусть ξk — индикатор успеха в k-том испытании, т. е.

ξk = 1, если в k-том испытании произошел успех, и ξk = 0 в противном случае.
Тогда ξ1 , ξ2 , . . . — последовательность независимых одинаково распределенных
случайных величин. При этом
P(ξk = 1) = p, P(ξk = 0) = 1 − p, Eξk = p, Dξk = p(1 − p).
Применяя к этой последовательности следствие 8.1, получаем требуемое утвер-

ждение.
Замечая, что в условиях теоремы 8.3 Sn — количество успехов в n независи-

мых испытаниях, а Sn /n — частота появления успеха, приходим к теоретиче-
скому обоснованию того, что вероятность события проявляется через частоту
его появления.
Неравенство Чебышева позволяет достаточно просто доказать известную

теорему Вейерштрасса о равномерном приближении непрерывной на отрезке
функции полиномами.
Пусть f — вещественная функция, непрерывная на отрезке [0, 1]. В силу тео-
ремы Кантора она равномерно непрерывна на [0, 1] и ее модуль непрерывности
ω(δ; f ) = sup{|f (x0 ) − f (x00 )| : |x0 − x00 | 6 δ, x0 , x00 ∈ [0, 1]}
стремится к нулю при δ & 0. Кроме того,
sup{|f (x)| : x ∈ [0, 1]} = M < ∞.
Для n = 1, 2, . . . определим полиномы Бернштейна

n
X
k
Bn (x; f ) = f Cnk xk (1 − x)n−k .
n
k=0
Их структура связана с законом больших чисел для схемы Бернулли. Дей-

ствительно, пусть Sn — количество успехов в схеме Бернулли с вероятностью
x ∈ [0, 1] успеха в отдельном испытании. Тогда

Sn
Bn (x; f ) = Ef .
n
Теорема 8.4. [Бернштейна] Для любой непрерывной на [0, 1] функции f

выполняется предельное соотношение
max |Bn (x; f ) − f (x)| → 0

x∈[0,1]
при n → ∞.
Доказательство. Пусть δ > 0 и n ∈ N. Тогда
n
X k

|Bn (x; f ) − f (x)| = Cnk xk (1 − x)n−k f − f (x)
n
k=0
X
6 ω(δ; f ) Cnk xk (1 − x)n−k
k
k: |n −x|6δ
X
+ 2M Cnk xk (1 − x)n−k .
k
k: |n −x|>δ
Поскольку DSn = nx(1 − x) 6 41 n, то в силу неравенства Чебышева получаем
X
Sn

D Snn 1
Cnk xk (1 − x)n−k
= P − x > δ 6 6 .
k
n δ2 4δ 2 n
k: |n −x|>δ
M
max |Bn (x; f ) − f (x)| 6 ω(δ; f ) + .
x∈[0,1] 2δ 2 n
Пусть теперь ε > 0. Выберем δ > 0 так, чтобы ω(δ; f ) < ε/2. Затем выберем N
так, чтобы выполнялось неравенство
M ε
2
< .
2δ N 2
Но тогда при n > N и всех x ∈ [0, 1] будет выполняться неравенство
ε ε
|Bn (x; f ) − f (x)| 6 + = ε
2 2
§ 9. Характеристические функции.
Центральная предельная теорема
Аналитический аппарат производящих функций является эффективным ин-

струментом, но имеет ограниченную сферу применения в рамках целочислен-
ных случайных величин. В общем случае аналогичную роль играют характе-
ристические функции.
Для определения характеристической функции нам нужно перейти к ком-
плексным случайным величинам. Пусть ξ = ξ1 +iξ2 , где ξ1 и ξ2 — вещественные
случайные величины с конечными математическими ожиданиями. Тогда опре-
делим Eξ = Eξ1 + iEξ2 . Основные свойства математического ожидания (линей-
ность и мультипликативное свойство) переносятся и на комплексные случайные
величины. Используя тригонометрическую форму записи комплексных чисел
z = |z|(cos ϕ + i sin ϕ) = |z|eiϕ ,
где ϕ — аргумент комплексного числа, устанавливается неравенство

q
|Eξ| = |Eξ1 + iEξ2 | 6 E 2 2
ξ1 + ξ2 = E|ξ|.
Действительно, пусть Eξ = |Eξ|eiθ . Тогда
|Eξ| = e−iθ Eξ = E(e−iθ ξ) = Re{E(e−iθ ξ)} = ERe{e−iθ ξ} 6 E|ξ|.
Под характеристической функцией вещественной случайной величины по-

нимается функция
hξ (t) = Eeitξ
от переменной t ∈ R. Поскольку |eitξ | = 1, то математическое ожидание в
определении hξ существует, т. е. характеристическая функция (как и функция
распределения) определена для каждой случайной величины. Характеристи-
ческая функция вполне определяется распределением вероятностей случайной
величины. Если ξ имеет дискретное распределение P(ξ = xk ) = pk , k = 1, . . . , n,
то
n
X n
X
hξ (t) = pk eixk t = pk (cos xk t + i sin xk t).
k=1 k=1
В случае абсолютно непрерывного распределения, т. е. когда распределение

вероятностей случайной величины ξ описывается плотностью fξ (x), характе-
ристическая функция определяется по формуле
Z∞
hξ (t) = eitx fξ (x)dx.
−∞
Свойства характеристических функций.

1◦ . |hξ (t)| 6 1 и hξ (0) = 1;
2◦ . hξ (−t) = hξ (t);
3◦ . haξ+b (t) = eitb hξ (at), a, b ∈ R;
4◦ . Если ξ1 , . . . ,Q
ξn — независимые случайные величины и Sn = ξ1 + . . . + ξn ,
n
то hSn (t) = k=1 hξk (t);
5◦ . Функция hξ (t) равномерно непрерывна на R и если E|ξ|n < ∞, то hξ (t)
имеет производные до n-го порядка включительно и
1 (n)
Eξ n = h (0).
in ξ
Свойства 1◦ — 4◦ следуют непосредственно из определения характеристиче-
ской функции и свойств математического ожидания. Доказательство послед-
него свойства опирается на теорему Лебега о предельном переходе под знаком
интеграла.
Теорема 9.1. [Бохнера] Для того, чтобы непрерывная на R функция h(t) с
h(0) = 1 была характеристической функцией некоторого распределения, необ-
ходимо и достаточно, чтобы она была положительно определенной, т. е. для
любых t1 , . . . , tn из R и z1 , . . . , zn из C, n = 1, 2, . . ., выполнялось условие
n
X
h(tk − tl )zk z l > 0.
k,l=1
Доказательство. Необходимость условия следует из простых преобразо-

ваний.  
X X
hξ (tk − tl )zk z l = E  zk z l ei(tk −tl )ξ 
k,l k,l
! !
X X
itk ξ
= E zk e zl eitl ξ
k l
2
X
itk ξ
= E zk e > 0.

k
Доказательство достаточности условия теоремы выходит за рамки данного

курса.
Приведем теперь характеристические функции некоторых часто встречаю-

щихся в приложениях распределений.
♣ Вырожденное распределение P(ξ = a) = 1.

Непосредственно из определения характеристической функции получа-
ем ее вид
hξ (t) = Eeitξ = eiat .
♣ Равномерное на отрезке распределение с плотностью
1
fξ (x) = 1[a,b] (x).
b−a
Ее характеристическая функция также получается непосредственно из
определения. В случае t 6= 0 имеем
Zb x=b
1 itx eitx eitb − eita
hξ (t) = e dx = = .
b−a it(b − a) x=a it(b − a)
a
При t = 0 имеем hξ (0) = 1.

♣ Экспоненциальное распределение зависит от параметра λ > 0 и опреде-
ляется плотностью
fξ (x)λe−λx 1[0,∞) (x).
Здесь снова воспользуемся определением характеристической функции
Z∞ x=∞
itx −λx λe(it−λ)x λ
hξ (t) = λ e e dx = = .
it − λ x=0 λ − it
0
♣ Нормальное распределение, определяемое плотностью
1 2 2
fξ (x) = √ e−(x−a) /2σ
σ 2π
с двумя параметрами a ∈ R и σ > 0, имеет важное значение как в теории,

так и в приложениях.
Для вычисления характеристической функции нормального распреде-
ления вначале рассмотрим случай, когда a = 0 и σ = 1. В этом случае
говорят, что случайная величина ξ имеет стандартное нормальное рас-
пределение. При этом
Z∞
1 2
hξ (t) = √ eitx e−x /2
dx
2π
−∞
 ∞ 
Z Z∞
1  2 2
= √ cos tx · e−x /2 dx + i sin tx · e−x /2 dx
2π
−∞ −∞
Z∞
1 2
= √ cos tx · e−x /2
dx,
2π
−∞
поскольку интеграл в мнимой части берется по симметричному проме-

жутку от нечетной функции. Замечая, что выполнены условия диффе-
ренцирования несобственного интеграла, зависящего от параметра, по-
лучаем
Z∞ Z∞
1 −x2 /2 1 2
h0ξ (t) = −√ x sin tx · e dx = √ sin tx · de−x /2
2π 2π
−∞ −∞
Z∞
t 2
= −√ cos tx · e−x /2
dx = −thξ (t).
2π
−∞
Таким образом, характеристическая функция стандартного нормально-

го распределения является решением дифференциального уравнения
h0ξ (t) = −thξ (t).
Это вместе с условием hξ (0) = 1 приводит к ее виду

2
hξ (t) = e−t /2
.
Пусть теперь σ > 0 и a ∈ R. Случайная величина η = σξ +a будет иметь,

в силу свойства 3◦ , характеристическую функцию
2 2
hη (t) = eiat e−σ t /2
.
С другой стороны,
(x−a)/σ
Z
x−a 1 2
Fη (x) = P(σξ + a 6 x) = P(ξ 6 ) = √ e−u /2
du,
σ 2π
−∞
т. е.
1 (x−a)2
fη (x) = √ e− 2σ2
σ 2π
и η имеет нормальное распределение с параметрами a, σ 2 .
Зная вид характеристической функции, легко вычислить математиче-
ское ожидание и дисперсию случайной величины с использованием свой-
ства 5◦ . В частности, если ξ имеет стандартное нормальное распределе-
ние, то из равенств
h0ξ (t) = −thξ (t), h00ξ (t) = −hξ (t) − th0ξ (t)
следует, что h0ξ (0) = 0, h00ξ (0) = −1. Отсюда получаем
Eξ = 0, Dξ = Eξ 2 = 1.
Для произвольного нормального распределения, когда η = σξ + a, полу-

чаем
Eη = a, Dη = σ 2 .
Таким образом, параметры нормального распределения имеют вероят-
ностный смысл.
♣ Целочисленная случайная величина с производящей функцией gξ (x) име-

ет характеристическую функцию hξ (t) = gξ (eit ). Это следует непосред-
ственно из определений характеристической и производящей функций.
Важным моментом в применении характеристических функций является то,
что они вполне определяют распределение случайной величины. Приведем два
результата, известные как формулы обращения. Напомним вначале, что рас-
пределение случайной величины ξ представляет собой вероятностную меру Pξ ,
определенную на σ-алгебре борелевских множеств, т. е. на измеримом про-
странстве (R, B). Эта мера связана с функцией распределения Fξ равенствами
Fξ (x) = Pξ ((−∞, x]), Pξ ((a, b]) = Fξ (b) − Fξ (a).
Теорема 9.2. Для любых a < b выполняется соотношение
ZR
1 e−iat − e−ibt 1
lim hξ (t)dt = [Pξ ([a, b)) + Pξ ((a, b])]
R→∞ 2π it 2
−R
1
= [Fξ (b − 0) − Fξ (a − 0) + Fξ (b) − Fξ (a)] .
2
Теорема 9.3. Пусть характеристическая функция hξ абсолютно инте-
грируема, т. е.
Z∞
|hξ (t)|dt < ∞.
−∞
Тогда ξ имеет абсолютно непрерывное распределение, а ее плотность опреде-

ляется по формуле
Z∞
1
fξ (x) = e−ixt hξ (t)dt.
2π
−∞
Из формулы обращения следует, что между множеством функций распреде-

ления F и множеством характеристических функций h имеет место взаимно-од-
нозначное соответствие. Это соответствие является даже непрерывным отно-
сительно соответствующих сходимостей.
Определение 9.1. Будем говорить, что последовательность функций рас-
пределения Fn , n = 1, 2, . . ., слабо сходится к функции распределения F и
писать Fn ⇒ F , если Fn (x) → F (x) при n → ∞ в каждой точке непрерывности
функции F .
Теорема 9.4. Пусть F1 , F2 , . . . — функции распределения, а h1 , h2 , . . . — со-
ответствующие им характеристические функции. Тогда имеют место сле-
дующие утверждения:
(i) Если Fn ⇒ F и h — характеристическая функция, соответствующая
функции распределения F , то hn (t) → h(t) при n → ∞ для всех t ∈ R;
(ii) Если hn (t) → h(t) при n → ∞ для всех t ∈ R и функция h непрерывна в
точке t = 0, то h является характеристической функцией некоторой
функции распределения F и Fn ⇒ F .
Важную роль в приложениях играют результаты, утверждающие нормаль-

ность распределения сумм независимых случайных величин. Обычно их объ-
единяют в одну группу с названием центральной предельной теоремы. Мы
рассмотрим один из вариантов центральной предельной теоремы.
Теорема 9.5. Пусть ξ1 , ξ2 , . . . — последовательность независимых одина-
ково распределенных случайных величин с конечными Eξ = a и Dξ = σ 2 . Тогда
для Sn = ξ1 + . . . + ξn выполняется следующее предельное соотношение
Zx
Sn − na 1 2
lim P √ 6x = √ e−u /2
du
n→∞ σ n 2π
−∞
для всех x ∈ R
√
Доказательство. Обозначим ζn = (Sn − na)/σ n, n = 1, 2, . . .. Тогда
утверждение теоремы эквивалентно тому, что Fζn ⇒ Φ, где Φ — функция Ла-
пласа, т. е. функция распределения случайной величины η, имеющей стандарт-
ное нормальное распределение. В силу теоремы сходимости это эквивалентно
условию hζn (t) → hη (t) при n → ∞ для всех t ∈ R.
Рассмотрим случайные величины ξˆn = (ξn − a)/σ, n = 1, 2, . . .. Очевидно,
что Eξˆn = 0 и Dξˆn = Eξˆn2 = 1. При этом
ξˆ1 ξˆn
ζn = √ + . . . + √ .
n n
Пусть
h(t) = hξ̂n (t) = Eeitξ̂n .
Поскольку h(0) = 1, h0 (0) = iEξˆn = 0, h00 (0) = −Eξˆn2 = −1, то
1
h(t) = 1 − t2 + o(t2 ).
2
Но тогда
n n 2 n
t 1 t2 t
hζn (t) = hξ̂n /√n (t) = h √ = 1− +o .
n 2n n
При фиксированном t ∈ R имеем t2 /n → 0 при n → ∞ и
t2 t2
n ln(1 − + o( )) 2
lim hζn (t) = lim e 2n n = e−t /2 .
n→∞ n→∞
2
Замечая, что hη (t) = e−t /2
, приходим к утверждению теоремы.
Следствие 9.1 (теорема Муавра— Лапласа). Пусть Sn — число успе-

хов в схеме Бернулли из n независимых испытаний с вероятностью p, 0 <
p < 1, успеха в отдельном испытании. Тогда для −∞ < a < b < ∞ выполня-
ется предельное соотношение

Sn − np
lim P a 6 √ 6 b = Φ(b) − Φ(a),
n→∞ npq
где q = 1 − p.
Доказательство. Заметим, что Sn можно представить как сумму незави-

симых случайных величин ξk , которые являются индикаторами успеха в k-ом
испытании: P(ξk = 1) = p, P(ξk = 0) = q, k = 1, 2, . . .. Тогда Eξk = p, Dξk = pq.
Применение центральной предельной теоремы дает требуемый результат.
§ 10. Виды сходимости последовательностей случайных величин
В этом параграфе рассматриваются основные виды сходимости последова-

тельностей случайных величин и устанавливается взаимосвязь между ними.
Определение 10.1. Будем говорить, что последовательность случайных
величин ξ1 , ξ2 , . . . сходится по вероятности к случайной величине ξ, и писать
P
ξn → ξ, если для всякого ε > 0 выполняется предельное соотношение
lim P(|ξn − ξ| > ε) = 0.

n→∞
Именно этот вид сходимости имеет место в законе больших чисел Чебышёва.
Заметим, что из сходимости по вероятности последовательности случайных ве-
личин мы ничего не можем сказать о том, как ведет себя последовательность
в отдельных экспериментах. В этом отношении более содержательную инфор-
мацию дает следующий вид сходимости.
величин ξ1 , ξ2 , . . . сходится к случайной величине ξ с вероятностью 1 или почти
п.н.
наверное, и писать ξn → ξ, если
P({ω : lim ξn (ω) = ξ(ω)}) = 1.

n→∞
Следующий вид сходимости требует от случайных величин существования

средних порядка p.
величин ξ1 , ξ2 , . . . сходится к случайной величине ξ в среднем порядка p, p > 0,
Lp
и писать ξn → ξ, если E|ξn − ξ|p → 0 при n → ∞.
При p = 2 эта сходимость называется также в среднем квадратичном.
величин ξ1 , ξ2 , . . . сходится к случайной величине ξ по распределению, и писать
d
ξn → ξ, если Fξn ⇒ Fξ .
Теорема 10.1. Пусть ξ1 , ξ2 , . . . — последовательность случайных величин.
Тогда имеют место следующие утверждения:
п.н. P
(i) Если ξn → ξ, то ξn → ξ;
Lp P
(ii) Если ξn → ξ, то ξn → ξ;
P d
(iii) Если ξn → ξ, то ξn → ξ.
Доказательство. (i) Для ε > 0 введем в рассмотрение последовательность
событий
Aεn = {ω : |ξn (ω) − ξ(ω)| > ε},
P
n = 1, 2, . . .. Заметим, что условие ξn → ξ эквивалентно тому, что для любого
ε > 0 должно выполняться предельное соотношение P(Aεn ) → 0 при n → ∞.
Также для каждого ε > 0 и n = 1, 2, . . . рассмотрим

Bnε = ω : sup |ξn (ω) − ξ(ω)| > ε .
k>n
Очевидно, что Aεn ⊂ Bnε и {Bnε }∞n=1 является монотонно убывающей последо-
вательностью. Пусть B ε = ∩∞ ε
n=1 Bn — предел этой последовательности. В силу
свойства непрерывности вероятностной меры P(Bnε ) → P(B ε ) при n → ∞. С
другой стороны, если ω ∈ B ε , то ξn (ω) 6→ ξ(ω). Это означает, что
B ε ⊂ {ω : ξn (ω) 6→ ξ(ω)}.
п.н.
Однако, из условия ξn → ξ следует
P({ω : ξn (ω) 6→ ξ(ω)}) = 0.
Но тогда
lim P(Bnε ) = P(B ε ) = 0.
n→∞
Из неравенств
0 6 P(Aεn ) 6 P(Bnε )
P
следует, что и P(Aεn ) → 0 при n → ∞, т. е. ξn → ξ.
Lp
(ii) Допустим теперь,что ξn → ξ, т. е. E|ξn − ξ|p → 0 при n → ∞. Фиксируем
произвольно ε > 0. Используя неравенство (8.1) Маркова, получаем
E|ξn − ξ|p
P(|ξn − ξ| > ε) = P(|ξn − ξ|p > εp ) 6 → 0
εp
P
при n → ∞, т. е. ξn → ξ.
P
(iii) Пусть ξn → ξ, т. е. P(Aεn ) → 0 при n → ∞ для всех ε > 0. Обозначим
Fn = Fξn и F = Fξ . Доказательство Fn ⇒ F будет следовать из того, что для
всех ε > 0 выполняются неравенства
F (x − ε) 6 lim Fn (x) 6 lim Fn (x) 6 F (x + ε), x ∈ R. (10.1)

n→∞ n→∞
Эти неравенства, в свою очередь, сразу же следуют из включений
{ξ 6 x − ε} ⊂ {ξn 6 x} ∪ Aεn , {ξn 6 x} ⊂ {ξ 6 x + ε} ∪ Aεn
и того, что P(Aεn ) → 0 при n → ∞. В точках непрерывности функции F

предельный переход в неравенствах (10.1) при ε → 0 дает
F (x) 6 lim Fn (x) 6 lim Fn (x) 6 F (x),

n→∞ n→∞
что означает Fn (x) → F (x) при n → ∞ и теорема доказана.

Следующие два примера показывают, что из сходимости последовательно-

сти случайных величин почти наверное не следует сходимость в среднем, а из
сходимости в среднем не следует сходимость почти наверное.
Пример 1. Пусть Ω = [0, 1], A = B([0, 1]), P — мера Лебега. Рассмотрим
последовательность
ξn (ω) = n1/p · 1[0,1/n] (ω),
п.н.
n = 1, 2, . . .. Тогда ξn → ξ, ξ(ω) ≡ 0, но ξn 6→ ξ в Lp , p > 0.
Пример 2. Пусть Ω = T — единичная окружность, A = B(T), P = µ/2π —
нормированная мера Лебега. Для n = 1, 2, . . . рассмотрим
( n−1 n
)
X1 X 1
iθ
En = ω = e : 6 θ < ⊂ T.
k k
k=1 k=1
Заметим, что P(En ) = 1/(2πn) → 0 при n → ∞. Следовательно, для любого

p > 0 последовательность ξn = 1En сходится в среднем порядка p и ξ(ω) ≡ 0.
P∞
С другой стороны, поскольку k=1 1/k = ∞, то каждое элементарное собы-
тие ω принадлежит бесконечному числу событий из последовательности {En },
т. е. limn→∞ En = Ω. Это означает, что ξn (ω) 6→ ξ(ω) ни при каком ω ∈ Ω, т, е.
последовательность ξn не сходится почти наверное.
Закон больших чисел Чебышёва касался последовательности независимых
случайных величин с равномерно ограниченными дисперсиями. Метод харак-
теристических функций позволяет снять условие конечности вторых моментов
для одинаково распределенных случайных величин.
Теорема 10.2 (Хинчина). Пусть ξ1 , ξ2 , . . . — последовательность незави-
симых одинаково распределенных случайных величин с конечным Eξ = a. Тогда
для Sn = ξ1 + . . . + ξn имеет место предельное соотношение
Sn P
→ a при n → ∞.
n
Доказательство. Поскольку все ξk , k = 1, 2, . . ., одинаково распределены,
то они имеют одну и ту же характеристическую функцию
h(t) = hξk (t) = Eeitξk .
В силу того, что ξk имеет конечное математическое ожидание, характеристи-

ческая функция h дифференцируема и
h(t) = 1 + iat + o(t) при t → 0.
По условию ξ1 , . . . , ξn независимы. Поэтому
hSn (t) = (h(t))n
и n n
t t t
h Sn (t) = h = 1 + ia + o .
n n n
n
Используя асимптотическую формулу ln(1+z) = z +o(|z|), при z → 0, получаем

iat t
n ln 1 + +o
lim h (t) = lim e n n = eiat .
n→∞ Sn n→∞
n
Предельная функция eiat непрерывна и по теореме сходимости она являет-
ся характеристической функцией некоторой случайной величины η, причем
d
Sn /n → η. Заметим также, что hη (t) = eiat является характеристической
функцией вырожденного распределения, сосредоточенного в точке a, т. е.
Fη (x) = 1[a,∞) (x).

P
Остается показать, что Sn /n → η. Для ε > 0 имеем

Sn Sn Sn
P − a > ε = P 6a−ε +P >a+ε
n n n
ε
6 Fn (a − ε) + 1 − Fn a + ,
2
где Fn — функция распределения случайной величины Sn /n. Поскольку точки
a − ε и a + ε/2 являются точками непрерывности функции Fη , то
Fn (a − ε) → 0, Fn (a + ε/2) → 1
при n → ∞. Отсюда следует, что

Sn
lim P − a > ε = 0
n→∞ n
P
и Sn /n → a. Теорема доказана.
§ 11. Цепи Маркова
Пусть некоторая система меняет свое состояние случайным образом в момен-

ты времени t = 1, 2, . . . , T . Множество возможных состояний системы является
конечным множеством E = {e1 , . . . , er } и называется фазовым пространством.
Среди реальных систем важный класс образуют такие, у которых вероятности
перехода из одного состояния в другое в данный момент времени не зависит от
того, как вела себя система в предыдущие моменты времени. Такие системы
называют марковскими или цепями Маркова. Эволюция изучаемой системы
описывается траекторией ω = (ω0 , ω1 , . . . , ωT ), где ωt = i, если система в момент
времени t находилась в состоянии ei . Поэтому под элементарным событием бу-
дем понимать ω = (ω0 , ω1 , . . . , ωT ), т. е. последовательность номеров состояний,
в которых находилась система в моменты времени 0, 1, . . . , T . Можно считать,
что цепь Маркова является обобщением схемы независимых испытаний, в ко-
торой условие независимости заменяется на некоторые другие естественные
предположения. Рассмотрим эти предположения и введем некоторые понятия,
связанные с цепями Маркова.
Для вычисления вероятности того, что траектория ω = (ω0 , ω1 , . . . , ωT ) будет

реализована как i0 , i1 , . . . , iT , можно воспользоваться теоремой умножения
P(ω0 = i0 , . . . , ωT = iT ) =
P(ω0 = i0 )P(ω1 = i1 | ω0 = i0 ) · . . . · P(ωT = iT | ω0 = i0 , . . . , ωT −1 = iT −1 ).
Здесь мы считаем, что условная вероятность относительно события с нулевой
вероятностью равна нулю.
Условие марковости (независимость от прошлого) выражается в том, что
для любых s < t выполняются равенства
P(ωt = j| ω0 = i0 , . . . , ωs−1 = is−1 , ωs = i) = P(ωt = j| ωs = i),
i, j = 1, . . . , r. Другими словами, вероятность перехода системы, находившейся

в состоянии i в момент времени s, в состояние j в момент времени t не зависит
от того, как она себя вела до момента времени s.
Кроме того, мы будем рассматривать однородные марковские цепи, для ко-
торых условные вероятности перехода из состояния i в состояние j за время
t не зависят от того, в какой момент времени s она находилась в состоянии i,
т. е.
P(ωs+t = j| ωs = i) = P(ωt = j| ω0 = i) = pij (t).
Вероятности pij (t) обладают следующими свойствами:
1◦ . pij (t) > 0;
Pr
2◦ . pij (t) = 1;
j=1
3◦ . pij (0) = δij .
Матрицу, составленную из вероятностей pij (t), будем обозначать Π(t). Свой-
ства 1◦ и 2◦ означают, что Π(t) является стохастической матрицей. Веро-
ятности перехода системы из состояния i в состояние j за единичное время
pij (1) называются переходными вероятностями и обозначаются pij . Матрица
Π(1) = Π называется матрицей переходных вероятностей.
Однородная марковская цепь вполне определяется вектором-строкой → −
p (0) =
(p1 (0), . . . , pr (0)) начальных вероятностей (pi (0) — вероятность того, что в на-
чальный момент времени система находилась в состоянии i) и матрицей пере-
ходных вероятностей Π. Действительно, вероятность pj (t) того, что система
будет находиться в состоянии j в момент времени t определяется равенством
r
X
pj (t) = P(ωt = j) = pi (0)pij (t).
i=1
Если →
−
p (t) — вектор-строка вероятностей состояний в момент времени t, то
→
−
p (t) = →
−
p (0)Π(t).
С другой стороны, матрица Π(t) выражается через Π. Это следует из уравне-

ний Колмогорова — Чепмена
r
X
pij (s + t) = pik (s)pkj (t), (11.1)
k=1
которые выводятся непосредственно из свойств марковости и однородности
pij (s + t) = P(ωs+t = j| ω0 = i)
P(ωs+t = j, ω0 = i)
=
P(ω0 = i)
r
X P(ωs+t = j, ω0 = i, ωs = k)
=
P(ω0 = i)
k=1
Xr
P(ωs = k, ω0 = i)P(ωs+t = j| ω0 = i, ωs = k)
=
P(ω0 = i)
k=1
X
= pik (s)pkj (t).
k=1
Уравнения (11.1) можно также записать в матричном виде
Π(s + t) = Π(s)Π(t).
Поскольку Π(1) = Π, то Π(t) = Πt . Следовательно,

→
−
p (t) = →
−
p (0)Πt .
Важное значение в теории однородных марковских цепей имеет следующий

результат.
Теорема 11.1. [О предельных вероятностях.] Пусть при некотором t0 >
0 все элементы матрицы Πt0 = (pij (t0 )) являются строго положительными.
Тогда для каждого j = 1, . . . , r существует предел
pj = lim pij (t).

t→∞
При этом pj > 0, j = 1, . . . , r, не зависят от i и являются единственным

решением системы
r
X r
X
xk pkj = xj , xk = 1. (11.2)
k=1 k=1
Доказательство. Введем в рассмотрение
Mj (t) = max pij (t), mj (t) = min pij (t).

16i6r 16i6r
В силу уравнений (11.1)

r
X
pij (1 + t) = pik pkj (t).
k=1
Отсюда и непосредственно из определения mj (t) и Mj (t) получаем неравенства
mj (t) 6 pij (t + 1) 6 Mj (t).

Из этих неравенств, в свою очередь, следуют неравенства
mj (t) 6 mj (t + 1) 6 Mj (t + 1) 6 Mj (t).
Это означает, что mj (t) не убывает по t, а Mj (t) не возрастает по t.

Обозначим
ε = min pij (t0 ).
16i,j6r
По условию теоремы 0 < ε < 1. Для t > 0, используя уравнения (11.1), полу-
чаем
r
X
pij (t0 + t) = pik (t0 )pkj (t)
k=1
Xr r
X
= [pik (t0 ) − εpjk (t)]pkj (t) + ε pjk (t)pkj (t)
k=1 k=1
Xr
= [pik (t0 ) − εpjk (t)]pkj (t) + εpjj (2t).
k=1
Замечая, что выражения в квадратных скобках неотрицательны, получаем

неравенство
r
X
pij (t0 + t) 6 Mj (t) [pik (t0 ) − εpjk (t)] + εpjj (2t) = (1 − ε)Mj (t) + εpjj (2t),
k=1
из которого следует, что
Mj (t0 + t) 6 (1 − ε)Mj (t) + εpjj (2t).
Аналогично получаются неравенства
pij (t0 + t) > (1 − ε)mj (t) + εpjj (2t)
и
mj (t0 + t) > (1 − ε)mj (t) + εpjj (2t).
Сравнивая полученные выше неравенства, приходим к следующему
Mj (t0 + t) − mj (t0 + t) 6 (1 − ε)(Mj (t) − mj (t)).
Применяя последовательно k раз последнее неравенство, получаем
Mj (kt0 + t) − mj (kt0 + t) 6 (1 − ε)k (Mj (t) − mj (t)).
Отсюда сразу же следует, что
lim [Mj (kt0 + t) − mj (kt0 + t)] = 0,

k→∞
а поскольку последовательность {Mj (t) − mj (t)}∞

t=1 монотонно убывает, то
lim [Mj (t) − mj (t)] = 0.

t→∞
Таким образом, доказано существование пределов
pj = lim Mj (t) = lim mj (t) = lim pij (t),

t→∞ t→∞ t→∞
j = 1, . . . , r. Заметим также, что поскольку mj (t) не убывают по t, то
pj > mj (t0 ) > ε > 0,
т. е. все pj строго положительны. При этом

r
X r
X
pj = lim pij (t) = 1.
t→∞
j=1 j=1
Осуществляя в равенстве
X
pij (t + 1) = pik (t)pkj
k=1
предельный переход при t → ∞, получаем

r
X
pj = pk pkj ,
k=1
т. е. p1 , . . . , pr — решение системы (11.2).

Допустим теперь, что q1 , . . . , qr также является решением этой системы, т. е.
r
X r
X
qj = qk pkj , qk = 1.
k=1 k=1
Заметим, что тогда q1 , . . . , qr будет решением и системы

r
X
qj = qk pkj (t) (11.3)
k=1
при t = 1, 2, . . .. Действительно,
r
X r
X r
X r
X r
X
qk pkj (t) = qk pkl plj (t − 1) = ql plj (t − 1) = . . . = qk pkj = qj .
k=1 k=1 l=1 l=1 k=1
Осуществляя в равенстве (11.3) предельный переход при t → ∞, получаем

r
X
qj = qk pj = pj
k=1
и единственность решения системы (11.2) доказана.
Доказанная теорема относится к так называемым эргодическим теоремам.

Ее смысл состоит в том, что за длительный промежуток времени система как
бы забывает, из какого начального состояния она стартовала.
Условие положительности элементов матрицы Πt0 означает, что с положи-
тельной вероятностью из любого состояния в любое состояние система может
перейти за время t0 .
§ 12. Ветвящиеся процессы
Немного истории. История возникновения теории ветвящихся процессов

связывается с публикацией Гальтона 1873 года. Постановке задачи предшество-
вали следующие замечания: Исчезновение фамилий лиц, которые занимали
”
видное положение в истории, это факт, неоднократно отмечавшийся в про-
шлом; по этому поводу строились разные догадки... Слишком многочисленны
были примеры фамилий, которые, будучи распространенными, становились
редкими или совсем исчезали“ . Чтобы разобраться в природе исчезновения
фамилий, Гальтон поставил задачу создания математической модели, описы-
вающей этот процесс. Такую модель построил Ватсон в 1874 году. Математи-
ческая модель Гальтона и Ватсона была вскоре забыта в связи с элементарной
ошибкой Ватсона, которая приводила к выводу, что каждая фамилия должна
выродиться даже в том случае, если средняя численность популяции растет от
поколения к поколению. Более подробно об этом можно почитать в моногра-
фии Т. Харриса Теория ветвящихся случайных процессов“ . Интересно, что в
”
монографии 1934 года Н. Н. Семенов использовал модель Гальтона—Ватсона
как элемент своей теории химических (неядерных) цепных реакций. За эти
исследования Н. Н. Семенов в 1956 году получил Нобелевскую премию. Сам
термин ветвящийся процесс“ впервые появился в работе А. Н. Колмогорова
”
и Н. А. Дмитриева 1947 года.
Описание модели. Первоначально задача формулировалась следующим
образом. Пусть p0 , p1 , p2 , . . . — вероятности того, что отец имеет соответственно
0, 1, 2, . . . сыновей, каждый из которых с теми же вероятностями может иметь
своих сыновей и т. д. Какова вероятность, что мужская линия выродится к
n-ому поколению?
В общем случае можно рассматривать однотипные частицы, под которыми
могут пониматься люди, животные, бактерии или нейтроны в цепных реакциях.
Вероятности pk , k = 0, 1, . . ., будут связываться с событиями, что одна частица
в следующем поколении превращается в k частиц. Будем считать, что частицы
размножаются независимо друг от друга и для каждой из них вероятности pk ,
k = 0, 1, . . ., одни и те же.
Обозначим через ξ0 , ξ1 , ξ2 , . . . число частиц в нулевом, первом, втором,. . . по-
колениях соответственно. Другими словами, ξn — объем популяции в n-ом по-
колении. Будем считать (без особого ограничения общности), что ξ0 = 1, т. е.
начальное поколение состоит из одной частицы. Объем последующих поколе-
ний ξ1 , ξ2 , . . . будет случайным. Заметим, что при сделанных предположениях
{p0 , p1 , . . .} будет распределением вероятностей случайной величины ξ1 , т. е.
P(ξ1 = k) = pk , k = 0, 1, . . .. Поскольку частицы размножаются независимо
друг от друга и число потомков каждой из них имеет одно и то же распреде-
ление вероятностей, то распределение случайной величины ξn должно опреде-
ляться из начальных условий.
Важной характеристикой ветвящегося процесса P∞ является среднее число непо-
средственных потомков одной частицы Eξ1 = k=0 kpk = m. В зависимости от
значения этой величины ветвящийся процесс называется:
• докритическим, если m < 1;
• критическим, если m = 1;
• надкритическим, если m > 1 (или m = ∞).

Через σ 2 будем также обозначать дисперсию Dξ1 . Пусть A — событие, кото-
рое состоит в том, что процесс ξ0 = 1, ξ1 , ξ2 , . . . в конце концов выродится. Его
вероятность q = P(A) будем называть вероятностью вырождения процесса.
Ближайшей нашей целью будет найти зависимость q от начальных данных.
Производящая функция процесса. Поскольку ξ1 , ξ2 , . . . являются цело-
численными случайными величинами, то их распределения вероятностей есте-
ственно представлять производящими функциями. В частности, обозначим
∞
X
f (x) = gξ1 (x) = pk xk
k=0
и будем называть f производящей функцией процесса. Для отыскания произ-

водящих функций gξn , n = 2, 3, . . ., нам потребуется следующий результат.
Теорема 12.1. Пусть η1 , η2 , . . . — независимые одинаково распределенные
целочисленные случайные величины с производящей функцией gη (x) и ν — неза-
висимая от них целочисленная случайная величина с производящей функци-
ей gν (x). Тогда производящая функция целочисленной случайной величины
Sν = η1 + . . . + ην (S0 = 0) определяется равенством
gSν (x) = gν ◦ gη (x).
Доказательство. Непосредственно из определения производящей функ-

ции с использованием свойств математического ожидания получаем
∞
X
gSν (x) = ExSν = E xSν 1{ν=k}
k=0
∞
X
= E xη1 +...+ηk 1{ν=k}
k=0
X∞
k
= (gη (x)) P(ν = k) = gν (gη (x)) .
k=0
Теорема 12.2. Пусть ξ0 = 1, ξ1 , ξ2 , . . . — ветвящийся процесс Гальтона —

Ватсона с производящей функцией gξ1 (x) = f (x). Тогда производящая функ-
ция gξn (x) представляет собой n-ую итерацию f n функции f , т. е.
gξn (x) = f n (x) = f ◦ . . . ◦ f (x).
Доказательство. Представим n-ое поколение частиц в виде ξn = η1 +. . .+

ηξn−1 , где η1 — число потомков от первой частицы, η2 — от второй, . . . , ηξn−1 —
от последней из (n − 1)-го поколения. Тогда по предыдущей теореме
gξn (x) = gξn−1 ◦ gη (x) = gξn−1 ◦ f (x).
По индукции получаем требуемый результат.

Вероятность вырождения. Пусть An — событие, которое заключается в

том, что n-ое поколение отсутствует, т. е. An = {ξn = 0}. Тогда An % A =
∪∞
n=1 An . Поэтому в силу непрерывности вероятностной меры
q = P(A) = lim P(An ).

n→∞
Теорема 12.3. Вероятность q вырождения процесса Гальтона—Ватсона

с производящей функцией f (x) определяется равенством
q = lim f n (0)
b→∞
и является наименьшим неотрицательным корнем уравнения
f (x) = x.
Доказательство. Поскольку P(ξn = 0) = f n (0), то f n (0) % q. Осуществ-

ляя предельный переход при n → ∞ в равенстве
f (f n (0)) = f n+1 (0),
получаем f (q) = q, т. е. q — корень уравнения f (x) = x. Остается показать,

что q — наименьший неотрицательный корень уравнения f (x) = x. Допустим
противное, т. е. f (α) = α и 0 6 α < q. Тогда в силу монотонности функции f
будем иметь
f (0) 6 f (α) = α < q = f (q).
Снова, используя монотонность функции f , получаем
f 2 (0) 6 α < q.
Повторение этого процесса приводит к неравенствам
f n (0) 6 α < q, n = 2, 3, . . . .
Но тогда
lim f n (0) 6 α,
n→∞
что противоречит определению q.
Теорема 12.4. Если процесс Гальтона—Ватсона критический или докри-

тический, то q = 1. В случае надкритического процесса 0 6 q < 1.
Доказательство. Допустим, что m = f 0 (1) 6 1. Если процесс не вырож-
денный, то f 0 (x) < 1 при 0 6 x < 1. Фиксируем произвольно x0 ∈ [0, 1). По
теореме о среднем найдется такое x∗ ∈ (x0 , 1), что
1 − f (x0 ) = f 0 (x∗ )(1 − x0 ).
Но тогда
1 − f (x0 ) < 1 − x0
и f (x0 ) > x0 . Т. о. в интервале [0, 1) корней уравнение f (x) = x не имеет.
Если m = f 0 (1) > 1, то найдется такое x0 ∈ (0, 1), что f 0 (x0 ) > 1. Используя
теорему о среднем, получаем
1 − f (x0 ) > 1 − x0 ,
т. е. f (x0 ) − x0 < 0. Если f (0) = 0, то q = 0. В противном случае f (0) > 0 и

функция ϕ(x) = f (x)−x принимает на концах промежутка [0, x0 ] значения раз-
ных знаков. Следовательно, в этом промежутке найдется решение уравнения
f (x) = x.
§ 13. Таблица нормального распределения
Важность нормального (или гауссовского) распределения следует из цен-

тральной предельной теоремы. Его популярность так велика, что на одной из
самых распространенных купюр в десять немецких марок (до ввода евро) был
изображен портрет Гаусса и приведен график плотности нормального распре-
деления.
Рис. 1. 10 DM Serie4 Vorderseite
Напомним, что нормальное распределение определяется двумя параметрами

a ∈ R и σ > 0 посредством плотности
1 (x−a)2
f (x) = √ e− 2σ2 .
σ 2π
Случай a = 0 и σ = 1 относится к стандартному нормальному нормальному
распределению. Его функция распределения
Zx
1 2
Φ(x) = √ e−u /2
du
2π
−∞
связана с функцией распределения F (x), отвечающего параметрам a и σ ра-

венством
x−a
F (x) = Φ .
σ
Ниже приводится таблица значений функции
Zx
1 2
Φ0 (x) = √ e−u /2
du, x > 0.
2π
0
Òàáëèöà íîðìàëüíîãî Zðàñïðåäåëåíèÿ
x
Â òàáëèöå ïðèâîäÿòñÿ çíà÷åíèÿ ôóíêöèè Φ0 (x) = √12π e−y /2 dy äëÿ àðãóìåíòîâ x ∈ [0; 3,99]. Çíà÷åíèå
2
ôóíêöèè Φ0 (x) íàõîäèòñÿ íà ïåðåñå÷åíèè ñòðîêè, äàþùåé öåëóþ ÷àñòü è äåñÿòûå äîëè àðãóìåíòà x, è ñòîëáöà,
0
äàþùåãî ñîòûå äîëè àðãóìåíòà x.

Åñëè η ∼ N (0, 1) ñëó÷àéíàÿ âåëè÷èíà ñî ñòàíäàðòíûì íîðìàëüíûì ðàñïðåäåëåíèåì, òî P(a < η < b) =
Φ0 (b) − Φ0 (a). Ôóíêöèÿ Φ0 (x) îòëè÷àåòñÿ îò ôóíêöèè ðàñïðåäåëåíèÿ η íà êîíñòàíòó 12 , ò.å. P(η < x) = 12 + Φ0 (x).
Ôóíêöèÿ Φ0 (x) ÿâëÿåòñÿ íå÷åòíîé, ò.å. Φ0 (−x) = −Φ0 (x). Â ïðàêòè÷åñêèõ ðàñ÷åòàõ çíà÷åíèÿ Φ0 (x) ïðè x ≥ 4
ìîæíî ñ÷èòàòü ðàâíûìè 21 .
x 0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 x
0,0 0,00000 0,00399 0,00798 0,01197 0,01595 0,01994 0,02392 0,02790 0,03188 0,03586 0,0
0,1 0,03983 0,04380 0,04776 0,05172 0,05567 0,05962 0,06356 0,06749 0,07142 0,07535 0,1
0,2 0,07926 0,08317 0,08706 0,09095 0,09483 0,09871 0,10257 0,10642 0,11026 0,11409 0,2
0,3 0,11791 0,12172 0,12552 0,12930 0,13307 0,13683 0,14058 0,14431 0,14803 0,15173 0,3
0,4 0,15542 0,15910 0,16276 0,16640 0,17003 0,17364 0,17724 0,18082 0,18439 0,18793 0,4
0,5 0,19146 0,19497 0,19847 0,20194 0,20540 0,20884 0,21226 0,21566 0,21904 0,22240 0,5
0,6 0,22575 0,22907 0,23237 0,23565 0,23891 0,24215 0,24537 0,24857 0,25175 0,25490 0,6
0,7 0,25804 0,26115 0,26424 0,26730 0,27035 0,27337 0,27637 0,27935 0,28230 0,28524 0,7
0,8 0,28814 0,29103 0,29389 0,29673 0,29955 0,30234 0,30511 0,30785 0,31057 0,31327 0,8
0,9 0,31594 0,31859 0,32121 0,32381 0,32639 0,32894 0,33147 0,33398 0,33646 0,33891 0,9
1,0 0,34134 0,34375 0,34614 0,34849 0,35083 0,35314 0,35543 0,35769 0,35993 0,36214 1,0
1,1 0,36433 0,36650 0,36864 0,37076 0,37286 0,37493 0,37698 0,37900 0,38100 0,38298 1,1
1,2 0,38493 0,38686 0,38877 0,39065 0,39251 0,39435 0,39617 0,39796 0,39973 0,40147 1,2
1,3 0,40320 0,40490 0,40658 0,40824 0,40988 0,41149 0,41308 0,41466 0,41621 0,41774 1,3
1,4 0,41924 0,42073 0,42220 0,42364 0,42507 0,42647 0,42785 0,42922 0,43056 0,43189 1,4
1,5 0,43319 0,43448 0,43574 0,43699 0,43822 0,43943 0,44062 0,44179 0,44295 0,44408 1,5
1,6 0,44520 0,44630 0,44738 0,44845 0,44950 0,45053 0,45154 0,45254 0,45352 0,45449 1,6
1,7 0,45543 0,45637 0,45728 0,45818 0,45907 0,45994 0,46080 0,46164 0,46246 0,46327 1,7
1,8 0,46407 0,46485 0,46562 0,46638 0,46712 0,46784 0,46856 0,46926 0,46995 0,47062 1,8
1,9 0,47128 0,47193 0,47257 0,47320 0,47381 0,47441 0,47500 0,47558 0,47615 0,47670 1,9
2,0 0,47725 0,47778 0,47831 0,47882 0,47932 0,47982 0,48030 0,48077 0,48124 0,48169 2,0
2,1 0,48214 0,48257 0,48300 0,48341 0,48382 0,48422 0,48461 0,48500 0,48537 0,48574 2,1
2,2 0,48610 0,48645 0,48679 0,48713 0,48745 0,48778 0,48809 0,48840 0,48870 0,48899 2,2
2,3 0,48928 0,48956 0,48983 0,49010 0,49036 0,49061 0,49086 0,49111 0,49134 0,49158 2,3
2,4 0,49180 0,49202 0,49224 0,49245 0,49266 0,49286 0,49305 0,49324 0,49343 0,49361 2,4
2,5 0,49379 0,49396 0,49413 0,49430 0,49446 0,49461 0,49477 0,49492 0,49506 0,49520 2,5
2,6 0,49534 0,49547 0,49560 0,49573 0,49585 0,49598 0,49609 0,49621 0,49632 0,49643 2,6
2,7 0,49653 0,49664 0,49674 0,49683 0,49693 0,49702 0,49711 0,49720 0,49728 0,49736 2,7
2,8 0,49744 0,49752 0,49760 0,49767 0,49774 0,49781 0,49788 0,49795 0,49801 0,49807 2,8
2,9 0,49813 0,49819 0,49825 0,49831 0,49836 0,49841 0,49846 0,49851 0,49856 0,49861 2,9
3,0 0,49865 0,49869 0,49874 0,49878 0,49882 0,49886 0,49889 0,49893 0,49896 0,49900 3,0
3,1 0,49903 0,49906 0,49910 0,49913 0,49916 0,49918 0,49921 0,49924 0,49926 0,49929 3,1
3,2 0,49931 0,49934 0,49936 0,49938 0,49940 0,49942 0,49944 0,49946 0,49948 0,49950 3,2
3,3 0,49952 0,49953 0,49955 0,49957 0,49958 0,49960 0,49961 0,49962 0,49964 0,49965 3,3
3,4 0,49966 0,49968 0,49969 0,49970 0,49971 0,49972 0,49973 0,49974 0,49975 0,49976 3,4
3,5 0,49977 0,49978 0,49978 0,49979 0,49980 0,49981 0,49981 0,49982 0,49983 0,49983 3,5
3,6 0,49984 0,49985 0,49985 0,49986 0,49986 0,49987 0,49987 0,49988 0,49988 0,49989 3,6
3,7 0,49989 0,49990 0,49990 0,49990 0,49991 0,49991 0,49992 0,49992 0,49992 0,49992 3,7
3,8 0,49993 0,49993 0,49993 0,49994 0,49994 0,49994 0,49994 0,49995 0,49995 0,49995 3,8
3,9 0,49995 0,49995 0,49996 0,49996 0,49996 0,49996 0,49996 0,49996 0,49997 0,49997 3,9
x 0,00 0,01 0,02 0,03 0,04 0,05 0,06 0,07 0,08 0,09 x

Язык

В В Горяйнов Теория вероятностей

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

В В Горяйнов Теория вероятностей

Загружено:

Авторское право:

В. В.

Лекции по теории вероятностей

§ 1. Пространство элементарных событий. Вероятность

Теория вероятностей представляет математические модели, которые отра-

1.1. Теоретико–множественная модель. Построение теоретико-множе-

Следующие соотношения известны как правила де Моргана:

Если Ω конечно или счетно, то говорят о дискретной модели теории веро-

В дискретных моделях особенно выделяется случай классического определения

1.2. Элементы комбинаторики. При использовании классического опре-

Доказательство легко проводится по индукции.

Эта формула также следует из основного правила комбинаторики.

♣ Количество неупорядоченных выборок с возвращением (или сочетаний из

выборки с возвращением без возвращения

1.3. Геометрические вероятности. Рассмотрим теперь задачу, в кото-

а событие A, которое отвечает встрече, представляет собой подмножество Ω,

всего Ω. Поскольку площадь Ω равна 1, а площадь A равна

где под mes(A) понимается мера Жордана множества A, хотя в дальнейшем

§ 2. Алгебры событий и свойства вероятности

В случае, когда пространство элементарных событий Ω не является конеч-

Приведем один важный пример получения алгебры событий (множеств).

P(A ∪ B) = P(A) + P(B) − P(AB). (2.1)

Доказательство. Пусть A ∈ A . Из равенства Ω = A ∪ A и в силу свойств

0 = P(∅) 6 P(A) 6 P(Ω) = 1.

Пусть теперь A, B — произвольные из алгебры A . Заметим, что A∪B можно

A ∪ B = (A \ (AB)) ∪ (B \ (AB)) ∪ (AB).

Но тогда по свойству аддитивности вероятности с использованием второго

P(A ∪ B) = P(A) − P(AB) + P(B) − P(AB) + P(AB) = P(A) + P(B) − P(AB),

и равенство (2.1) доказано.

В дальнейшем под элементарной вероятностной моделью мы будем понимать

Доказательство. В случае n = 2 доказываемое утверждение совпадает

Следующий результат выражает свойство полуаддитивности вероятности

Доказательство. Рассмотрим события B1 = A1 , B2 = A2 A1 , . . . , Bn =

§ 3. Условная вероятность и независимость

Допустим, что мы не знаем точный результат (элементарное событие) слу-

Определение 3.1. Пусть (Ω, A , P) — вероятностное пространство и собы-

Это равенство известно как теорема умножения и имеет следующее обобще-

Теорема 3.1. Пусть события A1 , . . . , An таковы, что P(A1 · . . . · An ) > 0.

P(A1 · . . . · An ) = P(A1 ) · P(A2 |A1 ) · . . . · P(An |A1 · . . . · An−1 ). (3.3)

Доказательство. Заметим прежде всего, что все условные вероятности в

Следующий результат известен как формула полной вероятности.

Доказательство. Введем в рассмотрение также событие H0 = Ω \ ∪ni=1 Hi .

Применяя теперь к каждому слагаемому в последней сумме теорему умноже-

Формула (3.4) является эффективным инструментом при вычислении ве-

Вероятности гипотез P(Hk ) называют обычно априорными вероятностями,

P(AB) = P(A)P(B). (3.5)

Определение 3.2. Для произвольных двух событий A, B ∈ A будем гово-

P(AB) = P(A \ AB) = P(A) − P(AB) = P(A)(1 − P(B)) = P(A)P(B).

Определение 3.3. Будем говорить, что события A1 , . . . , An независимы в

P(Ai1 · . . . · Aik ) = P(Ai1 ) · . . . · P(Aik ). (3.6)

Заметим, что из попарной независимости событий не следует, вообще гово-

Пример 2. Подбрасывается две игральные кости. Рассмотрим три события:

§ 4. Независимые испытания. Схема Бернулли

Допустим, что проводится серия из n независимых экспериментов (испыта-

следует утверждение теоремы.

Заметим, что в условиях теоремы Пуассона 4.1 имеет место оценка

Теорема 4.3. [Интегральная теорема Муавра-Лапласа.] Пусть в схеме

Доказательство этой теоремы следует из центральной предельной теоремы,

Муавра— Лапласа следующим образом:

P({ω}) = pδ1 · . . . · pδn .

Подобно событию Bn (k), которое рассматривалось в схеме Бернулли, в полино-

§ 5. Дискретные случайные величины

Часто с результатом случайного эксперимента связывают число. В связи с

для всех x ∈ R. Другими словами, {ξ 6 x} является событием и мы можем

Другими словами, простую случайную величину можно представить как ли-

Это делает интуитивно понятным следующее определение.

Следующий результат известен как формула полной вероятности.