Boss V Lektsii Po Matematike T 4 Veroiatnost Informatsiia ST

В.
Босс
ПЕкqии по
МАТЕМАТИКЕ
ТlM
Вероиmносmь, uнформацuи,
4 сшашосmпка
моекм
- - URSS I~I
ББК 22.J71я73
Босс В.
Jlекuии по математике. Т. 4: Вероятиость, ииформаuии, статистика.

М.: КомКнига. 2005. - 216 с.
ISBN 5-484-00168-4
Книга ОТЛllчается краткостью 11 прозрачностью изложении. Объяснении
лаются .чеЛОRеческим языком .. - лаконично и доходчиво. Значительное вни
мание уделяетсн мотивации результатов. Помимо классических разлелов теории
IlCроятностей ОСlICщается ряд новых направлений: нелинейный 'l3кон больших
чисел, асимптотическое агрегирование. Изложение сопровождается большим ко
личеством ПРllмеров и паралОКСОD. способствующих рельсфному восприятию
материала. Затрагиваются многие приклалные области: управление запасами.
биржевые игры, массовое обслуживание, страховое дело. стохаСТllческая ап
11роксимацин. обработка статистики. Несмотрн на краткость. лостаточно полно
11злагается теория информации с ответuлениями .энтропийно термолинамиче
СIШI'О" характера. Охват тематики достаточно широкиi1, 110 И.illОжение построено
так, 'ПО можно ограничитьсн любым желаемым срезом содержанин. Книга легко
Чlпаетси.
длн студентов. преподавателей. инженеров и научных работников.
Иuат".1ЬСТIЮ 'КОМКНI1I.'. 117312. Г. Москва. пр-г БО-лег". OKI.6" •. 9.

Пuдп"санu к псчаllt 21.06.20О5 г. Фор .. ат 60,,90/16. Печ. л. 13.5. Зак. Ni 130.
Отпечатано It 000 .ЛЕНЛНД•. 117312. 1. Москка. "р-т 6О-лепt. Окт.6р•. д. IIA. Clp. 11.
ISBN 5-484-00168-4 © Ком Книга. 2005
1,I
НАУЧНАЯ И УЧЕБНАЯ ЛИТЕРАТУРА
Е_, UR',",URSSru 3299 ID 29480
JiIlIШ1~НI[II,IШ
Катаnor и:щаний В Интернвте:
htlp:IIURSS.ru
Твn./факс: 7 (095) 135-42-16
URSS ТвnJфакс: 7 (095) 135-42-46 >
Оглавление
Предисловие к .Лекциям- . . . . . . . . . . . . . . . . . . . . . . . . .. 7
Предисловие к тОму . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 9
Глава 1. Основы в задачах и парадоксах . . . . . . . . . . . . . . .. 10
1.1. Что такое вероятность . . . . . . . . . . . . . . . . . . . .. , 1О
1.2. Подводные рифы статистики 13
1.3. Комбинаторика 14
1.4. Условная вероятность . . . . . . . . . . . . . . . . . . . . .. 1б
1.5. Случайные величины 19
l.б. Континуальные пространства . . . . . . . . . . . . . . . .. 23
1.7. Независимость 28
1.8. Дисперсия и ковзриаuия . . . . . . . . . . . . . . . . . . .. 29
1.9. Неравенства 31
1.10. 'Случайные векторы. . . . . . . . . . . . . . . . . . . . . . .. 34
1.11. Вероятностные алгоритмы . . . . . . . . . . . . . . . . . .. 3б
1.12. Об истоках 37
1.13. Задачи и дополнения. . . . . . . . . . . . . . . . . . . . . . . 40
lЛава 2. Функции распределения .., . . . . . . . . . . . . . . . . .. 43

2.1. Основные стандарты . . . . . . . . . . . . . . . . . . . . . .. 43
2.2. Дельта-функuия . . . . . . . . . . . . . . . . . . . . . . . . .. 47
2.3. Функuии случайных величин . . . . . . . . . . . . . . . .. 49
2.4. Условные плотности . . . . . . . . . . . . . . . . . . . . . .. 51
2.5. Характеристические функuии , 54
2.б. Производяшие функuии 57
2.7. Нормальный закон распределения 59
2.8. Пуассоновские потоки. ..................... б2
2.9. Статистики размещений б5
2.10. Распределение простых чисел бб
2.11. Задачи и дополнения б8
4 Оглавление
IЛава 3. Законы больших чисел . . . . . . . . . . . . . . . . . . . . . . 71

3.1. Простейшие варианты 71
3.2. Усиленный закон больших чисел. . . . . . . . . . . . . .. 73
3.3. Нелинейный закон больших чисел ..... . . . . . . . . 75
3.4. Оценки дисперсии . . . . . . . . . . . . . . . . 77
3.5. доказательство леммы 3.4.1 79
3.6. Задачи и дополнения. . . . . . . . . . . . . . . . . . . . . .. 81
IЛава 4. Сходимость 84
4.1. Разновидности . . . . .. . . . . . . . . .. .... ....... 84
4.2. Сходимость по распределению . . . . . . . . . . . . . . .. 87
4.3. Комментарии ,88
4.4. Закон «нуля или единицы. . . . . . . . . . . . . . . . . . . . 90
4.5. Случайное блуждание 91
4.6. Сходимость рядов . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.7. Предельные распределения 94
4.8. Задачи и дополнения. . . . . . . . . . . . . . . . . . . . . . . 96
IЛава 5. Марковские процессы 99

5.1. Uепи Маркова . . . . . . . . . . . . . . . . . . . . . . . . . .. 99
5.2. Стохастические матрицы 101
5.3. Процессы с непрерывным временем 103
5.4. Оприложениях 105
IЛава 6. Случайные функции 107
6.1. Определения и характеристики 107
6.2. Эргодичность 109
6.3. Спектральная плотность 111
6.4. Белый шум 113
6.5. Броуновское движение 114
6.6. Дифференцирование и интегрирование 116
6.7. Системы регулирования 118
6.8. Задачи и дополнения 119
IЛава 7. Прикладные области 120
7.1. Управление запасами 120
7.2. Страховое дело 121
7.3. Закон арксинуса 122
Оглавление 5
7.4. Задача о разорении 124

7.5. Игра на бирже и смешанные стратегии 126
7.6. Проиессы восстаноаления 128
7.7. Стохастическое агрегирование 129
7.8. Агрегирование и СМО 133
7.9. Приниип максимума энтропии 134
7.10. Ветвяшиеся проиессы 137
7.11. Стохастическая аппроксимauия 139
(Лава 8. Теория информации . . . . . . . . . . . . . . . . . . . . . . . . 141
8.1. Энтропия 141
8.2. Простейшие свойства 144
8.3. Информаиионная точка зрения 145
8.4. Частотная интерпретаиия 147
8.5. Кодирование при отсугствии помех 149
8.6. Проблема нетривиальных кодов 152
8.7. Канал с шумом 153
8.8. Укрупнение состояний 157
8.9. Энтропия непрерывных распределений 158
8.10. Передача непрерывных сигналов 160
8.11. Оптимизаиия и термодинамика 163
(Лава 9. Статистика 169
9.1. Оиенки и характеристики 169
9.2. Теория и практика 173
9.3. Большие отклонения 174
9.4. от _хи-квадрат. до Стьюдента 176
9.5. Максимальное прамоподобие 177
9.6. Парадоксы : 179
(Лава 10. Сводка основных определениА и результатов 183
10.1. Основные понятия 183
10.2. Распределения 187
10.3. Законы больших чисел 191
10.4. Сходимость 192
10.5. Марковские проиессы 195
10.6. Случайные функиии и проиессы 196
6 Оглавление
10.7. Теория информauии 199

10.8. Статистика 204
Сокращения и 0б0значения 207
Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Предметный указатель 211
Предисловие к «ЛеКЦИRМ»
Самолеты позволяют летать, но до6и

раты:я да аэропорта nриходится самому.
Для нормального изучения любого математического предмета

необходимы, по крайней мере, 4 ингредиента:
1) живой учитель;
2) обыкновенный nодр06ный учебник;
3) рядовой задачник;
4) учебник, освобожденный от рутины, но дающий общую картину, мотивы, связи,
«что зачем,..
До четвертого пункта у системы образования руки не дохо

дили. Конечно, подобная задача иногда ставилась ирешалась,
но в большинстве случаев - при параллельном исполнении функ
ций обыкновенного учебника. Акценты из-за перегрузки менялись,
и намерения со второй-третьей главы начинали дрейфовать, не до
стигая результата. В виртуальном пространстве так бывает. Аналог
объединения гантели с теннисной ракеткой перестает решать обе
задачи, хотя это не сразу бросается в глаза.
«Лекции» ставят 4-й пункт своей главной целью. Сопутствую

wая Идея - экономия слов и средств. Правда, на фоне деклараций
о краткости и ясности изложения предполагаемое издание около
20 томов может показаться тяжеловесным, но это связано с обшир

ностью математики, а не с перегрузкой деталями.
Необходимо сказать, на кого рассчитано. Ответ «на всех» вы

глядит наивно, но он в какой-то мере отражает суть дела. Обо
зримый вИд, обнаженные конструкции доказательств, - такого
8 Предисловие к «Лекциям»
сорта книги удобно иметь под рукой. Не секрет, что специалисты

самой высокой категории тратят массу сил и времени на освоение
математических секторов, лежаших за рамками собственной спе
циализации. Здесь же ко многим проблемам предлагается короткая
дорога, позволяюшая быстро освоить новые области и освежить
старые. Для начинаюших «короткие дороги .. тем более полезны,
поскольку облегчают движение любыми другими путями.
В вопросе «на кого рассчитано .., - есть и друтой аспект.
На сильных или слабых? На средний вуз или физтех? Опять-таки
выходит «на всех ... Звучит странно, но речь не идет о регламентации
кругозора. Простым языком, коротко и прозрачно описывается
предмет. Из этого каждый извлечет свое и двинется дальше.
Наконец, последнее. В условиях информационного наводнения

инструменты вчерашнего дня перестают работать. Не потому, что
изучаемые дисциплины чересчур разрослись, а потому, что новых
секторов жизни стало слишком много. И в этих условиях мало

кто готов уделять много времени чему-то одному. Поэтому учить
всему - надо как-то иначе. «JIекuии~ дают пример. ПЛохой ли,
хороший - покажет время. Но в любом случае, это продукт нового
поколения. Те же «колеса .., тот же «руль.., та же математическая
суть, - но по-друтому.
Предисловие к тому
Без пассивной части словарною

запаса - активная не работает.
Жизнь уходит на заделывание мелких трещин. Типографская

краска - на угочнения. В теории вероятностей (ТВ) это особенно
заметно из-за контраста простых выводов и сложных объяснений.
Сложность, в свою очередь, проистекает из-за максималистских
устремлений, согревающих профессионалов и убийственных для
остальной части населения.
Учитывая, что профессионалы теорию вероятностей и так хо
рошо знают, нижеследующий текст ориентируется на умеренные
аппетиты к строгости и детализаиии. Разумеется, обоснование то
го, что более-менее (си так ясно~, имеет свою иену. Но в ТВ
на первом этапе гораздо важнее разобраться в том, что не ясно
на самом элементарном уровне. Интуииия и здравый смысл на
столько путаются в статистике и оиенках вероятности, что многие
тонкости вполне естественно отодвинуть на второй план.

Глава 1
ОСНОВЫ В задачах и парадоксах
1.1. Что такое вероятность
Карты, кости, тотализаторы, статистика, броуновское движение,

отказы электроники, аварии, Р311иопомехи - все это вместе взятое
СОЗllает ощущение смутного понимания случайности. Бытовое по

нятие вероятности оказывается в результате ничуть не менее осно
вательным, чем бытовое понятие геометрической точки. Но стоит

начать вдумываться, как явление ускользает. Теория вероятностей
(ТВ) поэтому вглубь не Иllет, чтобы не утодить в ловушку.
FeoMempUR Евклида не оnредеЛRет точек и npRMblX, WaJ(ltfOmHblU ко

декс - фер3R и пешек. TeoPUR eepoRmHocmeu не оnредеЛRет, что такое
eepoRmHocmb элементарного событиR. Число от НУЛR да единицы. Пер
вичное nOHRmue, априори заданное. ВepORmHOCmu сложнЫJ( событии -
другое дело. Этим, собственно, и зонU/tfаетСR meoPUR.
Отправная точка у теории вероятностей очень проста. Рас

сматривается конечное или бесконечное ,Множество 1)
называе,Мое nространство.м ЗАементарных событий, на которо,М за

дана функция P("'i), nрини'мающая значения из [О, 1] и удовлетворя-
ющая условию НОр'мировки L
P("'i) = 1. Значения P("'i) считаются
вероятностями ЗАементарных событий "'i. Множества А С n на
зывают событиями, и определяют их вероятности как
Р(А) = L P("'i),
IoI;ЕА
1) Пока счетное. Континуanьиые варианты n рассматриваются дanее.

1.1. Что такое вероятность 11
Вот и весь фундамент, упрошенно говоря, Исторический путь

к нему бьUl долгим и запутанным. Пройтись той же дорогой при
изучении вероятностей, вообше говоря, необходимо. Пусть не в мас
штабе один к одному, но инкубаuионный период созревания поня
тий так или иначе должен быть преодолен.
Первым делом желательно привязать абстрактную модель к ре
альности. Для этого проще всего посмотреть, как примеры уклады
ваются в общую схему.
Из колоды вытаскивается 7 карт. Какова вероятность, Ifто среди них 3 короля

и 2 дамы?
... Подтягивание задачи к обшей схеме в данном случае совсем просто.

Различные способы выбора 7 карт из 36 естественно считать равновероятными
элементарными событиями, т. е.
1 t п!
p(CoIj) = Сl,' где СП = k!(n _ k)!
- число сочетаний из n элементов по k элементов.
Число различнbIX выборов, удовлетворяюших условиям задачи, равно
J 2 2 GG~
С4 С4 С28 • Искомая вероятность есть с 7 ~
J6
в задачах, где элементарные события равновероятны. Р(А) всегда равно числу

вариантов, составляюших А, деленному на число всех вариантов:
РА
() = Ifисло благоnриятныхвариантов.
Ifисло всех вариантов
На первый взгляд, суть дела тривиальна. Однако не все так

просто, как поначалу кажется.
Парадокс КapдaHo%l. При бросании двух шестигранных костей сумма выпавших

чисел получается равной - как 9. так if 10 - в двух вариантах:
сумма 9 {::> (3,6) (4,5), сумма 10 {::> (4,6) (5, 5).

Но вывод о равенстве вероятностей этих событий - ошибочен. Способов полу
чения сумм 9 и 10 на самом деле больше, и их количество разное:
сумма 9 {::> (3,6) (6,3) (4,5) (5,4), сумма 10 ~ (4,6) (6,4) (5,5).
2) ИЗ -Кннги об Hrpe В костн-, написанной Кардано в XXVI В., но НЗданной лншь

В 1663 г.
12 Глава 1. ОСНОВЫ В задачах и парадоксах
Таким образом, из 36 возможных пар чисел 4 пары дают в сумме 9, и только 3 - 10.
Вероятности, соответственно, равны 4/36 и 3/36, что подтверждает эксперимент)).
На данном примере становится понятно, что в подборе про

странства n элементарных событий имеется определенный про
извол. Первый вариант - это 36 равновероятных упорядоченных
пар (i, j). Второй вариант n- это неуnорядоченные пары (21 па
ра), но тогда они не равновероятны, - и в этом аккуратно надо
разобраться. Задача выглядит то простой, то сложной. Начинаешь
присматриваться, и ум заходит за разум. Недаром Секей (22] от
мечает, что в такого рода задачах ошибались в том числе великие
(Лейбниu, Даламбер).
Пyrаниuy в задаче создает независимость суммы от переста
новки слагаемых. При последовательном выбрасывании костей -
первая, потом вторая - проблемы не возникает. Но кости можно
выбрасывать одновременно, они падают вместе, и первая от второй
не отличается. Тогда различных вариантов имеется только 21 -
и не вполне ясно, почему они не равновероятны 4).
Чтобы полностью развеять туман, полезно выделить подзада
чу, в которой проблема сконuентрирована в максимально простом
виде. Какова вероятность при бросании двух костей получить в ре
зультате (5,5) и (4,6)?
На примерах хорошо видна диалектика взаимоотношения собы

тия как смыслового явления, имеющего содержательное описание,
и как множества из П, для выделения которого необходимо уме

ние перечислить CUj Е П, удовлетворяющие оговоренным в задаче
условиям.
Реальность, окружающая абстрактную модель, включает ряд

привходящих обстоятельств:
• возможность проведения опыта (эксперимента), исходом которого является
наступление одного из элементарных собblТИЙ S) c.Jj;
) при достаточно большом количестве бросаниi1 двух костеА - частоты. с которыми

в сумме выпадают 9 и 10, стремятся к ука]8ННЫМ вероятностям.
4) Уrлубить непонимание можно, обратившись к парадоксу Гиббса в статистической
физике. Смешение разнородных ra30B увеличивает энтропию. при естественном yrле 3рениЯ
не ясно, куда исчезает прирост энтропии, коrда молекулы r830В стаНОВЯТСЯ одинаковы.
S) Событие А наступает. если наступает c.Jj Е А.

1.2. Подводные рифы статистики 13
• связь !1 с есубэлементарным уровнем. - с однократным бросанием мо

неты, например, тогда как элементарным событием может быть n-кратное
бросание;
• возможность проведения серии опытов, в результате чего частота наступле
ния события А стремится к Р(А) при увеличении длины серии,
N(A) -+ Р(А) при N -+ 00, (1.1 )

N
где N общее число опытов, а N(A) число опытов, в которых наступило
событие А.
Долгое время устойчивость частот была первична по отноше

нию к понятию вероятности, и это в какой-то мере удовлетворяло
спрос на понимание причин. Случившаяся затем метаморфоза из
менила точку зрения на противоположную, но не ликвидировала
выгод прежнего взгляда - ибо сходимость (1.1) превратил ась в тео

рему и осталась в арсенале.
Вместе с тем с самого начала необходимо сказать о наличии

логических трудностей - не в ТВ, но в непосредственной близо
сти. Пусть речь идет о бросании монеты. Равенство вероятностей
выпадения герба и решетки «вытекает», С одной стороны, из от
сугствия оснований отдать предпочтение какой-либо альтернативе,
с друтоЙ,. - из наблюдения за длинными сериями бросаний.
Казалось бы, аргументов хватает. Тем не менее бросание моне
ThI - хотя И сложная, но поддающаяся расчету механическая задача.
По крайней мере, можно сконструировать высокоточный автомат,

который почти всегда будет бросать монету гербом вверх. Поче
му же человек, действуя спонтанно, бросает «как надо»? Становится
ясно, что источник случайности находится не в монете, а в чело
веке. Следующий вопрос ведет дальше, и причинно-следственная
uепочка петляет по таким закоулкам Вселенной, что проблема,
по большому счету, остается нерешенноЙ.
1.2. Подводные рифы статистики
Теория оперирует вероятностями, практика - статистическими

данными, т. е. исходами опытов, будь то бросание костей, количе
ство аварий, смертей, выздоровлений, денег в казне и т. п. Умение
делать выводы на базе статистики составляет оборотную сторону ТВ.
Не слишком утрируя действительность, допустим, что медики провели экс

перимент по оценке влияния средства «чирикс. на заболевание «чикс •. Как это
всегда делается, контрольной группе давали плацебо. Гипотетические данные
по Калуге и Рязани приведены в таблицах.
Калуга чирике nлацебо

10 1
10 1
-->--
помогло 10+80 1 +9'
безрезультатно 80 9
Рязань чирике nлацебо

10 89
10 89
-->--.
nомогло 0+ 10 1 + 89
безрезультатно О 1
Объединение результатов рождает химеру. В Калуге и Рязани чирикс эффек

тивнее плацебо, в целом - наоборот.
Калуга + Рязань чирике nлацебо

20 90
помогло 20 90 20+80 < 10+90'
безрезультатно 80 10
На абстрактном уровне речь идет о следующем. Из
иногда делается поспещный вывод о справедЛИВОСТИ неравенства
~I + ~2 А. + А2
~I +"1 + ~2 + "2 > A1+ B1+ А'
2 + В2
К чему нет никаких предпосылок.
Самое неприятное, что такого рода статистика - в облике

экономических показателей и рейтингов - сваливается на нас
со страниц вполне респектабельных газет.
1.3. Комбинаторика
Элементарная (но не обязательно простая) часть теории вероятно

стей в значительной мере опирается на комбинаторику.
1.3. Комбинаторика 15
Размещеиия. Число ра1llИЧНЫХ вариантов выбора (с учетом порядка) k предметов

из n предметов al. а2 •... ,а. равно
I A~ = п(п - 1) ... (п - k + 1). I

... Есть n способов выбрать один предмет из п, т. е. А:. = п. На каж
дый выбор первого предмета приходится n - 1 возможностей выбора второго
(из оставш.ихся n - 1 предметов) - поэтому A~ = п(п - 1). И так далее. •
Перестаиовки. Число всевозможных перестановок n предметов al • ...• а п равно
4ЭН факториал.
I п!= 1'2 ... n,1

что очевидно из п! = А:.
По соображениям удобства принимается О! = 1.
Для оценки п! при больших n удобна Формуло Сmuрлuнzо
0<8. < 1.
Сочетаиия, Если k предметов из al, '" ,а. выбираются без учета порядка (cКJIa
дываются в мешок). то число ра1llИЧНЫХ вариантов (число сочетаний из n по k)
равно
k п!
С. = k!(n _ k)!
... Всевозможные РОVlещеНUR получаются перестановками элементов в со
четаниях. Поэтому
A~ = C~k!.
что дает формулу для C~, с учетом того, что A~ = п!/(п - k)! •
Перес:таиовки С повтореииями. Пусть имеется n предметов k типов
Число раэпичных перестановок этих предметов равно
... в любой перестановке рассматриваемой совокупности предметов, нuчеzo

внешне не MeHRR. можно nl элементов аl переставить между собой nl! способами,
n2 элементов а2 - "2! способами•...• nk элементов ak - nk! способами. Поэтому

nl!n2!'" nk! перестановок и1 n! - неотличимы друг от друга, что при водит
к указанной формуле. •
в слове «абракадабра. 5 букв .. а., 2 - .. б., 2 - .р., 1 - «к., 1 - ..д •.

Из такого набора букв можно Сделать
II!
IP(5, 2, 2,1,1) = 5!2!2! = 83010
различных буквосочетаний.
Выбор из k ТИПОВ. Имеется k типов предметов, каждый тип представлен бесконеч

ным количеством экземпляров. Число различных способов выбора r предметов
в данном случае
СИ1)'ация и1 перечисленных самая простая, но иногда почему-то ставит

в 1)'пик. десять (типов) цифр, шестизначных чисел - миллион. 106.
Упражнении '1
• Сколько раЗЛИЧНblХ чисел можно получить перестановкой четырех цифр 1,

3, 5, 7? (4!).
• Сколько есть восьмизначных чисел, в записи которых участвуют только
цифры 1,3,5, 7? (48).
• Сколько есть различных чисел, в записи которых участвуют две единицы
и одна семерка? (3).
• При размешении n шаров по n ячеАкам вероятность того, что все ячейки
будут заняты, равна n!/n .
п
• При размешении k шаров (днеА рождения) по 365 ячейкам (дням) вероят

ность того, что все шары попадут в разные ячейки, равна A~s/365k.
1.4. Условная вероятность
Объединениеи пересечение событий. Объединениемили суммой собы

тий А и В называют событие, состоящее в наС1)'Плении хотя бы
одного из событий А, В и обозначаемоекак AUB или А+В. Пер
вое обозначение прямо указывает, какое множество в n отвечает
сумме событий.
6) Упражнсния В .лскцияк. используются в основном как способ поместить в фокус

внимания нскоторыс факты без обсуждения дeтanеll.
1.4. Условная вероятность 17
Пересечением ИJlИ произведением событии А и В называют

событие, состоя шее в совместном наступлении А, В и обозначаемое
как А nВ ИJlИ АВ.
Очевидно,
I Р(А + В) = Р(А) + Р(В) - Р(АВ), I (1.2)
поскольку при суммировании UJi по А и В элементарные собы

тия из пересечения АВ считаются два раза, и один раз Р(АВ)
приходится вычесть. Если события не пересекаются, то
Р(А + В) = Р(А) + Р(В).

Формулы типа (1.2) становятся совершенно прозрачны при использовании
рисунков объединения и пересечения множеств (рис. 1.1). Опробовать рецепт
можно на проверке равенства
Р(А + В + С) = Р(А) + Р(В) + Р(С) - Р(АВ) - Р(АС) - Р(ВС) + Р(АВС),

а также в обшем случае n событий А 1, ••• , А,,:
Р(Е Ak) = Е P(A k) - Е P(A;A j ) + Е P(A;AjA k) -... . (1.3)

k k iJ i.j.k
АВ А+В А-В
Рис.1.1
Параллели лоrических высказываний с операциями над множествами исполь

зуются достаточно широко. Событию -не А. отвечает дополнение А множества А
в П, а разность А \В, или А - В, интерпретируется как наступление А, но не В.
Наконец, симметрическая разность
А !:J. В = (А U В) \ (А n В)
обозначает событие, состоя шее в наступлении одного из А, В, но не двух вместе.
Пустое множество 0, считается, принадлежит n и символизирует невозмож
ное событие. При этом Р(0) = О.
с учетом нормировки Р(n) = 1, очевидно, Р(А) + Р(А) = 1.
Перечисленные действия над событиями в совокупности с формулами

вычисления вероятностей позволяют решать многие задачи, не спус
каясь на уровень рассмотрения пространства элементарных событий.
Это экономит УСШlия, но иногда затрудняет ориентацию.
Условна,. вероитность. Вероятность P(BIA) наступления В при

условии наступленияв то же время события А - называют условной.
Из всех 111; е А входят в В лишь IAJ;, принадлежашие пересечению АВ. Они

ТО И определяют P(BIA). И если бы А было нормировано,то P(BIA) равнялоеь бы
Р(АВ). Нормировка А корректирует результат очевидным образом:
Р(АВ)
P(BIA) = Р(А) . ( 1.4)
Перезапись (1.4) в форме
I Р(АВ) = P(A)P(BIA) I (1.5)
называют формулой умножения вероятностей.
З8.ll8ча. Имеется три картонки. На одной - с обеих сторон нарисована буква А,

на другой - В. На третьей картонке с одной стороны А, с другой - В. Одна
из картонок выбирается наугад и кладется на стол. Предположим, на видимой сто
роне картонки оказывается буква А. Какова вероятность, что на другой стороне -
тоже А?
.Одна вторая., - ошибочно отвечает интуиция, и причина заблуждения

далеко не очеВИдна. Дело в том, что картонка не только случайно выбирается,
но и случайно укладывается на одну из сторон. Поэтому логика здесь такая. Всего
имеется шесть нарисованных букв, из них - три буквы А, две на картонке АА
и одна - на АВ. Букву А из АА выташить В два раза более вероятно, чем из АВ.
Получается, вероятность того, что на столе лежит картонка АА, равна 2/3.
Если кого-то смушают картонки, то это - для простоты И краткости.

Реальные прикладные задачи описывать Il'омоздко, а читать скучно. Но таких
задач, где здравый смысл терпит фиаско, довольно много. И дело не в том, что
ахиллесова пята интуиции приходится на вероятность. Слабое место ИНТУИЦИИ
в другом. Взаимодействие всего двух факторов ставит воображение в тупик.
А комбинация многофакторности с наглядностью - в теории вероятностей
такова, что все время искрит.
Формула Байеса. Разбиение f! на полную группу несовместимых 7)

событий А 1, ••• ,А п позволяет любое событие В записать в виде
= BA 1 + ... + ВА п ,
в
откуда Р(В) = P(BA 1) + ... + Р(ВА п ), и в силу (1.5) - получается

формула полной вероятности:
(1.6)
Пусть Р(А), Р(В) > О. Из
Р(АВ) = P(AIB)P(B) = P(BIA)P(A)

вытекает
_ P(BIA)P(A)
Р (А IВ ) - Р(В) ,
что после учета (1.6) приводит к формуле Байеса
P(BIAj)P(Aj)
(1.7)
P(AjIB) = L: P(BIAk)P(A k)'
k
сильно скомпрометированной безосновательными попытками ее

применения.
Неутихающее колоброжение вокруг (1.7) всегда определяла со

блазнительная интерпретация. Если Aj это гипотезы с априорными
вероятностями P(A j ), то при наступлении события В в результате
эксперимента - формула определяет апостериорные вероятности
P(AjIB). Звучит красиво, но априорные вероятности, как прави
ло, не известны. А поскольку с идеей расставаться жалко, P(Aj)
начинают трактовать как степень уверенности.
1.5. Случайные величины
Числовая функuия 8 ) X(UJ) , заданная на П, представляет собой слу

чайную величину (с. в.). Примером может служить функция, прини
мающая значения 1 или О при выпадении герба или решетки.
7) НепересекаЮШИХСR.
8) О необходимых yrочнеНИRХ см. главу 10.
Среднее значение т ж = Е (Х),
Е (Х) = I: X(UJ)P(UJ),
I&IEfI
называют ",атожидание",9) Х (UJ).

Математическое ожидание функции-индикатора XA(UJ) множе
ства А,
A(UJ) ={ 1, если UJ Е А;
Х О, если UJ ~ А,
равно, очевидно, вероятности Р(А).
Матожидание представляет собой весьма важную характери
стику случайной величины. Очевидно,
Е (аХ + /ЗУ) = аЕ (Х) + /ЗЕ (У).

Еше можно отметить: X(UJ) ~ о => Е (Х) ~ О.
На вид все очень просто, но, как говорится, в тихом омуге
черти водятся.
Парадокс траН:JН'ПIВНOCТII. Сравнивая случайные величины Х и У, будем говорить

.Х больше У по вероятностu», - если
Р{Х > У} > Р{Х ~ У},
т. е. вероятность неравенства Х >У больше 1/2.

Пусть пространство элементарных событий !1 состоит из 6 точек, в кото
рых с. в. Х, У, Z, W с равной вероятностью 1/6 принимают значения согласно
таблиuе 10):
Х 6 6 2 2 2 2
У 5 5 5 1 1 1
Z 4 4 4 4 О О
W 3 3 3 3 3 3
Очевидно, Х = 6 с вероятностью 1/3 = 2/6. В этом случае Х > у независи

мо от значения У. С вероятностью 2/3 = 4/6 величина Х равна 2. Тогда Х > У,
9) Математическим ОJlCИданием.
10) Фуикция Х, например, может быть реализована бросанием шестигранноil кости, грани
катораil помечены цифрами {6 6 2 2 2 2}.
если У = 1, что имеет вероятность 1/2 = 3/6. Поэтому, с учетом формул умно
жения вероятностей и суммы непересекаюшихся событий. итоговая вероятность
неравенства Х >у равна
1 2 1 2
3 + 3' 2 = з'
Аналогично подсчитывается, что У > Z, Z > W, - с той же вероятностью
2/3. Получается цепочка неравенств
х > у > z > W.

Возможность W > Х представляется в некотором роде дикой. Тем не менее
W >х с вероятностью 2/3 (!).
Парадокс ожидаиия серии. Какая в случайной .Оl.-последовательности 11) ком

бинация, 00 или 01, появится раньше? Очевидно, равновероятно, поскольку
после первого появления нуля на следуюшем шаге возникнет либо О, либо 1, -
с вероятностью 1/2.
Напрашивается вывод. что среднее число шагов (среднее время ожидания)
тоо и mol до появления, соответственно, серий 00 либо 01 - тоже одинаково.
Но это не так.
... Пусть mo обозначает среднее число шагов до появления комбинации 01
при условии, что первая цифра .Оl.-последовательности оказалась нулем, а ffll -
среднее число шаroвдо появления комбинации 01 при условии. что первая цифра
.Оl.-последоватепьности оказалась единицей. Легко видеть. что
откуда
mo = 3, т. =5, fflOI = mo+т.

2
= 4.
Если же т~, т; обозначают аналоги то. т. в ситуации, когда речь идет
о появлении комбинации 00. то
• 1 1.
mo = 1 + 2 + 2 т ••
т~+т;
В конечном итоге это дает moo = = 6. Писать опровержения можно
2
80 многие адреса 12). ~
Не так удивительно, но заслуживает упоминания, что из
«и >V по верояmносmu~,
Подразумевается равная веРОЯТНОСТЬ ПОЯВllения нуля и единиuы.

.1)
12) ДополнителЬНУЮинформаuию можно найти в [221. см. также Li Shou- Уеn R. А mаniпgalе
8pproach 10 Ihe sludy of оссиrтeпсе of sequence pallems in repealed experimenls // Annals of
Prob. 1980. 8. Р. 1171-1176.
вообще говоря, не следует Е {И} > Е {V}, но U((IJ) > V((IJ), конеч
но, влечет за собой Е {И} > Е {V}.
Заслуживаетупоминаниятакже оборотная сторона медали. ТВ,
как сильнодействующеесредство, не только спасает от заблужде
ний, но и создает их.
Общепринятодумать, например, что в лотерею играть неразум
но, поскольку матожидание выигрыша меньше стоимости билета.
В результате покупать лотерейные билеты приходится, оглядываясь
по сторонам.
При этом подсознательновсе понимают, что конечный денеж

ный выигрыш может иметь бесконечную ценность. Покупка дома,
переезд, лечение, образование. Да мало ли что еще меняет судьбу,
и потому в деньгах не измеряется, хотя нуждается в той или иной
стартовой сумме. Почему же за 30 копеек не купить шанс? Взве
шивание здесь только вредит. Но авторитет иероглифов формул
и таинственной терминологии создает гипнотизирующий мираж.
Другой пример - знаменитый _Петербургс"uй nарадо"с•. Если герб при

неоднократном бросании монеты выпадает в первый раз в n-й попытке, -
n
уча~нику игры вымачивается 2 рублей.
Математическое ожидание выигрыша,
1 1 n 1
2 • 2 + 4· 4 + ... + 2 . 2n + ... = 1 + 1 + ... ,
бесконечно. Поэтому, с точки зрения ТВ (как бы), )8 уча~ие в игре денег можно
)8матить сколько угодно - казино в любом случае проиграет.
Хороший пример на тему того, как респектабельная теория направляет ход
мыслей не в то русло, тогда как реальная »дача не стоит выеденного яйца. Кази
но проигрывает в среднем, но в данном случае это не дает разумных оснований
судить об однораювой игре. Средние значения продуктивно работают в других
ситуациях, но не )Десь.
Рассмотрим упрошенный аналог. Монета бросается один раз, и падает маш

мя с вероятн~ью 1 - г· оо . Выигрыш при этом с~вляет 1 рубль. На ребро
монета становится с вероятн~ью г· оо , И тогда выигрыш равен 2300 рублей.
МаТОЖИдание выигрыша ..... 2200. Но, очевИдНО, больше рубля за участие в игре
платить глупо. Потому что событие, имеющее вероятн~ь г 100 «никогда. не слу
чается, и какая разница, сколько )8 него обещано. Испольювание маТОЖИдания
оказывается просто не к меС1)'.
в русле «Петербургского парадокса. было сломано немало копий при участии

великих математиков. В рамках Идеологии сходим~и (глава 4) это довольно
типичная ситуация, когда XN сходится по вероятно~и К нулю, а маТОЖИдание XN
стремится К бесконечно~и.
1.6. Континуальные пространства 23
1.6. Континуальныепространства
Пространство элементарных событий n часто имеет континуаль

ную природу. Это может быть вещественная прямая или отрезок,
Rn либо его подмножество. За кадром здесь находятся вполне
естественные задачи. Вот два рядовых примера .
• Стер;»rень АВ ломается в точках Р и Q на три куска. Какова вероятность

того, что из них можно сложить треугольник?
.. в случае ж = АР, у = PQ возможность сло

жить треугольник описывается неравенствами
А Р
I
Q
I ,
в
1 1
2 < ж + у < 1; Ж,у < 2'
которым на рис. 1.2 удовлетворяют внутренние точки
треугольника EPG. Если все точки {ж, у} равнооероят
ны, то искомая вероятность
Р = St>f:PG = ~.
St>OCD 4
• во время боя в течение часа в корабль попадает два снаряда. Для заделки одной
nробоины требуется 15 минут. Если nробоина еще не заделана, а в корабль попа
дает второй снаряд, - корабль тонет. Какова вероятность потопить корабль?
.. Если времена поп:uаний снарядов tl и t2 равномерно распределены
110 квадрату S размера 60 мин х 60 мин, то искомую lIероятность дает отношение
площади многоугольника {It, - t 2 1~ 15} n S к площади S. ~
Задачи подобного рода берут начало от классической задачи

Бюффона об игле 13) и предполагают, как правило, равномерность
распределения пара метров в некоторой области П. Вероятность по
падания точки в подмножество А С n считается при этом равной
отношению площадей НА к SN, что выглядит достаточно логично.
Безмятежное отношение к такой идеологии сохранялось до столк-
14)
новения с парадоксом Бертрана .
в задаче Бертрана вычисляется вероятность того, что наугад взятая хорда

заданной окружности больше стороны вписанного праllИЛЬНОГО треугольника.
щ Игла дnиноА r бросается на плоскость, разграфленную параллельными прямыми,

отетояшими друг от друrз на расстоянии о > г. Какова вероятность того, что игла пересечет
одну из параллелеА? Ответ: р = 2r/(oll").
14) Вenrand J. Calcul des probabililes. Р., 1889.
Бертран рассмотрел три варианта параметров, определяюших положение

хорды:
• расстояние до центра и угол нормали хорды с осью х;
• угловые координаты точек пересечения хорды с окружностью;
• декартовы координаты середины хорды.
Во всех трех случаях вероятности оказались разными (1/2, 1/3, 1/4).
Казус пошел на пользу. Стало ясно, что внимательнее надо

изучать ситуацию неравномерного распределения точек в П.
Допустим, точки в n распределены с плотностью p(UJ) , причем

J
{}
p(UJ) dы = 1.
Тогда вероятность события UJ Е А определяется как
Р(А) = J
А
p.(UJ) dы,
а если на n задана случайная величина Х (UJ), в том числе векторная

X(UJ) = {X1(UJ), ••• , Xn(UJ)} , то матожидание равно
Е (Х) = J
{}
X(UJ)p(UJ) dUJ. (1.8)
Сделаем теперь важный ШDl. Изменим точку отсчета. Первичное ПРО

странствоэлементарнbIXсобытий CbllPOllO свою ролЬ, и при необходимости
можно обойтись без него. во многих ситуациях это дает определенные
выгоды.
Урожайность капусты, например, случайнаR величина? По-видимому.
Но на нее влиRет столько факторов, что о НOIIичии глубинного n мы
можем только дагадываться. Госnодь бросает кости по ту сторону, а мы
тут наблюдаем результат - саму случайную величину. И даже в nростей
шем случае бросаниR монеты - пространство -герб - решетка. лишь
агрегированная иллюзиR. PeOllbНoe n надо искать на другом уровне, где
об устройстве Вселенной известно немного больше.
Исключить исходное n из рассмотрения можно, переходя непо

средственно на описание с. в. Х С помощью функции распределения:
11 F(z) = Р(Х < Z)·II

Разумеется,
Р(Х < х) = !
Х<Ж
IL(U)) dU),
110 это остается за кадром. Таким образом, случайные величины

MOJyr характеризоваться непосредственно в терминах функиий рас
пределения. Отказ от рассмотрения пространства элементарных
событий· носит, разумеется, условный характер. На самом деле одно
пространство заменяется другим. Происходит нечто вроде агре
гирования. Пространством n случайной величины Х становится
пещественная прямая или ее подмножество. Вне поля зрения оста
ется более глубокий уровень, если таковой имеется.
ОчевИlIНО, функция F(ж) монотонно возрастает (не убывает) и
Iim F(ж) = 1, Iim

%-+-00
F(ж) = о.
ж-""
Вместо Р(х) часто используют плотность распределения р(х),

связанную с Р(х) условием:
! р(u)
ж
Р(х) = du. (1.9)

-00
Из (1.9) следует
F(ж + Llж) - F(ж) = 76.Жр(и) du = р(ж)Llж + о(Llж),

z
откуда
I р(х) = Р'(х). I
Понятно, что для дифференцируемости Р(х) нужны предположе
ния, но мы на этом не останавливаемся. Более того, далее исполь
зуются - в том числе - плотности, содержащие 5 -функиии 15), что
позволяет единообразно охватить дискретно и непрерывно распре
деленные случайные величины.
15) См. (5, т.2).

Аналогом равновероятных элементарных событий служит си

туация равномерной плотности:
р(х) = { Ь - а' х Е (а, Ь];
О, х f/. (а, Ь].

При этом говорят о равномерном распределении Х на (а, Ь].
Если Х вектор. то в Р(х) = Р(Х < х) под Х <х подразумеВ;lется совокуп

ность покомпонентных неравенств. Из
! ...!
I1 z"
F(xl, ... , X n ) = P(UI ..... un ) dUI о .. dun
-00 -iX)
вытекает
Вместо Р(х) и Р(Х) обычно пишут рх(х) и Рх(Х), помечая случайную

8еличину Х и аргумент х. Мы не только будем опускать и"декс,
но 8место Х будем иногда писать х. Конечно,это не 8nолне корректно,
! I (х)
ж
но не более чем dx. Строгие обозначения - не 8сегда благо. Если

из контекста ясно, о чем речь, обозначение тем лучше - чем проще.
в соответствии со сказанным 16) ,
Е (Х) = ! хр(х) dx.
При нежелании впадать в обсуждение деталей то же самое

пишуг в виде
I Е(Х) JXdF(X).!
=
16) Бесконечные пределы при интегрировании иноrда опускаются, - в ре)ультате ! 060-
!. Еше лучше скаэать, что I 060значает интегрирование по области определения

00
значает
-00
функции, стояшеА под интегралом.
Далее хотелось бы сказать, что линейность оператора Е ,

Е (аХ + РУ) = аЕ (Х) + РЕ (У), (1.10)
очевидна. Но это не совсем так. В СИ1}'ации (1.8) подразумевалось, что случайные
величины MOryт быть разные, но мера p(c..r) на n одна и та же, - и тогда линейность
действительно очевидна. В данном случае Х, У могли «прибыть.. на (-00,00)
из разных П, к тому же предысторией уже никто не интересуется, Х имеет свою
плотность распределения, У - свою. Точнее говоря, надо рассматривать даже
совместнуК? плотность их распределения р(ж, у). Тогда
!!(аж + Ру)р(ж, у) dж =
Е (аХ + РУ) = dy
= а ! жр(ж) dж + Р ! ур(у) = аЕ (Х) + РЕ (У), dy
где, например, р(ж) = ! р(ж, у) dy.
Пояснение простого факта может показаться многословным, но здесь имеет

смысл потратить какое-то время, если речь идет о попытке осмыслить скелетную
основу ТВ. Исходное определение с. в. создает впечатление, что n задано, и время

от времени в рассмотрение включаются разные случайные величины. Реальная
картина обычно другая. Каждая с. в. приходит как бы со своей прямой (-00, (0),
и n постепенно расширяется с (-00, (0) до (-00, (0) х (-00, (0) и т.д.
Добавление к линейности Е трех аксиом типа Е (1) = 1 позволяет исполь

зовать матожидание как отправную точку - вместо вероятности. Соответствую
щий сценарий описан в книге Уипла [25]. Разумеется, при упрощенном взгляде
иа предмет особой математической разницы нет, поскольку вероятность возникает
тут же как матожидание функции-индикатора,
Р(А) = Е [ХА(Х)]'
Разница подходов начинает ощущаться на высоких этажах теории вероятностей,
где круг дозволенных неприятностей достаточно широк.
Но помимо матемаmческой - есть разница психологическая. Для кого-то
поняmе среднего значения может быть предпочтительнее понятия вероятности.
Прнмер. Случайная величина, принимающая значения из ограниченного проме

жутка, всегда имеет матожидание. При распределении на бесконечном промежyr
ке - не обязательно. Пусть с. в. Х распределена по закону Коши, характеризуемому
плотностью
Тогда
жdж
тж = I w(1 + ж2) = 00.
При переходе к моментам более высокого порядка СИ1}'ация только ухудшается.
1.7. Независимость
СоБЫТИЯ А и В называют незавuсu,Мы.мu, если P(BIA) = Р(В), т. е.

формула умножения вероятностей (1.5) переходит в
I Р(АВ) = Р(А)Р(В). I (1.11)
Из (1.11), в свою очередь, следует P(AIB) = Р(А).

Понятие независимости играет фундаментальную роль в теории
вероятностей, но (1.11) не вполне отвечает интуитивному понима
нию независимости, что имеет смысл сразу оговорить.
Парадокс БернuпеЙна. Бросают две монеты. Пусть выпадение первой монеты

гербом обозначает событие А, второй - В. Наконец, С означает, что только одна
монета выпала гербом.
Для симметричных монет все три события попарно независимы, поскольку
1 1
Р(А) = Р(В) = Р(С) = -,
2
Р(АВ) = Р(АС) = Р(ВС) = 4' (1.12)
с независимостью А и В интуиция согласна, но не с независимостью А и С (или
В и С). И У нее есть основания. Независимость (1.12) имеет как бы .. арифме
тический. характер, является результатом численного совпадения. Качественные
отличия взаимосвязей событий выявляются при нарушении симметрии монет.
Для несимметричных монет (с вероятностью выпадения герба :/: 1/2) свойство
независимости А и В вида (1.11) сохраняется, а вот равенства
Р(АС) = Р(А)Р(С) и Р(ВС) = Р(В)Р(С)
нарушаются,
Тем не менее именно «арифметическое. понимание (1.11) опре

деляет независимость в теории вероятности.
В применении к случайному вектору с независимыми компо

нентами Х = {Х" Х2} это дает
Р(Х, < XI, Х2 < Х2) = Р(Х 1 < XI)P(X2 < Х2),
что влечет за собой
и, как следствие,
1.8. Дисперсия и ковариация 29
Функции Р(х), Х2) и P(XI, Х2) называются совместными, соот

ветственно, функциями и плотностями распределения случайных
величин Х] и Х2. Таким образом, если случайные величины незави
симы, то их совместная плотность (функция) распределения равна
произведению nлотностей (функций). Это правило действует и в об
щем случае n случайных величин - и принимается за определение
независимости.
Исходное определение n независимых событий имеет вид
Р(А, '" А.) = Р(А , ) ... Р(А.).

в сuенарии парадокса Бернштейнав случае (1.12) Р(АВС) = О при ненулевых
нсроятностях событий А, В, С, откуда ясно, что из попарной независимости А,
В, С - их независимость не следует.
Обратно. Возможна независuмость при отсутствии попарной независuмости.
Соответствуюший пример дает бросание двух упорядоченных костей (красной
и синей) (31]:
..~={(i,i): 1,2или5},
В = {(i,j): 4,5 или 6},

C={(i,j): i+i=9}.
Примеры подобного сорта свидетельствуют о наличии под

водных течений, но на практике независимость обычно хорошо
работает, минуя аномалии. Это тем более справедливов отношении
случайных величин. Там накладывается требование независимости
не на два-три события, а на любые комбинации неравенств, что
исключает неприятности.
1.8. Дисперсия и ковариация
Скаляр
называеТС}l дисперсией СJlучайной величины Х, а
(1% = JD (Х)
- среднеквадратическим отклонением Х от своего среднего значе
ния т х .
30 Глава 1. Основы в задачах и парадоксах
в силу линейности оператора Е :

Е (Х - m r )2 = Е (х 2
) - 2Е (X)m r + т~ = Е (х 2
) - т;.
2
Поэтому дисперсия D (Х) равна ра:JНОСТИ Е (х ) -т~, где Е (х ) так на:Jываемый 2
n
второй момент. Вообwе, Е (X ) именуется моментом n-го порядка случайной
величины Х, в соответствии с чем матожидание - первый момент.
Случайная величина Х - mr имеет нулевое матожидание, и ее Ha:JblвalOТ
центрированной, а моменты uентрированных величин - центральными. По этой
терминологии дисперсия - второй uентрanьный момент.
И:J суwествования Е (X n ) вытекает суwествование Е (X k ) при любом k ~ n,

причем Е (X k) ~ [Е (x,,)]k/n. (?)
Для двух случайных величин Х, у рассматривают смешанные

моменты Е (х"у ). Важную роль во многих ситуauиях играет КО
т
вариация
11 сov(ху) ~ Е [(х - тхНУ - ту)] 11
и коэффициент корреляции
cov (ху)
Т ЖIl =
UЖ U
Il
Очевидно,
I cov (ХУ) = Е (ХУ) - mrm"

и cov (ХУ) = О, если Х 11 У не:JaВИСИМЫ. Но ковариаuия может быть нулевой
в случае :JaВИСИМЫХ Х, У.
Решим, например, такую :Jадачу, считая Х, У - uентрированными (для про

стоты). Найдем приближение У случайной величиной Z = аХ по квадратичному
критерию:
Е (У - ах)2 -+ min . (1.13)

Приравнивая нулю проюводную (1.13) по а, получаем
2Е «У - аХ)Х) = О,
откуда
cov (ХУ)
а = О(Х) ,
т. е. при ненулевой ковариаuии (корреляuии) между Х и У сушеСТIlУет _линейная
:JaВИСИМОСТЬ. вида У =
аХ + W сненулевым коэффиuиентом а и случайной
величиной W, некоррелированной с Х, cov (XW) О. =
1.9. Неравенства 31
Практическое вычиCJIение корреляций часто nриводШlО к обнаружению -неожи

дaHHЫV связей мистическоzo толка. При этом упускалось из вида, что причинная
с.язь и функциональная - совсем разные вещи. Например, nроцессы, nодверженные
иuянию солнечной активности, в результате МО2ут коррелировать дРУ2 с друzoм, а их
функциональная связь может быть иСnОЛЬ30flана дм nРО2НО3IJ, но не для оБЪJIсненuя.
Пример. Случайные величины Х и у=х 2 , при равномерном распределении Х

I проме~е [-1,1], - связаны жесткой функциональной зависимостью, но их
ковариация равна нулю,
1
ж(ж2 - т,)
соУ(ХУ) = f
-1
2 dж = О,
поскольку линейная составляюШ8А взаимосвязи oTcyrcтByeт.
Некоторыеучебникиот термина «ковариация»вообщеотказываются,

заменяя еzo КОРpeAIIЧ8еi Шlи корpeAlfц80нныNJllOIIIeNnlOJlf
Rжр = соу (ХУ)

и называя коэффициентом корреляции ту же -нормированную» вели
чину
rжр= --о
R,.,
(0',.0',)
Это имеет свои минусы, но рй32ружает термиНОЛ02ию, и выглядит
nриe.wлемо.
YnpaJlDlеиия
• Если случайная величина Х принимает значения только иэ интервала (О, 1),

то 0',. < т,.. (?)
• (О',. - 0',)2 ~ 0',.+, ~ (О',. + 0',)2. (?)
• 0',.' 0', ~ 0',..,. (?)
• 0'; = min Е {[Х - а]2}. (?)
о
1.9. Неравенства
Неравенство Коwн-Буняковскоro17):
(1.14)
17) А1!ьтернативные наэВВНИII: нераtlенсmtю Шtlарца либо КОUlи-Шtlарца.

32 Глава 1. Основы в задачах н парадоксах
.. Из Е HAIX! -IYI)2} ~ Оспедует
А 2 Е (х 2 ) - 2АЕ (IXYI) + Е (у 2
) ~ О,
а положительность квадратного мноrочлена (от А) мечет за собой отрицательность

дискриминанта, что предстамяет собой доказываемое неравенство. •
Из (1.14) сразу вытекает, что коэффициент КОррeJJ1lции всегда по мoUyлю меньше

или равен единице.
Если 1р(х) ~ О - неубывающая при х ~ а функция, то
! 1р ! 1р !
00 00 00
dF(x) ~ dF(x) ~ 1р(а) dF(x) = 1р(а)Р(Х ~ а),

-00 а а
откуда
Р(Х ~ а) ~ Е ~~~)) при условии 1р(а)::/: О. (1.15)
Выбор 1р(х) = х 2 И IX - тжl в качестве случайной величины

дает иеравенство Чебышева:
О(Х)
P(IX - тжl ~ а) ~ -2-' (1.16)
а
Из (1.16) спедует, что оценка сверху среднеквадратическоrо отклонения

влечет за собой оценку сверху вероятности отклонения. это позволяет пере водить
разrовор из одной плоскости в друryю - от моментов к вероятностям.
Так сложилоеь, что (1.16) затмило друrие возможности. И меет см ысп держать
в памяти общее неравенство (1.1 S), из которого можно измека1Ъ более ПОдХодящие
спедствия дЛя конкретных задач. Например, неравенство Маркова
Р(Х > а) ~ Е (Х) при усповии Х ~ О

а
или
Р(lХI ~ е) ~ Е (I~I") • (k. Е, а> О).

t
1.9. Неравенства ЗЗ
Неравенство Колмогорова. Пусть последовательность независuмых

слу.,аЙных вели.,ин Х; uмeeт нулевые матожидания Е (Xj) = о
и D (Xj) < 00. Тогда
1 n
Р{mах IX, + ... + Xkl ~ Е} ~
k~n
2"
Е
L.
D (Xj). (1.17)
. ,=I
.. Пусть 8! обозначает сумму X 1 + ... + Xt ; Aj - событие, состоящее

"том, что
18j l ~ t, но 18;1 <с при всех i < j.

Объединение непересекающихся событий Aj есть событие А. означающее
max{18i l ~ t, i ~ n}.
Условная дисперсия
Е (8~IAj) = Е [(8п - 8j + 8j )2IAj ] =

= Е [(8п - 8j)2IAj] + 2Е [(8п - 8j )8j IAj ] + Е (8}IA j ) ~ t 2•
поскольку Е [(8п - 8j)2IAj] ~ О, второе слагаемое Е [(8п - 8 j )8j IA j ] О, так как =
8п - 8 j и 8 j независимы. потому что состоят из разных независимых слагаемых,
2
I Е (8}IA j ) ~ t - по определению Aj .
Поэтому
n n
Е (8~) = Е Е (8~IAj)P(Aj) + Е (8~IA)P(A) ~ t 2Е P(A j ),
j=1 j=1
что и есть (1.17). ~
Если бы максимум в (1.17) достигался при k = n, неравенство сводилось бы

К неравенствуЧебышева. Из (1.17), разумеется, следует
1 n
P{l8t l ~ t; k = 1' ... ,n} ~ 1- 2' Е D(Xj ).
t .
J=I
(!) Требование независимости с. в. X j В (1.17) можно ослабить до

Е (XjIX 1, ••• , X j _l ) =о (1.18)
при любом j, т. е. заменив независимость предположениемо равенстве условных
матожиданий безусловным. Обоснование несложно. Независимость X j при дока
181еЛЬСТве неравенства (1.17) испольэовалась в двух пунктах. При обосновании
n
Е [(8п - 8 j )8j IAj ] =о и Е (8~) = Е D (Xj ).
j=1
То и другое остается справедЛИВЫМ без предположения независимости Xj , но при

условии (1.18).
Неравенство Ненсена. Пусть <р(х) - вогнутая фУНКЦUЯ (выпуклая

вверх) и матожидание Е (Х) существует. Тогда
I Е <р(Х) :::; Ip(E Х). I (1.19)
.. Для выпуклоil вверх Функuии !р(ж) всегда найдется функuия 18) ф(z)
такая, что
!р(ж) ~ 'Р(у) + ф(у)(z - у).
Матожндание этого неравенства при z= Х, у = ЕХ дает (1.19). ~
1.10. СnучаЙнь.е векторы
Если компонентыслучайного вектора Х = {X 1, ••• , Хп } независи

мы, то Х - просто набор несвязанных друг с другом величин 19).
«Линейная часть взаимосвязей .. улавливается ковариациями
kjj = Е {(Х; - mj)(Xj - mj)} (т; = Е (Xj)),

которые объединяются в ковариационнуюматрицу К = [kij).
Корреляционная матрица R И3 К получается переходом к элементам
k,j
r,j= ~' ki , = D(X,).
yk"k jj
т. е. к коэффиuиентамкорреляuии.
Обе матрицы К и R неотрицательно определены, поскольку
L: kij~i~j = Е {Е(Хi - mi)~i} 2 ~ О.

ij ij
АналогичнодЛя R.
Метод наименьших квадратов. Допустим, на вход объекта (рис. 1.3)

действует случайный вектор Х = {X 1, ••• , Х п }. Скалярный вы
ход У не определяется входом Х, поскольку еше действует нена
блюдаемое возмущение'.
18) В гладком случае ф(ж) = <р'(ж).

19) По краАнеА мере, В веРОIIТНОСТНОМ смысле.
1.10. Случайные векторы 35
Задача состоит в построении линей

ной модели 20)
,..--_I_z _-,
Z= LCjXj
4 Рис. 1.3
f
по критерию минимума среднеквадрати
ческой ошибки:
Е (У - L CjXj) 2 -+ mjn .
j
... Минимум определяет равенство нулю проиэводных по С;:
д~j Е (У - L Ci Xi)2 = 2Е {(У - L CiXi)Xj } = О.

I I
Оптимальный вектор С, таким образом, является решением системы
где K r ковариационная матрица Х, а вектор ковариации K r, имеет координаты

Е {XjY}. ~
Обратим внимание, что задача по форме полностью совпа

дает с поиском ближайшей к вектору у точки L CjXj, лежа-
i
щей в плоскости, натянyrой на векторы {XI, •.. , Х п }. Решение
последней - как известно - дает ситуаuия, в которой вектор
7/- L CjXj ортоroнален {XI, ... ,Х п }, т. е. все скалярные произве-

j
дения (У - L CjXj ) Х j равны нулю.

j
Это дает естественные основания считать случайные величины
с нулевой ковариаuией - орmогональны.мu. Никакой особой глу
бины за этим нет, кроме возможности мыслить о с. в. В терминах
евклидовых пространств, что иногда раЗдвигает горизонты.
Модель Z = L CjXj обычно служит для прогноза У, что,

j
в свою очередь, является основой для принятия экономических или
20) В преДПQJIожении uенtpИрованности всех сnучаilных величин.

технологических решений 21). Проблему поиска оптимальных моде

лей в рассмотренной постановке называют задачей идентификации.
Если линейное преобразование и = АХ преобразует случай

ный вектор Х, то, как легко проверитъ, ковариационные матрицы
Ки И Кж связаны соотношением 22)
КU = АКжА Т , (1.20)
где А Т транспонированная матрица.

-
Равенство
(1.20) есть правило преобразования квадратичной
формы при переходе к другому базису 23). Поскольку квадратич
ная форма всегда приводится ортогональным преобразованием А
к диагональной Форме, то от исходного вектора Х всегда можно
перейти к случайному вектору и = АХ снекоррелированными
компонентами.
1.11. Вероятностныеалгоритмы
добавление вероятностного фактора в детерминированныезадачи

иногда преображаетситуацию и дает существенныйвыигрыш. Суть
дела проще всего пояснить на примере.
Проблема выяснения простоты числа N считается пока пе

реборной задачей. Малая теорема Ферма для любого простого N
гарантирует равенство
aN - 1
= I(mod N), a<N. (1.21 )
Нарушение
(1.21) означает, что N - составное. Но для некото
рых составных чисел 24) условие (1.21) тоже выполняется, и поэтому
малая теорема Ферма - не очень хорошая лакмусовая бумажка для
различения простыIx и составных чисел. Однако возможна замена
(1.21) неким близким условием 25), нарушение которого хотя бы для
21) У может быть, напрнмер. котироакой акций либо параметром, карактериэуюшим эф
фектианость работы химического реактора, прокатного стана и т. П.
22) Е {U;Uj} = Е {L Q,рQjqЖрЖq }.

p.q
2J) См., например, [5, T.3J.
Дли так наэыааемых чисел Кармайкла.
24)
Подробности и дополнительные ссылки можно найти а: Нестеренко Ю. В. Anгоритми

2S)
ческие проблемы теории чисел // Матем. проев. 1998.3, ВЫП.2. C.87-114.
1.12. 06 истоках 37
ОДНОГО а <N гарантирует, что N - составное. Причем для лю

бого составного N подходяших чисел а <N сушествует не менее
3
-(N
4 - 1) .
При случайном выборе а < N, таким образом, составное N
не классифиuируется как составное с вероятностью не большей
1/4, а ПQCле k проверок - с вероятностью не большей 1/4 1с • По
сле 100 проверок вероятность ошибочной классификации числа N
имеет порядок 10-60.
КОJlJlекция задач подобного сорта на сегодняшниА день не так велика. Основ

ные 1])уДНОСТИ заключаются в поиске удобных при знаков типа (1.21) дIIя решения
апьтернаПIВНЫХ вопросов. Известно много необходимых условиА различного рода,
но они в чистом виде, как правило, не годятся - по тоА же причине, что и (1.21)
в раССМО1])енной задаче.
в целом включение в поле зрения численных методов - веро

ятностных алгоритмов - породило довольно интересную область
исследований. При этом на описанной выше схеме здесь дело
не зацикливается. По поводу идеологического разнообразия мож
но упомянуть «нашумеВшyIOJJ) РСР-теорему. Вольная трактовка ее
примерно такова. Сушествует способ записи математических дока
зательств; при котором проверка их правильности сводится к анали
зу нескольких случайно выбранных мест, число которых не зависит

от длины исходного доказательства. Поверить, конечно, трудно.
1.12. Об истоках
в тв важную роль играют вопросы обоснования, что неред

ко уводит изложение из сферы интересов широкой аудитории.
Нижеследующий текст призван снять некоторую долю напряже
ния, возникаюшего в связи с употреблением терминов типа и-ал
гебры.
При обобшении исходной вероятностной модели с конечным

множеством n на счетные и континуальные вариантыI n возникают
проблемы. Если в конечном случае можно без предосторожностей
рассматривать множество всех подмножеств П, то для бесконечных
множеств это уже не так.
Необходимость же договориться о том, какие подмножества n

попадают в поле зрения, возникает из-за того, что сумма и пе
ресечение событий не должны выводить за рамки дозволенного.

Но тогда приходится требовать
А, В СП=> А uВ с П, А nВ с П, (1.22)
и рассматривать совокупность А подмножеств П, куда ВХОдЯт: са
мо П, любое А принадлежит А вместе с дополнением, - и выпол
няется (1.22). Такая совокупность А множеств называется алгеброй
подмножеств П, и - и-алгеброй в более общем случае, когда в А
входят любые суммы и пересечения счетных совокупностей Ak С А:
Термин «и-алгебра» обладает способностью отпугивать. Но здесь,

в крайнем случае, можно закрыть глаза. ПОНRтuя и-алгебры и меры
Лебега (см. далее) - это внутреннм кухнн ТВ, юридическаR часть.
Как бы лицензиR на право выnолнениR ра3llичных маниnУЛRциЙ. Если
речь идет об аппаратной сторане дела, то о и-алгебрах можно
забыть. Точно так же никто не помнит о дедекиндовых сечениях,
лицензирующих иСnОЛЫ08ание вещественных чисел.
далее возникает проблема задания вероятностей на П. в кон

тинуальном варианте приходится задавать не P(LtJ), а вероятности
кубиков, например. Затем все происходит по схеме определения
интегрирования. Сложные фигуры (собьггия) аппроксимируются
совокупностями все более мелких кубиков, и пределы объявляются
интегралами:
Р(А) = !
А
p.(LtJ) dLtJ либо Е (Х) = !
fI
X(LtJ)p.(LtJ) dLtJ.
в итоге вероятностнымnространством называют непустое множе

ство n с .узаконенным. семейством А его подмножеств и неотри
цательной фуншией (мерой) Р, определенной на А и удовлетворя
ющей условию Р(n) = 1, а также
1.12. Об истоках 39
ДЛЯ любой последовательности A 1, А 2 , ••• Е А взаимно непересека

ющихся множеств А,. Другими словами, вероятностное простран
ство определяеттройка (П, А, Р).
Подмножестваиз А называют событиями.
В зависимости от используемых схем предельных переходов
могуг получаться разные интегралы - Римана и Лебега. Интегри
рование по Риману плохо тем, что чуть что - перестает работать.
Скажем, не интегрируются пределы функuий. На финише, прав
да, такого почти никогда не бывает, но многие доказательства
рассыпаются. Присказка «интегрируя по Лебегу» обычно спасает
положение, потому что по Лебегу интегрируется почти все. Чтобы
подчеркнугь отличия, интеграл по Лебегу записывают несколько
иначе. Например, так
Е (Х) = J
fI
X((tJ)JL(df.u).
Интегралы Лебега и Римана совпадают, если оба существуют.

Поэтому интегрирование простыx функuий ничем не отличается
от обычного, а при интегрировании сложных - до вычислений
дело не доходит. Принципиальную важность имеет сама возмож
ность интегрирования по Лебегу. Это сводит концы с концами.
Примерно как иррациональные числа. В приближенных вычисле
ниях они не используются, однако, заделывая бреши, превращают
вещественную прямую в нормальное игровое поле. Но если о де
декиндовых сечениях при этом можно даже не упоминать, то в тв
иногда требуется умение произносить фразу «интегрируя по Лебе
гу .., не испытывая особого дискомфорта.
Множество !1 с заданной на нем и-алгеброй А называют измеримым nро

сmрансmвом. В случае, когда n представляет собой вешественную прямую, -
6орелевская и-алгебра В ПОРОЖдается 26) системой непересекаюшихся полуинтер
валов (а, 13]. Элементы В называют борелевскuми множествоми.
В случае !1 = RR борелевские множества определяются аналогично (как пря
мые произведения одномерных).
Вешественная функция f(1IJ) называется измеримой относительно и-алгеб

ры А, если прообраз любого борелевского множества принадлежит А. Если
А = В, функция f(1IJ) называется борелевскоЙ.
26) ВЭlIтием всевоэможных объединений и пересечеииЙ.

1.13. Задачи и дополнения
• Парадокс де Мере связан с бросанием двух иrpaльных костей. Вероятность

выпадения двух троек в k бросаниях равна, очевидно, Pk = 1- (3S/36)k.
Во времена Блеза Паскаля (ХУН в.) вычисление даже такого простого вы
ражения при больших k было обременительно, и оценки часто делались
на основе правдоподобных рассуждений .• Одна тройка в 4 бросаниях выпа
дает с вероятностью> 1/2. две тройки одновременно выпадают в 6 раз реже,
чем одна. Поэтому в 24 = 4 х 6 бросаниях естественно ожидать Р24 > 1/2•.
На самом деле Р24 ::::: 0,49.
Логические ошибки подобного рода довольно широко распространены на бы
товом уровне .• Если лотерейный билет выигрывает с вероятностью р, то 2
билета - с вероятностью 2р •. При малых р в первом приближении это дей
ствительно верно. Однако хотя бы один герб при двух бросаниях выпадает
с вероятностью 3/4, а не 2·(1/2) = 1.
• Двумерное неравенство Чебышева:
1+~
Р {{ IX - т .. 1~ Ul.. } U { IY - m,l ~ са, }} ~ с2 .
• Из обычной колоды вытаскивается карта. Если .пика. - это событне А,

если .туз. - В. Легко проверяется, что А и В неэависимы. Но если в колоде
есть джокер, - то это не так. (?)
• По поводу избытка парадоксов, заметим следуюwее. При изучении случайных

величин играют роль два фактора: вероятности и значения Х. Сознание же
не приспособлено следить за двумя параметрами одновременно. В результате
простейшие вопросы ставят в тупик.
Дonycтuм, Р{Х ~ О} =
Р{У ~ О} ~ 1/2, причем Х и У неэависuмы.
Вытекает ли отсюда Р{Х У ~ О} ~ 1/2?+
Нет. Если Х, Унезависимо принимают значения {-1, 2} с вероятностями
1/2, то Р{Х + У ~ О} = 1/4.
• в ТВ, как и вообwе в жизни, приходится решать нечетко поставленные
3адачи.
По равновероятноR выборке k чисел из N первых по счету - найтн

неизвестное N. Чем-то напоминает .угадать фамилию по возрасту., -
но 3адача, вообwе говоря, осмысленная.
Если с. в. Х - равна наибольшему числу в выборке, то
откуда при достаточно больших N

Nk
Е{Х}::::: k+ l'
k+1
Поэтому N оuенивается величиной -k-X' Детали уточняются в рамках
идеологии сходимости (глава 4).

1.1 З. Задачи и дополнения 41
• Задача о выборе HeвeC110l в миниатюре служит образuом задач об оптимальных

правилах остановки. Сuенарий выглядит так. Потенuиальному жениху при
водят последовательно n девушек. В любой момент он может остановиться:
«вот моя невеста., - но возможности вернуться к какому-либо предыдущему
варианту нет.
Как гантели полезны для упражнений, но не для созерuания, - так и эта

задача. Думать можно над эквивалентным вариантом: последовательно про
сматривая числа
в какой-то момент надо остановиться и выбрать {t (как можно большее).

Среди стратегий «просматриваютсяпервые т чисел, после чего выбирается
первое же, превосходящее все {I, ... , {т. - максимальную вероятность
выбрать наибольшее {t дает т, ближайшее к n/е. (?)
• Простота базовой модели теории вероятностей (пространство элементарных

событий f! с заданными на нем вероятностями)нелегко далась исторически,
и она нелегко достигается по сей день, ибо многие задачи к каноническо
му виду сводятся с большим трудом. Эrо, конечно, не удивительно. Очень
простая схема, но в нее укладывается все разнообразие вероятностныхзадач.
Только «укладывание. требует иногда большой изобретательности. Поэто
му для освоения тв необходимо развитие навыков решения задач. В хаосе
разнообразныхидей и технических приемов здесь есть наезженныепути и ха
рактерные модели. Определенный интерес в этом отношении представляет
метод фНIП1IВНoro поrpужеНИJl.
Рассмотрим nародоксра:Jдeла ставки 27).

Матч до 6 побед nрекращен досрочно при счете 5:3. В какой nроnорции
разделить nриз?
Конечно, это не парадокс, а проблема. Проблема, а не задача, потому что
вопрос надо еще правильно поставить. Наиболее логичен был Ферма.
... Его идея - в гипотетическом nродолжении игры тремя фиктивными

партиями (даже если некоторые из них окажутся лишними). При равно
вероятности всех 8 исходов второй игрок выигрывает матч лишь в одном
случае, - если побеждает во всех трех партиях, - поэтому справедливая
пропорuия 7 : 1. •
• Погружение задачи в более широкий круг фиктивных ситуаuий во мно
гих случаях дает выход из положения либо обеспечивает дополнительные
удобства. Рассмотрим, для при мера, задачу Банаха.
В двух короб#€ах uмeeтCH по n спичек. На каждо'м шаге наугад выбираетСR
коробка, и из нее yдaлRетСR одна спичка. Найти веронтность Pt тога, что
в момент окончаниR nроцесса, т. е. оnустошениR одной из коробок, в другой -
остаетсн k спичек.
2'1 об исторических подробноеТIIХ см. (22).

.. Если одна коробка пуста, а в другой - k спичек, зто означает, что

спички брались 2п - k раз, причем n раз из (теперь уже) пустой коробки.
t
Поэтому Pt = Cfn_t/ 22n - . ~
При необходимости изучать задачу в целом (распределение Pt при разных k)

возникает определенное неудобство, связанное с выбором пространства эле
ментарных событий П. Вариант опустошения одной из коробок в момент п+ j
происходит на фоне других вариантов, которые из-зо переменной длины имеют
разные вероятности. В итоге получается порочный круг. Для решения задачи
надо построить П, а для построения n требуется указать вероятности, кото
рые ИшУТСЯ. Узел развязывает добавление к настояшим - фиктивных спичек.
Тогда в качестве n можно рассматривать n
i + ' ровновероятных вариантов
длины 2п+ 1. Такой длины всегда хватает для опустошения одной из коробок.
Глава 2
Функции распределения
2.1. Основные стандарты
Равномерное распределенне в промежyrxе [а, Ь) имеет плотность
р(ж) = -ЬI- ,
-а
которой соответствуетфункшtя распределения
F(ж) =
:r
I р(и) du I
= -Ь-а I :r
du ж-а
=- -
Ь-а
-~ о
при ж Е [а, Ь). Разумеется, F(ж) = О при ж ~ а и F(ж) = I при ж ~ Ь.
Биномиальное распределение. Среди эталонных вероятностных мо

делей осОбое место занимает схема бросания монеты, порождаю
шая цепочки «герб-решетка»: ГРГГР ... Если при выпадении герба
писать единицу, решетки - нуль, модель будет генерировать слу
чайные «ОI .. -последовательности:
10110 ...
При этом можно говорить о генерации двоичных чисел ВИда
0,10110 ....
В обшем случае в результате испытания (бросания, экспери
мента) единица появляется с вероятностью р Е (О, 1), нуль - с ве
роятностью q = 1- р. Появление единицы часто именуют успехом.
Проведение соответствуюших независимых испытаний называют
схемои, или последовательностью испытании Бернуми.
В силу независимости испытаний вероятности появления 1 или
О перемножаются. Поэтому вероятность в n испытаниях получить
k единиц в каком-либо определенном порядке (и, соответственно,
n - k нулей) - равна p"qn-". А поскольку k единиц расположить
44 Глава 2. ФУНКЦИИ распределения
в n разрядах можно числом способов c~, то вероятность получить

k единиu независимо от порядка их следования - равна
Набор таких вероятностей {Ро, ... ,Рп} называютбиномиальным

распределением (в серии испытаний длины n). Можно сказать, что
биномиальное распределение имеет сумма
где все с. в. Х" независимы и принимают два возможных значения

1 или О с вероятностями р и q = 1- р.
Легко проверить:
Е {Sn} = пр, D {Sn} = пр(1 - р), Е ([Sn - пр])} = пр(1 - р)(l - 2р).
На базе бросания монеты часто говорят об игре в «орлянку»:

герб - выиграл, решетка - проиграл. При этом удобно считать,
что Х" принимают значения не 1 и О, а 1 и -1. За этой схемой,
в свою очередь, подразумеваютиногда случайноеблужданиечастиuы
(или выигрыша).
Геометрическоераспределение. В схеме Бернулли вероятностьпояв

ления k нулей перед первым появлением единиuы, очевидно, равна
Iр" = pq" 1· Совокупность этих вероятностей (при k = О, 1'2' ... )

называют геометрическим распределением 1). Вероятность первого
успеха, соответственно, равна
Р{Х = х} = pqX-I.
Несложный подсчет показывает:
1 q
Е{Х} =-, О{Х} = 2'
Р р
Геометрическое распределенне имеет случаАная величнна, равная числу испытаниА

1)
до первого успеха - число промахов до первого попадания, т. е. -число лягушек, которых
приходится переuеловать. пока не наАлешь своего принuа •.

2.1. ОСновные стандарты 45
В качестве механизма оргаНИ:JaЦИИ последовательных испытаний Бернулли

MOryт использоваться УРН08ые моделu. В урне находится k белых шаров и m черных.
k m
Вероятность вытащить белый шар равна Р = -k--' черный - q = -k--' При
+т +т
последовательном извлечении шаров возможны два варианта: шар, вытащенный
на предыдущем шаге, возвращается в урну или не возвращается.
Встречаются постановки 33дачи с б6льшим количеством цветов. По существу,

урновой является карточная модель с популярными 33дачами типа: .. из колоды
вытаскивается n карт - какова вероятность, что k из них одной масти?.
В основе урновых моделей лежит равновероятный выбор любого из шаров.

Симметрию нарушает раскраска ... Сложные. в данном случае события выбора
белого или черного шаров можно взять в качестве элементарных - ДЛЯ схемы
k
Бернулли. это дает готовый механизм обеспечения вероятности Р = -k--' +т
и ногда говорят, что погоду в теории вероятностей определяют

три закона распределения: биномиШlЬНЫЙ, НОРМШlьный и nуаееОН08
екиЙ. Из дальнейшего будет видно, что из этой тройки два послед
них можно в некотором роде исключить. Нормальное распределе
ние и пуассоновское являются асимптотическими вариантами
биномиального.
Распределенне Пуассона, как и биномиальное, является дискрет

ным, и характеризуется вероятностями
k
а -о
Р(Х = k) =-е (k = 0,1, ...).
k!
Легко убедиться, что

OD
а =L kP(X = k),
t=o
т. е. параметр а есть матожидание с. в. Х, распределенной по :JaKOHY Пуассона.
дисперсия Х тоже равна а.
Закон Pt = ate- a /k! получается из биномиального, если n -+ 00 и при этом

вероятность Р меняется так, что pn -+ а.
действительно, C:pt(l - p)n-t при условии р = а/п можно записать в виде
46 Глава 2. Функции распределения
Закон Пуассона получается с учетом
n/Q
а _1 (1 - ~) . .. (1 - "~I)
1-;;) -4е, ..:......--:~-~~~ -4 1 при n -4 00.
(1 - ~)"
(
Но генеалогическое древо пуассоновскоro распределения имеет

более важные ответвления (см. раздел 2.8).
НОРМ8JlЬИЫЙ закои распределеИИJl. Случайные величины, с которы

ми приходится иметь дело на практике, чаще всеro подчинены нор
мальному закону расnределенuя 2), имеющему lUlотности вида

1 _ (ж -";ж )2
р(х) = е 211ж (2.1)
{1z./2i
Различия определяются матожиданием т ж и дисперсией (1;. При
меры графиков lUlотностей(2.1) изображены на рис. 2.1.
Рис. 2.1
Причины, по которым нормальный закон широко распростра

нен в природе, анализируются в разделе 2.7. Для краткости речи
иногда используют обозначение АГ(т ж , (1;). Например, Лf(О, 1) обо
значает нормальное распределение с нулевым матожиданием и еди
ничной дисперсией. Функuия распределения ЛГ(О, 1) имеет вид
! е-,2/2
z
Ф(х) = ~ ds. (2.2)
-00
2) Нормальное распреlleJIение называют также гаУСС08ски.ll.

2.2. Дельта-функция 47
ИнтеJ1lал (2.2) не выражается через элементарные функции. Вместо ..c;raH-

дарта. Ф(х) используется также интеJ1lал
..
Ф(х) =.ffi II е-' I f2 ds,
о
связанный с (2.2) очевидным соотношением Ф(х) + 1/2 = Ф(х).
Упражнении
• Если Х и У распределены геометрически, то и Z = min{X, У} имеет

геометрическое распределение. (?)
• Если Х и У распределены нормально либо по Пуассону, тоZ =Х +У
имеет, cooтвeтcrвeHHo, такое же распределение.
(?)
• Если Х и У имеют функции распределения Р.. (х) и Р.(у), то С. в. Z =
mах{Х, У} имеет функцию распределения F.(z) = F.. (z)F.(z). (?)
2.2. Дельта-функция
Использованиедельта-функuийдля записи плотностей распределе

ния сводит воедино непрерывные и дискретные задачи и позволяет
рассматривать смешанные задачи с плотностями
Плотность распределения пуассоновскоro закона, в частности,

имеет вид
00 ak _
Р(Х) =L k! е 4б(х - k).
k=O
Такого сорта выгоды иногда трактуются как чиc;rо технические нюансы, спо
собствуюшие обозримocrи и единообразию результатов. Здесь можно добавить, что
удобства - это, как правило, вопрос жизни и смерти математической дисциплины.
Дельта-функция б(х) изначально определялась как предел единич

ных импульсов 3) б.(х), прямоугольной формы либо колоколообраз
ной (рис. 2.2), - при стремлении к нулю ширины импульса, Е -+ О.
3) ЕдИНИЧНОЙ ПЛОWадИ, J6.(ж) dж = 1.

При f ~ О никакого разумного предела в обыч

ном смысле нет, но ситуации, в которых возникает
такая потребность, обычно сводятся к сходимости ин

теграла
f 6е (х)<р(х)
00
dx ~ 11'(0) при f ~ О,
-00
что и закладывается в понимание предела
Рис. 2.2
Такое пониманиепредельныхпереходовработает во многихдругихСИ1Уациях,

составляюших базу теории обобшенных функций. где сначала вводится понятне
пространства 1) основных функций - бесконечно дифференцируемых фuниmных
функций. Финитных в том смысле, что 'Р(х) == О вне ограниченной области
(не обшей для всех, а своей для каждой rp Е 1).
Обобщенныефункции затем определяются как линейные функционалы f над 1),
ставяшие любой функции rp Е 1) в соответствие "скалярное произведение.. и. 'Р).
Простейший пример линейного функционала дает интегральное предстаВ11ение
!
(Х)
(f. 'Р) = f(x)rp(x) dx.

-(Х)
в соответствии с этой идеологией обобщенная ФУНКJlия 6(х) -

это «нечто», действующее на ФУНКJlии 11' Е 1) по правилу
f 6(х)<р(х)
00
(6,11') = dx = 11'(0).
-00
Что касается обычныхфункций ЛХ), 10 они одновременно- и обобщенные,

действуюшие на rp Е 1) в рамках определения скалярного произведения
(/. 'Р) = ! I(x)rp(x) dx.
Производные обобшенных функций определяются равенством
! !
(Х) (Х)
I'(x)rp(x) dx =- f(x)rp'(z) dx, (2.3)

-~ -00
2.3. Функции случайных величин 49
что можно воспринимать как результат интеrpирования по частям левого инте
rpала. Обрашение в нуль слагаемоro

4j
I(Ж)'Р(ж)l~оо происходит из-38 финитно
сти 'Р(ж).
для производной 6'(ж) равенство (2.3) приводит к
f 6/(ж)'Р(Ж) dж = 'Р'(О).
00
-00
Следствием (2.3) является таюке важное соотношение
I 8'(ж) = 6(ж), I
где 8(ж) - функция Хэвисаuда, единичная ступенька:
8(ж) ={ 1, ж > О;
О, ж < О.
.... Действительно, для любой функции 'Р Е 1)
f 8'(Ж)'Р(ж) dж = - f 8(ж)'Р'(Ж) dж = - / 'Р'(ж) dж = 'Р(О),

00 00 00
-00 -00 о
Т.е. производная 8'(ж) действует на 'Р так же, как 6(ж). ~
Замена переменных при интеrpированииприводит К формулам:
f 6(ж f 6(аж)'Р(Ж) dж = ;'Р(О).

00 00
- а)'Р(Ж) dж = 'Р(а),
-00 -00
Orметим, наконеи, соотношение
00
6(ж) = 2~ f
-00
e
iAz
d",
где несобственный интеrpал понимается как ero главное значение.
2.3. Функции случайнь,х величин
Если У = J(X), где f - обычная детерминированная функция,

аХ - случайная величина с плотностью р(ж), то среднее значение
4} ВоЭНИК8юшеro при ВЭIПИИ интеrpanа по частям.

У = j(X), очевидно, paBHo S)
d1l
----,I ту = Е (У) = / j(x)p(x) dx.
____ IL _
I
I Аналогично,
I
и: = D (У) = /[j(X) - ту ]2р(х) dx.

I
I
I
dx
Рис. 2.3 Если У = j(X) вектор, подобным
образом определяется и ковариация:
cov (1'iYj) = / (Ji(X) - myJ(Jj(X) - ту} ]Р(Х) dx.
с определением плотности распределения У = j(X) возни

немного больше. Из рис. 2.3 видно, что 6)
Р{у < J(X) < у + dy} = Px(J-I(у)) (j-I(у)]'lldУI, I
откуда функция распределения
Р(у) = Р{У < у} = / Px(J-I(у)) I(j-I(y)]'1 dy,

-00
а плотность7) -
(2.4)
где индексы х, у показывают, какие плотности подразумеваются.
Если Х и У - векторы, имеюшие одинаковую размерность, и
то
un
! ...!
и.
F(y) = Р{У < у} = Pr(h(y» det [:;;] dy,

-00 -00
. 5) Напоминаем. что бесконечные пределы в / иногда опускаютси.

6) Необкодимые оговорки здесь и далее очевидны и дли краткости - опушены.
7) ПОДр3зумеваетси. что у = '(х) имеет единственное решение при любом у. 06ший
случай рассматриваетси в следуюшем разделе.
2.4. Условные плотности 51
rде
дh]
рж(h(у» det ду; [ = р.(у),
а индексы ж, У показывают, какие плотности имеются в виду.
Упражнении
• Если F(ж) непрерывная функция распределения с. в. Х, то случайная вели

чина У = F(X) равномернораспределена на 10,1]. (?)
• Пусть F и G непрерывные функции распределения с. в. Х И У. Torдa
проиэведение Z = ХУ имеет функцией распределения
! [1 - G(~)] ! G(~)
00
dF(,,) + dF(,,). (?)

-а:> о
2.4. Условные плотности
При известной функции распределения
F{u,v) = Р{и < и, V < v}

случайноГо вектора Х = {и, V} имеем
Fu{u) = Р{и < и} = Р{и < и, V < оо} = F{u, 00).

Аналогично,
I Fv{v) = F{oo, v). I

с друrой стороны,
! {! р(u,
• а:>
F.(u) = v) dv} du,

-('ID -ею
откуда
! р(u, !
00 а:>
р.(u) = v)dv, P.(v) = р(u, v) du.

-00 -а:>
Условные плo11tости. Если события А и В означают, соответственно,

выполнение неравенств:
х < х < x+~x, У < у < У+ ~Y,

то при достаточно малых ~x и ~Y:
Р(АВ) :::: р(ж, у)6ж6у, Р(А) :::: р(ж)6ж, Р(ВIA) :::: р(уlж)6у.
Р(АВ)
Подставляя эти равенства в формулу P(BIA) = Р(А) и пере-
ходя к пределу при ~x, ~Y ~ О, получаем
_, ) _ р(х, У)
Р(11 х - р(х) , (2.5)
что определяет условную плотность вероятности p(ylx).
Объяснять такие формулы так же легко и сложно, как объяснять, что

такое чувство голодо. Для кого-то, возможно, легче заменить вероят
ностную интерпретацию механической. Суть дела от этого не меняется.
Пластинка L единичной массы имеет плотность р(ж, у). Тогда
!
Р:r(Ж) = р(Ж, у) dy
L
это плотность распределения массы по ж, а Р(уlжо) - относительная

плотность роспределения массы в сечении ж = Жо. Точнее говоря, плот
ность распределения в полосе
Жо < ж < Жо + 6ж
при нормировании массы полосы на единицу и 6ж -+ О.
в любом случае с этим стоит немного повозиться, чтобы исходные поня
тия и тривиальные по сути соотношения не отвлекали при рассмотрении
более сложных ситуаций.
Из (2.5) вытекает часто используемая формула
I р(х, У) = p(Ylx)p(x). I (2.6)
Понятно, что в (2.6) х и У можно поменять местами.

2.4. Условные плотности 53
Условные матожидаНИJl. Через условную плотность определяются

любые условные моменты, в том числе условное матожидание:
Е (Ylx) = ! yp(Ylx) dy.
Условное матожидание представляет собой решение оптимиза

ционной задачи
Е [У - <р(х)]2 --+ min, (2.7)
'р
где минимум ишется по функции 11'. Решением оказывается
<р(х) = Е (Ylx),
т. е. <р(Х) = Е (YIX) представляет собой наилучшее среднеквад

ратическое приближение зависимости У от Х, которое называют
регрессией.
.. Не углубляясь в детали, поясним сказанное. Приравнивая нулю вариа-
-
цию
Е [У - 'Р(х)]2 = !![У 'Р(ж)]2р(ж, у) dz dy,

получаем
!![у - 'Р(Z)]~'Р(Ж)Р(Уlz)Р(Z) dz dy = О,
откуда, в силу ПРОИЭ8ОЛЬНОСТИ вариации ~'Р(ж),
'Р(ж) = ! yp(Ylz) dy = Е (Ylz). •
ИСПОЛb:Jование дельта-функций. В случае жесткой функциональной

связи У = I(X) величина У принимает единственно возможное
значение у = /(х), если Х = х. Поэтому
I p(ylx) = б[у - I(x)], I

что влечет за собой
р(х, у) = рж(х)б[у - /(х)]
и, в силу
ру(у) = ! р(у, х) dx,

приводит К формуле
!
ру(у) = рх(х)6[у - f(x)] dx. (2.8)
Интегрирование (2.8) в точках у, которым соответствуют про

стые изолированные корни Xj(Y) уравнения У - f(x) = О, дает В)
~ pz(Xj)
()
ру У = ~ 1f'(Xj)l'
J
что совпадает с (2.4) в случае одного корня Xj(Y).
2.5. Характеристическиефункции
Соотношение (2.8) работает и в ситуаuии случайных векторов. для

суммы случайных величин Z = Х + У, в частности,
pz(Z) = !! Р(Х, y)6(z - Х - У) dx dy. (2.9)
Интегрирование (2.9) по 11 - дает
I
(Х)
P.(z) = р(х, z - х) dx. (2.10)

-(Х)
При независимости Х и У (2.10) переходит в
I
(Х)
P.(z) = рж(х)р.(z - х) dx. (2.11)

-(Х)
Формула
(2.11) предстааляет собой свертку плотностей, в свя
зи с чем в ТВ оказываются эффективны 9) характеристические
функции (х. ф.) l!p(.\) = Е (е iЛХ ) 1, т. е.
!р(.\) = !е iЛz
dF(x),
8) Не:J8llИСИМО от тoro, коиечио или бесконечно число корней. Если мера множества
точек, rlle производнВJJ ,'(х) BыpoJКlleHB. - рввнв нулю, то это множесТ1lO МОJICИо просто
иrнорироввп. без ywербв .I1ЛJI решения 3В.I1Вчи.
9) О причинвх см. двлее.
2.5. Характеристические функции 55
либо
f р(х)еi>'Ж
00
If'('\) = dx, z·2 = - 1, -00 < ,\ < 00,

-00
ЧТО В несушественныхдеталях отличается от стандартногопреобра

зования Фурье плотности р(х). При условии абсолютнойинтегрируе-
мости f ilf'('\) I d,\ < 00, т. е. If'('\) Е L" соответствуюшая плотность

однозначно восстанавливается «обратным преобразованием Фурье))
f 1f'(,\)e-i>'Жd,\.
00
р(х) = 2~
-00
Этот факт -территориально.принадлежитдругим дисциплинам, но ero обо

снование. в том числе. можно найти во многих стандартных курсах теории веро
Iтностеl!.
Если с. в. Х" ... , ХП независимы, то
Е (ei>'(X1+ ...+xn ») = Е (ei>.X 1 ) ••• Е (ei>'xn ), (2.12)

то есть х. ф. If'('\) суммы Х, +... + ХП равна произведению х. ф. сла
гаемых: If'('\) = П If'k('\)' это обстоятельство И определяет замет
k
ную роль характеристических Функuий в теории вероятностей.
Вот характеристические функции стандартных распределений:
распределение плотность х.ф. IpЩ
I - (r-'2.)1
нормальное р(ж) = --е т.
eim.A- !.. ~AI
(fr.,f[;
1 ei~ _ e iAiJ
равномерное р(ж) = -ь- -а
на (а, Ь)
iЛ(Ь - а)
а
e- аlА1
Коши
р(ж) = 1I"(ж 2 + а 2 )
а
показательное р(ж) = ae-ar , ж~О
а - iЛ
I _ I
показательное-2 р(ж) = -е Irl
2 I +Л 2
Отметим простейшие свойства х. ф.
• Из IE(ei),X)1 ~ Elei),XI следует 11p('\)I ~ 1.

• Если 'р('\) - х. ф. случайной величины Х, то У = аХ + f3
имеет характеристическую функuию ei),fJlp(a'\).
• Разложение в ряд экспоненты 'р('\) = Е (ei),X) при водит к
'р('\) = f; k!
00(i,\)k k
Е (Х ), (2.13)
что - В связи с 'р('\) = f;

00 (,\)k
lp(k)(O)"k! - означает
Е (X k ) = гklp(k)(о), (2.14)
но для этого, конечно, требуется сушествование моментов
Е (X k ). Однако, если моменты Е (X k
) сушествуют для k ~ j, то
можно утверждать, что (2.14) справедливо для тех же k ~ j. (?)
Таким образом, при известной х. ф. определение моментов
сводится к простому вычислению производных Ip(k)(o).
• Вместо характеристических функuий иногда удобнее рассмат
ривать их логарифмы. Соответственно, вместо моментов
(2.14) - коэффиuиенты
lIk =
·-k
Z
dk In 'р('\)
d,\k
I '
),=0
называемые семиинвариантами. Семиинвариантысуммы неза

висимых с. в. равны суммам семиинвариантов слагаемых. (?)
Очевидно, у нормального закона все семиинварианты выше
второго порядка равны нулю.
"р"мер. Пусть независимые с. в. Х И у распреllелены равномерно, соответствен

но, на промежутках [-а, аl и [-ь, ы (а < Ь). ТОГllа Z =Х + у имеет плотность
а Ь
P.(Z) = 11 р(ж, y)6(z - z- у) dz dy = 4:Ь 116(Z - z - у) dy dz,

-а -6
где р(ж, у) = рж(ж)рu(у).

Интегрирование приводит к функции P.(z), график которой изображен
на рис. 2.4. При а = Ь получается треугольное распределение.
2.6. Производящие функции 57
Если Z =Х +у и слага
емые распределены нормаль р
но, то перемножение харак
теристических функций
ехр {imz>t - ~0";>t2 } z

и Ь-а а+Ь
ехр { irny>t - ~0"~>t2 }

Рис. 2.4
дает характеристическую функцию z:

. I 2 + 0""2) >t 2} ,
ехр { z(m z + ту)л - 2(0":r
откуда видно, что сумма нормально распределенных с. в. тоже нор

мально распределена, причем матожидания и дисперсии просто скла
дываются.
Перемножение характеристических функций сразу дает анало

гичный результат, если слагаемые в Z = Х +у имеют распределе
ние Пуассона или Коши. Получение тех же выводов без х. ф. более
громоздко.
2.6. Производящие функции

Есть такая задача о взвешивании ,Монет. В одно'м из 100 ,Мешкав находятся фаль
шивые ,Монет",. Настоящая ,Монета весит 7 2ра'м'м, фальшивая - 6. Надо с nО'мощью
однО2О взвешивания определить ,Мешок с фальшивыми .монетами.
.. Мешки нумеруются, после чего из k-ro мешка измекаются k монет,

и эти N = 1 + 2 + ... + 100 монет все вместе взвешиваются. Число недостаюших
до 7N грамм будет номером _фальшивого. мешка. •
Вымышленная задача отражает в миниатюре идею, примени

мую в широком диапазоне различных ситуаций.
Опредеnение. Производящей функцией числовой последовательно

сти йо, й,. Й2,'" называется ряд
00
A(z) = L:: Qk zk .
k=O
Как совокупность 1 + 2 + ... + 100 монет несла на себе всю

информацию о задаче, потому что из каждого мешка бbUlО взято
разное число монет, - так и производяшая функция A(z) несет
на себе всю информацию о последовательности ао, а1, а2, ... , по
тому чтоak умножаются на z в разных степенях. После такого
умножения члены akzk можно безопасно складывать вместе -
информация не теряется 10).
Разумеется, эффект от использования произвоnяших функuий возникает,

если ряд L a"z" удается свернуть. Широко известна производяшая функuия
n
(1 + z)n = L C:z", порождаюшая различные связи между биномиальными
,,=0
коэффиuиентами:
n n
z=1 => L-J (.,-0

""' "" - 2 ,'
n
z =-1 => Е(-1)"С: = о.
,,=0 ,,=0
Более интересные примеры см. в [24J.
Если случайная величина Х принимает дискретные значения

Х = k с вероятностями Pk, то
00
П(z) = LPk zk
k=O
называют производяшей функцией с. в. Х. в обшем случае цело

численной случайной величины Х производяшая функция
с характеристической функцией !р(>') ее связывает соотношение
При упоминании геометрическоrо распределения иноrда имеют в виду число

промахов k до nepBoro попадания - и Torдa р" = рч". А иноrда - номер z
nepBoro попадания, и Torдa рж = рqЖ-I. В последнем случае
П(z )
'"'
= Е {z Х} = ""'
L..J рч ж-I z ж = --.
pz
ж=1 1-qz
10) Аналогичным образом получаются рЯды Фурье.

дискретное распределение дискретная 1UIотность х.ф. 'р(.\) n.ф. п(z)
биномиальное Pt = c:.pt qn-t (piA + q)n (pz + q)n
Р Р
геометрическое Pt = pq" 1- qe iA I-qz
t
a -о eO(.iA- 1) e-O(I-.)
пуассоновское
Pt = k! е
Первые моменты определяются исходя из формул
Е{Х} = П'(I), Е {х 2 } - Е {Х} = П"(I). (2.15)
Упражнення
• Для независимых с. в. Х И у
I Пх+у(z) = Пх(z)Пу(z). (?)
• Если
"" = L""
п(z) = :~::>"zt, T(z) q"zt,
t=o "=0
где q" = РНI + РН2 + ... - вероятности .. хвостов" распределения, то
T(z) =I- П(Z). (?)

\-z
• Если с. в. Х имеет распределение PI, Р2 • .•.• то в обозначенияхпредыдушего
пункта:
"" ""
Е{Х} = ЕА:р" = Lqt
"=1 11=1
либо, на языке производяших функuий,
Е {Х} = П'(I) = T(I).
2.7. Нормальный закон распределения
Широкое распространениенормального закона 11)
р(х) = ~e-x2/(2и\ (2.16)

211"0'2
11) Дnя простоты положено т .. = О.

естественно, требует объяснения. Происхождение (2.16) принято

относить на счет предельных теорем о суммах независимых случай
ных величин. Об этом речь будет идти в следующих главах, но есть
и другие причины, которые представляются не менее важными.
Как это часто бывает, многое становится ясным при помещении эa.nачи
в более щирокий контекст.
Вместо случайной величины рассмотрим случайный вектор
ж = {жl •... , ж n }
С неЗQSUСUJIIЫJIIU координатами жj и плотностью распределения р(ж), не зависящей
от направления 12) ж.
Этих .. необременительных. предположений достаточно, чтобы гарантиро
вать нормальное распределение всех Жj. Обоснование несложно. Независимость
координат означает
(2.17)
а независимость р(ж) от направления ж - постоянство плотности р(ж), равно
как и ее логарифма
Iпр(ж) = IПРI(Ж) + ... + Iпрn(ж) (2.18)
на сферах ж~ + ... + ж~ const. =
Дрyrими словами, функиии (2.18) и ж 2 = ж~ + ... + ж~ имеют одни и те же
поверхности уровня, а это возможно, лищь когда их нормали (градиенты) колли
неарны (одинаково или противоположно направлены), т. е.
Vlпр(ж)=>.vж 2 ,
что дает n равенств
Р;(Жj) + 2>' ж.. = о ,

Р; ж( )
интеrpирование которых приводит к In Рj(Жj) = ->.ж: + const, т. е.

-А.,1
Р; (жj) = JJje '.
Константы определяются нормировкой и эa.nанием, например, второго мо
мента
! JJje-А.,j dж = ! ж:
01> 00
1, !Jje -А.,1 dЖj = и 2 •

-01> -01>
Окончательно
Р ж () = (27fU 2)-n/2 ехр

{
- ж~ ... + ж~ } .
+~
2
(2.19)
v27fu
12) MoJICНO имen. В ВИДУ стрельбу по плоской мишени с вертикальным отклонением %I

И ГОрИЮнтaJIьным - %2.
Под нормальным распределением случайного вектора в общем

случае вместо (2.19) подразумевают плотность (2.17) с нормальными
плотностями
Pi(Xi) =
1
.Jii ехр
{(Х;
-
- т2 жj )2 } •
q Жj 211' 2q Жj
Т.е.
рх(х) = J (2'11')n1det K ехр

I - m ) т K _1 (х - m ) }
{ --2(Х •
r r r
r
где Кж - ковариационная матрица, которая в данном случае

диагональна, с элементами q;j на диагонали.
Если рх(х) - плотность случайного вектора х = {х ..... ,х n }, то
представляет собой плотность случайного вектора У = АХ, где А - невырож

денная матрица.
Линейное преобразование У = АХ нормально распределенного вектора Х

при водит к плотности
1
ру(у)=-уехр { -2(у-а) К, (у-а)
т _1 }
,
с коэффициентом -у, определяемым нормировкой плотности, а
в соответствии с этим вектор Z считается нормально распределенным, если его

плотность равна
где К,. как уже ясно, ковариационная матрица 13).
При данном способе изложения понятно, что 'многО'мерный

нормальный закон распределения (2.20) при обратном линейном
преобразовании снова возвращается к форме с нормально распре
деленными незавuсu,Мы,Мu координатами.
13) Ра]умеется. в (2.20) предполагается невырожденность К •. Знак модуля С определите

ли К, снят, поскольку det К, > О в силу ПQJIожительиоА определенности К., см. ра:шел 1.8.
Философски настроенной части населения больше нравится интерпретация

нормальноro закона как распределения, максимизируюшего энтропию (глава 8).
Точнее roворя, }/(т, 0'2) есть решение оптимизационнойзадачи:
(Х)
н = / р(ж) lп р(ж) dz -+ тах

-(Х)
при ограничениях
(Х) (Х) (Х)
/ р(ж) dz = 1, / жр(ж) dz = т, / ж2р(ж) dz = 0'2 + т2 .

-(Х) -(Х) -(Х)
Складывая Н с ограничениями, умноженными на множители Лагранжа

~,p,II, И варьируя р(ж), получаем нулевую вариацию Лагранжиана:
(Х)
/ {(1 + In р(ж» + ~ж2 + рж + 11 }~р(ж) dz = О,

-(Х)
откуда, в силу произвольности ~р(ж), следует
1 + lп р(ж) + ~ж2 + рж + /1 = О р(ж) = е- Лz2

=> -,.,.-V-I.
После согласования значений пара метров с ограничениями задачи - полу
чается IUJотность, соответствуюшая }/(т, 0'2).
2.8. ПуассоновскиеПОТОКИ
Последовательностьсобытий, происходяшихв случайные моменты

времени, называют потоком событии. Это один из мошных пла
стов вероятностныхзадач. Телефонные вызовы, аварии, обрашения
к оперативной памяти, заявки, посетители - список примеров
практически неисчерпаем.
Рассмотрим поток событий, обладаюший следуюшими свойствами:

• количества событий, поступаюшие на непересекаюшихся интервалах време
ни, независимы как случайные величины;
• вероятность ПОC1YJ1Ления одного события за малый промежyroк ~t зависит

только от длины промежутка и равна ~~t + o(~t), rдe ~ > О, o(~t)
бесконечно малая от ~t;
• вероятность ПОC1YJ1Ления более одного события за время ~t есть o(~t).
... Разобьем интервал (О, t) на n равных частей ~I"'" ~n' И пусть Xt(~t)
обозначает число поступивших событий на промежyrке ~t,
P{Xt(~t) = 1} = ~t(~) + o(~).

2.8. Пуассоновские потоки 63
в соответствии со сделанными предположениями производяшая функция Пn(.z)

последовательности Pi = P{Xt(~t) = j} не зависит от k и равна
Производяшая функция суммы XI(~I) + ... + Xn(~n) вычисляется как произве

дение
в пределе при n -+ 00 получается производяшая функция числа событий X(t).

поступивших на интервале (О, t):
п(z) = ~~~ [1 + M(~) (: _1)] n = е'\/(z-I).

Соответствуюшее распределение вероятностей
P{X(t) = j} = (~!i е-'\/ (j = О, 1'2' ...)

).
оказывается пуассоновским. Постоянная .л определяет среднюю интенсивность

EX(t)
поступления событий, .л = -t-' •
Проведенное рассуждение имеет пробел. Необходимо, вообше

говоря, обосновать, что из сходимости производяших функций вы
текает сходимость распределений вероятности. В данном случае это
достаточно просто, но в принципе такого сорта вопросы постоянно
возникают в тв - см. главу 4.
Рассмотренная задача легко обобшается на случай интенсив

ности ..\, зависяшей от времени. Результируюшее распределение
остается пуассоновским с учетом небольшой поправки:
J.& = ! ..\(Т)
О
dT. (2.21 )
Временная интерпретация t, разумеется, необязательна. Речь

может идти о распределении точек на любой числовой оси. А если
вдуматься, то размерность t тоже не играет роли. Распределение
Пуассона возникает и в случае распределения точек в пространстве
при тех же исходных предположениях, в которых под t:1t надо лишь
пони мать малые объемы. В итоге случайное число точек в области n
снова подчиняется распределению (2.21), с той разницей, что р.

определяется как
р. = f '\(Т) dT.
n
Опыт обшения со С1)'дентами показывает, что закон Пуассона
часто остается «вешью В себе~, не находЯ путей к подсознанию.
Положение легко выправляется размышлением над задачами.
Допустим, случайная величина (, равномерно распределенная
на (О, Т), реализуется n раз, что приводит к появлению на проме
жутке n точек. Сколько точек попадает в область
n Е (О, Т)?
Конечно, это в чистом виде схема Бернулли с вероятностью
попадания отдельной точки в П, равной р = 1fT, где I длина (мера)
П. Вероятность попадания k точек в n определяется биномиальным
распределением C:pk(1 - р)п-k, и далее проторенным в разделе 2.1
путем можно переходить к распределению Пуассона.
для подсознания важна интерпретация этого пути в исходных
терминах. Интервал (О, Т) и количество «бросаний» n увеличива
ются согласованно. Так, чтобы среднее число точек на единицу
длины сохранялось. Вот, собственно, и вся специфика предельного
перехода. Значения Т и n увеличиваются в одинаковое число раз,
и тогда предельное распределение числа «попаданий~ в n оказыва
ется пуассоновским.
Экспоненциальное распределение. При пуассоновском распределе

нии вероятность отсутствия событий на (О, t) равна e-~t. Поэтому,
если с. в. t. > О - это время наступления первого события, то
P{t. > t} = e-~t, а значит,
P{t 1 < t} = 1 - e-~t. (2.22)
Дифференцирование (2.22) по t дает плотность эксnоненцuального
закона
p(t) = '\e-~t, t ~ О.
Из сказанного очевидно, что экспоненциальный закон пред

ставляет собой непрерывный аналог геометрического распределе-
2.9. Статистики размещений 65
ния - времени наступления первого успеха (события, ПОС1)'пления

первой заявки, рекламаuии и т. п.).
Показательное распределение случайного времени ожидания возникает в си

туации, когда ожидание в течение времени s не влияет на то, сколько еше
придется ждать, т. е.
Р{т > s + tlT > а} = Р{т > t},

что и приводит к Р{т > t} = е-М, t ~ О.
2.9. Статистики размещений
Как путь в большой спорт пролегает через подтягивание на турнике,

так и в теории вероятностей есть простые модели того же назна
чения. Одна из них - размешение шаров по ячейкам. Шары, как
и ячейки, могут быть неразличимы либо пронумерованы. Шаров т,
ячеек n. Для создания атмосферы важности говорят о размешении
элементарных частиu по энергетическим уровням. Не менее зна
чимо иногда распределение карт меЖдУ игроками, людей по мес1)'
работы, аварий по дням недели и т. п.
Если шары и ячейки различимы. то в ячейках т" .•. , т п n

Т!
шаров могут быть размешены числом способов . Если все
. т,! ... т п !
такие способы равновероятны, а их всего nr , то соответствуюшее
распределение имеет вид
Т! -r
Р(т], ... , тп ) = n
TI!'" т п !
И называется статистикой Максвелла-Больцмана.
Если шары (частиuы) неразличимы, то число В(т, n) всевоз

можных распределений равно числу uелых решений TI, ••• , т п урав
нения TI +... + Т п = т. Это самостоятельная комбинаторная задача.
• Воспользуемся. для тренировки, методом производяши)( функций 14).
Очевидно, функция
1:1 < 1,
14) Задача совсем просто решается переформулировкоА. Выстраиваем шары в ряд, и делим
их на n I1>УПП n - I ]Впиты""и. Число ра1JlИЧИМЫХ способов: С;+п-I .
при разложении в ряд ПОРОЖllает нужные коэффиuиенты.
(1 - z(n
"" B(r, n)z' .
=Е
• =0
В результате
1 (.)() n(n+1) ... (n+r-1) •

В (r, n ) = -r! п о = r.
I = C.+ n- I • •
При условии равновероятностиразличных способов возникает

распределение
1 ,!(п - l)!
P(r, п) = B(r, п) = (n+r-l)!'
называемое статистикой Бозе-ЭЙнштеЙна.
При дополнительномзапрете «ячейка не может содержатьболее

одного шара~ получается статистика Ферми-дирака:
,!(п - ')!
Р (r
,
n) = -C~1 = ----'---'-
п!'
r ~ п.
Все очень просто, но в этом и заключается секрет «подтяl1tвания на турни

ке •. Pyrинная возня с простыми моделями дает навык обрашения с различимыми
и неразличимыми вариантами. А это как раз граниuа между правильными и не
правильными решениями.
2.10. Распределениепростых чисел
Вероятностный стиль рассуждений эффективно работает и на «чу

жих территориях~, где все детерминированно.Показательна в этом
отношении задача о распределении простых чисел.
Количество простых чисел 15), не превосходяших х, - приня
то обозначать через 1I'(х). С указанием всех простых чисел легко
(идеологически) справляется решето Эратосфена, реиепт которо
го очень прост. Из записи всех натуральных чисел вычеркивается
1- первое невычеркнутое число 2- простое. далее зачеркиваются
числа, деляшиеся на 2, число 3- первое невы черкнутое - простое.
И так далее.
15) Не имеюших. по опре.пелению, .пелнтелеА кроме 1 и самого себя.

2.10. Распределение простых чисел 67
При этом ясно, что в промежугке (ж, ж + ~жl доля чисел,

деляшихся на простое р, равна l/р, а не деляшихся - (1 - l/р).
Доля же чисел в этом промежугке, не деляшихся ни на одно простое
число, равна
(2.23)
причем ясно, что говорить имеет смысл о простых р меньших .;х,

и о дж « ж, но ~ж > еж при некотором малом е > О.
Самих простых чисел на (ж, ж + ~ж] будет
р(ж)~ж ~ 1Г(ж + ~ж) - 1Г(ж),
т. е. р(ж) играет роль плотности, а формула (2.23) получается из

«предположения О независимости,. событий делимости любого на
турального k на разные простые числа.
Дальнейшее опирается на манипуляции оасимптотического толка., несколь

ко злоупотребляюшие ссылками на здравый смысл.
Для больших Р приближенно: 1- I/p e- / p .
I
= Поэтому
Iпр(ж) =- L -,
I
1 Pk
где Pk обозначает k-e простое число.
В промежутке [ж, ж + ~жJ, в силу ~ж« ж, можно считать Pk ..... ж, И сумма
по этому промежутку
L -1 . . . -р(ж)~ж.
Рl
1
Ж
откуда
Iпр(ж) =- "LJ -I ..... -

Р1
! р(и)
z
-du,
u
1 I
что после дифференциронания по ж при водит К уравнению
р'(ж) р(ж) dp dж
--=-- => р2 =-"Ж
р(ж) ж
решение которого р(ж) = 1/(С + In ж) при больших ж переходит в
I р(ж) ~ Iпж
I I
Что касается ",(ж) , то
",(ж) =
J du
2
%
-
1п u
= -
Z
1п Z
{1
1+ -
1п Z n
r!
+ ... + -1-'- +0
Z
(1) }.
---;::;:т-
ln Z
(2.24)
для примера, точное значение ",(4000) = 550. Первые три члена разложения
(2.24) дают приближение ",(4000) == 554.
• Будем считать в данном пункте, что речь Идет о случайных векторах с нулевы
ми матожиданиями. Любой случайный вектор Х линейным преобразованием
у = АХ приводится к вектору У с некоррелированными координатами 16).
действительно, матожидание матричного равенства
ууТ = АХХТАТ
дает К, = АК%А Т
• Неотрицательно определенная ковариационная матри
ца К% всегда может быть приведена 17) ортогональным преобразованием А
к диагональному ВИду К,.
• Плотность распределения Коши

1
р(ж) = ",(1 + ж2) (2.25)
имеет с. в. Х = (1/(2, где независимые с. в. (, И (2 распределены нормально

по закону N(O, 1). Такая же плотность распределения у tg 11 при условии
paBHOMepHoro распределения 11 на [-",/2,"'/2).
Распределение Коши имеет дурную славу, поскольку обычно извлекается
на свет, когда надо продемонстрироватьсушествование "плохих. законов,
не имеюших моментов.
• Если все с. в. X 1, ••• , XN независимы и имеют одинаковое распределение

(2.25), то
распределена по тому же закону. (?)

• Если /(ZI, ... , Zn) -
n
совместная плотность вектора Х = {х., ... , Xn }, то
сумма S = Е хt имеет плотность
16) А в случае нормально распределенного Х - к &eIC1'OPY У с не:J8ВИСИМЫИИ координа

тами.
17) См. (5. т.31.

• Проекция радиус-вектора Х, равномерно распределенного на окружности

ралиуса r, имеет функцию распределения
I 1 ж
F(ж) = -2 + - arcsin -, ж Е (-r, r),
'" r
при естественном условии F(ж ~ -r) = О и F(ж ~ r) = 1. (?)
Соответствующая плотность:
, I
р(ж) = F (ж) = ~2' Ж Е (-r, r).
"'vr 2 - ж-
Следствие приведенных формул: при равномерном вращении коленчато
го вала порщни двигателя ВНуУреннего сгорания б6льщую часть времени
проводят в крайних положениях.
Аналогичное явление наблюдается при игре в -ОРЛЯНКУ •.
• Случайные величины Х, у независимы и равномерно распределены на

(-1/2, 1/2) (каждая). Плотность распределения произведения Z = ху равна
p(z) = -21п 41zl, Izl ~ 4'1 (?)
• у нормально распределенного вектора {Х, у} с плотностью
р(ж, у)
I!!#
= 211'и2е- 1-
полярные координаты R, Ф в представлении
Х = RсоsФ, У = RsiпФ
распределены: Ф равномерно на [0,2"'1, а R по закону Рэлея
r -.1/(2111)
р ()
r = и2е .
• Пусть независимые с. в. Х., ... , X N имеют показательные распределения

с параметрами .л l , ... , .л п ' Тогда
Х = min{X., .. _, X n }
имеет показательное распределение с параметром .л = .л. + ... + .л п •
• Залач на определение тех или иных вероятностных распределений имеется
великое множество, и 38 ними далеко ходить не нало. В любой стандартной
модели -шаг влево или вправо. - и возникают неясности. При бросании мо
неты (случайном блуждании) - биномиальное распределение, казалось бы,
исчерпывает проблематику. Но это далеко не так. Вопрос о первом успехе -
и появляется геометрическое распределение. Механика смены лидерства (пе
рехода блуждающей частицы слева направо или наоборот) - и дорога уводит
к 3IJконуарксuнуса. Вопрос о локальных экстремумахлибо попадании траекто
рии выигрыша на некоторую кривую - и опять новые 38коны распределения.
Самые простые вопросы порожnaют иногда очень сложные задачи. Мо

дель Изuнга, например. Если молекулы двух mпов .. 1., .. 2. располагаются
в шеренl)' (одномерная модель), то энергия цепочки равна
2
Н = Е П;jНij>
ц='
где H;j - энергия взаимодействия соседних молекул, в случае, когда за мо

лекулой mпа .. i .. следует молекула mпа .. j •.
Равновероятное расположение молекул порожnaет легко определяемое рас
пределение н. (?) Но уже двумерная (а тем более - трехмерная) модель -
не поддается исчерпываюшему анализу 18).
• Источником дJlЯ упражнений может служить любая задача, в том числе
классическая - что лучше всего. Вот одна из таких задач.
Имеются две одинаковые колоды, в каждой N карт, нумеруемых в порядке
их случайного расположения. Если собыmе At обозначает совпадение карт
первой и второй колоды, расположенных на k-M месте, то, очевидно,
1 (N - 1)! 1
P{A t } = N!' P{A;A j } = N! = N'
(N - 2)! 1
P{A;AjA t } = N! = N(N - 1)'
и применение формулы (1.3) сразу дает
РI = Р{Е A t } = 1- ~ + ~ - ... + (_I)N-1 ~!'

t
т. е. верояmость, что совпадет хотя бы одна карта, равна РI ::::: e- I .

Остается задача вычисления полного распределения Р., ... , PN. (?) Среднее
число совпадений,
EkPt = 1,
t
легко определяется окольным рассуждением. (?)
18) Задача не решена, несмотря на ее значимость ДIIJI кристаллоrpaфии и ферромагнетизма.

Глава 3
Законы больших чисел
Идея роЖдения порядка из хаоса материализуется в нашем мире ра11lИЧНЫМИ

способами. Один из наглядных вариантов - закон больших чисел, который, так
или иначе, говорит о стабилизаuии средних значений.
3.1. Проетейшие варианты
Если случайные величины Xj имеют одно и то же математическое

ожидание р, то
Sn Xt + ... +Х n
n = n
имеет то же самое матожидание р, и с ростом n при естественных
предположениях ~становится все менее случайной величиной». Раз

личные варианты yrочнения этого yrверЖдения называют законом
больших чисел.
3.1.1. Пусть некоррелированные случайные величины Xj имеют одно

и то же матожидание JJ и одну и ту же дисперсию (Т2. Тогда
среднеквадратичное отклонение Sn/n от матожидания стремится
к нулю. Точнее,
D {S} (Т2
nn = -; -+ о при n -+ 00,
причем Sn/,;ii растет в среднем nроnорционально /J,;ii, имея посто

янную дисперсию (Т2.
... в силу некоррелированности,
72 Глава З. Законы больших чисел
Поэтому
Аналогично рассматривается Sn/.;R. ~
в комбинации с угверждением 3.1.1 неравенство Чебышева

(1.16) приводит к другому варианту закона больших чисел.
3.1.2. Пусть некоррелированныеслучайные величины Х; имеют одно

и то же матожидание 1" и одну и ту же дисперсию (72. Тогда при
любом Е> О
р {IХ1 + ...n + ХП -1" I } >Е при n --+ 00.
Закон больших чисел сводит концы с концами. Частотная трактовка

вероятности (1.1) приобретает законную силу, что устанавливает связь
между абстрактными моделями и статистическими экспериментами.
Если в случайной .Оl.-последовательности единица (Х; = 1) появ
ляется с вероятностью 1/2, то вероятность отклонения среднего Sn/n
от матожидания 1/2 более чем на 0,1 - не превосходит 25/n, поскольку
в данном случае
u
2
= (1 - ~у .~ + (о - ~у .~ = ~.
Предположения в 3.1.1, 3.1.2 о том, что величины Х; имеют
одинаковые матожидания и дисперсии, разумеется, необязательны.
Тот же метод доказательства работает и в более общих ситуациях.
Например, при некоррелированности Х 1, .•• ,ХП И
1 n
lim 2
п-+ех> n
L(71 = О,
;=1
где (71 - дисперсия Х;, при любом Е >О имеет место
. {IX +"'+X
11т Р
п-+ех> n
1 n
-
n
l }
1J1+ ... + lJn > Е = О,
где 1"; - матожидание Х;.

3.2. Усиленный закон больших чисел 73
Рассмотренные варианты стабилизации среднего обычно ха

рактеризуются как слабый закон больших чисел, но он при осозна
нии производит довольно сильное психологическое впечатление.
Вплоть до убеждения в одушевленности механизма обращения слу

чайных цепочек в целесообразные явления. Это, конечно, вредит
пониманию существа дела и плодит иллюзии.
3.2. Усиленный закон больших чисел
Слабый закон больших чисел дает оценки вероятности отклонений

среднестатистических сумм от матожидания и гарантирует стрем
ление этих вероятностей к нулю. Усиленный закон больших чисел

лает больше, гарантирует равенство предела среднестатистической
суммы матожиданию - с вероятностью 1. На первых порах зна
комства с ТВ разница обычно не чувствуется, но она довольно
существенна, что выявляется при рассмотрении различных видов
вероятностной сходимости - см. главу 4.
Основой для анализа событий, происходящих «почти навер

ное-, является следующий простой факт.
3.2.1 Лемма &openA-Кантеnnи.

(1) В любой nоследовательности событий А\, А 2 , ••• - при условии
00
L: P(Ak) < 00 - с вероятностью 1 происходит лишь конечное

1;=(
число событий А п ,
(О) в любой nоследовательности A 1, А 2 , ••• незавuсu.мыхсобытий -
00
при условии L: P(AI;) = 00 - с вероятностью 1 происходит

1;=(
бесконечное число событий А п ,
.. (i). Наступление бесконечного числа A 1• А 2 , ••• есть событие
А = n( U A t ).
n t~n
А поскольку
Р(А) ~ Р( U A t ) ~ Е P(A t ) -+ О при n -+ 00,

J;~n k~n
ro Р(А) = О, что мечет за собой Р(А) = 1. •

74 Глава 3. Законы больших чисел
... Для доказательства (ii) достаточно проверить условие
Р( U А,,) = 1 для любого п, (3.1)

t~n
поскольку пересечение множеств меры 1 должно иметь ту же полную меру 1.

ао
В силу L Р(А,,) = 00 и независимости A n , а значит и An = П\А n • для

"=1
любого N ~ k:
I-P(UA,,)~I-P( U А,,)=р( U At )= П [I-P(A,,)]~

"~n n~"~N n~"~N n~"~N
~ ехр {- L Р( А,,)} -+ о
n~t~N
при N -+ 00. что влечет за собой (3.1). •
Приведем теперь один из простейших вариантов усиленного

закона больших чисел.
Пусть некоррелированные случайные величины Xj имеют нулевое
матожидание и конечны'; четверты'; момент. Тогда
р( 11т
. Х 1 +···+Хn = О
)
= 1. (3.2)
n-+оо n
... Число ненулевых слагаемых в Е (X 1 + ... + X n )4 - после раскрытия
скобок, - в силу некоррелированности, пропорuионально п 2 • А ограниченность
четвертых моментов raрантирует при этом существование константы С такой, что
Е (Х. + ... + X n )4 ~ сп 2 • Поэтому (см. раздел 1.9)
Сп 2 С
Р(lХ 1 + ... + Xnl ~ сп) ~ (сп)4 = (сп)2'
ао С
В силу L (сп)2 < 00 лемма 3.2.1 гарантирует конечность числа событий
IX. + ... +Xnl

:........:~----=~ > с,
n
откуда в конечном итоге следует (3.2). •
Смысл предположения ограниченности четвертых моментов достаточно про

зрачен. Иначе, при том же методе доказательства, не удалось бы установить
сходимость ряда
ао
L P(IX 1 + ... + Xnl ~ т)

n
и, соответственно, воспользоваться леммой Бореля-Кантелли.

3.3. Нелинейный закон больших чисел 75
Но сам по себе рассмотренный вариант усиленного закона больших чисел

довольно слаб. Более тонкие раССУЖдения дают те же выводы в менее оrpаничи
тельных предположениях.
3.2.2 Теорема 1). Пусть независимые величины ХП имеют матожи-

00 2
дания J1.n и дисперсии (т п2 ' При условии ""'"
LJ и
2
п
< 00 имеет место
п=\ n
Х\+"'+Хп J1.\+···+J1.n
------ --+0 (п --+ 00)
n n
с вероятностью единица.
Одно из классических применений усиленного закона больших чисел указа

но Борелем. Число Х Е 10, 1] называется нормальным, если при его записи в любой
d-ичной системе счисления частота появления каждой цифры равна l/d. доказа
тельство нормальности почти всех Х Е [О, 1] (за исключением множества меры О)
см. например, в [11,15].
3.3. Нелинейный закон больших чисел
Понятно, что вместо стабилизации среднего предпочтительнее бы

ло бы говорить об условиях стабилизации нелинейных функций
становяшихся при больших n почти константами. Формальная по

становка вопроса могла бы опираться на следуюшее определение.
Последовательность функций Jn(x) асимnтотичес"и постоянна, ес
ли сушествует такая числовая последовательность J1.n, что
P{lJn(x) - J1.nl > Е} --+ О при n --+ 00 (3.3)

для любого наперед заданного Е > О 2). Либо, в более жестком
варианте, можно потребовать D ип(х)} --+ О при n --+ 00.
Классическая теория вероятностей имеет хорошие ответы на вопрос о спра

ВСдllивости (3.3) в случае In(x) = Е Xj. Вот простейшая формулировкас неко
торым отступлением от стандарта.
1) См., например, [18,211.

2) ПОIl р{.} по.npaзумеваетси некотораи 38lI8ннаи мера.
Пусть Жj - независимые с. в. с одинаковыми матожиданиями Jj" и диспер

сиями D" = /7:. Тогда дисперсия линейной функции
у = с(n)· ж = с.жl + ... + СпЖ п
равна
D, = c2(n)D" = (c~ + ... + c~)D".

и в результате D, --+ О при условии Ilc(n)11 --+ о (n --+ (0).
При изучении нелинейных зависимостей у = fn(x) под тем же

углом зрения естественно взять за основу аналогичные ограничения
на градиент
afn afn }
Vfn(x) = { дх)'"'' дх •
п
Заметим, что дЛя гладких функций условие IIV /п(ж)11 ~ 'Уп эквивалентно
в Rn липшицевости /п(ж) с константой 'Уп.
(3.4)
Если же условию (3.4) удовлетворяет негладкая функция. то у нее существует
сколь угодно точная гладкая аппроксимация с модулем I])адиента ~ 'Уп'
Рассмотрим теперь для наглядности простейший случай с. в. Xj,

равномернораспределенныхна [О, 1]. Другими словами, равномер
ное распределение на кубе
сп = [О, 1] х ... х [О, 1].

о вероятностной точке зрения, собственно, можно забыть 3) • Задана
последовательность функuий fn(x), и мы интересуемся условиями,
при которых отклонение fn(x) от среднего значения стремится
к нулю с ростом n.
Естественный ориентир задает линейный случай. Но хватит ли
ограниченности градиента IIVfn(x)11 для D ип} < 00 В общей ситу
зиии? Ведь разброс значений fn(x) - разность между минимумом
и максимумом - может расти пропорuионально диаметру куба СП,
т. е . .;n.
Если ответ положителен (а он положителен), то можно ли
перейти к какой либо другой мере на СП, не потеряв желаемых
3) В этом, rpубо ГОВОрА, и 3аlUlючаетсА идеА Колмогорова изучать теорию вероятиостей

как часть теории меры.
3.4. Оценки дисперсии 77
выводов? Конечно, к произвольной мере перейти нельзя, ина

че, сосредоточив ее на кониах большой диагонали куба, получим
D {/п} "" n. Но достаточно ли, скажем, независимости Xj? Какие
плотности дают максимум D {/п}? Как от куба перейти к рассмот
рению всего пространства? Вот примерный круг вопросов, которые
здесь возникают.
Откладывая доказательство, сформулируем следуюший резуль

тат.
3.3.1 Теорема. Пусть независимые с. в. Xj распределены на [О, 1]

с nлотностя.ми Pj(Xj), причем все Pi(Xj) > Е > О, а последователь
ность функций !n(XI, ... , Х п ) удовлетворяет неравенства.м
Тогда при 'Уп < 'у < 00 дисперсия D {/п} ограничена некоторой
константой, не зависящей от n. Если же 'Уп стремится к нулю
с ростом n, то
D {/п} -+ О при n -+ 00,

т. е. последовательность функций !п(Х) асuмnтотuческu постоянна
на СП.
Рекламный вариант теоремы мог бы звучать так: все лunшицевы

функции большого числа nеременных - константы.
3.4. Оценки дисперсии
в формулировке дальнейших результатов принимает участие не

стандартная для теории вероятностей фУНКUИЯ
! !
х х
р·(Х) = J1(00) p(t) dt - J1(X), J1(x) = tp(t) dt, (3.5)

-00 -00
которую назовем сопряженной плотностью 4).

Эффективный способ оuенки дисперсии дает следуюшее утвер
ждение.
41 COnpJlJl(CHH8JI мотность может быть нснормирована.

3.4.1 Лемма. Пусть с. в. Xj распределены независимо с nлотностями

p;(Xj), каждая из которых имеет сопряженную pi(Xj). Тогда для лю
бой непрерывно дифференцируемой функции j(XI, .•• , Х п ) справедливо
неравенство
(3.6)
при условии существования фигурирующего в (3.6) интеграла как

повторного.
Доказзтельство при водится в следующем раЗделе.
Требование существования сопряженной плотности равносильно ограниче

нию на порядок убывания обычных плотностей р(х) на бесконечности, что может
выражаться в терминах существования моментов. Легко убедиться, что при пере
ходе от р(х) к р"(х) порядок убывания _ухудшается на единицу •. Если, например,
р(х) = о(lzГ k
), то р·(х) = о(lzГ Н1
) при Izl -+ 00.
Для р(х) = ~e-I:rl сопряженная плотность
р·(х) = i{1 + Izl)e-,:rI.

Если же область определения р(х) конечна, то сопряженная nло11tость
существует всегда. Наиболее отчетливо ее роль ВЫЯВllяется в ситуациях типа
р(х) = р6(х) + (1 - р)6(х - 1),

где сопряженная плотность равномерна,
р·(х) == р(1 - р),
т. е. р·(х) >
О там, где р(х) =
О. Компенсирующий эффект при этом ззключается
в следующем. Если бы, скажем, внеравенстве (3.6) вместо р. стояла исходная
плотность р, то такое неравенство было бы ззведомо ошибочно, поскольку '(х)
могла бы расти лишь там, где плотности Pi(Z) = о, и справа был бы О при
D (!) > О. Сопряженная же плотность -следит. за поведением градиента '(х)
на тех участках, где исходная плотность обнуляется.
Когда Xj равномерно распределены на [О, 1], сопряженные

плотности Р·(Х) = ~X(I - Х), и (3.6) переходит в
(81)2
D и) ~
f
С"
n
~ xj(1 - Х;) 8х;
1=1
dXI .. , dx n , (3.7)
З.5. Доказательство леммы 3.4.1 79
что тем более влечет за собой
D (Л ~ l!
8 [\7 f(x)] 2 dx\
СП
... dx n· (3.8)
Константу внеравенстве (3.8) - которое естественно назы

вать многомерным аналогом неравенсmва Виртингера [1] - можно
уменьшить до 1г -2, но В данном контексте это не представляет
особого интереса.
Из (3.8) сразу следует, что при равномерном распределении х

на СП для fn(x) справедлив практически тот же результат, что
и в линейном случае:
D {!n} --t О, если тах

х
11\7 fn(x)11 --t О при n --t 00.
Преимуществанеравенства(3.7) выявляются на такой функuии,

как
fn(x) = m~x
I
IXil, х Е сп.
Здесь 11\7 fn(x)1I = I почти везде, но (3.7) гарантирует (после акку

ратных вычислений) D {fn} I'V I/n.
Заметим, наконец, что из леммы 3.4.1 практически сразу вытекает теоре
ма 3.3.). Действительно, из (3.6) в предположениях теоремы следует оценка
D ип} ~ /1 max[V f(X)]l,

rECn
где
р;(х) []. }
/1 = sup { Pj(X): х Е 0,1 , 1= 1, ... , n < 00,
что, собственно, и обеспечиваеттребуемые выводы.
3.5. ДОК8Э8теnьствоnеммы 3.4.1

Докажем сначала (3.6) в одномерном случае. Очевидно,
D {Л ! ""
= II(Х) -
-00
m,]l dP(x) = ~!
00
!
-00 -00
00
If(x) - f(y)]2 dP(x) dP(y) =
= ! ![!
"" 00 r 2
I'(l)dt] dP(x)dP(y), где dP(x) = р(х) dx.

-00 u •
80 Глава Э. Законы больших чисел
Учитывая s. ж 2 ж
[ / /'(t) dt] ~ (ж - у) /1I'(t)l2 dt, (3.9)

, ,
получаем
IX) IX) z
D {f} ~ / / (ж - у) / 1I'(t»)2 dt dР(ж) dP(y). (3.10)

-IX) , ,
Интегрирование в (3.10) идет по области, задаваемой неравенствами
-00 <у ~ t ~ ж < 00.

Изменим порядок интегрирования на следующий. По ж - от t до 00, по у -
от -00 до t, по t- от -00 до 00. В результате имеем
ас (IJ , OD
D {f} ~ /1I'(t)l2 / / (ж - у) dР(ж) dP(y) dt = / [/'(t)l2 p·(t) dt,

-IX) I -IX) -IX)
поскольку, как легко убедиться,
IX) I
/ / (ж - у) dР(ж) dP(y) = p·(t),

I -IX)
а изменение порядка в УСЛОВИЯХ леммы законно. Таким образом, (3.6) в одномер

ном случае установлено.
Далее действуем по индукции. Пусть (3.6) справедливо в размерности n - 1.

Введем обозначения
mn-.(ж n ) = / /(ж) dР1(ЖI)'" dРn_I(Жn_I)'

R"-I
Dn-I(жn ) = / [/(ж) - m n _l(ж n ))2 dР1(ЖI)'" dРn_I(Жn_I)'

R"-'
Очевидно,
D {f} = ![/(ж) - mn-I(Ж n ) +mn-l(Ж n ) - т/)2 dР.(ЖI)'" dРn(жn ) =

R"
S) Неравенство (3.9) получается, если внеравенстве Коши-Буняковскоro
положить u(t) = "(/), 11(/) == 1.

= I D n - I (ж I
n ) dРII(ж n ) + [тn-l (ж n ) - т,)2 dРn(ж n ),
В' В'
а из доказанного уже одномерного неравенства (3.6) следует
Наконеи
Проведенные выкладки в совокупности с индуктивным предположением

обеспечивают справедЛивость (3.6) в размерности п. Лемма доказана.

• Несмотря на математическую тривиальность закона больших чисел, он до
вольно часто понимался превратно. Оправданием MOIyт служить многочис
ленные «аномальные .. эффекты в его окрестности (см. главу 4). Ограничимся
упоминанием самых простых, но достаточно удивительных фактов.
При n бросаниях монеты серия из герб08 длины 1082 n наблюдается с вероят

ностью, стремящейся к 1 при n -+ 00. (?)
На фоне обязательною присутствия длинных чистых серий (только гербы или

только решетки) средняя длина чистой серии равна 2. для любой несиммет
ричной монеты, выпадающей гербом с вероятностью Р Е (0,1), матожидание
длины нечетных по числу бросаний серий равно
Р 1-р
--+--,
1-р Р
а четных - равно 2 независuмо от р. (!?)
Пусть Sn = Х. + ... + Хn ' где Xt принимают значения 1, О с вероятностя

ми Pt, 1-Pt (каждый раз бросается другая монета). При появления разброса
вероятностей Pt относительно
дисперсия Sn уменьшается. (!?)

• Усиленный закон больших чисел имеет множество вариаций. Вот один

из достаточно тонких результатов А. Н. Колмогорова, где не требуется суше
ствование вторых моментов.
Пусть Х; независимые случайные величины с oдиHaKoBЬL4I распределением и ма

тожuданием р. Тогда
Р
. Х 1 +"'+Хп
11т =р
)
= 1.
( n~1XI n
Если же матожuдание Х; не существует, то
р
(-.IX + ...n + ХП I= ) = 1.
11т
n.... tI)
1
00
• Снять в теореме 3.3.1 ограничение Pi(X) >Е >О без каких либо компенси
рующих предположений нельзя. При обнулении плотностей на множествах
ненулевой меры дисперсия In(x) может неограниченно возрастать при огра
ниченном по модулю градиенте. Рассмотрим, например, линейную функцию
считая ее определенной лишь на вершинах куба СП' Легко проверить, что

на вершинах куба СП
(3.11 )
Продолжим IJ'n(X) с вершин куба на весь куб СП с сохранением условия

сжатия (3.11), что всегда возможно (7). Пусть In(x) - соответствующее про
должение. Поскольку In(x) принимает на вершинах куба СП те же значения,
что и IJ'n(X), то в случае
1 1
Р;(Х;) = 2 6 (х;) + 26(Х; - 1)
дисперсии /п(х) и IJ'n(X) совпадают. Но дисперсия линейной функции легко

считается. В результате
1 2
D ип} = D {lJ'n} = 4[VlJ'n(X)) -In п,
т. е. D ип} -+ 00 при n -+ 00.
• Пусть Х; распределены независимо на [0,1) с произвonьными nпотностя

ми, и пусть задана последовательность опре

Язык

Boss V Lektsii Po Matematike T 4 Veroiatnost Informatsiia ST

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Boss V Lektsii Po Matematike T 4 Veroiatnost Informatsiia ST

Загружено:

Авторское право:

Доступные форматы

В.

Jlекuии по математике. Т. 4: Вероятиость, ииформаuии, статистика.

длн студентов. преподавателей. инженеров и научных работников.

Иuат".1ЬСТIЮ 'КОМКНI1I.'. 117312. Г. Москва. пр-г БО-лег". OKI.6" •. 9.

ISBN 5-484-00168-4 © Ком Книга. 2005

Е_, UR',",URSSru 3299 ID 29480

lЛава 2. Функции распределения .., . . . . . . . . . . . . . . . . .. 43

IЛава 3. Законы больших чисел . . . . . . . . . . . . . . . . . . . . . . 71

IЛава 5. Марковские процессы 99

7.4. Задача о разорении 124

10.7. Теория информauии 199

Самолеты позволяют летать, но до6и­

Для нормального изучения любого математического предмета

До четвертого пункта у системы образования руки не дохо­

«Лекции» ставят 4-й пункт своей главной целью. Сопутствую­

20 томов может показаться тяжеловесным, но это связано с обшир­

Необходимо сказать, на кого рассчитано. Ответ «на всех» вы­

сорта книги удобно иметь под рукой. Не секрет, что специалисты

Наконец, последнее. В условиях информационного наводнения

секторов жизни стало слишком много. И в этих условиях мало

Без пассивной части словарною

Жизнь уходит на заделывание мелких трещин. Типографская

тонкости вполне естественно отодвинуть на второй план.

ОСНОВЫ В задачах и парадоксах

1.1. Что такое вероятность

Карты, кости, тотализаторы, статистика, броуновское движение,

СОЗllает ощущение смутного понимания случайности. Бытовое по­

вательным, чем бытовое понятие геометрической точки. Но стоит

FeoMempUR Евклида не оnредеЛRет точек и npRMblX, WaJ(ltfOmHblU ко­

Отправная точка у теории вероятностей очень проста. Рас­

называе,Мое nространство.м ЗАементарных событий, на которо,М за­

1) Пока счетное. Континуanьиые варианты n рассматриваются дanее.

Вот и весь фундамент, упрошенно говоря, Исторический путь

Из колоды вытаскивается 7 карт. Какова вероятность, Ifто среди них 3 короля

... Подтягивание задачи к обшей схеме в данном случае совсем просто.

в задачах, где элементарные события равновероятны. Р(А) всегда равно числу

На первый взгляд, суть дела тривиальна. Однако не все так

Парадокс КapдaHo%l. При бросании двух шестигранных костей сумма выпавших

сумма 9 {::> (3,6) (4,5), сумма 10 {::> (4,6) (5, 5).

2) ИЗ -Кннги об Hrpe В костн-, написанной Кардано в XXVI В., но НЗданной лншь

На данном примере становится понятно, что в подборе про­

На примерах хорошо видна диалектика взаимоотношения собы­

и как множества из П, для выделения которого необходимо уме­

Реальность, окружающая абстрактную модель, включает ряд

) при достаточно большом количестве бросаниi1 двух костеА - частоты. с которыми

S) Событие А наступает. если наступает c.Jj Е А.

• связь !1 с есубэлементарным уровнем. - с однократным бросанием мо­

• возможность проведения серии опытов, в результате чего частота наступле­

ния события А стремится к Р(А) при увеличении длины серии,

N(A) -+ Р(А) при N -+ 00, (1.1 )

Долгое время устойчивость частот была первична по отноше­

выгод прежнего взгляда - ибо сходимость (1.1) превратил ась в тео­

Вместе с тем с самого начала необходимо сказать о наличии

По крайней мере, можно сконструировать высокоточный автомат,

1.2. Подводные рифы статистики

Теория оперирует вероятностями, практика - статистическими

Не слишком утрируя действительность, допустим, что медики провели экс­

Калуга чирике nлацебо

Рязань чирике nлацебо

Объединение результатов рождает химеру. В Калуге и Рязани чирикс эффек­

Калуга + Рязань чирике nлацебо

На абстрактном уровне речь идет о следующем. Из

Самолеты позволяют летать, но до6и

До четвертого пункта у системы образования руки не дохо

«Лекции» ставят 4-й пункт своей главной целью. Сопутствую

20 томов может показаться тяжеловесным, но это связано с обшир

Необходимо сказать, на кого рассчитано. Ответ «на всех» вы

СОЗllает ощущение смутного понимания случайности. Бытовое по

FeoMempUR Евклида не оnредеЛRет точек и npRMblX, WaJ(ltfOmHblU ко

Отправная точка у теории вероятностей очень проста. Рас

называе,Мое nространство.м ЗАементарных событий, на которо,М за

На данном примере становится понятно, что в подборе про

На примерах хорошо видна диалектика взаимоотношения собы

и как множества из П, для выделения которого необходимо уме

• связь !1 с есубэлементарным уровнем. - с однократным бросанием мо

• возможность проведения серии опытов, в результате чего частота наступле

Долгое время устойчивость частот была первична по отноше

выгод прежнего взгляда - ибо сходимость (1.1) превратил ась в тео

Не слишком утрируя действительность, допустим, что медики провели экс

Объединение результатов рождает химеру. В Калуге и Рязани чирикс эффек

Элементарная (но не обязательно простая) часть теории вероятно

Выбор из k ТИПОВ. Имеется k типов предметов, каждый тип представлен бесконеч

• При размешении k шаров (днеА рождения) по 365 ячейкам (дням) вероят

Объединениеи пересечение событий. Объединениемили суммой собы

поскольку при суммировании UJi по А и В элементарные собы

Параллели лоrических высказываний с операциями над множествами исполь

Из всех 111; е А входят в В лишь IAJ;, принадлежашие пересечению АВ. Они

Неутихающее колоброжение вокруг (1.7) всегда определяла со

Числовая функuия 8 ) X(UJ) , заданная на П, представляет собой слу

Очевидно, Х = 6 с вероятностью 1/3 = 2/6. В этом случае Х > у независи

Парадокс ожидаиия серии. Какая в случайной .Оl.-последовательности 11) ком

При этом подсознательновсе понимают, что конечный денеж

Рассмотрим упрошенный аналог. Монета бросается один раз, и падает маш

Пространство элементарных событий n часто имеет континуаль

.. в случае ж = АР, у = PQ возможность сло