УДК 519, 213, 512.

64

Л. Я. Савельев

Специализированный учебно-научный центр

Новосибирского государственного университета
ул. Ляпунова, 3, Новосибирск, 630090, Россия
Е-mail: savelev@math.nsc.ru

КОЭФФИЦИЕНТЫ КОРРЕЛЯЦИИ И ИНФОРМАЦИИ

В статье даются определения основных понятий элементарной теории вероятностей и описываются коэффициенты
корреляции и информации для измерения зависимости между случайными переменными. Коэффициент корреляции
проще, но он измеряет только линейную зависимость и в общем случае не пригоден даже для измерения функциональ-
ной зависимости. Коэффициент информации сложнее, но он измеряет любую стохастическую зависимость между пере-
менными. Применение компьютерных программ позволяет легко вычислять коэффициенты информации.
Ключевые слова: вероятность, распределение, интеграл, корреляция, информация.

Теорию вероятностей можно описательно 1.1. Пусть U – конечное множество и

определить как математическую теорию слу-
чайных явлений. С влиянием случая прихо-
дится сталкиваться при изучении самых раз-
ных явлений. Часто это влияние настолько
существенно, что им нельзя пренебречь. По-
этому теория вероятностей применяется во
всех достаточно развитых областях науки.
Используемая в статье элементарная теория
вероятностей подробно излагается в книге
автора [Савельев, 2005]. Там рассматрива-
ются также задачи из различных областей и
приводятся их решения. Элементарной теории
вероятностей посвящены отдельные главы
интересных во многих отношениях книг
Д. Андерсона [2003] и Р. Грэхема, Д. Кнута,
О. Паташника [1998]. Элементарной теории
информации посвящена книга А. М. Яглома
и И. М. Яглома [2004]. Прекрасным общим
руководством по теории вероятностей и ее
приложениям является книга В. Феллера
[1984].
Конечные вероятностные пространства
Эти пространства – самые простые. Они
используются для исследования случайных
событий, описываемых конечными множе-
ствами исходов.
1. Элементарная вероятность
Элементарная вероятность – основное поня-
тие элементарной теории вероятностей. Все
остальные понятия этой теории прямо или
косвенно определяются через элементарную
вероятность.
p – положительная нормированная функ-
ция на U :
p u 0, p u 1 (u U ) .
Вместе они составляют конечное вероят-
ностное пространство (U , p) . Элементы
множества U называются возможными ис-
ходами или просто исходами, функция p –
элементарной вероятностью. Значение
p(u ) называется вероятностью исхода u.
Элементарную вероятность p , не имеющую
нулевых значений, условимся называть не-
вырожденной, а пространство (U , p) с такой
вероятностью – невырожденным. В этой главе
рассматриваются только конечные вероят-
ностные пространства, которые коротко на-
зываются пространствами. Исключив ис-
ходы с нулевыми вероятностями, можно
любое пространство превратить в невырож-
денное. Иногда, правда, в соответствии с
содержанием задачи удобно, наоборот, до-
бавить исходы с нулевыми вероятностями.
1.2. Обозначим n число элементов мно-
жества U и положим p u 1 n для каждо-
го u U . Ясно, что функция p с такими зна-
чениями есть элементарная вероятность на
U. Вероятностное пространство (U , p) бу-
дем называть пространством Лапласа с n
исходами и обозначать L n .
1.3. Пример. Обозначим B множество из
элементов 0 и 1, а Bn – множество всех по-

ISSN 1818-7889. Вестник НГУ. Серия: Педагогика. 2009. Том 10, выпуск 2
© Л. Я. Савельев, 2009
16 Л. Я. Савельев

следовательностей из n элементов множест- числению вероятностей случайных событий

ва В: или средних значений случайных переменных.
B 0,1 , 2.1. Возьмем конечное вероятностное
пространство U , p . Каждое множество
Bn u ui : ui B, i 1,..., n .
X U называется случайным событием
Будем называть последовательности из или просто событием в пространстве
B двоичными последовательностями дли-
n
U , p . Число
ны n.
Пусть PX pu
u X
U B n , u ui U , s u ui , a 0,1 и
называется вероятностью события X. Эта
p u a s u
1 a
n s u
вероятность складывается из вероятностей
исходов u, составляющих событие X (благо-
( s u равно числу единиц, а n s u – чис- приятных для него). Выделяются пустое
лу нулей в последовательности u). По ин- событие X и полное событие X U .
дукции легко доказать (упражнение), что Из определений следует, что
функция p с такими значениями есть эле-
P 0, PU 1.
ментарная вероятность на U Bn . Вероят-
ностное пространство Bn , p с такой эле- Событие X u , состоящее из одного
единственного исхода u, называется эле-
ментарной вероятностью будем называть ментарным. Оно часто отождествляется с
пространством Бернулли или последова-
составляющим его исходом: u u . Из оп-
тельностью Бернулли длины n с парамет-
ределений следует, что P u pu .
ром a и обозначать B n, a .
Существенная разница между элемен-
1 тарной вероятностью p и вероятностью P
Заметим, что B n, L 2n .
2 состоит в том, что p определена на множе-
1.4. Пример. Пусть стве U, а P – на классе P P (U ) всех частей
U B1 n u ui : ui B, i 0,1,..., n , множества U. Поэтому оперировать с веро-
ятностью P непосредственно гораздо слож-
a 0,1 и Q q x, y – стохастическая нее, чем через элементарную вероятность p.
2 2 -матрица: Хотя интерес, как правило, представляют
q x, y 0 , q x,0 q x,1 1 x, y B . вероятности событий, а не вероятности от-
По индукции легко доказать (упражне- дельных исходов, из которых они склады-
ние), что функция p со значениями ваются.
1 u Элементарную вероятность p коротко
p u au0 1 a o q u0 , u1 ...q un 1, un
тоже будем называть вероятностью, как P,
является элементарной вероятностью на сохраняя разницу в обозначениях.
U B1 n . Вероятностное пространство 2.2. Каждая функция на множестве U на-
B , p с такой элементарной вероятно-
1 n
зывается случайной переменной на вероят-
ностном пространстве U , p . Всюду, где
стью будем называть двоичным простран-
ством Маркова или двоичной марковской нет специальных оговорок, имеются в виду
последовательностью длины n с парамет- вещественные случайные переменные. Их
ром a и оператором Q. Условимся обозна- часто называют случайными величинами.
чать такое пространство BM n, a, Q . Мар- Множество X U удобно отождеств-
ковские последовательности часто называют лять с его индикатором indX на U:
марковскими цепями. ind X u 1 u X , ind X u 0 u X .
Заметим, что BM n, a, Q B n 1, a при Условимся для простоты часто вместо
q 1,1 a , q 0,0 1 a. индикатор множества говорить множест-
во и писать X вместо indX. Отождествление
2. Вероятность и среднее множеств с их индикаторами позволяет счи-
Как правило, задачи, решаемые с помо- тать события специальными случайными
щью теории вероятностей, сводятся к вы- переменными и многие рассуждения прово-
дить только для случайных переменных.
 Коэффициенты корреляции и информации
Случайные переменные будем коротко на-
зывать переменными.
Будем для простоты вместо u писать u,
используя эту букву в разных смыслах.
Каждую переменную f на множестве U
можно записать в виде линейной комбина-
ции индикаторов ind u исходов u U :
f f u ind u u U .
По определению ind u v 1 при v u и
ind u v 0 при v u . Поэтому сумма в
равенстве имеет значение f (v) f (u) для
каждого u U . Группируя исходы, в кото-
рых переменная f имеет равные значения,
получаем удобную стандартную запись для f:
f x ind f 1 x x X f U .
Соглашение об отождествлении мно-
жеств с их индикаторами позволяет упро-
стить эти записи:
f f u u u U , f x f 1 x
x X .
Здесь u одновременно обозначает исход
и его индикатор. Слагаемые в суммах явля-
ются функциями на U и на X.
2.3. Число Ef f u p u называется
(вероятностным или стохастическим)
средним значением переменной f на про-
странстве U , p . Среднее значение назы-
вают также математическим ожиданием.
Из определений следует, что
E ind X pu P X .
u X
Вероятности событий равны средним
значениям их индикаторов. Это позволяет
выводить формулы для вероятностей из
формул для средних, используя их свойства.
2.4. Пример. Возьмем произвольную
случайную переменную f на пространстве
Лапласа с множеством U из n исходов.
Среднее значение f равно среднему арифме-
тическому
1 1
Ef f u f u .
n n
Пусть X – событие, составленное из m
исходов и f ind X . Тогда
m индукции легко проверить (упражнение),
P X E ind X . что
n
В пространстве Лапласа вероятность со-
бытия равна отношению числа благоприят-
ных для него исходов к числу всех возмож-
ных исходов. Ее вычисление сводится к
17
подсчету числа элементов в рассматривае-
мых множествах. Поэтому пространство
Лапласа можно назвать комбинаторным
пространством.
2.5. Задача д’Аламбера. Симметричная
монета подбрасывается два раза. Игрок вы-
игрывает, если оба раза монета падает гер-
бом вверх. Какова вероятность выигрыша?
В статье «Герб и решетка» (1754) д’Аламбер
рассуждал так. Возможны три исхода: моне-
та при первом подбрасывании падает реш-
кой вверх, и поэтому второй раз бросать ее
нет смысла (0); монета в первый раз падает
гербом вверх, а во второй – решкой (1); мо-
нета оба раза падает гербом вверх (2). Бла-
гоприятным является один исход из трех
возможных. Следовательно, вероятность
выигрыша равна 1 3 . Использовано комби-
наторное пространство с тремя равноверо-
ятными исходами. Но их равновероятность
никак не обоснована: исход 0 представляет-
ся более вероятным, чем исходы 1 и 2, так
как в нем не учитывается результат второго
подбрасывания.
Если этот результат учитывать, то про-
странство L(3) нужно заменить на про-
странство B 4,1 2 L(4) с множеством
исходов U 00,01,10,11 и вероятность выиг-
2
рыша будет следующей: p 11 12 1 4.
Такая формализация больше соответствует
содержанию задачи, так как здесь равновоз-
можность исходов отражает симметрич-
ность монеты (остальные неявные предпо-
ложения одинаковы). Кроме того, в
правильной модели вероятность выигрыша
должна быть близка частоте появления пар
гербов при многократном подбрасывании
двух монет в одинаковых условиях. Стати-
стика свидетельствует, что эта частота
близка 1 4 . (Упражнение: провести соответ-
ствующий компьютерный эксперимент.)
2.6. Пример. Случайная величина s j со
значениями si u uj u ui Bn описы-
вает число единиц на j-м месте 1 j n в
последовательности Бернулли B n, a . По
P s j 1 P u Bn : u j 1
1 u1 uj 1
1 uj 1
a ui 1 a a 1 a a
ui , j j
18 Л. Я. Савельев

a
uj 1
1 a
1 uj 1
a un 1 a
1 un 3.1. Рассмотрим множество F F U всех
n 1
случайных переменных на вероятностном
a a 1 a a. пространстве U , p . Их можно складывать,
Следовательно, перемножать и умножать на числа с соблю-
P sj 0 1 P sj 1 1 a. дением обычных правил действий с функ-
Подчеркнем, что эти вероятности не за- циями. Поэтому F – называют алгеброй.
висят от номера места j в последовательно- Среднее E каждой функции f F – ставит
сти u. Пусть s s j . Тогда в соответствие число Ef. Поэтому E называ-
ется функционалом на F.
n n m Линейность среднего E означает, что
Ps m am 1 a b m, n, a
m E f g Ef Eg , E (cf ) cEf
для каждых f , g F и числа c. Положи-
для m 0, 1, , n . Сумма s u sj u тельность и нормированность означает, что
Ef 0 для каждой f 0 и E 1 1 . Нера-
равна числу единиц в двоичной строке
венство f 0 эквивалентно f u 0 для
u u1 un . Говорят, что переменная s имеет
всех u U , а символ 1 обозначает число 1 и
биномиальное распределение. постоянную на U со значением 1. Формаль-
2.7. Пример. Для двоичной марковской но постоянные тоже являются случайными
последовательности BM n, a, Q аналогич- величинами. Они обозначаются так же, как
ные вероятности вычисляются сложнее. Они их значения. Из нормированности и линей-
зависят от номера места k 0 k n . ности среднего следует равенство Ec c
Используя определения в п. 1.4 и индук- для каждой постоянной c.
цию, нетрудно проверить (упражнение), что Все указанные свойства среднего E легко
в марковском случае проверяются.
P sk 1 P u B n 1 : uk 1 Из линейности и положительности сред-
него следует его монотонность:
1 u0
a u0 1 a q u0 , u1 q uk 1 ,1 Ef Eg f g .
ui , j k
3.2. Пример. Рассмотрим случайную пе-
q 1, uk 1 q un 1 , un b a b dk , ременную s на пространстве B n, a – чис-
где ло единиц в последовательности Бернулли
1 q 0,0 длины n с параметром a. Пусть s j u u j
d q 1,1 q 0,0 1, b
1 d
для u uj B n . Из определений следует,
(предполагается, что d 1 ). Следовательно,
P sk 0 1 b a b d k . что
n n n
В частности, su uj sj u s sj .
P s0 1 a , P s0 0 1 a. j 1 j 1 j 1
Поэтому
Если q 1,1 a, q 0,0 1 a , то d 0 и n n
b a . Марковская последовательность пре- Es E sj Es j .
вращается в бернулевскую и j 1 j 1

P sk 1 a , P sk 0 1 a Но Es j P sj 1 a.
для каждого k 0, 1, ,n. Следовательно, Es na .
В частности, Es n 2 при a 1 2 . При-
3. Свойства среднего близительно таким бывает число гербов при
Основные свойства среднего можно вы- n-кратном подбрасывании симметричной
разить одной фразой: среднее есть нормиро- монеты. Если a 1 4 , то Es n 4 . Прибли-
ванный положительный линейный функ- зительно таким бывает число пар гербов при
ционал на алгебре случайных переменных. n-кратном подбрасывании двух симметрич-
Эти свойства среднего существенно помо- ных монет. (Предполагается, что n доста-
гают при вычислениях. точно большое.)
 Коэффициенты корреляции и информации 19

3.3. Пример. Для двоичной марковской использование одних и тех же обозначений

последовательности B n, a, Q формула для событий и их индикаторов не приводит
для среднего числа единиц сложнее. Ис- к путанице и часто существенно упрощает
пользуя равенства запись формул.
Esk P sk 1 b a b d k 4. Дисперсия
и формулу для геометрической прогрессии, Среднее значение очень грубо описывает
получаем случайную переменную: ее значения могут
n сильно отличаться от среднего. Дисперсия
Es b a b dk служит мерой этих отклонений.
k 0
4.1. Число Df E f Ef 2 называется
nb b c cd n 1
n 1 b c 1 dn 1
,
дисперсией случайной переменной f на ве-
где роятностном пространстве U , p . Из опре-
a b делений следует, что
c
1 d Df
2
f u Ef p u .
(предполагается, что d 1 ).
В частности, при d 0 имеем Свойства дисперсии D определяются
Ec a nb . свойствами среднего E.
Если, кроме того, b a , то B n, a, Q 4.2. Так как f Ef 2 0 , то Df 0 .
А так как среднее постоянной c равно ее
превращается в B n 1, a и Es n 1 a.
значению, то
3.4. Пример. Для произведения s j sk Dc ( c c ) 2 p (u ) 0 .
j k случайных переменных s j , sk на Если рассматриваемое вероятностное
пространстве Бернулли B n, a верно равенство пространство U, p невырожденное
E s j sk Es j Esk . ( p u 0 для всех u U ), то нулевую дис-
персию имеют только постоянные.
В самом деле, немного изменяя рассуж- Прибавление постоянной к случайной
дения, получаем (упражнение) переменной не изменяет ее дисперсии:
n 2
E s j sk P s j sk 1 a 2 a1 a a2 . 2
D f c E f c E f c
3.5. Для двоичной марковской последо- 2 2
E f c Ef Ec E f Ef Df .
вательности в общем случае
E s j sk Es j Esk . 4.3. Число C f , g называется ковариа-
цией случайных переменных f и g. Ковариа-
В самом деле, немного изменяя рассуж-
ция описывает линейную зависимость меж-
дения, получаем (упражнение)
ду ними. Если C f , g 0 , то
E s j sk b a b d j q 1,1 .
D f g Df Dg .
В то же время Верно и обратное утверждение. Число
E s j sk b a b dj b a b dj 1
. Sf Df 0
В частности, при j 0 имеем называется стандартным отклонением или,
E s0 s1 aq 1,1 , коротко, стандартом случайной перемен-
Es0 a , Es1 aq 1,1 1 a q 0,1 . ной f. Извлечение корня уравновешивает
2
Пусть a 1 2 , q 1,1 1 4 , q 0,1 3 4 . квадрат f Ef в определении диспер-
Тогда сии. Стандарт обладает свойством положи-
тельной однородности:
1 1 1
E s0 s1 Es0 Es1 . S sf cS f .
8 2 2
Если c 0 , то правая часть равна cS f .
3.6. Соглашение об отождествлении со-
бытий с их индикаторами позволяет считать Стандарт часто используется вместо дис-
события специальными случайными персии для оценки разброса значений слу-
переменными и отождествлять вероятности чайной переменной вокруг среднего значения.
событий со средними значениями этих пе- 4.4. Для вычисления дисперсии удобно
ременных. При определенной аккуратности использовать формулу
20 Л. Я. Савельев

2
Df E f 2 Ef . f , g E fg f , g F .
Она доказывается так: Свойства скалярного произведения легко
E f Ef
2
E f 2 2 f Ef Ef
2 проверяются. Оно симметрично
2 f , g E fg E gf g , f ; линейно по
=E f 2 2E f Ef E Ef
каждой переменной:
= E f 2 2 Ef 2 Ef 2 E f 2 2
Ef .
af bg, h E af bg h E afh bgh
В частности, если f X – событие, то
aE fh bE gh a f , h b g , h
X2 X , EX PX и
2
и по симметрии
DX P X P X f , bg ch b f , g c f , h
P X 1 P X P X P X . для каждых переменных f , g , h F и чисел
Дисперсия события X равна произведе- a , b, c ; положительно на диагонали:
нию его вероятности на вероятность его до- f, f E f 2 0.
полнения X U X . Для стандарта верно Если вероятность p невырожденная
равенство p u 0 для каждого исхода u U , то ска-
S X P X P X .
лярное произведение , невырожденное:
4.5. Пример. Случайные переменные s j
f, f 0 f 0.
на пространстве Бернулли B n, a являются
5.2. Каждую переменную f F можно
событиями и Es j a j 1, , n . Поэтому центрировать с помощью ее среднего значе-
Ds j a1 a . ния Ef и перейти к центрированной пере-
Ковариации C s j , sk при j k равны 0: менной f 0 f Ef со средним значением
Ef0 E f Ef Ef Ef 0 .
E sj a sk a E s j sk s j a ask a2
Сумма и произведение на число центри-
E s j sk aEs j aEsk a2 рованных переменных тоже центрированы.
Значит, центрированные переменные со-
a2 a2 a2 a2 0 ставляют подпространство векторного
так как E s j sk a 2 (1.3.4). Следовательно, пространства F. Обозначим это подпро-
D sj sk Ds j Dsk 2a 1 a . странство F0 F0 U . Каждый вектор про-
По индукции нетрудно обобщить эту странства F равен сумме некоторых вектора
формулу (упражнение) на n слагаемых из F0 и постоянной:
s1 ,, sn . Дисперсия числа единиц в после- f f 0 c , f 0 f Ef , c Ef .
довательности Бернулли длины n с парамет- Основные определения корреляционной
ром a выражается равенством теории проще формулировать для центри-
Ds na 1 a . рованных переменных. Заметим, что
2
Стандартное отклонение числа единиц от Df 0 E f 0 f0 , f0 ,
среднего значения na имеет порядок n . Sf0 Df0 f0 , f0
5. Корреляционная теория для каждой центрированной f 0 .
Эта теория используется при описании 5.3. В соответствии с общим определе-
зависимости случайных переменных. Для ее нием нормы вектора в евклидовом про-
изложения удобен геометрический язык. странстве положим
5.1. Алгебра F F U переменных на f0 f0 , f0 Sf0 .
вероятностном пространстве U , p являет- Норма центрированной переменной рав-
ся векторным пространством: переменные на ее стандарту.
можно складывать и умножать на числа, Если f 0 0 , то центрированную пере-
соблюдая обычные для векторов правила. менную f 0 можно нормировать и перейти к
Это пространство можно сделать евклидо- нормированной переменной
вым, если с помощью среднего E опреде-
лить скалярное произведение таких векторов f0 f0 f0
 Коэффициенты корреляции и информации 21

с нормой О всяком свойстве случайной перемен-

f0 f0 f0 , f0 f0
f0 , f0 f0 f0
Центрированные и нормированные пе-
ременные составляют сферу с центром 0 и
радиусом 1 в евклидовом пространстве F0 .
Если скалярное произведение для F не-
вырожденное, то в F0 ` нет ненулевых векто-
ров с нулевой нормой.
5.4. В соответствии с общим определени-
ем меры угла в евклидовом пространстве
положим
K f ,g f0 , g0 ,
для каждых переменных f , g и
f0
f Ef
, g0
g Eg
. ство
f Ef g Eg
Предполагается, что знаменатели не рав-
ны 0. Это часто неявно делается и в даль-
нейшем. Число K f , g называется коэф-
фициентом корреляции между случайными
переменными. Используя данные определе-
ния, получаем формулу
C f ,g E fg EfEg
K f ,g
SfSg Df Dg
(по предположению Df 0 , Dg 0 ).
Из определений следует, что
K f , g K f0 , g0 .
Если K f , g 0 , то случайные перемен-
ные f , g называются некоррелированными.
Используя геометрическую интерпретацию
( cos 2 0 ), их называют также ортого-
нальными.
Из определений следует, что
K f ,g 0 E fg EfEg .
Коэффициент корреляции равен норми-
рованной разности между средним значени-
ем произведения переменных и произведе-
нием их средних значений. Он описывает
линейную зависимость между случайными
переменными в среднем и служит хотя и
грубой, но простой характеристикой этой
зависимости.
5.5. Как для любого евклидова простран-
ства, для F0 верно неравенство Коши:
f0 , go f0 g0 f 0 , g0
Из него следует, что
K f ,g 1 f ,g
ной условимся говорить, что оно верно
почти всюду, если оно верно для всех исхо-
f0 1. дов с ненулевыми вероятностями. В невы-
рожденном пространстве, где исходов с ну-
левыми вероятностями нет, почти всюду
означает всюду. Говорят, что переменные
f , g почти всюду линейно зависимы, если
существует число a и постоянная b такие, что
af g b почти всюду (т. е. af u g u b
при p u 0 ).
Исследуя дискриминант квадратного
уравнения
E f 02 x 2 2 E f 0 g0 x E g0 2 0,
нетрудно доказать (упражнение), что равен-
K f ,g 1 верно тогда и только
тогда, когда переменные f , g почти всюду
линейно зависимы.
Используя векторную интерпретацию,
можно сказать, что равенства K f , g 1 и
K f ,g 1 определяют соответственно
одинаковую и противоположную направ-
ленность f и g.
5.6. Можно вычислить (упражнение) ко-
вариации для переменных s j и sk , описы-
вающих появление единицы на j-м и k-м
местах в двоичной марковской последова-
тельности:
C s j , sk p jq jd k j D s j d k j .
Следовательно, при j k верно равенст-
во K s j , sk D s j D sk d k j .
Для последовательности Бернулли
d 0 и K s j , sk 0 . Переменные s j и sk
некоррелированы.
5.7. Пример. Рассмотрим комбинатор-
ное пространство L(4) с множеством исхо-
дов U 1,2,3,4 и случайные переменные
x, y со значениями x 1 2, x 2 1,
x 3 1 , x 4 2 и y u x2 u .
Непосредственные вычисления дают:
Ex 0 , Ey 10 4 , E xy 0 .
Следовательно,
C x, y E xy ExEy 0 и K x, y 0 .
F0 . Вместе с тем между переменными x и y
существует функциональная зависимость:
F . y x 2 . Коэффициент корреляции не отра-
жает такую нелинейную зависимость.
22 Л. Я. Савельев

Этот пример показывает, что коэффици- ся из белой урны. Какова вероятность того,
ент корреляции может равняться 0 и тогда, что оба выбирающиеся шара имеют одина-
когда случайные переменные явно зависи- ковый цвет?
мы. Поэтому нужны более адекватные меры 1. Подробное решение. Условимся опи-
зависимости между случайными перемен- сывать:
ными, описывающие не только линейную строкой 11: выбор черного шара из крас-
зависимость. ной урны и черного шара из черной урны;
5.8. Формула полной вероятности. Стан- строкой 12: выбор черного шара из крас-
дартные задачи, решаемые с помощью фор- ной урны и белого шара из черной урны;
мулы полной вероятности, можно схемати- строкой 21: выбор белого шара из крас-
чески описать следующим образом. ной урны и черного шара из белой урны;
Задача о полной вероятности. Известны: строкой 22: выбор белого шара из крас-
1) вероятности P( Bi ) i нескольких ис-
ной урны и белого шара из белой урны.
ключающих друг друга условий Bi одно из Множество строк U {11, 12,21,22} опи-
сывает возможные результаты рассматри-
которых с достоверностью выполняется;
ваемого опыта.
2) условные вероятности PBi ( A) i со-
Условия B1 {11,12} , B2 {21, 22} опи-
бытия A при условии, что выполняется Bi . сывают соответственно выбор черного и
Какова вероятность P( A) события A ? белого шаров из красной урны. Так как вы-
Решение. Рассмотрим конечную вероят- бор производится наугад, то
ностную модель с множеством исходов 1 a1 a2 2
U {11, , i1, , n1,10, , i0, , n0} , состав- P( B1 ) , P( B2 ) .
a1 a2 3 a1 a2 3
ленном из n строк 11, , i1, , n1 , n строк Аналогично, вследствие выбора наугад
10, , i 0, , n0 , и элементарной вероятно- шаров из черной и белой урн, условные ве-
стью p со значениями: роятности события A {11,12} , описываю-
p(i1) i i, p(i 0) i (1 i) (i 1, , n). щего выбор двух черных или двух белых
В этой модели каждое условие шаров, равны соответственно:
Bi {i1, i0} (i 1, , n) составлено из двух 2 b1 c1 4
PB1 ( A) , PB2 ( A) .
строк i1 и i0 , а событие b1 b2 5 c1 c2 7
A {11, , i1, , n1} - из строк 11, , i1, , n1 . Из правила умножения вытекает, что
Используя свойства вероятностей i элементарная вероятность p , описывающая
и i , нетрудно проверить, что в этой модели реализуемость возможных результатов рас-
P( Bi ) сматриваемого опыта, имеет значения:
i, PBi ( A) i (i 1, , n).
Решение задачи дает формула полной a1 b1 1 2
p (11) ,
вероятности a1 a2 b1 b2 3 5
n n
P( A) P( Bi ) PBi ( A) . a1 b2 1 3
i i p (12) ,
i 1 i 1 a1 a2 b1 b2 3 5
5.9. Рассмотрим несколько примеров на a2 c2 2 4
вычисление вероятностей. Они будут ис- p(21) ,
a1 a2 c1 c2 3 7
пользоваться в примерах на вычисление ко-
эффициентов корреляции. p(22)
a2 c1
2 3
.
Пример 1. Имеются красная, черная и a1 a2 c1 c2 3 7
белая урны с черными и белыми шарами. В вероятностной модели, определяемой
В красной урне a1 1 черный и a0 2 бе- такими множеством исходов U и элемен-
лых шара, в черной – b1 2 черных и b0 3 тарной вероятностью p , задача сводится к
белых, в белой – c1 3 черных и c0 4 бе- вычислению вероятности P( A) события
лых. Из красной урны наугад выбирается A {11,21} . По формуле полной вероятности
шар. Если этот шар черный, то следующий P( A) P( B1 ) PB1 ( A) P( B2 ) PB2 ( A)
шар также наугад выбирается из черной ур-
ны. Если шар, выбранный из красной урны, 1 3 2 3
0,51.
белый, то следующий шар наугад выбирает- 3 5 3 7
 Коэффициенты корреляции и информации
2. Краткое решение. Задача сводится к
задаче о полной вероятности с вероятностя-
ми условий 1 1 3 , 2 2 3 и условными
вероятностями 1 2 5 , 2 4 7 . По фор-
муле полной вероятности:
P( A) P( B1 ) PB1 ( A) P( B2 ) PB2 ( A)
1 3 2 3
0,51.
3 5 3 7
Пример 2. По данным переписи 1951 г.,
в Англии и Уэльсе среди отцов, имеющих
сыновей, оказалось 13 % темноглазых и
87 % светлоглазых. У темноглазых отцов
оказалось 39 % темноглазых и 61 % светло-
глазых сыновей. У светлоглазых отцов ока-
залось 10 % темноглазых и 90 % светлогла-
зых сыновей. Какова вероятность того, что
наугад выбранные среди этого населения
отец и сын имеют глаза одинакового цвета?
Задача сводится к задаче о полной веро-
ятности с вероятностями условий 1 0,13 ,
2 0,87 и условными вероятностями
0,39 , 2 0,61 . Искомая вероятность
1
равна 1 1 2 2 0,82 .
Замечание. Выбор наугад отца и сына
можно представлять как выбор двух шаров
по схеме примера 1 из красной, черной и
белой урн с a1 13 и a0 87 , b1 39 и
b0 61 , c1 10 и c0 90 черными и белыми
шарами соответственно. Черные и белые
шары в красной урне описывают темногла-
зых и светлоглазых отцов, в черной – темно-
глазых и светлоглазых сыновей у темногла-
зых отцов, в белой – темноглазых и
светлоглазых сыновей у светлоглазых отцов.
Пример 3. Статистика показывает, что
среди двоен оказывается 28 % идентичных и
72 % неидентичных близнецов. Среди иден-
тичных близнецов 100 % одного пола, 0
разного пола. Среди неидентичных близне-
цов 100 % одного пола, 0 разного пола. Ка-
кова вероятность того, что наугад выбран-
ные среди двоен близнецы имеют
одинаковый пол?
Задача сводится к задаче о полной веро-
ятности с вероятностями условий 1 0,28 ,
0,72 и условными вероятностями
2
1 , 2 0,5 . Искомая вероятность равна
1
0,64 .
1 1 2 2
Замечание. Эта вероятность близка к на-
блюдаемой в действительности частоте по-
23
явления однополых близнецов при рожде-
нии двоен.
Появление однополых близнецов можно
представить как появление двух шаров оди-
накового цвета по схеме примера 1 из крас-
ной, черной и белой урн с a1 28 и a0 72 ,
b1 100 и b0 0 , c1 50 и c0 50 черными
и белыми шарами соответственно. Черные и
белые шары в красной урне описывают
идентичных и неидентичных близнецов, в
черной – однополых и разнополых близне-
цов среди идентичных, в белой – среди не-
идентичных.
Пример 4. В условиях примера 1 какова
вероятность того, что второй из выбираю-
щихся шаров черный?
Задача сводится к задаче о полной веро-
ятности с вероятностями условий 1 1 3 ,
0 2 3 и условными вероятностями
1 2 5, 0 3 7 . Искомая вероятность
равна 1 1 2 2 0,42 .
Замечание. Вероятностная модель для
примера 4 аналогична модели примера 1.
Меняется только содержание исходов 01 и
00: в модели для примера 4 исход 01 описы-
вает выбор белого шара из красной урны и
черного из белой, а исход 00 – белого из
красной и белого из белой. В соответствии с
этим меняются элементарные вероятности
исходов и условная вероятность PB0 ( A) со-
бытия A :
c1 3
PB0 ( A) .
c1 c0 7
Следующие примеры 5, 6 решаются по
той же схеме, что и пример 4.
Пример 5. Среди помещенных в Т-образный
лабиринт голодных крыс 50 % бегут в левый
конец и 50 % в правый. Среди крыс, побы-
вавших в левом конце с пищей и вновь по-
мещенных в лабиринт, (50 100 ) % бегут
в левый конец и (50 100 ) % в правый.
Среди крыс, побывавших в правом конце
без пищи и вновь помещенных в лабиринт,
50 % бегут в левый конец и 50 % в правый.
Какова вероятность того, что вновь поме-
щенная крыса побежит в левый конец?
Задача сводится к задаче о полной веро-
ятности с вероятностями условий 1 0,5 ,
0,5 и условными вероятностями
0
1 0,5 , 0 0,5 (0 0,5 ). Иско-
мая вероятность равна 1 1 2 2 0,5 .
24 Л. Я. Савельев

Замечание. Число выражает эффек- принимаются сигналы 1, 0. Какова вероят-

тивность рассматриваемого процесса обуче-
ния крысы и определяется эксперименталь-
но. Например, если 0,05 , то вероятность
того, что повторно помещенная в лабиринт
крыса побежит к пище, равна 0,525.
Пример 6. В самоанском письменном
ность того, что принимается сигнал 1?
Задача сводится к задаче о полной веро-
ятности с вероятностями условий 1 p1 ,
0 p0 и условными вероятностями
r11 , r01 ( p1 , p0 , r11 , r10 , r01 , r00 0 ,
1 0

тексте 67 % гласных и 33 % согласных букв. p1 p0 r11 r10 r01 r00 1 ). Искомая ве-
Среди букв, следующих непосредственно за роятность равна
гласной, 49 % гласных и 51 % согласных. 1 1 2 2 p1r11 p0 r01 q1 0,66 .
Среди букв, следующих непосредственно за Пример 8. В условиях примера 7 какова
согласной, 100 % гласных и 0 согласных. вероятность того, что принимается сиг-
Какова вероятность того, что за наугад вы- нал 0?
бранной буквой самоанского текста непо- Ответ: p1r10 p0 r00 0,34 .
средственно следует гласная буква? Пример 9. По линии связи с вероятно-
Задача сводится к задаче о полной веро-
стью pi посылается сигнал i ( i 0, 1, ,
ятности с вероятностями условий 1 0,67 ,
n 1 ). Если посылается сигнал i , то с вероят-
0,33 и условными вероятностями
0
ностью rij принимается сигнал j ( j 0, 1, ,
0 49 , 0 . Искомая вероятность
1 0
n 1 ). Какова вероятность того, что прини-
равна 1 1 2 2 0,66 . мается сигнал j ?
Замечание. В примерах 7–9 рассматри- Задача сводится к задаче о полной веро-
вается система связи (рис. 1): ятности с вероятностями условий i pi и
Линия связи условными вероятностями i rij . Искомая
Передатчик Приемник
вероятность равна
n 1 n 1 n 1
Рис. 1 qi pi rij pi rij 0, pi 1, qj 1 .
i 0 i 0 j 0

Передатчик посылает сигнал в линию Замечание. Если rij 1 при i j и rij 0

связи. Проходя по линии связи, переданный
при i j , то передача происходит без ис-
сигнал может исказиться и превратиться в
другой сигнал. Приемник улавливает сиг- кажений и q j p j ( j 0,1, , n 1 ).
нал, пришедший по линии связи. Таким об- 1 1
разом, может быть принят не тот сигнал, Если rij для каждых i и j , то q j
n n
который был послан.
( j 0,1, , n 1 ).
В простейшем случае передатчик посы-
лает сигналы 1 и 0 (« » и «+»). Проходя по Прием описывается той же вероятност-
ной моделью, что и выбор наугад.
линии, 1 может превратиться в 0 (« » может
5.10. Рассмотрим еще несколько приме-
превратиться в «+») и наоборот. Таким об-
ров на вычисление коэффициентов корреляции.
разом, если передан сигнал 1 (« »), то мо- Пример 1. В условиях примера 1 п. 5.9
жет быть принят как сигнал 1 (« »), так и
события A и B1 , A и B2 зависимы:
сигнал 0 («+»). Аналогично обстоит дело и
при передаче сигнала 0 («+»). 2 54
PB1 ( A) P ( A);
О системах связи и относящихся к ним 5 105
интересных задачах можно прочитать в кни- 4 54
PB2 ( A) P ( A);
ге А. М. Яглома и И. М. Яглома «Вероят- 7 105
ность и информация» [1973]. 1 2 1 54
Пример 7. По линии связи посылаются 2
K ( A, B1 ) 3 5 3 105 0,17;
сигналы 1, 0 с вероятностями p1 0,6 ,
1 2 54 51 3 17
p0 0,4 . Если посылается сигнал 1, то с 3 3 105 105
вероятностями r11 0,9 , r10 0,1 принима-
ются сигналы 1, 0. Если посылается сигнал
0, то с вероятностями r01 0,3 , r00 0,7
 Коэффициенты корреляции и информации 25

2 4 2 54 Так как A и B2 дополнительны событи-

3 7 3 105 2 ям A1 и B1 , то
K ( A, B2 ) 0,17.
1 2 54 51 3 17 K ( A1 , B2 ) K ( A2 , B1 ) K ( A2 , B2 )
3 3 105 105 K ( A1 , B1 ) .
Результат K ( A, B2 ) K ( A, B1 ) не случа- Таким образом, в рассматриваемой моде-
ен. Он объясняется тем, что событие B1 яв- ли между цветом глаз отца и сына сущест-
ляется дополнением события B2 . вует зависимость, оцениваемая коэффици-
Пример 2. В условиях примера 4 п. 5.9 ентом корреляции с абсолютной величиной
события A и B1 , A и B2 зависимы: примерно 0,30. Для одинакового цвета этот
коэффициент положителен, а для разного –
2 44 отрицателен.
PB1 ( A) P ( A);
5 105 Пример 4. В условиях примера 5 п. 5.9
3 44 какова зависимость между получением кры-
PB2 ( A) P( A);
7 105 сой пищи и ее поведением при повторном
K ( A, B1 ) 0,03; K ( A, B2 ) 0,03. помещении в лабиринт?
Если состав шаров в черной и белой ур- В модели примера 5 п. 5.9 рассмотрим
события A и B , описывающие соответст-
нах одинаков ( b1 c1 , b2 c2 ), то в примере
венно то, что крыса побывала в левом конце
2 события A и B1 , A и B2 независимы: лабиринта при первом ее помещении туда и
b1 c1 при втором. Из условий задачи следует, что
PB1 ( A) PB2 ( A) P( A) .
b1 b2 c1 c2 1 1
P( B ) ; P( B ) ;
Это хорошо согласуется с интуицией: ес- 2 2
ли состав шаров в черной и белой урнах PB ( A)
1
; PB ( A)
1
.
одинаков, то вероятность выбрать черный 2 2
шар не зависит от выбора урны. По правилу умножения и формуле пол-
Если, кроме того, в каждой из этих урн ной вероятности получаем
черных и белых шаров поровну 1 1 1 1
( b1 c1 b2 c2 ), то в примере 1 события A P( AB ) ; P( A) .
2 2 2 2
и B1 , A и B2 независимы: Следовательно,
1 1 1 1 1 1
PB1 ( A) PB2 ( A) P( A) .
2 2 2 2 2 2
Пример 3. В условиях примера 2 п. 5.9 K ( A, B ) ;
1 1 1 1 1 1 2
какова зависимость между цветом глаз отца 1
и сына? 2 2 2 2 2
В модели примера 2 п. 5.9 рассмотрим
K ( A , B) .
события A1 и B1 , A2 и B2 , описывающие 1 2
соответственно темный цвет глаз у сыновей Если 0 , то K ( A, B) 0 и события A
и отцов. и B независимы. Если 0 , то K ( A, B) 0
Из условий задачи следует, что
и события A и B . В частности, если
P( B1 ) 0,13, P( B2 ) 0,87,
1 2 , то K ( A, B) 1 3 .
PB1 ( A1 ) 0,39, PB1 ( A2 ) 0,61,
Пример 5. В условиях примера 7 п. 5.9
PB2 ( A1 ) 0,1, PB2 ( A2 ) 0,9. какова корреляция между посланным и
По правилу умножения и формуле пол- принятым сигналами?
ной вероятности получаем: В модели примера 7 п. 5.9 рассмотрим
P( A1B1 ) 0,13 0,39 0,05, события A1 и B1 , A0 и B0 , описывающие
P( A1 ) 0,13 0,39 0,87 0,10 0,14. соответственно принятый и посланный сиг-
Следовательно, нал 1 и принятый и посланный сигнал 0. Из
условия задачи следует, что
0,13 0,39 0,13 0,14
K ( A1 , B1 ) 0,30. P( B1 ) p1 0,6; P( B0 ) p0 0,4;
0,14 0,86 0,13 0,87
PB1 ( A1 ) r11 0,9; PB0 ( A1 ) r01 0,3.
26
По правилу умножения и формуле пол-
ной вероятности получаем
P( A1B1 ) p1r11 0,6 0,9 0,54;
P( A1 ) p1r11 p0r01 q1 0,66.
Следовательно,
p1r11 p1q1
K ( A1 , B1 )
p1 p0 q1q0
0,6 0,9 0,6 0,66
0,6 0,4 0,66 0,34
Так как события A0 и B0 дополнительны
событиям A1 и B1 , то
K ( A0 , B0 ) K ( A1 , B0 )
K ( A0 , B0 ) K ( A1 , B1 ).
Замечание. Если r11 r01 1 2 , то
q1 q0 1 2 , K ( A1 , B1 ) 0 и события A1 и
B1 , A0 и B1 , A1 и B0 , A0 и B0 независимы.
В этом случае можно считать, что посылае-
мый и принимаемый сигналы независимы.
Если r11 1 , r01 0 , то q1 p1 , q0 p0 ,
K ( A1 , B1 ) 1 и в этом случае корреляция
наибольшая.
Пример 6. Проверяется эффективность
нового медицинского препарата. Из имею-
щихся 60 зараженных животных 30 вводит-
ся и 30 не вводится этот препарат. Среди
животных, которым был введен препарат,
29 выздоравливают и 1 нет. Среди живот-
ных, которым не был введен препарат, 26
выздоравливают и 4 нет. Какова корреляция
между введением препарата и выздоровле-
нием?
В данной модели, аналогичной рассмат-
ривавшимся в предыдущих примерах, дело
сводится к вычислению коэффициента кор-
реляции между событиями A и B , описы-
вающими соответственно выздоровление и
применение препарата. Из условий задачи
следует, что
1 1
P( B ) , P( B )
2 2
29
PB ( A) , PB ( A)
30
По правилу умножения и формуле пол-
ной вероятности получаем
1 29 29 55
P( AB) , P( A)
2 30 60 60
Следовательно,
Л. Я. Савельев
1 29 1 55
3
K ( A, B ) 2 30 2 60 0,2.
1 1 55 5 5 11
2 2 60 60
Пример 7. В продукции завода брак
вследствие дефекта A составляет 6,1 %, а
вследствие дефекта B составляет 2,8 %.
Общий брак по одному из этих дефектов –
5,8 % всей продукции завода. Какова корре-
0,6.
ляция между дефектами A и B ?
В модели, аналогичной рассмотренным в
предыдущих примерах, дело сводится к вы-
числению коэффициента корреляции между
событиями A и B , описывающими соот-
ветствующие дефекты. Из условий задачи
следует, что
P( A) 0,061, P( B) 0,028,
P( B A) 0,058.
Используя правило объединения, находим
P( AB) P( A) P( B) P( B A) 0,030.
Следовательно,
0,030 0,061 0,028
K ( A, B)
0,061 0,939 0,028 0,972
0,832 .
Пример 8. Статистика показывает, что
среди двоен 32 % оба близнеца мальчики и
28 % – девочки. Какова корреляция пола
близнецов?
В модели, аналогичной рассмотренной в
предыдущих примерах, дело сводится к вы-
числению коэффициента корреляции между
событиями A и B , описывающими муж-
ской пол одного и другого близнецов. Из
условий задачи следует, что
P( AB) 0,32, P( AB) 0,28.
Используя правила сложения и дополне-
ния, находим:
P( A B AB ) P( A B) P( AB )
P( B) P( AB) P( B ) P( A B )
1 0,32 0,28 0,4.
Естественно считать, что P( A B)
,
P( AB ) 0,20 . Тогда
36 P( A) P( AB) P( AB ) 0,52,
.
30 P( B) P( AB) P( A B) 0,52.
Следовательно,
0,32 0,52 0,52
K ( A, B) 0,2.
. 0,52 0,48 0,52 0,48
Кроме того,
K ( A , B) K ( A, B ) K ( A , B ) K ( A, B).
 Коэффициенты корреляции и информации 27

6. Распределения 6.2. Пример. Пусть U1 , p1 – комбина-

торное пространство с множеством исходов
Теория вероятностей, как правило, изу-
U1 1,2,3,4,5,6 . Положим также
чает не сами случайные переменные, а их
распределения. Совместные распределения f1 2 f1 4 f1 6 1 , f1 1 f1 3
случайных переменных определяют их сто- f1 5 1.
хастическую зависимость.
6.1. Случайная переменная f на вероятно- Тогда X1 1,1 и q1 1 q1 1 1 2 . Эта
стном пространстве U , p при замене исхо- модель описывает выигрыш при выпадении
четного числа очков и проигрыш при выпа-
да u на значение x f u естественным об-
дении нечетного, когда игральную кость под-
разом определяет новое вероятностное брасывают один раз.
пространство X , q с множеством исходов Пусть теперь U 2 0,1 , p2 0 p2 1
X f U f u :u U
12 и f2 0 1, f2 1 1 . Тогда тоже
и элементарной вероятностью q Pf 1
, X2 1,1 и q2 1 q21 1 2 . Такая мо-
имеющей значения
дель описывает выигрыш при выпадении
qx P f 1 x pu герба и проигрыш при выпадении решки,
u: f u x
когда симметричная монета подбрасывается
Ясно, что q x 0 . Кроме того, один раз. Случайные переменные f1 и f 2
имеют одинаковые распределения, хотя как
qx pu pu 1. функции различны и имеют разные области
x x u: f u x u
определения: Pf1 1 Pf 2 1 , но f1 f 2 .
Если переменная f числовая, что обычно
6.3. Рассмотрим пространство Бернулли
предполагается, то множество X состоит из
чисел. А множество U может состоять из B n, a и случайную переменную f s
любых элементов. (1.3). Ее множеством значений будет
Элементарная вероятность q называется X 0, 1, , n . Она имеет биномиальное
элементарным распределением случайной распределение
переменной f. Вероятность Q Pf 1 , про- n x n x n x
должающая q на класс событий, называется qx ax 1 a a 1 a ,
u :s u x x
распределением f. Случайные переменные,
имеющие одинаковые распределения, назы- n n!
x 0, 1, ,n .
ваются одинаково распределенными. x n x !
Элементарное распределение q коротко Удобно считать, что этот биномиальный
тоже будем называть распределением, как коэффициент равен 0 при x 0 и при x n .
Q, сохраняя разницу в обозначениях. Рас-
Биномиальное распределение играет
пределение Q будет использоваться редко.
большую роль в элементарной теории веро-
Если пространство U , p невырожденное, ятностей. Оно используется при решении
то и X , q невырожденное. многих задач.
Замена u U на x f u X дает удобную 6.4. Переходя от чисел к векторам, мож-
форму для среднего значения но определить совместное распределение
конечного семейства f fj числовых
Ef xq x .
Она получается группировкой исходов u, случайных переменных f j j K на одном
при которых f u x : и том же вероятностном пространстве
U , p . Семейство при замене исхода u на
f u pu x pu qx . вектор x f u с координатами x j f j u
u u: f u x x
определяет новое вероятностное простран-
Точно так же получается формула
ство X , q с множеством исходов
2
Df x Ef qx . X f U f j u :u U
28 Л. Я. Савельев

и элементарной вероятностью q Pf 1 со Равенство (*) верно и для каждого мно-

значениями жества индексов K M (конечного вместе
с M). Для того чтобы убедиться в этом, дос-
qx P f 1 x P u : f j u xj, j K .
таточно просуммировать обе части (*) по
Эта элементарная вероятность называет- всем x j X j для индексов j M \ K и ис-
ся элементарным совместным распределе-
нием случайных переменных f j . Вероят- пользовать равенства qj xj 1 для них.
Рассмотрим множества B j Xj , j K .
ность Q Pf 1 , определяемая q, называется
совместным распределением случайных Суммируя полученное из (*) равенство по
переменных f j . Этот термин часто будет всем x j B j , j K , убеждаемся в том, что
употребляться и для q. P fj Bj , j K P fj Bj (**)
j K
Вместе с тем каждая из случайных пере-
менных f j имеет собственные элементарное Здесь f j B j – краткая запись события
u: fj u B j . В левой части – пересечение
распределение q j Pf j 1
и определяемое им
1 этих событий при j K . При B j xj и
распределение Q j Pf j . Эти распределе-
K M равенство (**) превращается в (*).
ния называются маргинальными. Каждая Переход к K M эквивалентен условию
маргинальная вероятность q j для семейства B j X j , j M \ K . Независимость случай-
fj определена на множестве X j fj U ных переменных f j, j K означает, что
чисел, а совместная q – на множестве
(**) верно при любых B j X j . Обычно она
X f U векторов K -мерного простран-
так и определяется.
ства. Как правило, множество индексов K
составляется из номеров. Если K 1,, m , 7. Информация и энтропия
то X R m . Информация случайных переменных оп-
6.5. Рассмотрим конечное семейство ределяется как среднее значение некоторой
f f j переменных f j j M на про- специальной функции этих переменных.
Она является удобной мерой зависимости
странстве U , p , их маргинальные распре- между ними. Термин информация употреб-
деления q j на множествах X j f j U и ляется в теории вероятностей в специальном
совместное распределение q. Если равенство точно определенном смысле. Энтропия оп-
ределяется через информацию.
q x qj xj (*) 7.1. Рассмотрим невырожденное вероят-
верно для всех x xj X , то q называют ностное пространство U , p и случайные
произведением q j и пишут q q j . Если переменные f , g на нем. Пусть X f U ,
q q j , то говорят, что случайные пере- Y gU и

менные f j (стохастически) независимы, а Z x, y f u ,g u :u U .

если q q j , – что (стохастически) зави- (Подчеркнем, что часто X Y Z , так как
симы. пары x, y f u , g u для некоторых ис-
Рассматривавшиеся примеры поясняют ходов u v могут не принадлежать Z.) Обо-
данное определение. Оно придает точный значим q, r и s маргинальные и совместное
смысл описываемой там зависимости. Рас-
распределения для f , g . По предположе-
смотрим еще пространство Бернулли B n, a
нию p, а поэтому q, r и s строго положи-
и семейство переменных sj uj
тельны. Это позволяет определить случай-
j 1, , n на нем (1.3). Из определений ную переменную i f , g , которая имеет
следует, что эти переменные независимы: значения
X j B , X Bn и s f u ,g u
i f , g , u log u U .
q x a
xj
1 a
n xj
qj xj . q f u r g u
 Коэффициенты корреляции и информации 29

Условимся называть ее элементарной Подробное элементарное доказательство

информацией f , g . Основание логарифма этой теоремы есть в [Савельев, 1975]. Там
обычно выбирается равным 2. Из определе- же выведены два следствия, которые не-
ний следует, что тождественное равенство трудно проверить (упражнение).
i f , g 0 эквивалентно независимости Пусть s s j , t t j ; s j 0 , t j 0 ,
f , g . Число I f , g E i f , g называется sj tj 1; a aj ,
информацией f , g . Из определений следу- 1
aj j 1, , n ; s, t s j log t j .
ет, что u U n
s x, y Следствие 1. s, t t , t при s t .
I f,g s x, y log x, y Z .
qxr y Следствие 2. t, t a , a при t a.
Ясно, что если f , g независимы, то
Таким образом, при каждом t функция
I f ,g E 0 0. ,t : s s, t имеет строгий максимум в
Часто информацию переменных f и g точке s t , а функция ψ со значениями
называют взаимной.
t t, t t j log t j
7.2. Пусть f s1 , g s2 из примера 2.6.
Тогда имеем: X Y 0,1 и Z X Y , имеет строгий максимум в точке t a (при
t j 1 n для j 1, , n ).
s x, y q x r y и I f , g 0 в соответст-
вии со стохастической независимостью пе- 7.4. Используя следствие 1, легко дока-
зать следующую теорему об информации.
ременных s1 , s2 .
Теорема об информации. Информация
Если f s1 s2 , g s1 s2 , то случайных переменных f и g положительна:
X 0,1,2 , Y 1,0,1 и I f , g 0 . Она равна нулю, если и только
Z 0,0 , 1, 1 , 2,0 X Y. если f и g независимы.
□ Рассмотрим семейство s чисел s x, y
При a 1 2 распределения q, r и s име- и семейство t чисел t x, y q x r y , полу-
ют следующие значения: q 1 4,1 2,1 4 , ченные произвольной нумерацией пар x, y
r 1 4,1 2,1 4 и s x, y 1 4 для всех значений x f u , y g u случайных пе-
x, y Z . Следовательно, ременных f, g. Из определений вытекает, что
I f ,g s x, y log s x, y
1
1 4 s x, y log t x, y .
I f , g 4 log log 2 0
4 1 1 По следствию 1 строгое неравенство
2 4 I f , g 0 верно при s t . Ясно, что
в соответствии со стохастической зависимо- I f , g 0 при s t . Это эквивалентно
стью случайных переменных s1 s2 и s1 s2 . сформулированному утверждению. ■
7.3. Совсем не очевидно, что равенство Из теоремы об информации следует
I f , g 0 эквивалентно стохастической Информационный критерий зависи-
независимости переменных f , g . Этот факт мости. Случайные переменные f и g зависи-
мы, если и только если их взаимная инфор-
можно вывести из классической теоремы о мация строго положительна.
мультипликативно и аддитивно взвешенных
Равенство I f , g 0 гарантирует стохас-
средних (геометрического и арифметиче-
ского). тическую независимость в отличие от равен-
Рассмотрим натуральное число n 0 , ства K f , g 0 обеспечивающего только
семейство чисел x j 0 и семейство чисел независимость в среднем.
Например, в пространстве B 2,1 2 для
qj 0 с суммой j 1 j 1,  , n .
qj
переменных f s1 s2 , g s1 s2 верно ра-
Tеорема о средних. xj q j x j , при-
венство K f , g 0 , но I f , g log 2 0 .
чем равенство верно тогда и только тогда, Переменные f , g некоррелированы, но сто-
когда x1  xn . хастически зависимы. Точно так же легко
30 Л. Я. Савельев

проверить (упражнение), что для перемен- r y s x, y s x, y , то

ных x , y x 2 в комбинаторном пространст- x

ве L(4) со значениями x(1) 2 , x(2) 1, s x, y 1

x(3) 1 , x(4) 2 верны равенства Ex 0 , qxr y qx
Ey 10 4 , E ( xy ) 0 , K ( x, y ) 0 и для каждых пар x, y f u ,g u значений
I ( x, y) log2 0 . x, y переменных f , g . Поэтому
7.5. Число H f i f , f называется эн- s x, y
I f ,g s x, y log
тропией случайной переменной f на невы- x, y q x r y
рожденном вероятностном пространстве
1
U , p . Так как s x, x r x q x для каж- q x log x H f .
q
дого x f u то
Точно так же I f , g H g .
1 Пусть n – число значений случайной пе-
H f q x log x
q ременной f. Тогда из следствия 2 теоремы о
q x log q x . средних вытекает, что
Эти равенства позволяют определить эн- 1 1
H f n log log n .
тропию H независимо от информации I . n n
Энтропия вместе с информацией положи- Таким образом
тельна: H f 0. 0 H f log n .
На пространстве U , p введем случай- При этом H f 0 эквивалентно
ную переменную h f со значениями f const , а H ( f ) log n тогда и только то-
1 гда, когда f имеет равномерное распределение.
h f i f,f log f u Энтропия H f служит средней мерой
q
неопределенности случайной переменной f.
log q f u . Использование логарифмов позволяет произ-
Из определений следует, что ведения вероятностей превращать в суммы.
H f Eh f p u log q f u . Это упрощает выкладки.
7.7. Исследуем с информационной точки
В примере с пространством Бернулли зрения процедуру угадывания. Предполо-
B 2, a энтропия переменной f s1 выра- жим, что с помощью случайного выбора оп-
жается равенством ределена одна из m 32 букв алфавита U,
H s1 a log a 1 a log 1 a . которую нужно угадать последовательным де-
Такая же энтропия и у s 2 . Кроме того, лением алфавита на непустые части. Будем счи-
тать, что процедура описывается комбинатор-
3
H s1 s2 H s1 s2 log 2 . ным пространством.
2 Если разбить алфавит U на части A и B из
Если f c – постоянная, то q c 1 и k и l m k букв, то информация о том, что
H c 0. выбранная буква u A оценивается так. Рас-
А если случайная переменная f имеет смотрим какую-нибудь нумерацию f алфави-
равномерное распределение ( q x 1 n для та U и индикатор g множества A. Имеем:
X 1, , m , Y 0,1 , Z X Y ;
всех n значений x), то
1 1 1 k k
H f n log log n . q x , r 1 , r 0 1 ;
n n m m m
1
7.6. Информация I f , g случайных пе- s x,1 x f A , s x,1 0
m
ременных f , g меньше каждой из энтропий
x f A , s x,0 0 x f A
H f ,H g . 1
Действительно, так как выполнено s x,0 x f A .
m
q x s x, y s x, y и Поэтому
y
 Коэффициенты корреляции и информации 31

1 ле связи имеются помехи, изменяющие сиг-

k m нал, то возможно, что x y . Информация
I f ,g log
m 1 k I f , g оценивает качество системы связи.
m m Имеем
1 X Y 0,1 , Z X Y , q x a x ,
m k m r y a0t 0 y a1t1 y , s x, y axt xy .
log
m 1 k
1 Поэтому
n m t xy
k k k k I f,g a x t xy log .
log 1 log 1 H g . x, y a0 t 0 y a1t1 y
m m m m
Если t xy 12 для всех x, y то
Максимум информации достигается, когда
g имеет равномерное распределение: I f , g 0 : переданный и принятый сигна-
k m 1 2 и k m 2 . Оптимально делить лы независимы. Использовать такую систе-
алфавит на две равные части. Тогда в сред- му связи нет смысла. Для любой системы
нем можно угадывать выбранную букву за рассматриваемого типа I f , g H f
пять последовательных разбиений. Другие log 2 . Можно передать не больше одного
способы в среднем будут хуже, хотя слу- бита информации за один раз.
чайно угадывание по одной букве может 7.9. По аналогии с коэффициентом кор-
сразу привести к успеху. Но зато в против- реляции K f , g введем коэффициент ин-
ном случае неопределенность мало умень-
формации
шается.
7.8. Теория информации была разработа- I f,g I f,g
IK f , g
на вначале для систем связи. Простейшую I f , f I g, g H f H g
систему связи можно схематически описать случайных переменных f и g, предполагая
с помощью следующей вероятностной модели. I f, f H f 0 , I g , g H g 0 . Так
Рассмотрим множество исходов как
U 00,01,10,11 , где величина u xy опи- 0 I f , g I f , f , I g, g H f H g ,
сывает передачу сигнала x и прием сигнала
то 0 IK f , g 1 . (Здесь обозначает ми-
y. Событие Ax x0, x1 означает передачу
нимум.)
x, а By 0 y,1y – прием y x, y 0,1 . Из теоремы об информации следует,
Пусть ax 0, a0 a1 1 и t xy 0, что IK f , g 0 , если и только если случай-
t x 0 t x1 1 . Элементарная вероятность p ные переменные f и g независимы. А из
соотношений между информацией и энтро-
имеет значения p xy axt xy . В частности,
пиями – что IK f , g 1 тогда и только то-
p xx axt xx . гда, когда I f , g H f H g :
Далее, заметим, что Ax By Ax By xy IK f , g 1 I f ,g I f , f I g, g
и P Ax a x , P Ax By p xy axt xy . Услов- I f ,g H f H g .
ная вероятность принять y, когда передан x, В самом деле, если I f , g H f или
по определению равна отношению
I f,g H g , то вследствие I f ,g
P Ax B y P Ax :
H f и I f,g H g верны неравенства
By a x t xy 2
P t xy . I f,g H f H g ,
Ax ax
Это поясняет вероятностный смысл чи- I f,g H f H g ,
сел t xy . Наконец, IK f , g 1 .
P By p 0y p 1y a0toy a1t1y . Коэффициент информации служит удоб-
ной мерой стохастической зависимости слу-
Случайные переменные f , g со значе- чайных переменных, не связанных линейно.
ниями f xy x , g xy y описывают пе- Условимся продолжать формально со-
реданный и принятый сигналы. Если в кана- вместную элементарную вероятность s с
32 Л. Я. Савельев

множества Z пар возможных значений пе- f  g , q r 1,

ременных f, g на весь прямоугольник X Y ,
s x, y r y q x x y ,y Y .
приписав нулевые вероятности невозмож-
ным парам x, y : Поэтому в любом из этих случаев можно
называть случайные переменные f и g сто-
s x, y 0 x, y X Y \Z . хастически изоморфными. Стохастически
Кроме того, положим 0 log 0 0 . Все изоморфные переменные имеют одинаковое
это позволит в выкладках вместо суммиро- число значений и вероятности этих значе-
вания по сложному множеству Z проводить ний получаются друг из друга перестанов-
суммирование по прямоугольнику X Y и ками. Совместные ненулевые вероятности
от двойных сумм переходить к простым пар значений равны соответствующим мар-
суммам по множествам X и Y. гинальным вероятностям.
Удобно представлять маргинальные рас- Теорема о коэффициенте информации
пределения q, r и совместное s для пере-
1. Коэффициент информации IK f , g
менных f , g общей таблицей. В первом
случайных переменных f и g равен 0, если и
столбце записываются элементы множества только если f и g стохастически независимы.
X, а в первой строке – элементы множества
2. Коэффициент информации IK f , g
Y. Во втором столбце помещаются вероят-
ности g x , а во второй строке – вероятно- случайных переменных f и g равен 1, если и
только если f и g стохастически изо-
сти r y . Остальную часть таблицы занима- морфны.
ет s: в клетке x, y записывается □ 1. Как уже отмечалось, утверждение о
вероятность s x, y . Если элементы каждого равенстве коэффициента информации нулю
из множеств X и Y занумерованы, то табли- сразу следует из теоремы об информации.
цу можно упростить, не выписывая элементы. 2. Утверждение о равенстве коэффициен-
7.10. Связь между взаимной однозначно- та информации единице доказывается сле-
стью и максимальным значением коэффици- дующим образом. Как было показано
ента информации имеет общий характер. Рас- IK f , g 1 I f,g H f H g .
смотрим вероятностное пространство U , p Если переменные f , g стохастически
и случайные переменные f , g на нем с изоморфны и связаны подстановками
множествами значений X, Y, распределе- :X Y, 1
:Y X , то
ниями g, r и совместным распределением s. s y ,y s x, x q y r y
Как обычно предполагается, что маргиналь-
y x Y x y X .
ные распределения q, r невырожденные:
Поэтому
q x 0 , r y 0 при всех x X , y Y .
s x, x
Совместное распределение s может быть I f ,g s x, x log
вырожденным: для некоторых пар значений x q x r x
x, y возможно равенство s x, y 0 .
q x
Будем называть взаимно однозначное q x log
отображение : A B множества A на все x q x r x
множество B подстановкой A на B и обо- q x log r x
значать композицию функций символом  . x

Условимся говорить, что переменная g сто- r x log r x H g .

хастически изоморфна f, если существует x
подстановка : X Y такая, что Аналогично
g f , r q 1
, I f ,g s y ,y
y
s( x, y) q x r y y x ,x X .
s y ,y
Если переменная g стохастически изо- log H f .
морфна f, то и f стохастически изоморфна g, q y ,y r y
так как тогда для обратной подстановки Следовательно,
1:
Y X верны равенства I f ,g H f H g и I f ,g 1.
 Коэффициенты корреляции и информации 33

Предположим теперь, что эти равенства Значит, y1 x1 x2 y2 при

верны. Тогда, если I f , g H f , то x1 x2 и в множестве Y элементов не
s x, y меньше, чем в X. При этом x f u ,
s x, y log
x, y q x r y gu f u для некоторого u U .
Пусть теперь y Y . Так как s x, y 0 и
q x log q x s x, y log q x ,
x x, y s x, y r y , то 0 s x, y r y ,
x
s x, y
s x, y log s x, y log s x , y r y 0 . Поэтому
x, y r y
s x, y
s x, y s x, y log 0
s x, y log q x x, y r y
x, y q x r y
s x, y
s x, y s x, y log 0
s x, y log r y
x, y q x r y
для всех пар x, y . Из s x, y r y 0
s x, y log q x I f ,g H f 0, x
x, y следует, что существует x y X , для
s x, y которого
s x, y log
x, y q x s y , y 0 , log s y ,y r y 0 и
s x, y s y , y r y . Такое значение x y
s x, y log
x, y q x r y единственное: s x, y 0 для всех x y ,
в противном случае было бы
s x, y
s x, y log s x, y r y . Значит,
x, y q x r y x

x1 y1 y2 x2 при y1 y2
s x, y log r y I f ,g H g 0.
x, y и в множестве X элементов не меньше, чем в
Пусть x X. Так как s x, y 0, Y. При этом y g u , f u g u для
s x, y q x , то выполнено некоторого u U .
y Таким образом, если IK f , g 1 или,
0 s x, y q x , s x, y log s x, y q x 0. что эквивалентно, I f , g H f H g ,
Поэтому то для каждого x X существует единст-
s x, y венный элемент y x Y , для которого
s x, y log 0
x, y q x s x, y 0 . При этом s x, x q x . Точно
s x, y так же для каждого y Y существует един-
s x, y log 0 ственный элемент x y X , для которо-
q x
го s x, y 0 . При этом s y , y r y .
для всех пар x, y . А из
Множества X и Y имеют одно и то же число
s x, y q x 0 следует, что существу- элементов. Для всех y x и для всех
y

ет y x Y , для которого s x, x 0, x y ) верно равенство s x, y 0 . По-

s x, ( x ) этому x, x x , x , x x ,
log 0 и s x, x q x . Такое s x, x qx для каждого x X и
q x
y ,y y, y , y y ,
значение y x единственное: s x, y 0
s y , y r y для каждого y Y . Значит,
для всех y x , в противном случае было
:X Y и :Y X являются взаимно
бы s x, y q x .
y обратными подстановками. Кроме того,
34
gu f u , f u gu ,
s y , y s x, x q y r y ,
u U, x X , y Y .
Переменные f и g стохастически изо-
морфны. ■
Таким образом, равенство IK f , g 1
означает крайнюю степень зависимости ме-
жду переменными f и g: эти переменные
стохастически изоморфны. Они имеют оди-
наковое число значений и их распределения
получаются друг из друга перестановками.
8. Взаимная информация семейства
случайных величин
8.1. Можно сформулировать следующее
определение информации, содержащейся в
данном событии, не использующее явно ло-
гарифмы. Рассмотрим вероятностное про-
странство (U , A, P) . Собственной информа-
цией события называется непрерывная
функция, удовлетворяющая следующим ус-
ловиям:
1) I ( A) f ( p( A)) монотонна;
2) I ( AB) I ( A) I ( B) для любых неза-
висимых A и B ;
3) I ( A) 1 , если p( A) 1 2 .
Второе условие эквивалентно равенствам
f ( p( AB)) f ( p( A) p( B))
f ( p( A)) f ( p( B)).
Логарифмическая функция является
единственной непрерывной функцией,
удовлетворяющая этим равенствам. Благо-
даря третьему условию
I ( A) log 2 p( A) lb p( A) .
для каждого события, имеющего не равную
нулю вероятность. Выбор двоичных лога-
рифмов удобен во многих случаях. Из усло-
вий 1–3 следует, что информация достовер-
ного события U E равна нулю:
I ( A) I ( AE ) I ( A) I ( E ) I ( E ) 0 .
Этот результат означает, что появление дос-
товерного события не несет никакой новой
информации.
8.2. Для конечного вероятностного про-
странства равенство
H pi lb pi
определяет энтропию распределения. Для
элементарных исходов с нулевой вероятно-
стью используется равенство pi lb pi 0 .
Энтропия определена для всех конечных
распределений. Она неотрицательна и равна
Л. Я. Савельев
нулю, тогда и только тогда, когда один из
исходов имеет вероятность равную единице,
а вероятности всех остальных исходов рав-
ны нулю. Это позволяет отождествлять эн-
тропию с неопределенностью.
Энтропией случайной величины называ-
ется энтропия ее распределения.
В соответствии с определением стохас-
тической независимости через произведение
вероятностей и свойствами логарифмиче-
ской функции, энтропия независимых слу-
чайных величин равна сумме их энтропий:
H ( X1 , , X n ) H ( X1 ) H (Xn) .
8.3. Взаимная информация двух случай-
ных величин определяется через их отдель-
ные и совместную энтропии равенствами
I ( X ,Y ) H ( X ) H (Y ) H ( X ,Y ),
p( xi y j )
I ( X , Y ) I (Y , X ) p( xi y j ) lb .
p( xi ) p( y j )
Заметим, что первое из этих равенств анало-
гично формуле для вероятности объедине-
ния событий:
P( A B) P( A) P( B) P( A B). .
Пример. Рассмотрим следующую слу-
чайную величину
1 0 1
X .
14 12 14
Здесь в верхней строке таблицы выписаны
значения случайной величины, а в нижней -
их вероятности. Возьмем случайную вели-
чину Y X 2 . Она с вероятностью 1 2 при-
нимает значения 0 и 1. Как легко проверить,
Cov( X , Y ) 0 . Поэтому K ( X ,Y ) 0 : слу-
чайные величины X и Y некоррелированы.
Применим к ним информационный кри-
терий зависимости. Имеем
1 1 3
H ( X ) 2 lb 4 lb 2 ,
4 2 2
1
H (Y ) 2 lb 2 1.
2
Вычислим совместные вероятности:
p( X 1, Y 1) 0,25 , p( X 0, Y 0) 0,5 ,
p( X 1, Y 1) 0,25 , остальные вероят-
ности равны нулю. Следовательно,
H ( X ,Y ) 3 2 и I ( X ,Y ) 1 . Случайные ве-
личины X и Y некоррелированы, но зави-
симы. Совпадение совместной энтропии
H ( X ,Y ) и энтропии H ( X ) объясняется
тем, что знание X определяет Y и пару
( X , Y ) . Вместе с тем случайная величина Y
 Коэффициенты корреляции и информации 35

не определяет X . Связывающая их функция Стохастический изоморфизм семейства слу-

не взаимно однозначна. чайных величин определяется как в 7.10.
8.4. Введем энтропию, условную энтро- Теорема. Верны неравенства
пию и взаимную информацию конечного 0 I ( X1 , , X n ) (n 1) H ( X1 , , X n ) .
семейства случайных величин. Энтропия и Левое неравенство обращается в равен-
условная энтропия определяются равенствами ство тогда и только тогда, когда рассмат-
H ( X1 , , Xn) p( xi11 xinn )lb p( xi11 xinn ), риваемые случайные величины независимы.
Правое обращается в равенство тогда и
H ( X1, , X k | X k 1, , Xn) только тогда, когда рассматриваемые слу-
чайные величины стохастически изоморфны.
p( xi11 , , xinn )lb p( xi11 xikk | xikk 1
1
xinn ). □ Левое неравенство и условие обраще-
Из определений следует равенство ния его в равенство следуют из леммы. До-
кажем правое неравенство. Из определений
H ( X1, , Xn) H ( X1, , X k | X k 1, , Xn) следуют равенства
H ( X k 1, , X n ). H ( X1 , , X n ) H ( X1 ) H ( X 2 X n | X1 )
H ( X1 , , Xn) H ( X 2 ) H ( X1 X 3 Xn | X2)
По аналогии с двумя случайными величи-
нами доказываются неравенства
0 H ( X1 , , X n ) lb ( N1 N n ), H ( X1 , , X n ) H ( X n ) H ( X1 X n 1 | X n ).
Складывая их, получаем
H ( X1 , , X k | X k 1, , X n ) 0. . n
nH ( X 1 , , Xn) H ( X i ) R,
Здесь Ni | X i | обозначает число значений i 1
i -ой случайной величины. где R – сумма рассматриваемых условных
Взаимная информация конечного семей- энтропий, удовлетворяющая неравенству
ства случайных величин определяется ра- R 0 . Вычитая теперь из обеих частей по-
венством лученного равенства H ( X 1 , , X n ) , находим
n
I ( X1 , , Xn) H ( X k ) H ( X1, , X n ). (n 1) H ( X 1 , , X n ) I ( X 1 , , X n ) R,
k 1 Отсюда следует доказываемое правое нера-
Взаимная информация семейства незави- венство.
симых случайных величин равна нулю. Это Найдем условия равенства в нем. Так как
хорошо также видно при выражении инфор- условные энтропии неотрицательны, то ра-
мации через распределения вероятностей: венство R 0 означает равенство нулю ка-
I ( X1, , Xn) ждой из них. Это в свою очередь означает,
что все соответствующие условные вероят-
p( xi11 xinn ) ности равны либо 0, либо 1.
p( xi11 xinn )lb . Возьмем для конкретности и упрощения
p( xi11 ) p( xinn )
записей формул первую случайную величи-
8.5. Верно и обратное утверждение. ну X 1 . Для нее верны равенства
Лемма. Взаимная информация случайных
H ( X 2 , , X n X1 )
величин неотрицательна. Она равна нулю
тогда и только тогда, когда случайные ве- 1 n 2
xinn
личины независимы в совокупности. p x , i1 ,x in lb p x i2 0.
xi11
Доказательство аналогично данному в
п. 7.4 доказательству для двух случайных Отсюда либо
величин. Можно дать также индуктивное p( xi11 , , xinn ) 0,
доказательство. и, следовательно,
Лемма дает критерий независимости для
xinn
конечного семейства случайных величин. p xi22 0,
Она обобщает теорему об информации, xi11
сформулированную в п. 7.4. либо
8.6. Следующая важная теорема позволя-
xinn
ет оценить для семейства зависимых слу- p xi22 1.
чайных величин степень их зависимости. xi11
36 Л. Я. Савельев

Так как при фиксированном исходе X 1 I ( X ,Y ) I (Y , Z ) I ( X , Z ) 0,

сумма условных вероятностей равна едини-
I ( X ,Y , Z ) 1, XYZ 1 4.
це, то для каждого X i1 будет существовать
один достоверный набор исходов остальных Значит, случайные величины X , Y , Z попар-
случайных величин, а все остальные будут но независимы, но зависимы в совокупности.
невозможными. Значение случайной вели- Заметим, что каждая из рассматриваемых
чины X 1 достоверно (с вероятностью 1) оп- случайных величин есть функция двух дру-
гих (их булева сумма): Z X Y,
ределяет значения всех остальных рассмат-
X Z Y,Y X Z.
риваемых случайных величин. Это означает
их стохастический изоморфизм. Он в свою 8.8. Рассмотрим последовательность Бер-
очередь обеспечивает нужные равенства для нулли длины N с параметром p . Для нее
условных энтропий. ■ определены случайные величины X , Y , Z ,
Определим коэффициент взаимной ин- равные соответственно числу 1-ц, числу се-
формации равенством рий из 1-ц и максимуму длин таких серий.
I ( X1, , X n ) Для их распределений верны равенства
( X1, , Xn) . P ( X n) C Nn p n (1 p ) N n ,
(n 1) H ( X 1 , , X n )
Cnr 11C Nr
Из теоремы следует, что 0 ( X 1 , , X n ) P (Y r|X n) n 1
,
C Nn
1 . Левое равенство достигается для се-
мейства независимых случайных величин. P( Z k | X n,Y r)
Правое – для семейства стохастически изо- 1 r
морфных. Выражение для коэффициента CN n 1 ( 1)t Crj j 1Crt .
C Nn j tk n
взаимной информации ( X 1 ,..., X n ) отлича- Обозначая выписанные вероятности со-
ется от выражения коэффициента в п. 7.9 ответственно p(x), p x y , p z xy , полу-
при n 2 корнями в знаменателе.
8.7. Пример. Рассмотрим тетраэдр чаем следующие выражения для парных
Бернштейна, у которого есть красная, синяя взаимных информаций:
и зеленая грани, и красно-сине-зеленая y
I ( X ,Y ) p p( x )
грань. Случайный выборе одной из граней n ,r x
тетраэдра описывают случайные величины y
X , Y , Z , равные 1, если на выбранной p p( x )
x
грани есть соответственно красный, синий, lb ,
зеленый цвет, и равные 0 в противном случае. y
p( x ) p p( x )
Отдельные и совместные распределения n x
этих случайных величин описывает таблица z y
0 1 I ( XZ ) p p p( x )
n ,k r xy x
p( X ) 1 ,
1 z y
2 p p p( x )
r xy x
00 01 10 11 lb ,
z y
p( XY ) , p( x ) p p p( x )
1 1 1 1 n ,r xy x
4 4 4 4

100 010 001 111 z y

I (YZ ) p p p( x )
p( XYZ ) . r ,k n xy x
1 1 1 1
4 4 4 4
z y
Легко проверить равенства для энтропий: p p p( x )
n xy x
H ( X ) H (Y ) H ( Z ) 1, lb
z y
H ( XY ) H ( XZ ) H (YZ ) 2, H ( XYZ ) 2. p p p( x )
n ,r xy x
Из указанных равенств, следует, что
 Коэффициенты корреляции и информации 37

Компьютерные вычисления для случай-

ных величин X , Y дают следующую таб-
1 лицу значений энтропии, взаимной информа-
.
z y ции и степени зависимости от длины серии:
p p p( x )
n ,k xy x

N H ( X ,Y ) I ( X ,Y ) I /H
5 3,058157329 0,477325149 0,156082601
10 4,263773642 0,218176722 0,051169865
15 4,917559179 0,128902473 0,026212694
20 5,361868389 0,088804858 0,016562297
25 5,698574847 0,067360554 0,011820597
30 5,970157286 0,054299593 0,009095170
35 6,198046467 0,045545940 0,007348435
40 6,394515148 0,039261528 0,006139876
45 6,567256381 0,034520625 0,005256476
50 6,721422755 0,030810876 0,004583981

Рис. 2. Единицы и 1-серии

Уменьшение зависимости величин X , Y Задача. Вычислить характеристики, ана-

при увеличении длины последовательности
хорошо видно на рис. 2.
При длине двоичной последовательности
N 45 , степень зависимости меньше поло-
вины процента, что позволяет считать их
практически независимыми.
Замечание. Данные определение коэф-
фициента взаимной информации и доказа-
тельство теоремы о взаимной информации
предложил К. М. Соппа в своей дипломной
работе, выполненной в Новосибирском го-
сударственном университете. Ему же при-
надлежат вычисления в примере с длинами
серий.
В связи с этим примером естественно
возникает задача о переносе результатов с
бернулевских последовательностей на мар-
ковские.
логичные рассмотренным в этом примере,
для двоичной марковской последовательности.
Список литературы
Андерсон Д. Дискретная математика и
комбинаторика. М.: Вильямс, 2003.
Грэхэм Р., Кнут Д., Паташник О. Кон-
кретная математика. Основания информати-
ки. М.: Мир, 1998.
Савельев Л. Я. Элементарная теория ве-
роятностей. В 2 кн. Новосибирск, 2005.
Савельев Л. Я. Комбинаторика и вероят-
ность. Новосибирск: Наука, 1975.
Феллер В. Введение в теорию вероятно-
стей и ее приложения. В 2 кн. М.: Мир, 1984.
Яглом А. М., Яглом И. М. Вероятность и
информация. М.: Наука, 1973.

Материал поступил в редколлегию 20.03.2009

38 Л. Я. Савельев

L. Savelev

CORRELATION AND INFORMATION COEFFICIENTS

The basic concepts of the elementary theory of probabilities definitions are given and the coefficients of correlation
and information for measurement of dependence between random variables are described. The coefficient of correlation is
simpler, but it measures only linear dependence and generally is not suitable even for measurement of functional depen-
dence. The coefficient of information is more complex, but it measures any stochastic dependence between variables.
Computer programs allow easily calculate coefficients of information.
Keywords: probability, distribution, integral, correlation, information.