7.2.5.

Взаимная информация

Определяемая равенством (7.5) энтропия дис-

кретного источника сообщений X характеризует ин-
формационные свойства этого источника, т.е. среднее
количество информации, содержащейся в одном эле-
ментарном сообщении (одном символе) этого ансамбля
сообщений с объемом алфавита N . В реальных усло-
виях передача сообщений по каналу связи происходит
при воздействии помех. Помехи искажают сообщения,
вследствие чего они на приемной стороне могут в той
или иной степени отличаться от переданных, т.е. будет
иметь место неполная достоверность передачи.
Пусть передаваемые элементарные сообщения
(символы) на входе канала могут принимать значения
( x1 , x 2 ,..., x N ) с априорными вероятностями, соответ-
ственно, [p(x1 ), p(x 2 ),..., p(x N )] . Принимаемые сообщения
на выходе канала характеризуются совокупностью зна-
чений ( y 1 , y 2 ,..., y M ), где в общем случае M  N . Нали-
чие помех нарушает однозначное соответствие между
передаваемыми и принимаемыми сообщениями. Из-за
случайного характера помех при приеме какого-либо
символа y j невозможно точно сказать, какой символ
был передан. Можно говорить лишь об условной веро-
ятности p( x i / y j ) , определяющей вероятность передачи
символа x i при условии, что был принят символ y j .
Возникает вопрос: какое количество информации
об ансамбле сообщений X дает наблюдение (прием)
ансамбля сообщений Y ? Ранее было введено понятие
об исходной (априорной) неопределенности или абсо-
лютной энтропии H( X) ансамбля сообщений X (7.5) и
условной энтропии H( X / Y) (7.34), которую можно
назвать остаточной неопределенностью (энтропией)
40
ансамбля сообщений X при условии, что уже известны
исходы опыта с множеством сообщений Y . По этой
причине H( X / Y) можно назвать апостериорной не-
определенностью множества X . В общем случае
H( X / Y)  H( X) , то есть знание реализации множества
Y понижает первоначальную (априорную) неопреде-
ленность, или энтропию H( X) . На основании этого
можно ввести информационную характеристику двух
ансамблей X и Y , называемую взаимной информа-
цией между множествами X и Y или количеством ин-
формации, содержащейся в ансамбле Y , относительно
ансамбля X , которая определяется как
I( X, Y)  H( X)  H( X / Y) . (7.39)
Взаимная информация измеряется в тех же еди-
ницах, что и энтропия (бит/символ), и может тракто-
ваться как количество информации, приходящейся в
среднем на один передаваемый по каналу связи сим-
вол.
Сообщение (7.39) можно записать и в несколько
иной формулировке:
I( X, Y)  H apr ( X)  H aps ( X) , (7.40)
где H apr ( X)  H( X) - априорная, т.е. исходная, известная
до начала опыта неопределенность исходов (энтропия)
множества случайных событий X , H aps ( X)  H( X / Y) -
апостериорная неопределенность (энтропия) исходов
событий множества X , остающаяся после получения
результатов исходов множества Y и равная по опре-
делению условной энтропии H( X / Y) .
Можно показать, что взаимная информация об-
ладает свойством взаимной симметрии, т.е. количество
информации, содержащейся в множестве Y относи-
тельно множества X , равно количеству информации,
которое содержит X относительно Y . Другими

41
словами,
I( X, Y)  I(Y, X) . (7.41)
Покажем это. Действительно, исходя из (7.35),
H( X, Y)  H( X)  H(Y / X)  H(Y)  H( X / Y) ,
откуда следует, что
I( X, Y)  H( X)  H( X / Y)  H(Y)  H(Y / X)  I(Y, X) , (7.42)
т.е. имеет место симметрия (7.41). Поэтому можно
пользоваться любым из двух приведенных в (7.42) ва-
риантов расчета I( X, Y)  I(Y, X) .
Подставив в формулу (7.39) выражение H( X / Y)
из (7.33), можно получить еще один возможный вариант
расчета I( X, Y) :
I( X, Y)  H( X)  H( X / Y)  H( X)  [H( X, Y)  H(Y)] 
 H( X)  H(Y)  H( X, Y) . (7.44)
Взаимная информация обладает следующими
свойствами:
1) I( X, Y)  0 , если события множеств X и Y
статистически независимы, т.е. p(x i , y j )  p(x i )p(y j ) для
всех i и j . Это непосредственно следует из формулы
(7.43), поскольку
p( x i , y j ) p( x i )p( y j )
log  log  0.
p( x i )p( y j ) p( x i )p( y j )
Из интуитивных представлений тоже ясно, что если со-
бытия множества Y никак не связаны с появлением
событий множества X , то события множества Y не
несут никакой информации о событиях множества X , и
наоборот.
2) I( X, Y)  0 при зависимости событий множеств
X и Y , что вытекает из выражения (7.39), и учете не-
равенства H( X / Y)  H( X) и H(Y / X)  H(Y) (7.36).
3) I( X, Y)  I max ( X, Y)  H(x) , если события множе-
ства Y достоверно отражают события множества X ,
42
т.е. по реализации Y можно точно восстановить реали-
зацию X , или наоборот. Математически это означает,
что
1, j  i
p( x i / y j )   .
0, j  i
В этом случае H( X / Y)  0 и из (7.39) следует, что
I( X, Y)  H( X) .
4) Взаимная информация обладает свойством
симметрии (7.42).
Если на вход канала передачи поступают от ис-
точника информации сообщения, сформированные из
символов алфавита X  (x1 , x 2 ,..., x N ) , то, как было выше
сказано, энтропия H( X) , измеряемая в (бит/симв.), ха-
рактеризует количество информации, приходящейся в
среднем на один символ алфавита X . Взаимная ин-
формация I( X, Y) ,также измеряемая в (бит/симв.), ха-
рактеризует приходящееся в среднем на один символ
количество информации, содержащейся в принятом с
выхода канала сообщении, сформированном из симво-
лов алфавита Y  (y 1 , y 2 ,..., y M ) , относительно исходно-
го переданного сообщения. Другими словами, I( X, Y) -
это среднее количество информации, переносимой на
приемную сторону одним передаваемым по каналу свя-
зи символом.
При отсутствии помех I( X, Y)  H( X) , поскольку
при этом H( X / Y)  0 . Это максимальное количество
информации, приходящееся в среднем на один символ,
которая может быть получена от источника сообщений.
В общем случае, при наличии помех H( X / Y)  0
и I( X, Y)  H( X) . Поэтому величину H( X / Y)  H( X) 
 I( X, Y) можно назвать удельной потерей информа-

43
ции, т.е. потерей количества информации, приходя-
щейся в среднем на один передаваемый символ
I 1  H( X / Y)  H( X)  I( X, Y) . (7.45)
Если на вход канала передачи поступает сооб-
щение, состоящее из L символов алфавита X , то об-
щее количество информации в этом передаваемом со-
общении
I  ,пер .  L  H( X) , (7.46)
а общее количество принятой взаимной информации
I  ,пр .  L  I( X, Y)  L[H( X)  H( X / Y)] . (7.47)
Следовательно, обусловленная неидеальностью
канала передачи общая величина потерь информации
I   I  ,пер .  I  .пр .  L[H(x)  I( X, Y)]  L  H( X / Y) . (7.48)
Ввиду свойства симметрии взаимной информа-
ции (7.42), общее количество принятой на приеме вза-
имной информации можно рассчитать и по формуле
I  ,пр.  L  I( X, Y)  L  I(Y, X)  L[H(Y)  H(Y / x)] , (7.49)
либо, используя соотношение (7.44), по формуле
I  ,пр .  L[H( X)  H(Y)  H(Y / x)] . (7.50)
Пример 7.5. Некоторый источник дискретных со-
общений имеет алфавит символов X  (x1 , x 2 , x 3 ) , веро-
ятности появления которых p(x1 )  0,7 ; p(x 2 )  0,2 ;
p(x 3 )  0,1 . Канал передачи, на вход которого поступают
сформированные источником сообщения, характеризу-
ется матрицей переходных вероятностей
y1 y 2 y 3
x 1 0,98 0,01 0,01
P( Y / X )   
x 2  0,1 0,75 0,15
x 3  0,2 0,3 0,5 
Требуется рассчитать:

44
 а) количество информации в сформированном
источником сообщении длиной L  1000 символов;
б) количество принятой информации;
в) величину информационных потерь при пере-
даче этого сообщения.
Решение. а) Количество информации в сообще-
нии длиной в L символов, поступившем от источника
на вход канала передачи, определяется соотношением
(7.446), где H( X) – энтропия источника, определяемая
по формуле (7.5), равна:
N
H( X)    p( x i ) logp( x i )  (0,7 log 0,7  0,2 log 0,2  0,1 log 0,1) 
i 1

 0,3602  0,4644  0,3322  1,1568 бит/симв.

Следовательно, в соответствии с (7.46), количе-
ство информации в переданном сообщении
I  ,пер .  L  H( X)  1000  1,1568  1156,8 бит.
б) Количество информации в принятом сообще-
нии можно определить с помощью соотношения (7.49),
для чего предварительно должны быть рассчитаны
значения H(Y / X) и H( Y) .
Энтропия множества выходных символов
Y  (y 1 , y 2 , y 3 ) определяется по формуле (7.5):
M
H( Y)    p( y j ) logp( y j ) ,
j1

где вероятности выходных символов p( y j ) можно рас-

считать по известным значениям p( x i ) и элементам
матрицы P(Y / X) по формуле (7.24):
N
p( y j )   p( x i )p( x / y ) .
i 1
В результате получаем:
p(y 1 )  p(x1 )p(y 1 / x1 )  p(x 2 )p(y 1 / x 2 )  p(x 3 )p(y 1 / x 3 ) 

45
  0,7  0,98  0,2  0,1  0,1  0,2  0,726 ;
p(y 2 )  p(x1 )p(y 2 / x1 )  p(x 2 )p(y 2 / x 2 )  p(x 3 )p(y 2 / x 3 ) 
 0,7  0,01  0,2  0,75  0,1  0,3  0,187 ;
p(y 3 )  p(x1 )p(y 3 / x1 )  p(x 2 )p(y 3 / x 2 )  p(x 3 )p(y 3 / x 3 ) 
 0,7  0,01  0,2  0,15  0,1  0,5  0,087 .
Отсюда следует, что энтропия выходного множе-
ства
H(Y)  (0,726  log 0,726  0,187  log 0,187  0,087  log 0,087) 
 1,095 бит/смв.
Условная энтропия множества Y по множеству
X может быть рассчитана по формуле (7.31):
N M
H( Y / X)    p( x i ) p( y j / x i ) log p( y j / x i ) 
i 1 j1

 [0,7(0,98  log 0,98  2  0,01  log 0,01) 

 0,2(0,1  log 0,1  0,75  log 0,75  0,15  log 0,15) 
 0,1(0,2  log 0,2  0,3  log 0,3  0,5  log 0,5)]  0,465 бит/симв.

Следовательно, в соответствии с (7.49), взаим-

ная энтропия I( X, Y) равна

I( X, Y)  I(Y, X)  H(Y)  H(Y / X) 

1,095  0,465  0,63 бит/симв.,
I   I  ,пер .  I  ,пр .  1156,8  630  526,8 бит,

а общее количество взаимной информации в принятом

сообщении

I  ,пр .  L  I( X, Y)  1000  0,63  630 бит.

в) Величина информационных потерь при пере-

даче этого сообщения равна

46
 I   I  ,пер .  I  ,пр .  1156,8  630  526,8 бит.

H( X)  H( X / Y) H( Y)  H( Y / X)

а) H( X, Y)  H( X)  H( Y)
I( X, Y)  H( X)  H( X / Y)  H( Y)  H( Y / X)  0

H( X) H( Y)

H( X / Y) H( Y / X)

H( X, Y)
б)
I ( X, Y )  H ( X )  H ( X / Y )  H ( Y )  H ( Y / X ) 
 H ( X )  H ( Y )  H ( X, Y )  0
Рисунок 7.4. Геометрическая иллюстрация информа-
ционных характеристик двух множеств случайных событий
Xи Y:
а) множества X и Y статистически независимы;
б) множества X и Y статистически взаимосвязаны.

Для лучшего понимания соотношений, описыва-

ющих взаимосвязь между абсолютными энтропиями
множеств событий H( X) и H( Y) , условными энтропия-
ми H( X / Y) и H(Y / X) , энтропией объединения H( X, Y)
47
и взаимной информацией I( X, E) , полезной является
геометрическая интерпретация формул (7.21), (7.33),
(7.35)…(7.37), (7.39)…(7.42), (7.44), представленная на
рисунке 7.4.

48