Вы находитесь на странице: 1из 38

Лингвистическая ТИ

Краткий конспект лекции


Тема 3. Энтропия

1. Энтропия
2. Непрерывные случайные величины
3. Дифференциальная энтропия
Практикум
1. Энтропия
 Свойство 1. Энтропия – вещественная и неотрицательная величина: H(U) ≥ 0.
 Свойство 2. Для произвольного источника информации значение энтропии
удовлетворяет неравенству H(U) ≥ log N, где N – объем алфавита источника,
при этом max H(U) = log N для случая n равновероятных исходов (pi = 1/n).

Объединением источников сообщений U и Z с объемами алфавита N и M


соответственно понимают обобщенный источник сообщений U,Z,
характеризуемый совместными вероятностями P(Ui,Zj) всех возможных
комбинаций, выбираемых из алфавита размерностью N*M.

 Свойство 3 (свойство аддитивности энтропии). Энтропия объединения


нескольких независимых источников сообщений равна сумме их исходных
значений энтропии:
1. Энтропия
Условная энтропия и взаимная информация.
Пусть U и Z не являются независимыми (т.е. исход источника U влияет на
результат опыта Z).
Тогда
После подстановки в выражение для энтропии получим:
1. Энтропия

- частная условная энтропия источника Z с учетом


реализации исхода Ui;

- полная условная энтропия источника Z по


отношению к источнику U.

Условная энтропия источника Z по отношению к источнику U представляет собой


среднее количество информации, даваемое сообщением источника U при условии, что
сообщение источника Z уже известно.
1. Энтропия
Для условной энтропии источника справедливо:

 условная энтропия = 0, когда по сообщению источника U возможно точно


определить сообщение источника Z;
 условная энтропия = H(Z), когда источники U и Z независимы (знание
реализации U ничего не говорит о реализации Z).

В общем случае знание реализации U снижает первоначальную


неопределенность Z.
1. Энтропия
Взаимная информация – количество информации, содержащееся в U
относительно Z:
1. Энтропия
Свойства взаимной информации:
 Взаимная информация неотрицательна: .
Она равна нулю только в том случае, когда Z и U независимы.
 Взаимная информация симметрична:

 Количество взаимной информации для двух источников всегда не больше


энтропии любого из этих источников:

Равенство имеет место, когда по реализации U возможно точно


восстановить реализацию Z и наоборот.
 Энтропия источника является собственной информацией о самом себе:
1. Энтропия
Пусть Z – ансамбль дискретного сообщения,
U – ансамбль дискретных сигналов, в которые преобразуется
сообщение Z.
Тогда
преобразование Z в U обратимо (т.е. однозначно).

- потеря информации или надежность


преобразования Z в U.

- энтропия шума преобразования или ложная


информация, создаваемая при преобразовании.
2. Непрерывные случайные величины
Пусть X непрерывна и принимает любое значение на интервале [xmin;
xmax], ее статистической характеристикой служит интегральный закон
распределения или функция распределения вероятностей:

Свойства:

Если функция F(x) является дифференцируемой, то использую т.н.


дифференциальный закон распределения или закон распределения
плотности вероятности:
Свойства:
2. Непрерывные случайные величины
Моменты распределения, характеризующие распределение случайных
величин относительно нуля, называются начальными.
Момент k-го порядка:

Математическое ожидание (момент 1-го порядка):


- отклонение.

Моменты распределения отклонений случайной величины называются


центральными.
Они отображают разброс случайной величины относительно среднего
значения. Обозначаются

Дисперсия: Среднее квадратическое отклонение:


2. Непрерывные случайные величины
Нормальное (гауссово) распределение:
3. Дифференциальная энтропия
Для обобщения формулы Шеннона для энтропии на случай непрерывного
источника разобьем интервал возможных состояний случайной величины X на
равные непересекающиеся отрезки x и рассмотрим множество дискретных
состояний x1,x2,…,xm с вероятностями Pi=p(xi)x.

дифференциальная приведенная
энтропия энтропия
3. Дифференциальная энтропия
Свойства:
 При наличии для случайной величины X единственного ограничения – области
ее возможных значений [,], максимальной дифференциальной энтропией
обладает равномерное распределение вероятностей в этой области:

 Если ограничения на область значений непрерывной случайной величины X


отсутствуют, но известно, что дисперсия ее ограничена, то максимальной
дифференциальной энтропией обладает нормальное распределение:

 Свойство аддитивности.
//аналогично свойству аддитивности энтропии дискретных источников
Практикум
Пример 1. По каналу связи с помехами передается одна из двух команд управления
в виде 11111 и 00000, вероятности передачи этих команд соответственно равны 0,7
и 0,3. Вероятность правильного приема каждого из символов 0 и 1 равна 0,6.
Символы искажаются помехами независимо друг от друга. На выходе канала имеем
кодовую комбинацию 10110. Определить какая комбинация была передана.

Решение. Пусть событие А состоит в приеме комбинации 10110. Это событие


может произойти в совокупности с событием В1 (передавалась комбинация 11111)
и событием В2 (передавалась комбинация 00000). При этом Р(В1)=0,7, а Р(В2)=0,3.

Условная вероятность приема комбинации 10110 при условии, что


передавалась команда 11111 равна
P(A/В1)=P(1/1)∙P(0/1)∙P(1/1)∙P(1/1)∙P(0/1),
где P(1/1)=0,6, P(0/1)=1- P(1/1)=0,4
P(A/В1)=0,6∙0,4∙0,6∙0,6∙0,4=0,035.
Практикум
По формуле полной вероятности:
Р(А)=Р(В1)Р(А/В1)+Р(В2)Р(А/В2)=0,7∙0,035+0,3∙0,023=0,0314.
По формуле Байеса:
P(В1/А) = Р(В1)Р(А/В1)/Р(А)=0,78,
P(В2/А) = Р(В2)Р(А/В2)/Р(А)=0,22.
Сравнивая найденные результаты, заключаем, что более вероятна передача
команды 11111.
Практикум
Пример 2. По двоичному каналу связи с помехами передаются цифры 1 и 0 с
вероятностями p1=p2=0.5. Вероятность перехода единицы в единицу и нуля в нуль
соответственно равны Р(1/1)=p, Р(0/0)=q. Определить закон распределения
вероятностей случайной величины Х – однозначного числа, получаемого на
приемной стороне.
Решение. Х=0 на приемной стороне можно получить при передаче нуля или
единицы. Р(В1)=0,5 – вероятность передать ноль, Р(В2)=0,5 – вероятность передать
единицу.
Формула полной вероятности:
P(A)=P(X=0)= P(В1)Р(А/В1)+Р(В2)Р(А/В2)=Р(«0»)∙Р(0/0)+P(«1»)∙P(0/1)=
=0,5∙q+0,5∙(1-p)=0,5(q+1-p),
где P(0/1)=1-P(1/1)=1-p.
Практикум
Аналогично Х=1 на приемной стороне можно получить при передаче нуля или
единицы.
Формула полной вероятности:
P(C)=P(X=1)= P(В1)Р(С/В1)+Р(В2)Р(С/В2)=Р(«0»)∙Р(1/0)+P(«1»)∙P(1/1)=
=0,5∙(1-q)+0,5∙p=0,5(p+1-q),
где P(1/0)=1-P(0/0)=1-q.
Распределение вероятностей удобно представить в виде таблицы:

Проверка:
P(X=0)+ P(X=1)= 0,5(q+1-p)+ 0,5(p+1-q)=1.
Практикум
Пример 3. Определить энтропию сообщения из 5 букв, если число букв в алфавите
равно 32 и все сообщения равновероятны.
Энтропия - среднее количество информации
на 1 бит информационного сообщения

Решение.
Общее число пятибуквенных сообщений равно N=32^5.

Энтропия для равновероятных сообщений по формуле Хартли:


Практикум
Пример 4. Имеются два источника информации, алфавиты и распределения
вероятностей которых заданы матрицами:

Определить, какой источник дает большее количество информации, если:

Энтропия - среднее количество информации


на 1 бит информационного сообщения

Решение. Случай 1) при равновероятном распределении воспользуемся формулой


Хартли:

Следовательно, источник с тремя символами дает большее количество


информации.
Практикум
Случай 2).
По условию имеем:

Поскольку:
Практикум
Пример 5. Найти энтропию шума H(Y/X) в двоично-симметричном канале без
памяти, если энтропия источника на входе канала H(X)=3400 бит, энтропия
ансамбля на выходе канала H(Y)=6800 бит, а ненадежность канала H(X/Y)=700
бит.

Пример.
Практикум
Пример 6. Дана матрица:

Определить: Н(Х), Н(Y), H(X/Y), H(Y/X ), H(X,Y), I(X,Y).

Решение.
Практикум
Практикум
Практикум
Пример 7.

Решение.
Практикум
Практикум
Пример 8. Имеются два ящика, в каждом из которых лежит по 12 шаров. В первом
– 3 белых, 3 черных и 6 красных; во втором – каждого цвета по 4. Опыты состоят в
вытаскивании по одному шару из каждого ящика. Что можно сказать относительно
неопределенностей исходов этих опытов?

Решение. По определению энтропия для каждого из опытов равна:

Поскольку Н(B) > H(A), неопределенность исхода в опыте B выше и,


следовательно, предсказать его можно с меньшей долей уверенности, чем исход
опыта A.
Практикум
Пример 9. Определить общую условную энтропию дискретного канала связи, если
задана матрица объединения:

Решение. Вычисляем вероятности появления символов на входе источника p(ai) и


вероятности появления символов на входе приемника p(bj).
Практикум
Определяем условные вероятности:
Практикум
Находим общую условную энтропию H(A/B) и общую условную энтропию H(B/A)
Практикум
Пример 10. Канал связи описан следующей канальной матрицей

Найти среднее количество информации, которое переносится одним символом


сообщения, если вероятности появления символов источника сообщений равны
p(x1)=0.7, p(x2)=0/2, p(x3)=0.1.

Решение. Среднее количество информации – это энтропия. ПО определению


энтропия источника сообщений равна:
Практикум
Пример 11. Рассчитать энтропию ансамбля, связанного с получением случайного
числа, равного сумме чисел, полученных при бросании двух тетраэдров.

Решение. Тетраэдр — правильная треугольная пирамида с четырьмя гранями, на


которые нанесены числа от 1 до 4. При бросании двух тетраэдров все возможные
сочетания выпавших очков и суммы этих очков при каждом сочетании можно
свести в следующую таблицу:
Практикум
В ансамбль возможных реализаций включаем все полученные семь сумм выпавших
очков с вероятностями получения этих сумм:

По определению энтропия (в битах) равна:


Практикум
Пример 12. Определить энтропию случайных величин равномерно
распределенной на интервале с шириной ε = β − α.

Решение. Из условия задачи вытекает, что плотность вероятности W(x)=1/ε, а


энтропия такого источника:
Практикум
Пример 13. Вычислить дисперсию равномерного распределения на интервале (α,β)
.

Решение. На основании определения дисперсии имеем:


Практикум
 
Пример 14. Найти дифференциальную энтропию нормального случайного
процесса с дисперсией .

Решение. Плотности вероятности нормального случайного процесса:


Практикум
 
Используя при подстановке свойства логарифма log(A*B)=log(A)+log(B) и
log()=B*log(А), получим:

 По определению, интеграл в бесконечных пределах от любой плотности


распределения вероятностей равен единице; а второй интеграл есть
дисперсия случайного процесса или . Поэтому:

Оценить