Задание 1.

Расчет энтропии информационной последовательности Каждому студенту

необходимо взять в качестве информационной последовательности свои
ФИО (Таблицу частот встречаемости символов русского алфавита выбрать
самостоятельно и прикрепить к ответу вместе с решением) и выполнить
следующее:
рассчитать количество информации, содержащейся в данной
информационной последовательности;
рассчитать количество информации, необходимой для кодирования данной
последовательности с помощью равномерных кодов
Решение
Мои ФИО:
Дьячук Александр Александрович
Таблица встречаемости символов русского алфавита (рис.1):
Рис. 1. Частотность встречаемости символов русского алфавита
Встречающиеся в последовательности моих ФИО:
Д – 0,02977 (2,977%)
Ь – 0,01735 (1,735%)
Я – 0,02001 (2,001%)
Ч – 0,0145 (1,45%)
У – 0,02615 (2,615%)
К – 0,03486 (3,486%)
1
А – 0,07998 (7,998%)
Л – 0,04343 (4,343%)
Е – 0,08483 (8,483%)
С – 0,05473 (5,473%)
Н – 0,067 (6,7%)
Р – 0,04746 (4,746%)
О – 0,10983 (10,983%)
В – 0,04533 (4,533%)
И – 0,07367 (7,367%)
Повторяющиеся символы и их частота встречаемости:
Д (3); К(3); А(4); Л(2); Е(2); С(2); Н(2); Р(2)
Сперва нужно вычислить количество информации по формуле:
1
I = ∑ log 2 Pi , где Pi – вероятность события, I – количество информации

Так как события встречи букв независимы – требуется использование не

информационной энтропии, а свойства аддитивности частной энтропии по
каждому элементу.
1 1 1 1 1
I = 3∗log2 0,02977 + log2 0,01735 + log2 0,02001 + 2∗log 2 0,0145 + log 2 0,02615 +
1 1 1 1 1
3∗log 2
0,03486
+ 4∗log 2
0,07998
+ 2∗log 2
0,04343
+ 2∗log 2
0,08483
+ 2∗log 2
0,05473
+
1 1 1 1 1
2∗log 2
0,067
+ 2∗log 2
0,04746
+ log 2
0,10983
+ log 2
0,04533
+ log 2
0,07367
≈ 34,27 +
29,736 + 14,576 + 53,362 ≈ 131,944 бит
Далее требуется найти количество информации для кодировки равномерных
кодов. Всего в русском алфавите 33 буквы. В таком случае подсчёт
количества информации для одного символа сводится к нахождению:
I = log 2 33=5,044 , округление в большую сторону, т.к. требуется запас по
памяти. Количество информации на один символ – I = 6 бит
В информационном сообщении моих ФИО содержится 28 символов
Количество информации:
I = 28 * 6 бит = 168 бит
Ответ: 1. I =131,944 бит; 2. I = 168 бит
2
Задание 2.
Необходимо построить дерево Хаффмана для русского алфавита. Таблицу
частот встречаемости символов русского алфавита выбрать самостоятельно и
прикрепить к ответу вместе с решением.
Частота встречаемости символов русского алфавита:

1. 13(Ё) + 37(Ъ) = 50(ЁЪ)

2. 267(Ф) + 50(ЁЪ) = 317(ФЁЪ)
3. 317(ФЁЪ) + 331(Э) = 648(ФЁЪЭ)
4. 361(Щ) + 486(Ц) = 847(ЩЦ)
5. 648(ФЁЪЭ) + 639(Ю) = 1287(ФЁЪЭЮ)
3
6. 847(ЩЦ) + 718(Ш) = 1565(ЩЦШ)
7. 940(Ж) + 966(Х) = 1906(ЖХ)
8. 1287(ФЁЪЭЮ) + 1208(Й) = 2495(ФЁЪЭЮЙ)
9. 1450(Ч) + 1565(ЩЦШ) = 3015(ЧЩЦШ)
10.2495(ФЁЪЭЮЙ) + 1592(Б) = 4087(ФЁЪЭЮЙБ)
11.1641(З) + 1906(ЖХ) = 3547(ЗЖХ)
12.3015(ЧЩЦШ) + 1687(Г) = 4702(ЧЩЦШГ)
13.3547(ЗЖХ) + 1735(Ь) = 5282(ЗЖХЬ)
14.4087(ФЁЪЭЮЙБ) + 1898(Ы) = 5985(ФЁЪЭЮЙБЫ)
15.2001(Я) + 4702(ЧЩЦШГ) = 6703(ЯЧЩЦШГ)
16.2615(У) + 2804(П) = 5419(УП)
17.5282(ЗЖХЬ) + 2977(Д) = 8259(ЗЖХЬД)
18.5985(ФЁЪЭЮЙБЫ) + 3203(М) = 9188(ФЁЪЭЮЙБЫМ)
19.6703(ЯЧЩЦШГ) + 3486(К) = 10189(ЯЧЩЦШГК)
20.5419(УП) + 4343(Л) = 9762(УПЛ)
21.4533(В) + 8259(ЗЖХЬД) = 12792(ВЗЖХЬД)
22.4746(Р) + 5473(С) = 10219(РС)
23.9188(ФЁЪЭЮЙБЫМ) + 6318(Т) = 15506(ФЁЪЭЮЙБЫМТ)
24.10189(ЯЧЩЦШГК) + 6700(Н) = 16889(ЯЧЩЦШГКН)
25.9762(УПЛ) + 7367(И) = 17129(УПЛИ)
26.12792(ВЗЖХЬД) + 7998(А) = 20790(ВЗЖХЬДА)
27.15506(ФЁЪЭЮЙБЫМТ) + 8483(Е) = 23989(ФЁЪЭЮЙБЫМТЕ)
28.10219(РС) + 10983(О) = 21202(РСО)
29.16889(ЯЧЩЦШГКН) + 17129(УПЛИ) = 34018(ЯЧЩЦШГКНУПЛИ)
30.20790(ВЗЖХЬДА) + 21202(РСО) = 41992(ВЗЖХЬДАРСО)
31.34018(ЯЧЩЦШГКНУПЛИ) + 23989(ФЁЪЭЮЙБЫМТЕ) =
58007(ЯЧЩЦШГКНУПЛИФЁЪЭЮЙБЫМТЕ)
32.58007(ЯЧЩЦШГКНУПЛИФЁЪЭЮЙБЫМТЕ) +
41992(ВЗЖХЬДАРСО) =
99999(ЯЧЩЦШГКНУПЛИФЁЪЭЮЙБЫМТЕВЗЖХЬДАРСО)
o е а и н т с р в л к м д п у я ы ь г з б ч й х ж шю ц щэ ф ъ ё
1 1 1 1 1 1 1 0 0 1 1 1 1 1 0 0 1 1 1 0 1 0 1 1 0 1 1 1 0 1 0 1 0
1 1 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 1 1 1 0 0 0 0 0 1 1
1 0 1 0 0 1 1 1 0 1 0 0 0 0 0 0 0 1 0 0 0 1 0 0 0 0 0 1 1 0 0 0 0
0 0 0 1 1 1 0 0 1 0 1 1 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0
0 0 0 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 1 1 0 0 0 0
0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0
0 1 0 0 1 0 0 0 0 0 0 0 0 0 0
0 0 1 1 0 1 0 0 0 0 0 0
0 0 0 0 1 0 0 0
0 0 0 1 0 0
4
 0 1 1
0 0
О – 111
Е – 011
А – 101
И – 0011
Н – 0001
Т – 0101
С – 1101
Р – 1100
В – 1000
Л – 00101
К – 00001
М – 01001
Д – 10011
П – 001001
У – 001000
Я – 000000
Ы – 010001
Ь – 100101
Г – 0000011
З – 1001000
Б – 0100001
Ч – 00000100
Й – 01000001
Х – 10010011
Ж – 10010010
Ш – 000001011
Ю – 010000001
5
Ц – 0000010101
Щ – 0000010100
Э – 0100000001
Ф – 01000000000
Ъ – 010000000011
Ё – 010000000010

Задание 3.
Вариант 9
Распределение условных
вероятностей
y1 y2 y3 y4 y5
x1 2/7 5/7 0 0 0
x2 0 7/9 0 0 2/9
x3 0 0 3/16 7/16 6/16
x4 7/15 0 0 8/15 0
x5 2/9 0 2/9 1/9 4/9
Распределение вероятностей над входным
алфавитом
x1 x2 x3 x4 x5
p(x) 8/19 1/19 2/19 7/19 1/19
Решение:
1. Сперва нужно нарисовать дискретный канал связи без памяти и
расставить стрелками связи входного и выходного алфавитов:

6
X1 Y1
X2 Y2
X3 Y3
X4 Y4
X5 Y5

2.
Сперва нужно рассчитать совместную вероятность по формуле, чтобы
заполнить таблицу совместной вероятности.
Формула совместной вероятности:
𝑃𝑥𝑦(𝑥𝑖 , 𝑦𝑖) = 𝑃(𝑥𝑖) ∗ 𝑃(𝑦𝑖 |𝑥𝑖)
8 2 16
𝑃𝑥𝑦(𝑥1 , 𝑦1) = 19 * 7 = 133

8 5 40
𝑃𝑥𝑦(𝑥1 , 𝑦2) = 19 * 7 = 133

8 0
𝑃𝑥𝑦(𝑥1 , 𝑦3) = 19 * 1 = 0

8 0
𝑃𝑥𝑦(𝑥1 , 𝑦4) = 19 * 1 = 0

8 0
𝑃𝑥𝑦(𝑥1 , 𝑦5) = 19 * 1 = 0

1 0
𝑃𝑥𝑦(𝑥2 , 𝑦1) = 19 * 1 = 0

1 7 7
𝑃𝑥𝑦(𝑥2 , 𝑦2) = 19 * 9 = 171

1 0
𝑃𝑥𝑦(𝑥2 , 𝑦3) = 19 * 1 = 0

1 0
𝑃𝑥𝑦(𝑥2 , 𝑦4) = 19 * 1 = 0

7
 1 2 2
𝑃𝑥𝑦(𝑥2 , 𝑦5) = 19 * 9 = 171

2 0
𝑃𝑥𝑦(𝑥3 , 𝑦1) = 19 * 1 = 0

2 0
𝑃𝑥𝑦(𝑥3 , 𝑦2) = 19 * 1 = 0

2 3 3
𝑃𝑥𝑦(𝑥3 , 𝑦3) = 19 * 16 = 152

2 7 7
𝑃𝑥𝑦(𝑥3 , 𝑦4) = 19 * 16 = 152

2 6 3
𝑃𝑥𝑦(𝑥3 , 𝑦5) = 19 * 16 = 76

7 7 49
𝑃𝑥𝑦(𝑥4 , 𝑦1) = 19 * 15 = 285

7 0
𝑃𝑥𝑦(𝑥4 , 𝑦2) = 19 * 1 = 0

7 0
𝑃𝑥𝑦(𝑥4 , 𝑦3) = 19 * 1 = 0

7 8 56
𝑃𝑥𝑦(𝑥4 , 𝑦4) = 19 * 15 = 285

7 0
𝑃𝑥𝑦(𝑥4 , 𝑦5) = 19 * 1 = 0

1 2 2
𝑃𝑥𝑦(𝑥5 , 𝑦1) = 19 * 9 = 171

1 0
𝑃𝑥𝑦(𝑥5 , 𝑦2) = 19 * 1 = 0

1 2 2
𝑃𝑥𝑦(𝑥5 , 𝑦3) = 19 * 9 = 171

1 1 1
𝑃𝑥𝑦(𝑥5 , 𝑦4) = 19 * 9 = 171

1 4 4
𝑃𝑥𝑦(𝑥5 , 𝑦5) = 19 * 9 = 171

Распределение совместных
вероятностей
y1 y2 y3 y4 y5

x1 16/133 40/133 0 0 0

x2 0 7/171 0 0 2/171

8
x3 0 0 3/152 7/152 3/76

x4 49/285 0 0 56/285 0

x5 2/171 0 2/171 1/171 4/171

Чтобы получить вероятность каждого события y, нужно просуммировать

столбцы таблицы.
Вероятность каждого события y:
1819
P(y1) = 5985

409
P(y2) = 1197

43
P(y3) = 1368

1699
P(y4) = 6840

17
P(y5) = 228

1819 409 43 1699 17

+ + + +
5985 1197 1368 6840 228
= 1, значит – расчёты верны

Для расчёта взаимной информации требуется знать энтропию события и

энтропию события относительно другого события. Для вычислений
воспользуемся y.
Формула энтропии по Шеннону:
𝐻(𝑦) = − ∑ 𝑃(𝑦𝑖) ∗ log 2 P(Y i).
1819 1819 409 409 43 43 1699 1699
H(y) = − ( 5985 log 2 5985 + 1197 log 2 1197 + 1368 log 1368 + 6840 log 2 6840 +
2
17 17
log 2 ) = 0,52214569757727652464494569757728 +
228 228
0,52927401837928153717627401837928 +
0,15691228070175438596491228070175 +
0,49901915204678362573099415204678 +
0,27923245614035087719298245614035 =
1,9865836048454469507101086048454 бит
Энтропия события y относительно события x:
𝐻(𝑦|𝑥) = − ∑ ∑ 𝑃𝑥𝑦(𝑥𝑖 , 𝑦𝑗) ∗ log 2 P(YjXi)

9
𝐻(𝑦|𝑥) = − (
16 2 40 5 7 7 2 2 3 3 7 7 3 6 49 7
log 2 + log 2 + log 2 + log 2 + log 2 + log + log 2 + log +
133 7 133 7 171 9 171 9 152 16 152 2 16 76 16 285 2 15
) = 0,21738345864661654135338345864662 +
0,14586466165413533834586466165414 +
0,01485964912280701754385964912281 +
0,02538011695906432748538011695906 +
0,04766447368421052631578947368421 +
0,05494078947368421052631578947368 +
0,05585526315789473684210526315789 +
0,18912280701754385964912280701754 +
0,17821754385964912280701754385965 +
0,02538011695906432748538011695906 +
0,02538011695906432748538011695906 +
0,01853801169590643274853801169591 +
0,02736842105263157894736842105263 =
1,0259554302422723475355054302423 бит
Формула взаимной информации:
𝐼(𝑥, 𝑦) = 𝐻(𝑦) − 𝐻(𝑦|𝑥).
𝐼(𝑥, 𝑦) = 1,9865836048454469507101086048454 бит -
1,0259554302422723475355054302423 =
0,96062817460317460317460317460318 бит

3. Другое распределение данных:

Распределение вероятностей над входным
алфавитом
x1 x2 x3 x4 x5
p(x) 1/8 2/8 1/8 3/8 1/8
4. Решение:
Формула совместной вероятности:
𝑃𝑥𝑦(𝑥𝑖 , 𝑦𝑖) = 𝑃(𝑥𝑖) ∗ 𝑃(𝑦𝑖 |𝑥𝑖)
1 2 1
𝑃𝑥𝑦(𝑥1 , 𝑦1) = 8 * 7 = 28

1 5 5
𝑃𝑥𝑦(𝑥1 , 𝑦2) = 8 * 7 = 56

10
 1 0
𝑃𝑥𝑦(𝑥1 , 𝑦3) = 8 * 1 = 0

1 0
𝑃𝑥𝑦(𝑥1 , 𝑦4) = 8 * 1 = 0

1 0
𝑃𝑥𝑦(𝑥1 , 𝑦5) = 8 * 1 = 0

2 0
𝑃𝑥𝑦(𝑥2 , 𝑦1) = 8 * 1 = 0

2 7 7
𝑃𝑥𝑦(𝑥2 , 𝑦2) = 8 * 9 = 36

2 0
𝑃𝑥𝑦(𝑥2 , 𝑦3) = 8 * 1 = 0

2 0
𝑃𝑥𝑦(𝑥2 , 𝑦4) = 8 * 1 = 0

2 2 1
𝑃𝑥𝑦(𝑥2 , 𝑦5) = 8 * 9 = 18

1 0
𝑃𝑥𝑦(𝑥3 , 𝑦1) = 8 * 1 = 0

1 0
𝑃𝑥𝑦(𝑥3 , 𝑦2) = 8 * 1 = 0

1 3 3
𝑃𝑥𝑦(𝑥3 , 𝑦3) = 8 * 16 = 128

1 7 7
𝑃𝑥𝑦(𝑥3 , 𝑦4) = 8 * 16 = 128

1 6 3
𝑃𝑥𝑦(𝑥3 , 𝑦5) = 8 * 16 = 64

3 7 21
𝑃𝑥𝑦(𝑥4 , 𝑦1) = 8 * 15 = 120

3 0
𝑃𝑥𝑦(𝑥4 , 𝑦2) = 8 * 1 = 0

3 0
𝑃𝑥𝑦(𝑥4 , 𝑦3) = 8 * 1 = 0

3 8 3
𝑃𝑥𝑦(𝑥4 , 𝑦4) = 8 * 15 = 15

3 0
𝑃𝑥𝑦(𝑥4 , 𝑦5) = 8 * 1 = 0

1 2 1
𝑃𝑥𝑦(𝑥5 , 𝑦1) = 8 * 9 = 36

11
 1 0
𝑃𝑥𝑦(𝑥5 , 𝑦2) = 8 * 1 = 0

1 2 1
𝑃𝑥𝑦(𝑥5 , 𝑦3) = 8 * 9 = 36

1 1 1
𝑃𝑥𝑦(𝑥5 , 𝑦4) = 8 * 9 = 72

1 4 1
𝑃𝑥𝑦(𝑥5 , 𝑦5) = 8 * 9 = 18

Распределение совместных
вероятностей
y1 y2 y3 y4 y5

x1 1/28 5/56 0 0 0

x2 0 7/36 0 0 1/18

x3 0 0 3/128 7/128 3/64

x4 21/120 0 0 3/15 0

x5 1/36 0 1/36 1/72 1/18

Вероятность каждого события y:

601
P(y1) = 2520

143
P(y2) = 504

59
P(y3) = 1152

1547
P(y4) = 5760

91
P(y5) = 576

601 143 59 1547 91

+ + + +
2520 504 1152 5760 576
= 1, значит – расчёты верны

Формула энтропии по Шеннону:

𝐻(𝑦) = − ∑ 𝑃(𝑦𝑖) ∗ log 2 P(Y i).

12
 601 601 143 143 59 59 1547 1547
H(y) = − ( 2520 log 2 2520 + 504 log 2 504 + 1152 log 1152 + 5760 log2 5760 +
2
91 91
log 2 ) = 0,49320158730158730158730158730159 +
576 576
0,5155376984126984126984126984127 +
0,21955989583333333333333333333333 +
0,50948940972222222222222222222222 +
0,42055902777777777777777777777778 =
2,1583476190476190476190476190476 бит
Энтропия события y относительно события x:
𝐻(𝑦|𝑥) = − ∑ ∑ 𝑃𝑥𝑦(𝑥𝑖 , 𝑦𝑗) ∗ log 2 P(YjXi)
𝐻(𝑦|𝑥) = − (
1 2 5 5 7 7 1 2 3 3 7 7 3 6 21 7 3
log2 + log 2 + log 2 + log 2 + log 2 + log + log 2 + log + lo
28 7 56 7 36 9 18 9 128 16 128 2 16 64 16 120 2 15 15
) = 0,06453571428571428571428571428571 +
0,04330357142857142857142857142857 +
0,07058333333333333333333333333333 +
0,12055555555555555555555555555556 + 0,0566015625 + 0,0652421875 +
0,0331640625 + 0,1925 + 0,1814 + 0,06027777777777777777777777777778 +
0,06027777777777777777777777777778 +
0,04402777777777777777777777777778 + 0,065 =
1,0574693204365079365079365079365 бит
Формула взаимной информации:
𝐼(𝑥, 𝑦) = 𝐻(𝑦) − 𝐻(𝑦|𝑥).
𝐼(𝑥, 𝑦) = 2,1583476190476190476190476190476 бит -
1,0574693204365079365079365079365 бит =
1,1008782986111111111111111111111 бит
5. Пропускная способность канала связи(C):
C = max(I(x,y))
Выборка из двух опытов не может оказаться объективно верной, но
исходя из вычислений пропускная способность канала связи не менее
1,1008782986111111111111111111111 бит.
Вывод: Домашняя контрольная работа позволила полностью закрепить
материал нахождения энтропии информационной последовательности и
расчёта информационного канала связи без памяти. Также было освоено
построение дерева Хаффмана по заданным частотам встречаемости.
Список литературы:
13
https://edu.hse.ru/course/view.php?id=120590 – Лекции
https://drive.google.com/drive/folders/1L4Ji-45YEBAHG3pQf0A-
76SUyOjWy6gG - Лекции
https://microelectronica.pro/wp-content/uploads/books/digital-design-and-
computer-architecture-russian-translation.pdf - Харрис и Харрис. Цифровая
схемотехника

14