Задание 2.

Частота встречаемости символов русского алфавита:

1. 13(Ё) + 37(Ъ) = 50(ЁЪ)

2. 267(Ф) + 50(ЁЪ) = 317(ФЁЪ)
3. 317(ФЁЪ) + 331(Э) = 648(ФЁЪЭ)
4. 361(Щ) + 486(Ц) = 847(ЩЦ)
5. 648(ФЁЪЭ) + 639(Ю) = 1287(ФЁЪЭЮ)
6. 847(ЩЦ) + 718(Ш) = 1565(ЩЦШ)
7. 940(Ж) + 966(Х) = 1906(ЖХ)
8. 1287(ФЁЪЭЮ) + 1208(Й) = 2495(ФЁЪЭЮЙ)
9. 1450(Ч) + 1565(ЩЦШ) = 3015(ЧЩЦШ)
10. 2495(ФЁЪЭЮЙ) + 1592(Б) = 4087(ФЁЪЭЮЙБ)
11. 1641(З) + 1906(ЖХ) = 3547(ЗЖХ)
12. 3015(ЧЩЦШ) + 1687(Г) = 4702(ЧЩЦШГ)
13. 3547(ЗЖХ) + 1735(Ь) = 5282(ЗЖХЬ)
14. 4087(ФЁЪЭЮЙБ) + 1898(Ы) = 5985(ФЁЪЭЮЙБЫ)
15. 2001(Я) + 4702(ЧЩЦШГ) = 6703(ЯЧЩЦШГ)
16. 2615(У) + 2804(П) = 5419(УП)
17. 5282(ЗЖХЬ) + 2977(Д) = 8259(ЗЖХЬД)
18. 5985(ФЁЪЭЮЙБЫ) + 3203(М) = 9188(ФЁЪЭЮЙБЫМ)
19. 6703(ЯЧЩЦШГ) + 3486(К) = 10189(ЯЧЩЦШГК)
20. 5419(УП) + 4343(Л) = 9762(УПЛ)
21. 4533(В) + 8259(ЗЖХЬД) = 12792(ЗЖХЬДВ)
22. 4746(Р) + 5473(С) = 10219(РС)
23. 9188(ФЁЪЭЮЙБЫМ) + 6318(Т) = 15506(ФЁЪЭЮЙБЫМТ)
24. 10189(ЯЧЩЦШГК) + 6700(Н) = 16889(ЯЧЩЦШГКН)
25. 9762(УПЛ) + 7367(И) = 17129(УПЛИ)
26. 12792(ЗЖХЬДВ) + 7998(А) = 20790(ЗЖХЬДВА)
27. 15506(ФЁЪЭЮЙБЫМТ) + 8483(Е) = 23989(ФЁЪЭЮЙБЫМТЕ)
28. 10219(РС) + 10983(О) = 21202(РСО)
29. 16889(ЯЧЩЦШГКН) + 17129(УПЛИ) = 34018(ЯЧЩЦШГКНУПЛИ)
30. 20790(ЗЖХЬДВА) + 21202(РСО) = 41992(ЗЖХЬДВАРСО)
31. 34018(ЯЧЩЦШГКНУПЛИ) + 23989(ФЁЪЭЮЙБЫМТЕ) =
58007(ЯЧЩЦШГКНУПЛИФЁЪЭЮЙБЫМТЕ)
32. 58007(ЯЧЩЦШГКНУПЛИФЁЪЭЮЙБЫМТЕ) + 41992(ЗЖХЬДВАРСО) =
99999(ЯЧЩЦШГКНУПЛИФЁЪЭЮЙБЫМТЕЗЖХЬДВАРСО)

o е а и н т с р в л к м д п у я ы ь г з б ч й х ж ш ю ц щ э ф ъ ё
0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 1 0 0 0 1 0 1 0 0 1 0 0 0 1 0 1 0 1
0 0 1 0 1 1 1 1 1 1 0 1 0 1 1 1 1 1 0 1 1 1 1 0 0 0 1 1 1 1 1 0 0
0 1 0 1 1 0 0 0 1 0 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 1 1 0 0 1 1 1 1
1 1 1 0 0 0 1 1 0 1 0 0 1 1 1 1 0 1 1 1 1 1 0 1 1 1 1 1 1 1
1 1 1 0 1 1 1 0 1 1 1 1 1 1 0 0 1 1 0 0 1 1 1 1
1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1
1 0 1 1 0 1 1 1 1 1 1 1 1 1 1
1 1 0 0 1 0 1 1 1 1 1 1
1 1 1 1 0 1 1 1
1 1 1 0 1 1
1 0 0
1 1
О – 000

Е – 100

А – 010

И – 1100

Н – 1110

Т – 1010

С – 0010

Р – 0011

В – 0111
Л – 11010

К – 11100

М – 10110

Д – 01100

П – 110110

У – 110111

Я – 111111

Ы – 101110

Ь – 011010

Г – 1111100

З – 0110111

Б – 1011110

Ч – 11111011

Й – 10111110

Х – 01101100

Ж – 01101101

Ш – 111110100

Ю – 101111110

Ц – 1111101010

Щ – 1111101011

Э – 1011111110

Ф – 10111111111

Ъ – 01111111100

Ё – 01111111101

Задание 3.

Вариант 9
Распределение условных вероятностей
y1 y2 y3 y4 y5
x1 1/18 9/18 4/18 3/18 1/18
x2 0 8/12 4/12 0 0
x3 0 0 5/13 8/13 0
x4 4/18 0 5/18 9/18 0
x5 8/29 8/29 6/29 0 7/29
Распределение вероятностей над входным алфавитом
x1 x2 x3 x4 x5
p(x) 6/38 8/38 9/38 6/38 9/38
Решение:

Формула совместной вероятности:

𝑃𝑥𝑦(𝑥𝑖 , 𝑦𝑖) = 𝑃(𝑥𝑖) ∗ 𝑃(𝑦𝑖 |𝑥𝑖)

6 1 1
𝑃𝑥𝑦(𝑥1 , 𝑦1) = * =
38 18 114
6 9 3
𝑃𝑥𝑦(𝑥1 , 𝑦2) = * =
38 18 38
6 4 2
𝑃𝑥𝑦(𝑥1 , 𝑦3) = * =
38 18 57
6 3 1
𝑃𝑥𝑦(𝑥1 , 𝑦4) = * =
38 18 38
6 1 1
𝑃𝑥𝑦(𝑥1 , 𝑦5) = * =
38 18 114
8 0
𝑃𝑥𝑦(𝑥2 , 𝑦1) = * =0
38 1
8 8 8
𝑃𝑥𝑦(𝑥2 , 𝑦2) = * =
38 12 57
8 4 4
𝑃𝑥𝑦(𝑥2 , 𝑦3) = * =
38 12 57
8 0
𝑃𝑥𝑦(𝑥2 , 𝑦4) = * =0
38 1
8 0
𝑃𝑥𝑦(𝑥2 , 𝑦5) = * =0
38 1
9 0
𝑃𝑥𝑦(𝑥3 , 𝑦1) = * =0
38 1
9 0
𝑃𝑥𝑦(𝑥3 , 𝑦2) = * =0
38 1
9 5 45
𝑃𝑥𝑦(𝑥3 , 𝑦3) = * =
38 13 494
9 8 36
𝑃𝑥𝑦(𝑥3 , 𝑦4) = * =
38 13 247
9 0
𝑃𝑥𝑦(𝑥3 , 𝑦5) = * =0
38 1
6 4 2
𝑃𝑥𝑦(𝑥4 , 𝑦1) = * =
38 18 57
6 0
𝑃𝑥𝑦(𝑥4 , 𝑦2) = * =0
38 1
 6 5 5
𝑃𝑥𝑦(𝑥4 , 𝑦3) = * =
38 18 114
6 9 3
𝑃𝑥𝑦(𝑥4 , 𝑦4) = * =
38 18 38
6 0
𝑃𝑥𝑦(𝑥4 , 𝑦5) = * =0
38 1
9 8 36
𝑃𝑥𝑦(𝑥5 , 𝑦1) = * =
38 29 551
9 8 36
𝑃𝑥𝑦(𝑥5 , 𝑦2) = * =
38 29 551
9 6 27
𝑃𝑥𝑦(𝑥5 , 𝑦3) = * =
38 29 551
9 0
𝑃𝑥𝑦(𝑥5 , 𝑦4) = * =0
38 1
9 7 63
𝑃𝑥𝑦(𝑥5 , 𝑦5) = * =
38 29 1102

Распределение совместных вероятностей

y1 y2 y3 y4 y5

x1 1/114 3/38 2/57 1/38 1/114

x2 0 8/57 4/57 0 0

x3 0 0 45/494 36/247 0

x4 2/57 0 5/114 3/38 0

x5 36/551 36/551 27/551 0 63/1102

Вероятность каждого события y:

19
P(y1) =
174
941
P(y2) =
3306
6215
P(y3) =
21489
62
P(y4) =
247
109
P(y5) =
1653
 19 941 6215 62 109
+ + + + = 1, значит – расчёты верны
174 3306 21489 247 1653
Формула энтропии по Шеннону:

𝐻(𝑦) = − ∑ 𝑃(𝑦𝑖) ∗ log 2 P(Y i).

19 19 941 941 6215 6215 62 62 109 109

H(y) = − ( log 2 + log 2 + log + log 2 + log 2 )
174 174 3306 3306 21489 2 21489 247 247 1653 1653
= − (0,34887931034482758620689655172414 + 0,51604143980641258318209316394434 +
0,51769975336218530410907906370701 + 0,50051821862348178137651821862348 +
0,25868542044767090139140955837871) = 2,1418241425845781562659965563777 бит

Энтропия события y относительно события x:

𝐻(𝑦|𝑥) = − ∑ ∑ 𝑃𝑥𝑦(𝑥𝑖 , 𝑦𝑗) ∗ log 2 P(YjXi)

𝐻(𝑦|𝑥) = − (
1 1 3 9 2 4 1 3 1 1 8 8 4 4 45 5
log 2 + log 2 + log 2 + log 2 + log 2 + log + log 2 + log +
114 18 38 18 57 18 38 18 114 18 57 2 12 57 12 494 2 13
) = − (0,03657894736842105263157894736842 + 0,07894736842105263157894736842105 +
0,07614035087719298245614035087719 + 0,06802631578947368421052631578947 +
0,03657894736842105263157894736842 + 0,05824561403508771929824561403509 +
0,11122807017543859649122807017544 + 0,12561740890688259109311740890688 +
0,10202429149797570850202429149798 + 0,07614035087719298245614035087719 +
0,08105263157894736842105263157895 + 0,07894736842105263157894736842105 +
0,12139382940108892921960072595281 + 0,12139382940108892921960072595281 +
0,11138112522686025408348457350272 + 0,11725317604355716878402903811252 =
1,400949625389734282656242728838 бит

Формула взаимной информации:

𝐼(𝑥, 𝑦) = 𝐻(𝑦) − 𝐻(𝑦|𝑥).

𝐼(𝑥, 𝑦) = 2,1418241425845781562659965563777 - 1,400949625389734282656242728838 =

0,7408745171948438736097538275397 бит