Учреждение образования

«Белорусский государственный университет

информатики и радиоэлектроники»

Институт информационных технологий

КОНТРОЛЬНАЯ РАБОТА ПО ДИСЦИПЛИНЕ «ТЕОРИЯ ИНФОРМАЦИИ»

Вариант 5

Выполнила: Стефняк Юлия Валентиновна

Студентка 2 курса, заочного обучения
Группы 281073, ПОИТ

контактный телефон: ____________

e-mail: ____________

Проверила: Власова Галина Александровна,

доцент кафедры защиты информации,
кандидат технических наук

Минск 2024
 Задача 1
Определить энтропию и избыточность источника с независимым выбором
элементов (букв) 𝑥𝑖 , вероятности выбора которых: 𝑃 (𝑥1 ) = 0.25; 𝑃(𝑥2 ) = 0.1; 𝑃(𝑥3 ) =
0.15; 𝑃(𝑥4 ) = 0.5; Изобразить дискретное распределение 𝑃(𝑥𝑖 ) = 𝑓(𝑥𝑖 ), если 𝑥1 = 3; 𝑥2 =
6; 𝑥3 = 9; 𝑥4 = 12;

Энтропия источника определяется выражением:

𝐻 (𝑥 ) = − ∑(𝑃(𝑥𝑖 ) ∙ log(𝑃(𝑥𝑖 )))

𝑖=1

Вычисляя, получим H=1.743

Избыточность источника равна (длина алфавита равна M=4):

1 − 𝐻 (𝑥 ) 1 − 1.743 1 − 1.743
𝑅= = = = 0.128
𝐻𝑀𝑎𝑥 log2 (4) 2

Дискретное распределение показано на рисунке 1.

Рисунок 1 – Дискретное распределение

 Задача 2
В канале передачи информации заданы вероятности 𝑃 (𝑎𝑖 ) и 𝑃(𝑏𝑗 /𝑎𝑖 ); количество
символов равно трём. Изобразить граф переходных вероятностей канала и определить
вероятности 𝑃(𝑏𝑗 ).
𝑃(𝑎1 ) = 0.25; 𝑃(𝑎3 ) = 0.1; 𝑃(𝑏2 /𝑎1 ) = 0.15; 𝑃 (𝑏3 /𝑎1 ) = 0.2; 𝑃 (𝑏1 /𝑎2 ) = 0.1; 𝑃 (𝑏3 /
𝑎2 ) = 0.05; 𝑃 (𝑏1 /𝑎3 ) = 0.05; 𝑃(𝑏2 /𝑎3 ) = 0.5;

Вероятности 𝑃(𝑏𝑗 ) определяются выражениями:

𝑏1
𝑃 (𝑏1 ) = 𝑃(𝑏1 /𝑎1 ) ∙ 𝑃(𝑎1 ) + 𝑃 ( ) ∙ 𝑃(𝑎2 ) + 𝑃 (𝑏1 /𝑎3 ) ∙ 𝑃 (𝑎3 )
𝑎2
𝑏2
𝑃(𝑏2 ) = 𝑃(𝑏2 /𝑎1 ) ∙ 𝑃(𝑎1 ) + 𝑃 ( ) ∙ 𝑃(𝑎2 ) + 𝑃(𝑏2 /𝑎3 ) ∙ 𝑃(𝑎3 )
𝑎2
𝑏3
𝑃(𝑏3 ) = 𝑃(𝑏3 /𝑎1 ) ∙ 𝑃(𝑎1 ) + 𝑃 ( ) ∙ 𝑃(𝑎2 ) + 𝑃(𝑏3 /𝑎3 ) ∙ 𝑃(𝑎3 )
𝑎2

Найдём недостающие вероятности:

𝑃(𝑎2 ) = 1 − 𝑃(𝑎1 ) − 𝑃 (𝑎3 ) = 1 − 0.25 − 0.1 = 0.65

𝑏2 𝑏3
𝑃 (𝑏1 /𝑎1 ) = 1 − 𝑃 ( ) − 𝑃 ( ) = 1 − 0,15 − 0,2 = 0,65
𝑎1 𝑎1
𝑏1 𝑏3
𝑃(𝑏2 /𝑎2 ) = 1 − 𝑃 ( ) − 𝑃 ( ) = 1 − 0,1 − 0,05 = 0,85
𝑎2 𝑎2
𝑏1 𝑏2
𝑃(𝑏3 /𝑎3 ) = 1 − 𝑃 ( ) − 𝑃 ( ) = 1 − 0,05 − 0,5 = 0,45
𝑎3 𝑎3

Вероятности 𝑃(𝑏𝑗 ) равны:

𝑃(𝑏1 ) = 0,65 ∙ 0,25 + 0,1 ∙ 65 + 0,05 ∙ 0,1 = 0,2325

𝑃(𝑏2 ) = 0,15 ∙ 0,25 + 0,85 ∙ 0,65 + 0,5 ∙ 0,1 = 0,64
𝑃 (𝑏3 ) = 0,2 ∙ 0,25 + 0,05 ∙ 0,65 + 0,45 ∙ 0,1 = 0,1275

Построим граф переходных вероятностей канала. Для этого соединим входные и

выходные символы канала и подпишем вероятности перехода. Граф переходных
вероятностей канала показан на рисунке 2.
 Рисунок 2 – Граф переходных вероятностей канала

Задача 3
Изобразить генератор М-последовательности, задаваемой полиномом h(x). Записать
состояние регистров сдвига генератора на каждом из (m+2) последовательных тактов (m-
длина последовательности), если начальное состояние регистров: a1 a2 a3 a4 , где a1 -
младший разряд, a4 – старший.

ℎ (𝑥 ) = 𝑥 4 + 𝑥 + 1
𝑎1 𝑎2 𝑎3 𝑎4 = 1010

Формирование j-го элемента последовательности определяется выражением:

𝑎𝑗 = 𝑎1 ∙ 𝑐𝑗−1 ⨁𝑎2 ∙ 𝑐𝑗−2 ⨁𝑎4 ∙ 𝑐𝑗−3 ⨁𝑎4 ∙ 𝑐𝑗−4

Для заданного полинома 𝑐0 = 1 ; 𝑐1 = 1 ; 𝑐2 = 0 ; 𝑐3 = 0; 𝑐4 = 1 ;

Таким образом, для заданного полинома получим рекуррентную формулу:

𝑎𝑗 = 𝑎1 ⨁𝑎4

Схема генератора показана на рисунке 3.

Рисунок 3 – Схема генератора М-последовательности

 Используя эту формулу, получим состояние регистров сдвига на каждом из 17
тактов.

Шаг 𝑎1 (𝑚) 𝑎2 ( 𝑚 ) 𝑎3 ( 𝑚 ) 𝑎4 ( 𝑚 )
1 1 0 1 0
2 0 1 0 1
3 1 1 1 0
4 0 1 1 1
5 1 1 1 1
6 1 0 1 1
7 1 0 0 1
8 1 0 0 0
9 0 1 0 0
10 0 0 1 0
11 0 0 0 1
12 1 1 0 0
13 0 1 1 0
14 0 0 1 1
15 1 1 0 1
16 1 0 1 0
17 0 1 0 1