Қазақстан Республикасы Жоғары Білім және Ғылым Министрлігі

Д.Серікбаев атындағы Шығыс Қазақстан Техникалық

университеті

Мектеп: Ақпараттық технологиялар және интеллектуалды жүйелер

Пән:  Ақпараттық жүйелердің негіздері

Зертханалық жұмыс №2
Тақырып: Шартты энтропия және біріктіру энтропиясы

Орындаған: Даниярова Р.
Қабылдаған: Тлебалдинова А.

Өскемен
2022
АҚПАРАТТЫ САНДЫҚ БАҒАЛАУ
2.2 Зертханалық жұмыстың мақсаты
Шартты энтропияны және біріктіру энтропиясын түсініп оқып білу.

2.2 Зертханалық жұмысқа арналған жеке тапсырмасы

№1. При передаче текстовых сообщений статистические наблюдения

показали, что для слов со средней длиной в 6 букв на каждые 100
сообщений буква А встречается 80 раз, буква В встречается 50 раз, буквы
А и В вместе встречаются 10 раз. Определить условную энтропию
появления А, если в словаре присутствует В, и условную энтропию В, если
в слове присутствует А.

Берілгені:
6 букв
100 сообщений
Буква А 80 раз
Буква В 50 раз
Буквы А и В 10 раз
Шешуі:
Общее количество переданных букв
n= 100·6 = 600.
Вероятность появления буквы А
р(А) = 80/600 = 0,13.
Вероятность появления буквы В
р(В) = 50/600 = 0,083.
Вероятность появления буквы А и В
р(АВ) = 10/600 = 0,016.
Так как р(АВ) = р(В) р(А/В) = р(А) р(В/А), то условная вероятность
появления символа А относительно символа В
р(А/В) = р(АВ)/р(В) = 0,02/0,08 = 0,19.
Условная вероятность появления символа В относительно символа А
р(В/А) = р(АВ)/р(А) = 0,02/0,13 = 0,123.
Условная энтропия символа А относительно В
Н(А/В) = -∑i р(bj /ai) log2 p(bj /ai) = -{p(А/В) log2 p(А/В) + [1- p(А/В)] log2
[1- p(А/В]} = -(0,025log2 0,025 + + 0,97 log2 0,97) = 0,701 бит/буква
Условная энтропия символа В относительно А
Н(В/А) = -(0,1log2 0,1 + 0,9 log2 0,9) = 0,53 бит/буква

№2. Сообщения передаются двоичным кодом. В первом случае

вероятности появления 0 и 1 равны соответственно p0=0,8 и p1=0,2.
Помехи в канале связи отсутствуют, т.е. условные вероятности переходов
0 в 1 и 1 в 0 равны нулю. Во втором случае символы передаются с равными
вероятностями p0=p1=0,5, однако в результате действия помех условные
вероятности переходов равны p(1/1)=0,8; p(1/0)=0,2; p(0/0)=0,8; p(0/1)=0,2.
Чему равна энтропия сообщений в первом и во втором случаях?
Берілгені:
1) p0=0,8
p1=0,2
2) p0=p1=0,5
p(1/1)=0,8
p(1/0)=0,2
p(0/0)=0,8
p(0/1)=0,2
Табу керек:
H1,H2-?
Шешуі:
1) H1=(0log(2)0+1log(2)1)=0
2) H2=(0,8log(2)0,8+0,8log(2)0,8)=0,72
Жауабы: H1=0 H2=0,72

№3. Влияние помех в канале связи описывается следующим

распределением условных вероятностей:

| |
0,98 0,01 0,01
P(b/a)= 0,15 0,75 0,1
0,3 0,2 0,5
Вычислить полную условную энтропию сообщений, передаваемых по
данному каналу связи
а) при равновероятных появлениях символов в сообщении;
б) при вероятностях p(a1)=0,7; p(a2)=0,2; p(a3)=0,1.

Берілгені:
p(a1)=0,7
p(a2)=0,2
p(a3)=0,1
Табу керек:
H(B/A)

Шешуі:
а) При равновероятном появлении символов энтропия источника
сообщений.
P(bj/ai)=p(bi/ai)=p(b2/a1)=p(b3/a1)=p(b1/a1)=p(b2/a2)=p(b3/a2)
=p(b1/a3)=p(b2/a3)=p(b3/a1)=1/k
M=log(2)k=1,58 бит/символ
Полная условная энтропия
n m

H(B/A)=-∑ pi ∑ p( b j /ai) logp(b j /ai )

i=1 j=1

H(B/A) =-1/3(0,98 log20,98+20,01 log20,01+ 0,15 log20,15+0,75 log20,75+0,1

log20,1+ +0,3 log20,3+0,2 log20,2+0,5 log20,5)= 0,9 бит/символ.
б) При неравновероятном появлении символов энтропия источника
сообщений
 ❑

H(A)=-∑ p(ai )logp(ai )

j

Н(А)=-(0,7 log20,7+0,2 log20,2+0,1 log20,1)= 1,156 бит/символ.

Полная условная энтропия
H(B/A)-[0,7(0,98log20,98+20,01log20,01)+0,2(0,15log20,15+0,75log20,75+0,1
log20,1)+0,1(0,3 log20,3+0,2 log20,2+0,5 log20,5)]=0,463 бит/символ.

№4. Определить энтропию приемника сообщений, если канальная матрица

| |
0,97 0,03 0
P(b/a)= 0,01 0,98 0,01
0 0,04 0,96
Шешуі
Энтропия приемника равна
n

H(B)=-∑ p(b j)log p (b j)

j=1

Вероятности появления символов на входе приемника

n

P(bj)=∑ p( ai ) p(b j /a i) p(ai)p(bj/ai)

i=1

P(b1)=P(a1)P(b1/a1)+..+P(a3)P(b1/a3)=0,5*0,97+0,3*0,01+0,2*0=0,488
P(b2)=0,5*0,03+0,3*0,98+0,2*0,4=0,317
Сумма P(bi)=0,488+0,317+0,195=1
H(B)=-(0,488*log(2)0,488+0,317*log(2)0,317+0,195*lig(2)0,195)=1,49
бит/симв

№5. Определить энтропию источника сообщений, если вероятность

появления сигналов на входе приемника p(b1)=0,1; p(b2)=0,3; p(b3)=0,4;
p(b4)=0,2
а канальная матрица имеет вид

| |
0,99 0,02 0 0
0,01 0,98 0,01 0,01
P(a/b)= 0 0 0,98 0,02
0 0 0,01 0,97

Берілгені:
p(b1)=0,1
p(b2)=0,3
p(b3)=0,4
p(b4)=0,2
Шешуі:
P(a1)=
∑ P ( b 1 ) P ( ab 11 )=P(b 1) P (a 1/b 1)+ P( b2) P (a 1/b 2)+ P( b 3) p(a 1/b 3)+ P(b 4)P( a 1/ b 4)
❑

Р(а1)=0,1*0,99+0,3*0,2+0,4*0=0,105
P(a2)=0,1*0,01+0,3*0,98+0,4*0,01+0,2*0,01=0,301
P(a3)=0,1*0+0,3*0+0,4*0,98+0,2*0,02=0,396
P(a4)=0,1*0+0,3*0+0,4*0,01+0,2*0,97=0,198
Сумма P(ai)=0,105+0,301+0,396+0,198=1
Энтропия источника сообщений
m

H(A)=-∑ pi log (2) p i

i=1

H(A)=-(0,105*log 0,105+0,301log 0,301+0,396*log 0,396+0,198log

0,198)=1,856 бит/симв.

№6. Задана матрица вероятностей системы, объединенной в одну систему

из двух взаимозависимых систем B и A:

| |
0,3 0 0
P(A,B)= 0,2 0,3 0,1
0 0,1 0

Определить полные условные энтропии H(B/A) и H(A/B).

H(B/A)=-(log(2)0,3+log(2)0+lig(2)0)+(log(2)0,2+log(2)0,3+log(2)0,1)+
(log(2)0+log(2)0,1+lig(2)0)=0
H(A/B)=(log(2)0,3+log(2)0+log(2)0)+log(2)0,2+log(2)0,3+log(2)0,1)+
(log(2)0+log(2)0,1+lig(2)0)* (log(2)0,7+log(2)0,1+lig(2)0)

№7. Сообщения создаются двумя источниками и передаются по одному

каналу связи. Известно, что на выходе источника i сигналы появляются с
вероятностями pa=0,5; pb= 0,333; pc= 0,167. Условные вероятности
появления сигналов D, E, F и G источника j при условии, что были
переданы сигналы A, B, C источника i, соответственно равны:
p(D/A)=p(E/A)=p(F/A)=p(G/A)=0,25;
p(D/B)=0,3; p(E/B)=0,2;
p(F/B)=0,2; p(G/B)=0,3;
p(D/C)=0,166; p(E/C)=0,5;
p(F/C)=0,167; p(G/C)=0,167.
Определить совместную энтропию источников i, j, условную энтропию
H(j/i), энтропию второго источника, а так же максимальное значение
энтропии.
Берілгені:
pa=0,5;
pb= 0,333;
pc= 0,167
p(D/A)=p(E/A)=p(F/A)=p(G/A)=0,25;
p(D/B)=0,3; p(E/B)=0,2;
p(F/B)=0,2; p(G/B)=0,3;
p(D/C)=0,166; p(E/C)=0,5;
p(F/C)=0,167; p(G/C)=0,167
Шешуі:
Определяем вероятность совместного проявления сигналов обоих
источников, используя выражение p (i, j) = p (j/i):
p (AD) = p (AE) = p (AF) = p (AG) = 0,5∙0,25 = 0,125;
p (BD) = p (BG) = 0,33∙0,3 = 0,1; p (BE) = p (BF) = 0,333∙0,2 = 0,0666;
p (CD) = p (CF) = p (CG) = 0,167∙0,167≈0,028; p (CE) = 0,167∙0,5 = 0,083.
Совместная энтропия источников
H (i, j) = - = - (4∙0,125 + 2∙0,11 + 2∙0,0666 + 3∙0,028 + 0,083) = 4∙0,3375 +
2∙0,332 + 2∙0,26 + 3∙0,144 + 0,298 = 1,5 + 0,664 + 0,52 + 0,432 + 0,298 =
= 3,415 бит/два символ.
Условная энтропия
H (j/ i) = - (4∙0,125 +2∙0,11 + 2∙0,0666 + 3∙0,028 + 0,0835) = 0,5∙2 + 0,2∙1,731
+ 2∙0,0666∙2,32 +0,084∙2,58 + 0,0835∙1 ≈ 1,9578 бит/знак.
Энтропия первого источника
H (i) = - (0,5 + 0,333 +0,167) = 1,459 бит/знак.
Энтропия объединения
H (i, j) = H (i) + H (i/j) = 1,459 + 1,957 = 3,416 бит/два символа.
Энтропия второго источника
H (j) = - [p (D) + p (E) + p (F) +p (G)].
p (D) = = p (A) p (D/A) + p (B) p (D/B) + p (C) p (D/C) =
=0,5∙0,25 + 0,333∙0,3 + 0,167∙0,166 ≈ 0,253;
p (E) = = 0,5∙0,25 + 0,333∙0,2 + 0,167∙0,5 ≈ 0,275;
p (F) = = 0,5∙0,25 + 0,333∙0,2 + 0,167∙0,167 ≈ 0,219;
p (G) = = 0,5∙0,25 + 0,333∙0,3 + 0,167∙0,167 ≈ 0,253;
p (D) + p (E) + p (F) + p(G) = 0,253 + 0,275 + 0,219 + 0,253 = 1,
т. е. = 1.
H (j) = - (2∙0,253 + 0,275 + 0,219) =
=1,995 бит/знак.
Максимальное значение энтропии объединения H будет при отсутствии
взаимосвязи между символами, т. е. при H (i/j) = 0.
H = H (i) + H (j) = 1,459 + 1,995 = 3,454 бит/два символа.

Қорытынды:Бұл зертханалық жұмыста шартты энтропия және

біріктіру энтропиясы бойынша жұмыс жасалды. Жалпы және дербес ш.э.
ұғымдары шуылы бар байланыс желілеріндегі ақпараттық жоғалтуларды
есептеу кезінде кеңінен қолданылды.