Вы находитесь на странице: 1из 6

ПЕРВОЕ ВЫСШЕЕ ТЕХНИЧЕСКОЕ УЧЕБНОЕ ЗАВЕДЕНИЕ РОССИИ

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное бюджетное образовательное учреждение


высшего образования

«САНКТ-ПЕТЕРБУРГСКИЙ ГОРНЫЙ УНИВЕРСИТЕТ»

Кафедра электронных систем

ОТЧЕТ ПО ПРАКТИЧЕСКОМУ ЗАНЯТИЮ №3

По дисциплине Прикладная теория информации


(наименование учебной дисциплины согласно учебному плану)

Тема работы Ансамбли и вероятности. Энтропия. Количество информации

Выполнил: студент гр.


(шифр группы) (подпись) (Ф.И.О.)

Оценка:

Дата:

Проверил
руководитель работы:
(должность) (подпись) (Ф.И.О.)

Санкт-Петербург
ЗАДАЧА 1. АНСАМБЛИ И ВЕРОЯТНОСТИ.
Вариант x1y1 x1y2 x1y3 x2y1 x2y2 x2y3
4 0,25 0,05 0,2 0,25 0,2 0,05

Найти: p ( x i) ; p ( y i ) ; p ( x i∨ y i) ; p ( y i∨x i )

Решение:

Вероятности событий ансамбля Х определяются как суммы соответствующих


вероятностей ансамбля XY:
p ( x i) = ∑ p ( x i y i )
j

p ( x 1) =∑ p ( x 1 y i )=0,25+0,05+0,2=0,5
j

p ( x 2) =∑ p ( x 2 y i ) =0,25+0,2+0,05=0,5
j

p ( y 1 )=∑ p ( x i y 1 ) =0,25+0,25=0,5
i

p ( y 2 )=∑ p ( x i y 2) =0,05+0,2=0,25
i

p ( y 3 )=∑ p ( x i y 3 )=0,2+0,05=0,25
i

x1 x2
X
0,5 0,5

y1 y2 y3
Y
0,5 0,25 0,25

Определим, являются ли ансамбли независимыми. Для этого проверим выполнение


равенства:
p ( x i y i )= p ( x i )∗p ( yi )
0,25=0,25
Следовательно, ансамбли независимыми

p ( x1 y 1 ) 0,25
p ( x 1∨ y 1 )= = =0,5
p ( y1 ) 0,5
p ( x1 y 2 ) 0,05
p ( x 1∨ y 2 )= = =0,2
p ( y2 ) 0,25
p ( x1 y 3 ) 0,2
p ( x 1∨ y 3 )= = =0,8
p ( y3 ) 0,25
p ( x2 y 1 ) 0,25
p ( x 2∨ y 1 )= = =0,5
p ( y1 ) 0,5
p ( x2 y 2 ) 0,2
p ( x 2∨ y 2 )= = =0,8
p ( y2 ) 0,25
p ( x2 y 3 ) 0,05
p ( x 2∨ y 3 )= = =0,2
p ( y3 ) 0,25
p ( x1 y 1 ) 0,25
p ( y 1∨x 1 )= = =0,5
p ( x 1) 0,5
p ( x1 y 2 ) 0,05
p ( y 2∨x 1 )= = =0,1
p ( x 1) 0,5
p ( x2 y 3 ) 0,2
p ( y 3∨x 1 )= = =0,4
p ( x1 ) 0,5
p ( x2 y 1 ) 0,25
p ( y 1∨x 2 )= = =0,5
p ( x 2) 0,5
p ( x2 y 2 ) 0,2
p ( y 2∨x 2 )= = =0,4
p ( x2 ) 0,5
p ( x2 y 3 ) 0,05
p ( y 3∨x 2 )= = =0,1
p ( x2 ) 0,5

ЗАДАЧА 2.ЭНТРОПИЯ
Вариант x1y1 x1y2 x1y3 x2y1 x2y2 x2y3
4 0,09 0,36 0,45 0,01 0,04 0,05

Найти: p ( x i) ; p ( y i ) ; p ( x i∨ y i) ; p ( y i∨x i )

Решение:

p ( x 1) =∑ p ( x 1 y i )=0,09+0,36+0,45=0,9
j

p ( x 2) =∑ p ( x 2 y i ) =0,01+0,04+ 0,05=0,1
j

p ( x1 y 1 ) 0,09
p ( y 1∨x 1 )= = =0,1
p ( x 1) 0,9
p ( x1 y 2 ) 0,36
p ( y 2∨x 1 )= = =0,4
p ( x 1) 0,9
p ( x2 y 3 ) 0,45
p ( y 3∨x 1 )= = =0,5
p ( x1 ) 0,9
p ( x2 y 1 ) 0,01
p ( y 1∨x 2 )= = =0,1
p ( x 2) 0,1
p ( x2 y 2 ) 0,4
p ( y 2∨x 2 )= = =0,4
p ( x2 ) 0,1
p ( x2 y 3 ) 0,05
p ( y 3∨x 2 )= = =0,5
p ( x2 ) 0,1
N
H ( X )=−∑ p ( x i ) log 2 p ( x i ) =−( 0,9 log 2 0,9+0,1 log 2 0,1 )=−( 0 , 9∗(−0,152 )+ 0 ,1∗(−3,322 ) )=0,469 бит/
i=1

p ( y i )=∑ p ( x i y j )=¿ ∑ p ( y j∨x i ) p ( x i ) ¿


j j

p ( y i )=0,1∗0,9+0,1∗0,1=0,1
p ( y i )=0,4∗0,9+0,4∗0,1=0,4
p ( y i )=0,5∗0,9+ 0,5∗0,1=0,5

N
H ( Y )=−∑ p ( y i ) log 2 p ( yi ) =−( 0,1 log 2 0,1+0,4 log 2 0,4+ 0,5 log 2 0,5 )=1,361 бит/знак
i=1

H ( XY )=−¿

3
H x ( Y )=−∑ p ( y j∨x 1 ) log 2 p ( y j ∨x 1) =−( 0,1 log 2 0,1+0,4 log 2 0,4+ 0,5 log 2 0,5 )=1,361 бит/знак
1
j=1
3
H x ( Y )=−∑ p ( y j∨x 2 ) log 2 p ( y j∨x 2) =−( 0,1 log 2 0,1+0,4 log 2 0,4 +0,5 log 2 0,5 )=1,361 бит/знак
2
j=1

2
H x ( Y )=∑ p ( x i ) H x ( Y ) =0,9∗1,361+0,1∗1,361=1,361 бит/ знак
i
i=1

p ( x1 y 1 ) 0,09
p ( x 1∨ y 1 )= = =0,9
p ( y1 ) 0,1
p ( x1 y 2 ) 0,36
p ( x 1∨ y 2 )= = =0,9
p ( y2 ) 0,4
p ( x1 y 3 ) 0,45
p ( x 1∨ y 3 )= = =0,9
p ( y3 ) 0,5
p ( x2 y 1 ) 0,01
p ( x 2∨ y 1 )= = =0,1
p ( y1 ) 0,1
p ( x2 y 2 ) 0,04
p ( x 2∨ y 2 )= = =0,1
p ( y2 ) 0,4
p ( x2 y 3 ) 0,05
p ( x 2∨ y 3 )= = =0,1
p ( y3 ) 0,5
2
H y ( X )=−∑ p ( y 1∨x i ) log 2 p ( y 1∨xi ) =−( 0,1 log 2 0,1+0,9 log 2 0,9 )=0,469бит/ знак
1
i =1
2
H y ( X )=−∑ p ( y 2∨x i ) log 2 p ( y 2∨x i) =−( 0,1 log 2 0,1+0,9 log 2 0,9 )=0,469бит/ знак
2
i =1
2
H y ( X )=−∑ p ( y 3 ∨xi ) log 2 p ( y 3∨x i )−( 0,1 log 2 0,1+0,9 log 2 0,9 ) =0,469 бит/ знак
3
i=1

3
H y ( X )=∑ p ( y j ) H y ( X )=0,1∗0,469+0,4∗0,469+0,5∗0,469=0,469 бит/ знак
j
j=1

Проверка:
H ( X ) + H x ( Y )=H ( Y ) + H y ( X )
0,469+1,361=1,361+ 0,469, Верно

ЗАДАЧА 3. КОЛИЧЕСТВО ИНФОРМАЦИИ


Вариант p(y0|x0) p(y0|x1) p(y1|x0) p(y1|x1) p(x0) p(x1)
4 1 0,5 0 0,5 0,5 0,5
p ( y 0 )= p ( x 0 ) p ( y 0∨x 0 ) + p ( x1 ) p ( y 0∨x 1 )=0,5∗1+0,5∗0,5=0,75
p ( y i )= p ( x 0 ) p ( y1 ∨x0 ) + p ( x 1 ) p ( y 1∨x1 ) =0,5∗0+0,5∗0,5=0,25
p ( x 0 ) p ( x 0∨ y 0 ) 0,5∗1 2
p ( x 0∨ y 0 )= = =
p ( y0 ) 0,75 3
p ( x1 ) p ( x 0∨ y 1 ) 0,5∗0,5 1
p ( x 1∨ y 0 )= = =
p ( y0 ) 0,75 3
p ( x 0 ) p ( x 0∨ y 1 ) 0,5∗0
p ( x 0∨ y 1 )= = =0
p ( y1 ) 0,25
p ( x1 ) p ( x1 ∨ y 1) 0,5∗0,5
p ( x 1∨ y 1 )= = =1
p ( y 1) 0,25

N
H ( X )=−∑ p ( x i ) log 2 p ( x i ) =−( 0,5 log 2 0,5+0,5 log 2 0,5 ) =1бит/ знак
i=1

H y ( X )=−0,75
i ( 23 log 23 + 13 log 13 )−0,25 ¿
2 2

I ( X , Y )=H ( X )−H y ( X )=1−0,69=0,31 бит /знак


i