Вы находитесь на странице: 1из 6

ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ


УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ
«САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
ТЕЛЕКОММУНИКАЦИЙ ИМ. ПРОФ. М.А. БОНЧ-БРУЕВИЧА»
(СПбГУТ)

ОТЧЁТ
по лабораторной работе № 10
«Основы количественной теории информации»
по дисциплине «Теория информации, данные, знания»

Выполнил: студент группы ИСТ-932


Белкина В.Е.
«» 2021 г.
Принял: Струев А.М.
«» 2021 г. ___________/Струев А.М./

Санкт-Петербург
2021
Лабораторная работа №10
Основы количественной теории информации
Задача 1

Источник сообщений выдает символы из алфавита A = {ai}, i = 1,…,4 с


вероятностями (см. таблицу 1) p1 = 0.5, p2 = 0.3, p3 = 0.1, p4 = 0.1. Найти
энтропию и избыточность источника сообщений.
Энтропия источника:

H(a) = -(0,5*log2(0,5)+0,3*log2(0,3)+0,1*log2(0,1)+0,1*log2(0,1)) = 1,68 [бит /


знак]
Избыточность источника:

Для определения избыточности определим 

= log2(4) = 2
Таким образом:
r = 1 - 1,68/ 2 = 0,16

Задача 2

Рассмотрим следующий процесс: мы замеряем некоторую величину ξ, которая


является количеством фотонов, которые регистрируются фоточувствительной
пластиной. Пусть источник света в единицу времени генерирует N = 128
фотонов. Каждый фотон с вероятностью p1 = 0,5 может рассеяться на частицах
среды, находящейся между источником и пластиной и не достичь
фоточувствительной пластины. С вероятностью p2 = 0,3 фотон, достигший
фоточувствительной пластины, может быть зарегистрирован пластиной. Какое
количество информации содержится в сообщении, что зарегистрировано M = 7
фотонов?
Для регистрации необходимого количества фотонов 7 раз должна произойти
регистрация фотонов, а остальные 121 раз фотон не должен быть
зарегистрирован.

Вероятность того что фотон достигнет фоточувствительной пластины p12 = 1 –


0,5 = 0,5. С вероятностью p2 = 0,3 фотон, достигший фоточувствительной
пластины, может быть зарегистрирован пластиной. Их совместная вероятность
p = 0,5 * 0,3 = 0,15.

Воспользуемся формулой Бернулли для расчёта вероятности сообщения.

Вероятность этого сообщения P ≈ 0.0005:

По формуле: I = -log2P = -log2(0.0005) ≈ 11 (бит)

Задача 3

Первичный алфавит состоит из трех знаков с вероятностями p1 = 0,5, p2 = 0,3, p


= 0,2. Для передачи по каналу без помех используется равномерный двоичный
код. Средняя длительность передачи одного элемента сообщения в канале τ=10-
6 с. Определить пропускную способность канала и скорость передачи
информации. Можно ли приблизить скорость передачи к пропускной
способности данной системы?
Частота передачи V = 1/10^-6 = 10^6
Поскольку код двоичный, m = 2; пропускная способность канала C = V = 10^6
бит/с.
Энтропия источника: Н = -(0,5*log2(0,5) + 0,3*log2(0,3) + 0,2*log2(0,2) = 1,5
бит/символ.
Поскольку код равномерный К>H/log2(2) = 2 (т.е. для кодирования каждого
знака первичного алфавита используется 2 элементарных разряда).

Скорость передачи информации J = (10^6*1,5) / (2) = 750000 бит/c

Видно, что реальная скорость передачи информации меньше пропускной


способности. Так получается вследствие того, что каждый символ первичного
алфавита, занимая два разряда, несет информации меньше двух бит. Если
приблизить длину кода К к значению реальной энтропии, можно увеличить
скорость передачи информации.

Задача 4

Сколько информационных и проверочных символов содержится в двоичном


коде, исправляющем ровно t = 1 ошибок при общем числе разрешенных
кодовых комбинаций, равном N = 128.

При числе разрешенных кодовых комбинаций N = 128, количество


информационных бит должно быть:
k ≥ log2N = 7.
По правилу Хемминга для t=1:
r ≥ log2(n+1)
n=k+r
r=n–k
n-k ≥ log2(n+1)
n ≥ log2(n+1) + 7
n = 11 => r = n – k =11-7 =4
Значит в каждой кодовой комбинации будет k = 7 информационных символов,
и r = 4 проверочных.
ВЫВОД
Таким образом, были получены практические навыки по основам
количественной теории информации. В результате выполнения работы было
приведено решение основных видов задач данного раздела.