Академический Документы
Профессиональный Документы
Культура Документы
∆x
x
xk xk+1
Рис.4.1. Плотность вероятности случайной величины x
Для перехода от дискретных систем к непрерывным системам
произведем квантование значений случайной непрерывной величины x на
счетное число n уровней с интервалом Δx. Полученная таким образом
дискретная случайная величина x характеризуется распределением, в
xk +∆x
можно представить как pk = w(x)Δx (чем меньше Δx тем более точной будет
32
замена). Энтропию полученной дискретной системы согласно формуле (3.1)
можно определить следующим образом:
n n n
H ( X ) = −∑ w( xk )∆x log{ w( xk )∆x} = −∑ w( xk )∆x log w( xk ) − ∑ w( xk )∆x log ∆x .
k =1 k =1 k =1
n ∞
С учетом того, что ∆lim {−∑w( xk ) ∆x log w( xk )} = − ∫ w( x) log w( x)dx и
x →0 k =1 −∞
n n n
lim {−∑ w( xk )∆x log ∆x} = lim {− log ∆x ∑ w( xk )∆x} = − log ∆x ∑ p k = − log ∆x ,
∆x →0 k =1 ∆x→0 k =1 k =1
∞
Если ввести обозначение H*(X) для выражения − ∫ w( x) log w( x)dx , то
−∞
∞ ∞
H (Y / X ) = − ∫ ∫ w( x, y ) log w( y / x)dxdy − log ∆y ,
− ∞ −∞
∞ ∞
H(X /Y) = − ∫ ∫ w( x, y ) log w( x / y )dxdy − log ∆x .
−∞ −∞
33
4.2. Количество информации для непрерывных систем
Отметим, что для непрерывных случайных систем справедливо все, что
говорилось в предыдущей лекции относительно количества информации.
Например, так же, как и для дискретных систем, взаимная информация в
непрерывном случае определяется следующим выражением:
I X ↔Y = H ( X ) − H ( X / Y ) = H (Y ) − H (Y / X ) . (4.2)
Однако здесь необходимо учесть особенности непрерывного распределения
вероятностей (интегральные выражения). Так после подстановки
соответствующих выражений в формулу (4.2) получим
∞ ∞ ∞
I X ↔Y = − ∫ w( x ) log w( x )dx − log ∆x + ∫ ∫ w( x, y ) log w( x / y )dxdy + log ∆x ,
−∞ −∞ −∞
∞ ∞ ∞
т.е. I X ↔Y = − ∫ w( x ) log w( x)dx + ∫ ∫ w( x, y ) log w( x / y )dxdy . Теперь умножим
−∞ −∞ −∞
∞
первый интеграл на ∫ w( y / x) dy =1 и учтем, что во втором интеграле
−∞
34
2) при произвольной дисперсии.
В случае заданной дисперсии имеем следующие условия:
∞
1) ∫ w( x) dx =1 ;
−∞
∞
2) σ = ∫ x w( x)dx .
2 2
−∞
, ϕ2 ( x) = x 2 w( x) .
Для нахождения экстремума функции F*(x) найдем производную этой
функции по w(x) и приравняем ее 0:
∂F *
= −log w( x ) − log e + λ1 + λ2 x 2 = 0 . (4.4)
∂w( x)
−∞ 0
∞
1 π
∫ exp( λ2 x
* 2
) dx = ,
0 2 ( −λ*2 )
35
1 π
2 exp( λ1* − 1) = 1,
2 (−λ*2 )
(−λ*2 )
exp( λ − 1) =
*
1 ,
π
( −λ*2 )
w( x) = exp( λ*2 x 2 ),
π
∞ ∞
( −λ*2 ) 1
σ = ∫ x w( x) dx =
2 2
∫ x 2
exp( λ*2 x 2 ) dx = − ,
−∞ −∞ π 2λ*2
1
λ*2 = − ,
2σ 2
1 x2
w( x) = exp − .
σ 2π 2σ
2
∫ w( x)dx =1 .
−∞
36
1 x 2
H * ( X ) = M [− log w( x)] = M − log exp − =
2
σ 2π 2σ
x2 M [x2 ]
= M [log(σ 2π ) + log e ] = log( σ 2π ) + log e =
2σ 2 2σ 2 (4.5)
σ2 1
= log(σ 2π ) + log e = log(σ 2π ) + log e = log(σ 2πe ),
2σ 2
2
σ 2πe
H ( X ) = log .
∆x
eπ 2
Тогда σн 2πe = 2 3σр или σ р2 = 6
σ н ≈ 1.42σ н2 .
37
сообщений, распределенных по нормальному закону, будут составлять 0.7 по
сравнению с затратами мощности при передаче сообщений, распределенных
равномерно.
38
H ε ( X ) = min I Y →X .
w( x / y )
Вопросы
1. Непрерывные случайные системы.
2. Дифференциальная энтропия.
3. Свойства энтропии непрерывной системы.
4. Взаимная информация непрерывных систем.
5. Условная энтропия непрерывной системы.
6. Принцип экстремума энтропии.
7. Энтропия непрерывной системы при заданной дисперсии.
8. Энтропия непрерывной системы при произвольной дисперсии.
9. Критерий близости двух сигналов.
10. Эпсилон-энтропия.
Лекция 6
Тема 5. Передача информации по каналам связи
5.1. Источники сообщений
Пусть имеется система передачи информации, состоящая из источника
информации, канала связи и приемника информации (рис. 5.1). Информация
поступает в канал связи и затем в приемник информации в виде сообщений.
При этом под сообщением будем понимать совокупность символов или
первичных сигналов, содержащих информацию. Информация от источника
информации, который представляет собой наблюдаемый объект, поступает в
первичный преобразователь (датчик, человек-оператор и т.д.),
воспринимающий информацию о протекающем в нем процессе или его
состояниях. На выходе первичного преобразователя как раз и формируются
сообщения. Таким образом, источник информации и первичный
преобразователь образуют источник сообщений.
ИИ Канал связи ПИ
40
H 0 ( X ) = log n,
n
H 1 ( X ) = −∑ p ( xi ) log p ( xi ),
i =1
n n
H 2 ( X ) = −∑∑ p ( xi , x j ) log p ( x j / xi ),
i =1 j =1
n n n
H 3 ( X ) = −∑∑∑ p ( xi , x j , xk ) log p ( xk / xi x j ),
i =1 j =1 k =1
... .
Так как модель более высокого порядка учитывает больше
статистических связей между символами, то с ростом порядка модели
значение энтропии уменьшается, т.е. справедливо неравенство
H0(X) ≥H1(X) ≥ H2(X) ≥ H3(X) ≥ …,
т.е. последовательность H0(X), H1(X), H2(X), H3(X) … является монотонно
убывающей. Поскольку энтропия ограничена снизу, то последовательность
сходится к пределу
H ( X ) = lim H m ( X ) = H .
m→∞
41
Предположим, что необходимо передать сообщение с помощью
наименьшего числа символов. Очевидно, что это возможно, если на каждый
символ приходится максимальное количество информации, т.е. нужен
источник сообщений, вырабатывающий символы, равномерно
распределенные и статистически независимые. Назовем такой источник
оптимальным, а его энтропию обозначим Hо. Реальные источники передают
сообщения, состоящие из не равновероятных и статистически связанных
символов. Поэтому энтропия реальных сообщений Hр оказывается меньше
энтропии оптимальных сообщений Hо, а число символов для передачи
одинакового количества информации – больше:
I = nо H o = nр H р ,
Ho > Hр ,
I I
nо = < nр = .
Hо Hр
42
только хранение определенного количества информации, но так же хранение его с
помощью минимальной по объему аппаратуры и т.п.
Пусть количество информации, которое передается по каналу связи за время Т равно IT = HT(X) – HT(X/Y). Здесь под X
понимается вход (сообщение на входе), а под Y – выход канала связи (сообщение на выходе). Если передача сообщения длится Т
единиц времени, то скорость передачи информации составит
IT 1
R= = [ H T ( X ) − H T ( X / Y )] = H ( X ) − H ( X / Y ) .
T T
Это количество информации, приходящееся в среднем на одно сообщение за единицу времени. Если в единицу времени передается n
сообщений, то скорость передачи будет составлять R = n[H(X) – H(X/Y)].
Пропускная способность канала связи есть максимально достижимая для него скорость передачи информации (или
максимальное количество информации, передаваемое за единицу времени):
Для упрощения записи далее вместо IY→X будем писать I(X, Y).
Скорость передачи может быть технической или информационной. Под технической скоростью VT, называемой также
скоростью манипуляции, подразумевается число элементарных сигналов (символов), передаваемых в единицу времени VT = 1
τ
[бод]. Информационная скорость или скорость передачи информации, определяется средним количеством информации, которое
передается в единицу времени и измеряется R=nH [бит/сек]. Для сообщений, составленных из равновероятных и взаимно независимых
1
символов, информационная скорость определяется как R= logm, где m – число различных возможных символов. Если
τ
1
символы не равновероятны, но имеют одинаковую длительность, то R =−
τ
∑ pi log pi , где pi – вероятность i-го символа, i
i
∑ pi log pi
R=− i
,
∑τ i pi
i
H max
Тогда пропускная способность канала связи выражается по формуле C= ,
τ
∑τ i
где Нmax = log m – максимальная энтропия,
τ = i – средняя длительность символа.
m
Пропускная способность является важнейшей характеристикой каналов связи, которая определяет, возможна ли передача
без задержек по каналу связи. Соответствующее условие формулируется в первой теореме Шеннона о кодировании (для каналов без
помех).
Теорема 5.1. Первая теорема Шеннона. Если имеется источник информации X с энтропией Н(X) и канал связи с пропускной
способностью C, то если C > H(X), то всегда можно закодировать достаточно длинное сообщение таким образом, что оно будет
передано без задержек. Если же C < H(X), то передача сообщений без задержек невозможна.
43
Выше был рассмотрен канал связи без учета помех – идеальная модель.
В отличие от нее в реальных каналах всегда присутствуют помехи. Однако,
если их уровень настолько мал, что вероятность искажения практически
равна нулю, можно условно считать, что все сигналы передаются
неискаженными. В этом случае все сказанное ранее остается справедливым.
В противном случае необходимо использовать другие, более точные, модели.
Например, рассмотрим бинарный канал связи, пропускную способность которого нужно определить. В таком канале
возможна передача только двух символов (двоичных сигналов). При этом с вероятностью p каждый из двоичных сигналов может
перейти в противоположный сигнал (рис. 5.2). Такой канал связи называется симметричным бинарным каналом с помехами.
x1 1-p y1
p
p
x2 y2
1-p
Рис.5.2. Симметричный канал передачи сигналов в условиях помех
x1, x2 – передаваемые двоичные сигналы, y1, y2 – принимаемые
двоичные сигналы, p – вероятность искажения сигнала, 1 – p –
вероятность неискаженной передачи
Матрица для нахождения условной вероятности имеет вид:
p ( y1 / x1 ) p ( y2 / x1 ) 1 − p p
P (Y / X ) = = .
p ( y1 / x2 ) p ( y2 / x2 ) p 1 − p
44
0 0.5 1 p
Рис.5.3. График функции С=f(p)
Подчеркнем, что при решении задачи использовалось равенство
H(X) – H(X/Y) = H(Y) – H(Y/X),
т.е. вместо H(X) и H(X/Y) находились и применялись H(Y) и H(Y/X) (известно,
что было послано по каналу связи и что при этом получено).
Теперь рассмотрим более общий случай. На рис. 5.4 представлена
модель передачи информации по m-ичному каналу связи с помехами,
где x1, х2, …, хm – символы на входе, y1, y2, …, ym – символы на выходе канала.
Вероятность ошибки равна p, а вероятность безошибочной передачи
сигналов равняется 1−p.
x1 y1 Переданный символ может с одинаковой
p
x2 y2 вероятностью, равной m −1
, быть
… …
воспринятым как любой из (m − 1)-го отличных
xm ym
от него символов. Матрица для нахождения
Рис.5.4. Симметричный m-ичный
канал связи с помехами условной вероятности имеет вид:
p p
1 − p m − 1 ... m − 1
p p
P(Y / X ) = m − 1 1 − p ... m − 1 .
... ... ... ...
p p
... 1 − p
m − 1 m − 1
Получим выражения для энтропии H(Y/X) и H(Y):
p p
H (Y / X ) = −(1 − p )log (1 − p ) − ( m −1) log ,
m −1 m −1
H (Y ) = log m.
45
p p
C = n log m + (1 − p )log (1 − p ) + (m − 1) log .
m − 1 m − 1
Вопросы
1. Система передачи информации.
2. Источник сообщений.
3. Дискретный источник сообщений.
4. Модели источника сообщений.
5. Избыточность.
6. Скорость передачи информации.
7. Пропускная способность канала связи.
46
8. Первая теорема Шеннона о кодировании.
9. Пропускная способность симметричного бинарного канала связи с
помехами.
10. Пропускная способность симметричного m-ичного канала связи с
помехами.
11. Вторая теорема Шеннона о кодировании.
Лекция 7
Тема 5. Передача информации по каналам связи (продолжение)
5.4. Пропускная способность непрерывных каналов связи
Каналы, используемые для передачи непрерывных сигналов, принято
называть непрерывными. Реальные непрерывные каналы представляют собой
сложные инерционные нелинейные объекты, характеристики которых
случайным образом изменяются во времени. Для анализа таких каналов
разработаны математические модели различных уровней сложности и
степени адекватности реальным каналам. Наиболее широко получили
распространение модели, являющиеся разновидностями гауссова канала.
Под гауссовым каналом понимают математическую модель реального
канала, построенную при следующих допущениях:
1) основные физические параметры канала являются известными
детерминированными величинами;
2) полоса пропускания канала ограничена частотой Fк, герц;
3) в канале действует аддитивный гауссовый белый шум – аддитивная
флюктуационная помеха ограниченной мощности с равномерным частотным
спектром и нормальным распределением амплитуд.
Предполагается также, что по каналу передаются сигналы с постоянной
средней мощностью, статистические связи между сигналами и шумом
отсутствуют, ширина спектра сигнала и помехи ограничена полосой
пропускания канала.
47
Поясним ограничения, накладываемые на модель непрерывного канала
связи. Первое из них достаточно очевидно – все параметры канала являются
известными и не случайными величинами.
Относительно второго ограничения можно сказать следующее. Для
описания непрерывных сигналов используется математический аппарат,
основанный на преобразовании Фурье. Это преобразование заключается в
отображении сигнала, как функции времени, в функцию частоты.
Преобразование Фурье представляется следующей парой:
∞
− jωt
X ( jω) = ∫ x(t )e dt ,
−∞
1 ∞
x (t ) = ∫ X ( jω)e jωt dω,
2π −∞
48
ωс
1 jωt
xˆ (t ) =
2π
∫ X ( jω ) e dω, ε – заданная погрешность представления сигнала
−ωс
x(t).
Третье ограничение говорит о том, что при прохождении через канал
связи к сигналу x(t) добавляется (на него накладывается) помеха n(t),
представляющая сумму гармонических составляющих, амплитуды которых
распределены по нормальному закону с нулевым средним. При этом все
гармонические составляющие помехи имеют одинаковую мощность и любые
две выборки помехи некоррелированы между собой, как бы близко по
времени они не располагались.
Непрерывные сигналы, имеющие спектр частот Fс могут быть
1
переданы в виде дискретных отсчетов через интервалы времени ∆t = (по
2 Fс
I (Y , X ) max
C = Rmax = lim .
T→ T
Определим пропускную способность канала связи, когда помехи
воздействуют на передаваемый сигнал по нормальному закону. Такие помехи
49
обладают наибольшей эффективностью. Энтропия шума для одного
отсчетного значения равна H (n) = log σ n 2πe − log ∆x , где σ2 − дисперсия шума.
Так как элементы независимы, то энтропия объединения для помехи равна
сумме энтропии H ( N ) = 2 FсTH (n) = 2 FсT [log σ n 2πe − log ∆x] .
Тогда
I ( X , Y ) max = H (Y ) max − H ( N ) =
[
2 FсT log σ y 2πe − log ∆y − log σ n 2πe + log ∆x = ]
σy ∆x
= 2 FсT log + log .
σn ∆y
y σ
Если точность квантования Δx и Δy равны, то I ( X , Y ) max = 2 FсT log σ .
n
σ x2 + σ n2 σ x2 + σ n2
I ( X , Y ) max = 2 FсT log = FсT log .
σ n2 σ n2
50
P
Величину FсT log называют «объемом сигнала». При сохранении
N
Вопросы
1. Гауссов канала связи.
2. Преобразование Фурье.
3. Спектр сигнала.
4. Гауссов шум.
5. Энтропия помехи.
6. Энтропия принимаемых сигналов.
7. Количество информации, передаваемой по непрерывному каналу связи.
8. Пропускная способность непрерывного канала связи.
Лекция 8
Тема 6. Кодирование информации
6.1. Основные понятия
51
Выше упоминались теоремы Шеннона о кодировании сообщений.
Интуитивно понятно, что кодирование – это операция преобразования
информации в форму, требуемую для последующей обработки (передачи по
каналу связи, хранения в памяти вычислительной системы, использования
для принятия решения и т.д.). Также понятно, что при построении любой
информационной системы обойтись без кодирования невозможно: любое
представление информации подразумевает использование каких-нибудь
кодов. Поэтому далее подробно разберем теоретические основы кодирования
информации.
Пусть A – произвольный алфавит. Элементы алфавита A называют
буквами (или символами), а конечные последовательности, составленные из
букв, – словами в A. При этом считается, что в любом алфавите существует
пустое слово, не содержащее букв.
Слово α1 называют началом (префиксом) слова α, если существует
слово α2, такое, что α = α1α2; при этом слово α1 называют собственным
началом слова α, если α2 – не пустое слово. Длина слова – это число букв в
слове (пустое слово имеет длину 0). Запись α1α2 обозначает соединение
(конкатенацию) слов α1 и α2. Слово α2 называют окончанием (суффиксом)
слова α, если существует слово α1, такое, что α = α1α2; при этом слово α2
называют собственным окончанием слова α, если α1 – не пустое слово.
Пустое слово по определению считается началом и окончанием любого слова
α.
Рассмотрим алфавит B = {0, 1, …, D – 1}, где D ≥ 2, и произвольное
множество C. Произвольное отображение множества C в множество слов в
алфавите B называют D-ичным кодированием множества C (при D = 2
кодирование будет двоичным). Обратное отображение называют
декодированием. Приведем примеры кодирований.
1. Кодирование множества натуральных чисел, при котором числу n = 0
ставится в соответствие слово e(0) = 0, а числу n ≥ 1 двоичное слово
e(n) = b1b2 … bl(n)
52
наименьшей длины, удовлетворяющее условию
l (n)
∑b j 2l ( n )− j =n.
j =1
53
Пусть A = {ai, i = 1, 2, …} – конечный или счетный алфавит, буквы
которого занумерованы натуральными числами. В этом случае кодирование
букв алфавита A можно задать последовательностью D-ичных слов
V = {vi, i = 1, 2, …}, где vi есть образ буквы ai. Такие последовательности слов
(из множества V) называют кодами (алфавита А). Если задан код V алфавита
А, то кодирование слов, при котором каждому слову ai1ai2…aik ставится в
соответствие слово vi1vi2…vik, называют побуквенным кодированием.
При переходе от взаимно однозначного кодирования букв алфавита к
побуквенному кодированию слов в алфавите свойство взаимной
однозначности может не сохраниться. Например, кодирование e(n) не
сохраняет данное свойство, а кодирование ek(n) его сохраняет. Свойство
взаимной однозначности сохраняют разделимые коды. Код V = {vi, i = 1, 2,
…} называют разделимым, если из каждого равенства вида
vi1vi2…vik = vj1vj2…vjl
следует, что l = k и vi1 = vj1, vi2 = vj2, … , vik = vjl. Разделимые коды называют
также однозначно декодируемыми кодами.
К классу разделимых кодов принадлежат префиксные коды. Код
V = {vi, i = 1, 2, …} называют префиксным, если никакое слово vk не является
началом (префиксом) никакого слова vl, l ≠ k. Если каждое слово
префиксного кода заменить наименьшим его началом, которое не является
началом других кодовых слов, то полученный код также будет префиксным.
Такую операцию называют усечением префиксного кода.
Для произвольного кода V, состоящего из различных слов, можно
построить кодовое дерево. Это ориентированный граф, не содержащий
циклов, в котором вершина β1 соединена с вершиной β2 ребром,
направленным от β1 к β2, тогда и только тогда, когда β2 = β1b, где b ∈ B = {0,
1, …, D – 1}, D ≥ 2. Для префиксных кодов (и только для них) множество
кодовых слов совпадает с множеством концевых вершин (вершин, из
которых не исходят ребра) кодового дерева.
54
6.2. Основные теоремы кодирования
Свойства кодов, полезные для их практического применения,
определяются основными теоремами кодирования.
Теорема 6.1. Неравенство Крафта. Для существования однозначно
декодируемого (разделимого) кода, содержащего N кодовых слов в
множестве {0, 1, D – 1} с длинами n1, n2, …, nN, необходимо и достаточно,
чтобы выполнялось неравенство
N
∑D −n i
≤1 .
i =1
55
В результате доказательства теоремы 6.1 делается вывод о том, что
существуют хотя бы префиксные коды, которые являются однозначно
декодируемыми кодами, с длинами кодовых слов n1, n2, …, nN ,
удовлетворяющими неравенству Крафта. Следующая теорема, называемая
утверждением Мак-Миллана, обобщает данный вывод на все однозначно
декодируемые коды.
Теорема 6.2. Неравенство Мак-Миллана. Каждый однозначно
декодируемый код удовлетворяет неравенству Крафта.
N
Доказательство. Возведем сумму ∑D
−ni
в степень L:
i =1
L
N −ni −[ n +n +... +ni L ]
N N N
∑ D = ∑∑ ... ∑ D i1 i2 . (6.1)
i =1 i1 =1 i2 =1 iL
∑ D = ∑ Ak D −k ,
i =1 k =1
∑ D = ∑ Ak D −k
≤ ∑ D k
D −k
= ∑1 = Lmax ,
i =1 k =1 k =1 k =1
N
∑ D −n ≤ [ Lmax ]
1L
i
.
i =1
Так как L – это число независимых кодовых слов, которые используются для
построения всех возможных последовательностей длины, не превышающей
N
∑D −n i
≤1 .
i =1
56
Поскольку приведенные рассуждения справедливы для каждого однозначно
декодируемого кода, а не только для префиксных кодов, то утверждение
Мак-Миллана доказано.
Следующие теоремы связывают энтропию источника сообщений и
среднюю длину кодового слова.
Теорема 6.3. Теорема кодирования источников I. Для любого
дискретного источника без памяти X с конечным алфавитом и энтропией
H(X) существует D-ичный префиксный код, в котором средняя длина
кодового слова n удовлетворяет неравенству
H (X ) H(X )
≤n ≤ +1 . (6.2)
log D log D
Затем выберем для каждого слагаемого такое наименьшее целое ni, при
котором
D − ni ≤ pi .
57
Тогда
pi log pi < pi log D −( ni −1) = pi (−ni + 1) log D,
N N N
∑ pi log pi < log D ∑ pi ( −ni ) + log D ∑ pi ,
i =1 i =1 i =1
− H ( X ) < −log Dn + log D,
log Dn < H ( X ) + log D,
H (X )
n< + 1.
log D
1
где H L ( X ) = H ( X 1 , X 2 ,..., X L ) .
L
58
где H – энтропия источника сообщений на один символ, справедливо
неравенство
H H
≤n ≤ +ε , (6.3)
log D log D
1
где ε = → 0 . Это можно интерпретировать также следующим образом: для
L
n −H H
определить по формуле =1 − .
n n
Вопросы
1. Слово в алфавите.
2. Префикс и суффикс слова.
3. Кодирование множества.
4. Побуквенное кодирование.
5. Разделимые коды.
6. Кодовое дерево.
7. Неравенство Крафта.
8. Утверждение Мак-Миллана.
9. Теорема о кодировании источников I.
10. Теорема о кодировании источников II.
59