Кодирование дискретных источников.

Экономное кодирование
Под кодированием в широком смысле понимают отображение сообщения в сигнал для
передачи его по каналу. Под кодированием в узком смысле здесь будем понимать
преобразование сообщений дискретного источника для передачи их по дискретному
каналу. Именно в этом смысле и будет далее пониматься термин «кодирование».
Реализация кодирования на передающей стороне всегда предполагает применение
обратной процедуры - декодирования - для восстановления принятого сообщения.
Устройства, осуществляющие кодирование и декодирование, называются соответственно
кодер и декодер.
Процедура кодирования состоит в том, что каждому символу Si дискретного
источника S = {Si}, i = 1, N (где N – количество символов источника, а также, возможно,
некоторых их комбинаций) ставится в соответствие некоторое кодовое слово Сi из
множества C = {Ci}, i = 1, N - кодовых слов, каждое из которых составлено из
некоторого числа кодовых сигналов аk, выбираемых из множества А ={ak}, k =1, D –
алфавита кода, где число D называется основанием кода. Наиболее распространены на
практике коды с основанием 2, двоичные коды, алфавит которых состоит только из двух
символов (0,1).
Число кодовых символов в кодовом слове (комбинации) Ci называют длиной
кодового слова li.
По своему назначению кодирование можно подразделить на несколько видов:
примитивное, экономное и помехоустойчивое.
Примитивное, или безызбыточное кодирование применяется для
согласования алфавита источника и алфавита канала. В табл.1 представлен пример
кодирования символов дискретного источника с объёмом алфавита N = 4 с помощью
двоичного кода для передачи по дискретному двоичному каналу.
Таблица 1 Пример кодирования символов дискретного источника
Символы источника Кодовая комбинация
S1 00
S2 01
S3 10
S4 11
Кодер, совместно с источником сообщений, подключённым к входу кодера (рис. 1),
образует так называемый вторичный источник, информационные характеристики
которого могут отличаться от информационных характеристик исходного, первичного
источника.

Si C
Источник
Кодер i
сообщений

Вторичный источник сообщений

Рис. 1. Образование вторичного источника сообщений

 Отличительное свойство примитивного кодирования состоит в том, что
избыточность дискретного источника, образованного выходом кодера, равна
избыточности источника на входе кодера. Такое кодирование широко используется в
технике связи с целью передачи недвоичных символов, типа букв, цифр и т.п. по
двоичному каналу, в компьютерной технике с целью двоичного представления
различных знаков компьютерной клавиатуры. Эти коды обычно стандартизованы и
имеют фиксированную длину, такую как 5-7 бит, достаточную для того, чтобы
присвоить единственную двоичную последовательность каждому входному знаку
алфавита источника.
Другой вид кодирования, называемый экономным или сжатием данных,
применяется для уменьшения времени передачи информации или требуемого объёма
памяти для её хранения. Отличительное свойство экономного кодирования состоит в
том, что избыточность источника вторичного, т.е. на выходе кодера, меньше
избыточности первичного источника, на входе кодера. Это позволяет уменьшить
необходимое число бит, которые требуется передать по каналу, а соответственно
уменьшить время передачи.
Помехоустойчивое, или избыточное, кодирование применяется для обнаружения и
исправления ошибок, возникающих при передаче по дискретному каналу.
Отличительное свойство помехоустойчивого кодирования состоит в том, что
избыточность источника, образованная выходом кодера, больше, чем избыточность
источника на входе кодера, т.е. кодер вносит дополнительную избыточность в
передаваемое сообщение. Это, конечно, увеличивает общее количество бит, которое
требуется передать по каналу связи, за счёт введения кодером дополнительных, так
называемых контрольных битов, однако позволяет за счёт этого обнаружить или даже
исправить в декодере значительную часть ошибок, возникающих в реальных каналах
передачи. Помехоустойчивое кодирование широко используется в различных системах
связи, при хранении и передаче данных в сетях ЭВМ, цифровой записи аудио и
видеосигналов и т.д.
Основные свойства экономных кодов
Экономные коды, или коды сжатия данных часто имеют переменную длину.
Очевидно, средняя длина неравномерного кода будет минимизироваться тогда, когда
более вероятным, т.е. чаще выдаваемым сообщениям источника будут присваиваться
более короткие кодовые комбинации Ci канальных символов, а менее вероятным – более
длинные.
Пусть источник имеет алфавит из трех символов: а, в и с.
В табл. 2 приведено 6 вариантов кодовых комбинаций для этих символов
Таблица 2 6 вариантов кодовых комбинаций
Символ Код Код Код Код Код Код
1 2 3 4 5 6
а 00 00 0 1 1 1
в 00 01 1 10 00 01
с 11 10 11 100 01 11
 Первое требование к коду является однозначность декодирования. Для этого,
прежде всего, каждая кодовая комбинация должна быть уникальной, т. е. одна и та же
комбинация не должна использоваться для кодирования разных символов, условие,
нарушенное в Коде 1. Остальные коды являются уникальными, тем не менее, это не
является гарантией однозначности декодирования. Рассмотрим коды 3 и 6. Они
уникальны для каждого символа в отдельности, но проблема может возникнуть при
кодировании последовательности символов. Например, попытайтесь при использовании
кода 3 декодировать принятую последователь-ность 10111. Это в,а,в,в,в; в,а,в,с или
в,а,с,в? Попытки декодировать ту же последовательность в коде 6 вызывает аналогичные
сложности. Эти коды не являются однозначно декодируемыми, хотя и являются
уникальными для отдельных знаков.
Однозначное декодирование будет обеспечено, если код удовлетворяет следующему
требованию: ни одно кодовое слово не является началом (префиксом) другого кодового
слова. Такие коды называют префиксными. Требование отсутствия префикса является
достаточным для однозначности декодирования, но не необходимым. Например, код 4 не
является свободным от префикса, но является однозначно декодируемым. Однако код 4
имеет свойство, которое может быть нежелательным. Он не является мгновенно
декодируемым. Например, при передаче символа в с помощью последовательности 10 в
коде 4 получатель не может определить, является ли это целым кодовым словом для
символа в или частью кодового слова для символа с . Для принятия решения
необходимо ожидать прихода еще одного двоичного символа (0 или 1). Префиксные
коды являются мгновенно декодируемыми.
Одним из важнейших критериев при построении компактных кодов является
уменьшение средней длины кода, определяемой соотношением
M
l̄ =∑ pi l i
i=1 ,
где вероятность появления на выходе источника сообщения S i , а
pi= p( S i ) -

следовательно и соответствующего кодового слова Ci длиной li на выходе кодера.

Наилучшим значением средней длины кода является минимально возможным
l̄ min= H (S )/log 2 N=H ( S ) (для N = 2) .

Коды, для которых l̄ = l̄ min называют абсолютно оптимальными.

У любого реального кода l̄ ≥ l̄ min=H ( S ), а степень близости какого-то кода к
абсолютно оптимальному оценивается параметром, который носит название
эффективность кода
H ( S ) H (S )
η= l̄ min / l̄ = = (для N =2)
l̄ logN l̄ .
У абсолютно оптимального кода η=1 (100 %)
Другой параметр, применяемый для оценки кода, называется избыточностью кода
ρ=1−η .