Теория информации

Нет необходимости говорить о важности информации на занятии факультета

компьютерных наук.
Наша задача – разобраться с измерением количества информации. Начнём с
простых, точно определённых систем. Пусть вы можете получить одно из
сообщений - например, о выпавшей стороне монетки ( ), грани кубика (
), имени лошади-победителя в гонках ( равно числу лошадей), имени
победившего кандидата в президенты (обычно в конечном итоге ) - и
вероятности получить эти сообщения равны соответственно для , для и
т.д (сумма вероятностей, конечно, равна единице). Какое количество информации
вы получите, когда придёт какое-то из этих сообщений?
Поскольку мы говорим о получении информации, зададим следующий вопрос: а
что изменилось для нас, получателей? До получения сообщения мы знали, что
придёт одно из указанных сообщений с заданными вероятностями ,
но не знали, какое, после получения знаем, какое - наше «количество
неопределённости», «незнание» уменьшилось. В этом и состоит эффект
получения информации, меру для него нам и нужно ввести. Насколько
уменьшилось «незнание»?
Наглядный геометрический пример. Пусть у человека, который отправляет нам
сообщение, есть отрезок единичной длины, разбитый на отрезки с длинами
(сумма длин равна длине отрезка - единице), см. рис.

И пусть человек бросает случайную точку на отрезок (равновероятно в любую

точку), а затем сообщает нам, в какой из отрезков точка попала.
Вероятность попадения точки в отрезок длины при равномерном распределении
случайной точки по отрезку равна, очевидно, .
С точки зрения множества сообщений и их вероятностей система
эквивалентна описанной выше.
Как уменьшилась наша неопределённость при получении сообщения о том, что
случайная точка оказалась в отрезке ? До получения сообщения мы знали, что она
будет где-то на единичном отрезке. После получения сообщения знаем, что она где-
то на отрезке длины . Наше знание стало более определённым, наша
неопределённость уменьшилась, удобно говорить, что наша неопределённость
уменьшилась в раза (к примеру, если и сообщения равновероятны,
 , мы скажем, что наша неопределённость уменьшилась в -
«уменьшилась в два раза», что вполне логично).

Итак, мы можем выбрать саму величину или какую-то (возрастающую с ней)

функцию от неё в качестве меры того количества информации, которое мы получили

при получении сообщения .

Однако, сама величина не очень удобна. Пусть мы получили два сообщения

(оба раза его вероятность была ). Вероятность того, что при получении двух

сообщений два раза придёт равна . Так что и приведенная выше

величина для двух сообщений будет равна , а нам бы всё-таки

хотелось, чтобы количества информации в двух одинаковых сообщениях

складывались, а не перемножались. Знаем ли мы функцию, которая переводит
произведение в сумму? Да – это логарифм!
Так что в качестве меры количества информации, содержащегося в сообщении
удобно взять

Тогда количество информации в двух сообщениях будет равно

т.е. вдвое больше, чем в одном , что логично.

Основание логарифма определяет единицы измерения количества
информации. Если бы мы измеряли информацию с помощью, скажем, логарифма по
основанию 10, а затем перешли к логарифму по основанию 100, количество
информации изменилось бы как

т.е. просто добавился бы множитель, как при переходе от метров к сантиметрам,

например.
Общепринятый выбор основания логарифма – 2. В этом случае при получении
одного из двух сообщений – например, 0 и 1 – если сообщения равновероятны,
количество информации будет равно , так что при использовании
двоичного кода (принятого в современных компьютерах) каждая двоичная цифра (0
или 1) сообщения, если она случайна и равновероятна, несёт ровно одну единицу
количества информации. Двоичная цифра – binary digit дала название такой
единице количества информации – бит.

Если все сообщений имеют одинаковую вероятность (честная монетка,

честный кубик), равную , то количество информации в любом сообщении одно
и то же и равно
.

Формула для количества информации при равноправных

вариантах известна как формула Хартли.
Мы могли бы пойти обратным путём – начать с формулы Хартли для
сообщений об одном из равноправных вариантов, а затем для сообщений с разной
вероятностью поступить примерно так - скажем, сообщения с вероятностями
и представить как 4 равноправных варианта, но приравнять к
получению любого сообщения из первых трёх, а к последнему оставшемуся и
получить те же значения количества информации, что в вероятностном подходе
выше. И развивая эту идею перейти от комбинаторики (числа равноправных
вариантов) к вероятностям. Это так называемый комбинаторный подход к
определению количества информации.
Отметим, что «равноправность» вариантов не обязательно связана с простой
симметрией системы. К примеру, пусть осуществляется одновременный бросок
кубика (шестигранника), четырёхгранника (тетраэдра) и монеты. Система весьма
разнородна, однако выпадение любого из вариантов равноправно,
количество информации в сообщении о выпадении конкретных граней всех
предметов равно

Заметьте, что это количество информации равно , т.е.

сумме количеств информации в сообщениях о выпадении каждого предмета по
отдельности. Информация суммируется в случае независимых событий.

Задачи

1. Бросают одновременно 10 честных монеток. Найти число комбинаций,

которые могут выпасть. Найти количество информации в сообщении о выпадении
конкретного варианта. Найти то же количество информации как сумму количеств
информации о выпадении каждой из 10 монеток по отдельности как независимых
событий.

2. Пусть бросают нечестную монету, вероятность выпадения авреса ,

вероятность выпадения реверса . Найти количество информации в
сообщении об аверсе и в сообщении о реверсе.
 Найти вероятность выпадения при броске двух таких монет на одной из них
аверса, на другой реверса и количество информации в сообщении о такой
комбинации.
Найти количество информации в сообщении о результате броска 10 таких
монет, имеющего вид 5 аверсов и 5 реверсов с помощью правила для независимых
событий.

3. Найти количество информации в сообщении о результатах одновременного

броска 4-гранника и 8-гранника (стороны у обоих пронумерованы, сообщаются два
выпавших номера).

4. В шляпе лежат карточки с числами (на всех карточках числа разные), одна
карточка вытаскивается не глядя, наугад, и передаётся сообщение о том, какая
карточка вытащена. Известно, что количество информации в сообщении о
вытянутой карточке равно 8 бит. Сколько карточек в шляпе?

5. В шляпе лежат 32 карточки с разными буквами. Некто вытаскивает карточку,

записывает букву, кладёт карточку обратно, перемешивает и достаёт следующую,
так 5 раз. Затем передаёт полученный «текст» из 5 букв. Каково количество
информации в тексте?