Тема 2.

Информация и ее свойства
План занятия
1. Коллекция определений
2. Измерение информации
3. Цель системы
4. Ценность информации и ее свойства

1. Коллекция определений
В естественных науках распространены следующие формулировки:
• это обозначение содержания, полученного от внешнего мира в процессе приспособления к нему (Винер);
• это негэнтропия (Бриллюэн);
• это коммуникация (связь), в процессе которой устраняется неопределенность (Шеннон);
• это мера сложности структур (Моль);
• это вероятность выбора (Яглом).
Динамическое определение Г. Кастлера
Информация есть случайный и запомненный выбор одного варианта из не-
скольких возможных и равноправных.
Выбор и запоминание требуют наличия обратной связи.
Ячейка памяти
2. Измерение информации
Информация как количественная характеристика процесса появилась впервые в термодинамике при объясне-
нии «демона Максвелла» и «теплового насоса Сцилларда».
Информация является следствием некоторого знания и проявляется как результат события или сообщения.
Событие и сообщение
Под событием понимают какое-то, имеющее определенную законченную форму изменение.
Сообщение — есть результат события.
Связь между сообщением и событием описывается формулой Хартли

где К — количество равновероятных событий; I — количество бит в сообщении о событии.

Количество информации в сообщении, содержащем N символов In, по Шеннону равно:

где M – число букв в алфавите, рi – частота встречаемости i-ой буквы в языке, на котором написано сообщение.
В общем случае, когда делается выбор одного варианта из n возможных (реализующихся с априорной вероятно-
стью рi, i = 1, 2,.... n), количество информации выражается формулой:

Эта формула характеризует количество информации, но не ее ценность.

Информация и сложность
Колмогоровская сложность объекта — мера вычислительных ресурсов, необходимых для точного определения
этого объекта.
Первый фундаментальный закон кибернетики Эшби: «Для успешного управления объектом разнообразие
управляющих действий R должно быть не меньше разнообразия возмущений».

где R – разнообразие системы, N – число различимых состояний системы.

Информационная тара и емкость
Термин «информационная тара» связан с мощностью множества, из которого выбираются варианты, а «инфор-
мационная емкость» – используется для физических систем, способных хранить информацию.

Название единицы Основание логарифма Характеристика Перевод единиц

Bit (бит) 2 0 или 1

Nat (нат) e 1 nat = 1/ln 2 bit = 1,44 bit

Ban (хартли) 10 1 ban = log2 10 bit = 3,32 bit

Qubit (кубит) квантовая единица 0, 1 или их суперпозиция

3. Цель системы
Цель – это желаемое состояние системы или желаемый результат её поведения, сформулированный с точки зре-
ния системы более высокого ранга.
Способы возникновения цели

внешний (цель задана) внутренний (цель формируется в системе)

Генетический алгоритм
Генетический алгоритм — это эвристический алгоритм поиска, используемый для решения задач оптимизации и
моделирования путём случайного подбора, комбинирования и вариации искомых параметров с использованием
механизмов, напоминающих биологическую эволюцию.
Последовательность действий при достижении цели:
1. робот выполняет физическое действие; вначале – случайное; далее – луч-
шее, выбранное в действии;
2. робот генерирует несколько моделей, которые объясняют полученную
сенсорную информацию; роботу не известно, которая из моделей верна;
3. модель генерирует несколько возможных действий, которые позволяют
дифференцировать лучшие собственные модели;
4. после нескольких циклов 1 – 3, лучшая имеющаяся модель используется
для разработки метода передвижения;
5. лучший найденный способ движения исполняется физическим роботом.

4. Ценность информации и ее свойства

Ценностью информации называется параметр V, равный:
Схема алгоритма

где где p – вероятность достижения цели до получения информации, P – после.

Ценность информации зависит от цели, которую преследует рецептор
(приемник). Следовательно, ценность информации субъективна.
Ценность информации зависит от вероятности достижения цели до
получения информации, т. е. от предварительной (априорной) ин-
формации Iа, которой располагает рецептор.

Ценность

Ценность учебника для: 1 – школьника,

>0 < 0 =0 2 – студента, 3 – профессора

 Смысловое содержание информации

Для измерения смыслового содержания информации используется тезаурус; он связывает семантические свойства
информации со способностью пользователя принимать поступившее
сообщение.
 Рецепция информации – выбор, продиктованный свыше, т. е.
по указанию кого-либо или чего-либо.
 Генерация информации – выбор, сделанный случайно, без
подсказки извне.
Процессы генерации и рецепции ценной информации сопровожда-
ются «переливанием» информации из одной тары в другую. При График зависимости количества семанти-
этом, как правило, количество информации уменьшается, но количе- ческой информации Ic, от его тезауруса Sp
ство ценной информации сохраняется.
 Условная и безусловная информация
Информация может существовать только в зафиксированном состоянии. При этом способы фиксации (записи)
могут быть условными, не имеющими отношения к семантике. Поэтому информацию разделяют на условную и
безусловную.
Пример условной информации – код, которым пользуются, чтобы зашифровать сообщение.
Кодом называется соответствие между условными символами и реальными предметами и/или действиями.
 Примеры кодов
Безусловной является информация о реально происходящих событиях. Она не нуждается в согласовании и может
реципироваться информационной системой даже без участия человека.