1. Понятие информации
Информатика – наука о способах её представления информации, её
получении, преобразовании и передаче.
Термин информатика образован путём слияния двух слов –
информация и автоматика, и применяется в странах Евразии. В США, Канаде
и некоторых латиноамериканских странах используется термин "computer
science" (компьютерная наука).
В нашей стране термин "информатика" утвердился с 1983 г. после
создания Отделения информатики, вычислительной техники и автоматизации
АН СССР.
Информация – это сведения об объектах и явлениях окружающей
среды, их параметрах, свойствах и состоянии, которые уменьшают степень
неопределённости, неполноты знаний о них.
Энтропия – численная мера неопределённости информации ,
где n – количество вариантов сообщений, которые можно получить от
источника информации.
Свойства энтропии:
1. , полученное сообщение не является случайным,
неопределённость отсутствует.
2. возрастает с ростом n.
3. Количество информации I определяется степенью снятия
неопределённости при получении сообщения от источника информации
Дискретный
U
сигнал
2,9
Аналоговый
1,8 сигнал
0,7 t
0,4
0 t1 t2 t3 t4 t (сек.)
Рис.1. Дискретизация аналогового сигнала.
U
U6
U5 Цифровой
U4 сигнал
U3
U2
U t
U1
0 t1 t2 t3 t4 t5 t (сек.)
(например, )
Когда количество слов во множествах одинаково, то и количество
информации, заключённое в словах этих множеств, одинаково
При этом сами логарифмы будут иметь отрицательные значения, так как
вероятности меньше единицы, поэтому, количество информации останется
положительной.
Нам осталось выяснить каким образом распределение вероятностей
появления тех или иных символов в сообщении влияет на получаемое из
сообщения количество информации. Для решения этой задачи рассмотрим
словарное множество с двухсимвольным алфавитом, имеющим вероятности
появления символов и . Так как это полная группа событий, т.е.
, то выразим
,
подставим это выражение в формулу Шеннона
0 0,5 1 p1
следовательно, и окончательно
Смысл Смысл
сообщения сообщения
непонятен известен
0 0,5 1 Совпадение
тезаурусов
Рис.4. Зависимость количества сведений S от совпадения
тезаурусов сообщения источника и знаний приёмника.