Teoría de la información

La teoría de la información también conocida como teoría matemática de la

comunicación (Mathematical Theory of Communication) o teoría matemática de la
información, es una propuesta teórica presentada por Claude E. Shannon y Warren
Weaver a finales de la década de los 40.
Esta teoría está relacionada con las leyes matemáticas que rigen la transmisión y
el procesamiento de la información y se ocupa de la medición de la información y
de la representación de la misma así como también de la capacidad de los
sistemas de comunicación para transmitir y procesar información.
La Teoría de la Información es una rama de la teoría matemática y de las ciencias
de la computación que estudia la información y todo lo relacionado con ella:
canales, compresión de datos, criptografía y temas relacionados.
Teoría de la información
• Un concepto fundamental en la teoría de la información es que la
cantidad de información contenida en un mensaje es un valor
matemático bien definido y medible.
• El término cantidad no se refiere a la cuantía de datos, sino a la
probabilidad de que un mensaje, dentro de un conjunto de mensajes
posibles, sea recibido.
• En lo que se refiere a la cantidad de información, el valor más alto se
le asigna al mensaje que menos probabilidades tiene de ser recibido.
Si se sabe con certeza que un mensaje va a ser recibido, su cantidad
de información es 0.
 Elementos de la Teoría
• Fuente
Una fuente es todo aquello que emite mensajes. Una fuente es en sí misma un conjunto
finito de mensajes: todos los posibles mensajes que puede emitir dicha fuente.

• Tipo de Fuentes
Existen varios tipos de fuentes. Para la teoría de la información interesan las fuentes
aleatorias y estructuradas.
Una fuente es aleatoria cuando no es posible predecir cual es el próximo mensaje a emitir
por la misma.
Una fuente es estructurada cuando posee un cierto nivel de redundancia, una fuente no
estructurada o de información pura es aquella en que todos los mensajes son
absolutamente aleatorios sin relación alguna ni sentido aparente.
 Elementos de la Teoría
• Mensaje
Un mensaje es un conjunto de ceros y unos. Un archivo, un paquete de datos que viaja por una
red y cualquier cosa que tenga una representación binaria puede considerarse un mensaje.
El concepto de mensaje se aplica también a alfabetos de más de dos símbolos, pero debido a que
tratamos con información digital nos referiremos casi siempre a mensajes binarios.
• Código
Un código es un conjunto de unos y ceros que se usan para representar a un cierto mensaje de
acuerdo a reglas o convenciones preestablecidas.
Por ejemplo al mensaje 0010 lo podemos representar con el código 1101 usando para codificar la
función (NOT). La forma en la cual codificamos es arbitraria. Un mensaje puede, en algunos casos
representarse con un código de menor longitud que el mensaje original.
Supongamos que a cualquier mensaje S lo codificamos usando un cierto algoritmo de forma tal
que cada S es codificado en L(S) bits, definimos entonces a la información contenida en el mensaje
S como la cantidad mínima de bits necesarios para codificar un mensaje.
Elementos de la Teoría
Información
• La información contenida en un mensaje es proporcional a la cantidad de
bits que se requieren como mínimo para representar al mensaje.
• El concepto de información puede entenderse más fácilmente si
consideramos un ejemplo. Supongamos que estamos leyendo un mensaje y
hemos leído "string of ch", la probabilidad de que el mensaje continúe con
"aracters" es muy alta por lo tanto cuando realmente leemos "aracters" del
archivo la cantidad de información que recibimos es muy baja pues
estabamos en condiciones de predecir que era lo que iba a ocurrir.
• La ocurrencia de mensajes de alta probabilidad de aparición aporta menos
información que la ocurrencia de mensajes menos probables. Si luego de
"string of ch" leemos "imichurri" la cantidad de información que recibimos
es mucho mayor.
Entropía

• De Wikipedia, la enciclopedia libre.

• 1| entropía (Física) Magnitud termodinámica que mide la parte de la
energía que no puede utilizarse para producir un trabajo. En un
sentido más amplio se interpreta como la medida del desorden de un
sistema.

• 2| entropía (Teoría de la información) Magnitud que mide la

información contenida en un flujo de datos, es decir, lo que nos
aporta sobre un dato o hecho concreto.
Entropía
• La medida de la entropía puede aplicarse a información de cualquier
naturaleza, y nos permite codificarla adecuadamente, indicándonos
los elementos de código necesarios para transmitirla, eliminando
toda redundancia. (Para indicar el resultado de una carrera de
caballos basta con transmitir el código asociado al caballo ganador, no
hace falta contar que es una carrera de caballos ni su desarrollo).

• La entropía nos indica el límite teórico para la compresión de datos.

Su cálculo se realiza mediante la siguiente fórmula:
 H = p1*log(1/p1)+p2*log(1/p2)+ .. pm*log(1/pm)
• donde H es la entropía, las p son las probabilidades de que aparezcan
los diferentes códigos y m el número total de códigos.

• Se utiliza habitualmente el logaritmo en base 2, y entonces la

entropía se mide en bits.
Ejemplo
El lanzamiento de una moneda al aire para ver si sale cara o cruz (dos
estados con probabilidad 0,5) tiene una entropía:

H = 0,5*log2(1/0,5)+0,5*log2(1/0,5) = 0,5*log2(2)+0,5*log2(2) = 0,5+0,5 = 1 bit

Equiprobables???
Si la moneda está trucada, 0,60 cara y 0,4 sello….
H?

Si p = 0,60 moneda trucada al aire H(X) = − 0,6 log 2 0,6 − 0,4 log 2 0,4 =
0,97
Una urna con 9 bolas negras y 1 bola blanca. Se
efectúan extracciones sin reemplazamiento
….H(x)?

H(X) = − 0,9 log 2 0,9 − 0,1 log 2 0,1 = 0,468

Ejemplo
• La entropía de un mensaje M de longitud 1 carácter que utiliza el
conjunto de caracteres ASCII, suponiendo una equiprobabilidad en los
caracteres ASCII, será:
Ejemplo
• Supongamos que el número de estados de un mensaje es igual a 3,
M1, M2 y M3 donde la probabilidad de M1 es 50 %, la de M2 25 % y
la de M3 25 %. Por tanto, la entropía de la información es:
 Ejercicio
• Supongamos que la fuente de información está compuesta por dos
dados y los mensajes que envía es la suma de los mismos. Existen 11
posibles mensajes dados por la suma 1+1, 1+2, ..., 6+6.
• Cuál es el mensaje más frecuente? y los menos frecuentes? son la
suma 2 y 12. cual es la entropía del 7? Cuál es la entropía total del
sistema ?