TEORIA DE LA

INFORMACION
Claude Elwood Shannon
 Claude Elwood Shannon
 Nacimiento: Claude Elwood
Shannon nació el 30 de abril
de 1916 en Petoskey,
Michigan, en el seno de una
culta familia media
americana. Su padre, Claude
Elwood, era el juez de una
pequeña localidad de tres mil
habitantes, llamada Gaylord,
y su madre la directora del
instituto. Además de sus
padres, Shannon recibió una
influencia decisiva de su
abuelo, un granjero al que
gustaba construir todo tipo
de máquinas agrícolas, el
cual le inculcó dos aficiones
que siempre practicaría, la
construcción de ingenios
electromecánicos y los
juegos malabares.
Inicio
 Estudios
 Los primeros años de su vida los pasó en
Gaylord, donde se graduó de la
secundaria en 1932. Desde joven,
Shannon demostró una inclinación hacia
las cosas mecánicas. Resaltaba respecto
a sus compañeros en las asignaturas de
ciencias. Su héroe de la niñez era Edison,
a quien luego se acercó bastante en sus
investigaciones.
 En 1932 ingresó en la Universidad de
Míchigan, siguiendo a su hermana
Catherine, doctora en matemática. En
1936 obtuvo los títulos de ingeniero
electricista y matemático. Su interés por
la matemática y la ingeniería continuó
durante toda su vida.
 En 1936 aceptó la posición de asistente
de investigación en el departamento de
ingeniería eléctrica en el Instituto de
Tecnología de Massachusetts (MIT). Su
situación le permitió continuar
estudiando mientras trabajaba por horas
para el departamento, donde trabajó en el
computador analógico más avanzado de
esa era, el Differential Analyzer de
Vannevar Bush.

Inicio
 Teoría De La
Información
 La teoría de la información
surgió a finales de la segunda
guerra mundial en los años
cuarenta. En esta época se
buscaba utilizar de manera
más eficiente los canales de
comunicación, mandando así
una cantidad de información
por un determinado canal y
como medir su capacidad.
Esta teoría buscaba la
transmisión óptima de los
mensajes.
 Es una rama de la teoría
matemática de la probabilidad
y la estadística que estudia la
información y todo lo
relacionado con ella: canales,
 Utilizó su teoría para medir
la información y su
contenido.
 Cuanto más inesperado es
un suceso, mas cantidad de
información puede generar
 El contenido de la
información de un suceso =
una función decreciente de
la probabilidad de su
aparición.
 Para traducir las
probabilidades en
información Shannon uso el
logaritmo de la inversa de
la probabilidad Inicio
 N° de sucesos por
Shannon
Formalmente si tenemos un conjunto de n
sucesos, uno de los cuales sabemos con certeza
que va a ocurrir, y cada uno con una probabilidad
de que ocurra entonces:
n

∑x
i=1
i =1

El contenido de información expresado por

n
Shannon es: 1
H ( x) = ∑ xi log
i =1 xi

Inicio
 Entropía (H) y capacidad
del emisor
n variables
aleatorias con
probabilidades P1….
Pn n
1
 H medida en bits por H ( x) = ∑ pi log
símbolo i =1 pi
 H mide la cantidad de
información de una
fuente
 Concepto clave de la
TI
 Capacidad de la Inicio
 El nivel de la entropía se interpreta como la diferencia relativa del
contenido de la información
 Menos entropía es equivalente a más igualdad
n Sequence of xi sum y=sum x*ln(1/x)
1 1.00 . . . . . . . . . 1 0.000
2 0.50 0.50 . . . . . . . . 1 0.301
4 0.25 0.25 0.25 0.25 . . . . . . 1 0.602
10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 1 1.000
2 0.50 0.50 . . . . . . . . 1 0.301
2 0.60 0.40 . . . . . . . . 1 0.292
2 0.90 0.10 . . . . . . . . 1 0.141
10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 0.10 1 1.000
10 0.91 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 0.01 1 0.217
 El caso con más desigualdad es cuando un solo individuo
recibe toda la renta
 Si la renta se reparte equitativamente entre mas personas la
medida debería incrementarn
 Si quitamos renta a n individual (con la misma renta cada
uno) y se la damos a un individuo la medida debería decrecer

Inicio
 Modelo De La
Comunicación
 El modelo comunicacional desarrollado por Shannon y Weaver se
basa en un sistema de comunicación general que puede ser
representado de la siguiente manera:

Inicio
 Modelo De La
Comunicación
FUENTE DE INFORMACION: selecciona el mensaje
deseado de un conjunto de mensajes posibles.
TRANSMISOR: transforma o codifica esta
información en una forma apropiada al canal.
SEÑAL: mensaje codificado por el transmisor.
CANAL: medio a través del cual las señales son
transmitidas al punto de recepción.
FUENTE DE RUIDO: conjunto de distorsiones o
adiciones no deseadas por la fuente de
información que afectan a la señal. Pueden
consistir en distorsiones del sonido (radio,
teléfono), distorsiones de la imagen (T.V.), errores
de transmisión (telégrafo), etc.
RECEPTOR: decodifica o vuelve a transformar la
señal transmitida en el mensaje original o en una
aproximación de este haciéndolo llegar a su
destino.
Inicio
 Medición De La
Información
Este establece que
mientras más probable
sea un mensaje menos
información
proporcionará. I(Xi) > I(Xk)
la probabilidad que tiene Si y solo
un mensaje de ser
enviado y no su Si
contenido, lo que
determina su valor
informativo. P(Xi) < P(Xk)
I(xi) : cantidad de
información
proporcionada por xi.
p(xi) : probabilidad de xi Inicio
 Muerte
Claude Elwood
Shannon falleció el
24 de febrero del año
2001, a la edad de
84 años, después de
una larga lucha en
contra la enfermedad
de Alzheimer.