Departamento de Ingeniera El ectrica

Facultad de Ciencias Fsicas y Matem aticas

Universidad de Chile
EL7024: Teora de Informaci on: Fundamentos y Aplicaciones.
Tarea 2
Problema 1
Problemas Capitulo 5, Thomas and Cover
Profesor:
Jorge Silva, Ph.D.
Auxiliar:
Rodrigo Lobos
Ayudante:
Hernan Calderon
Integrantes:
Felipe Santiba nez-Leal
Fecha:
02 de Junio, 2014
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1
Problema 1 ( Problemas seleccionados Chapter 5, Elements of Information Theory, Cover
y Thomas (referido como The Book en este desarrollo))
Problema 5,4 pag. 143
Codicacion Human. Considere la variable aleatoria:
X =

x
1
x
2
x
3
x
4
x
5
x
6
x
7
0,49 0,26 0,12 0,04 0,04 0,03 0,02

Paso (a) : Encontrar el codigo Human binario para la variable aleatoria X

El Metodo propuesto por Human se basa en caracterizar, en el alfabeto Dario, los D eventos de menor
probabilidad agrupandolos en un nuevo evento. Luego se debe reiterar el procesos hasta llegar a la asignacion
de solo D eventos residuales. En este caso D es igual a 2.
Como los eventos han sido organizados desde mayor probabilidad de ocurrencia a menor proabilidad de
ocurrencia, procedemos a reducir el problema desde las columnas derechas hacia la izquierda.
Evento x
1
x
2
x
3
x
4
x
5
x
6
x
7
Probabilidad 0,49 0,26 0,12 0,04 0,04 0,03 0,02
CodificacionTemporal 1 0
Agrupando los eventos 6 y 7 se reduce el problema a la codicacion del siguiente conjunto:
Evento x
1
x
2
x
3
x
4
x
5
x
6,7
Probabilidad 0,49 0,26 0,12 0,04 0,04 0,05
CodificacionTemporal
El simbolo se utilizara para indicar que el evento esta caracterizado por D subeventos que pueden tomar
un simbolo en el alfabeto. el evento x
6,7
lo ordenaremos partiendo del indice asociado al subevento de mayor
probabilidad al de menor probabilidad.
Ahora los eventos de menor probabilidad son x
4
y x
5
.
Evento x
1
x
2
x
3
x
4
x
5
x
6,7
Probabilidad 0,49 0,26 0,12 0,04 0,04 0,05
CodificacionTemporal 1 0
Agrupando nuevamente, para el caso de los eventos x
4
y x
5
, el problema se reduce a:
Evento x
1
x
2
x
3
x
4,5
x
6,7
Probabilidad 0,49 0,26 0,12 0,08 0,05
CodificacionTemporal
Ahora los eventos de menor probabilidad son x
4,5
y x
6,7
. Asignamos codicacion para cada uno de ellos de
la siguiente forma:
Problema 1 continued on next page. . . Page 1 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1 (continued)
Evento x
1
x
2
x
3
x
4,5
x
6,7
Probabilidad 0,49 0,26 0,12 0,08 0,05
CodificacionTemporal 1 0
Agrupando los eventos el problema se reduce a :
Evento x
1
x
2
x
3
x
(4,5),(6,7)
Probabilidad 0,49 0,26 0,12 0,13
CodificacionTemporal
Ahora los eventos de menor probabilidad son x
3
y x
(4,5),(6,7)
, teniendo x
3
la menor probabilidad de ocurrencia.
Asignamos la codicacion para estos dos eventos:
Evento x
1
x
2
x
3
x
(4,5),(6,7)
Probabilidad 0,49 0,26 0,12 0,13
CodificacionTemporal 0 1
En esta ocasion el problema se reduce a:
Evento x
1
x
2
x
((4,5),(6,7)),3
Probabilidad 0,49 0,26 0,25
CodificacionTemporal
Como aclaracion indicamos que la notaci on denida para quiere decir que los subeventos contenidos
son caracterizados con a lo mas 3 elementos del alfabeto D-ario.
Ahora los eventos con menor probabilidad de ocurrencia corresponden a x
2
y x
((4,5),(6,7)),3
. Como x
2
tiene
mayor probabilidad se tiene la siguiente codicacion para estos dos eventos:
Evento x
1
x
2
x
((4,5),(6,7)),3
Probabilidad 0,49 0,26 0,25
CodificacionTemporal 1 0
Reduciendo nuevamente:
Evento x
1
x
2,(((4,5),(6,7)),3)
Probabilidad 0,49 0,51
CodificacionTemporal
Finalmente solo nos quedan D eventos, en particular para el caso binario 2 eventos. y como x
1
es menor la
codicacion en este nivel es:
Evento x
1
x
2,(((4,5),(6,7)),3)
Probabilidad 0,49 0,51
CodificacionTemporal 0 1
La notacion empleada y la tabla resultante nos permiten recuperar la codicacion binaria de Human para
los eventos originales.
De la tabla anterior es directo que el codigo para el evento x
1
es 0.
Problema 1 continued on next page. . . Page 2 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1 (continued)
El macro evento x
2,(((4,5),(6,7)),3)
tiene codigos de la forma 1 . Este se descompone en los eventos x
2
con codigo 11 y x
(((4,5),(6,7)),3)
con codigo 10 .
El macroevento restante x
(((4,5),(6,7)),3)
se descompone en x
((4,5),(6,7))
con codigo 101 y el evento x
3
con
codigo 100.
El macroevento restante x
((4,5),(6,7))
se descompone en x
4,5
con codigo 1011 y el evento x
6,7
con codigo
1010.
El evento x
4,5
se descompone en el evento x
4
con codigo 10111 y el evento x
5
con codigo 10110.
El evento x
6,7
se descompone en el evento x
6
con codigo 10101 y el evento x
7
con codigo 10100.
Finalmente se tiene:
Evento x
1
x
2
x
3
x
4
x
5
x
6
x
7
Probabilidad 0,49 0,26 0,12 0,04 0,04 0,03 0,02
CodificacionFinal 0 11 100 10111 10110 10101 10100
Paso (b) : Encontrar el largo de codigo esperado para esta codicacion
El largo de codigo esperado esta dado por:
E(L(X)) =

x
i
X
p(x
i
) l(x
i
)
En nuestro caso:
E(L(X)) =
7

i=1
p(x
i
) l(x
i
)
Especicamente:
E(L(X)) = 0,49 1 + 0,26 2 + 0,12 3 + 0,04 5 + 0,04 5 + 0,03 5 + 0,02 5
As:
E(L(X)) = 2,02 simbolos promedio por evento
En nuestro caso el largo esperado es de 2.02 bits.
Problema 1 continued on next page. . . Page 3 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1 (continued)
Paso (c) : Encontrar un codigo de Human ternario para la variable aleatoria X
El Metodo propuesto por Human se basa en caracterizar, en el alfabeto Dario, los D eventos de menor
probabilidad agrupandolos en un nuevo evento. Luego se debe reiterar el procesos hasta llegar a la asignacion
de solo D eventos residuales. En este caso D es igual a 3.
Como los eventos han sido organizados desde mayor probabilidad de ocurrencia a menor probabilidad de
ocurrencia, procedemos a reducir el problema desde las columnas derechas hacia la izquierda. Los tres eventos
de menor probabilidad de ocurrencia corresponden a x
5
,x
6
, x
7
(ordenados de mayor a menor probabilidad).
Asignando una codicacion a estos eventos se tiene:
Evento x
1
x
2
x
3
x
4
x
5
x
6
x
7
Probabilidad 0,49 0,26 0,12 0,04 0,04 0,03 0,02
CodificacionTemporal 2 1 0
Agrupando los eventos x
5
, x
6
y x
7
se reduce el problema a la codicacion del siguiente conjunto:
Evento x
1
x
2
x
3
x
4
x
5,6,7
Probabilidad 0,49 0,26 0,12 0,04 0,09
CodificacionTemporal
El simbolo se utilizara para indicar que el evento esta caracterizado por D (en este caso 3) subeventos
que pueden ser codicados mediante un simbolo en el alfabeto. el evento x
5,6,7
lo ordenaremos partiendo del
indice asociado al subevento de mayor probabilidad al de menor probabilidad.
Ahora los 3 eventos de menor probabilidad son x
3
, x
5,6,7
y x
4
.
Evento x
1
x
2
x
3
x
4
x
5,6,7
Probabilidad 0,49 0,26 0,12 0,04 0,09
CodificacionTemporal 2 0 1
Agrupando nuevamente, para el caso de los eventos x
3
, x
5,6,7
y x
4
, el problema se reduce a:
Evento x
1
x
2
x
3,(5,6,7),4
Probabilidad 0,49 0,26 0,25
CodificacionTemporal
Finalmente solo nos quedan D eventos (3 en nuestro caso). La codicacion en este nivel es:
Evento x
1
x
2
x
3,(5,6,7),4
Probabilidad 0,49 0,26 0,25
CodificacionTemporal 2 1 0
La notacion empleada y la tabla resultante nos permiten recuperar la codicacion ternaria de Human para
los eventos originales.
De la tabla anterior es directo que el codigo para el evento x
1
es 2 y que el codigo para x
2
es 1.
El macro evento x
3,(5,6,7),4
tiene codigos de la forma 0 . Este se descompone en los eventos x
3
con codigo
02, x
5,6,7
con codigo 01 y el evento x
4
con codigo 00.
Problema 1 continued on next page. . . Page 4 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1 (continued)
El macroevento restante x
5,6,7
se descompone en x
5
con codigo 012, el evento x
6
con codigo 011 y el evento
x
7
con codigo 010 .
Finalmente se tiene:
Evento x
1
x
2
x
3
x
4
x
5
x
6
x
7
Probabilidad 0,49 0,26 0,12 0,04 0,04 0,03 0,02
CodificacionTernaria 2 1 02 00 012 011 010
Page 5 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1
Problema 1 ( Problemas seleccionados Chapter 5, Elements of Information Theory, Cover
y Thomas (referido como The Book en este desarrollo))
Problema 5,8 pag. 144
Compresion optima simple de una fuente Markov. Considere los procesos de Markov de 3 estados U
1
, U
2
,
. . . con la siguiente matriz de transicion:
U
n1
U
n
S
1
S
2
S
3
S
1
1
2
1
4
1
4
S
2
1
4
1
2
1
4
S
3
0
1
2
1
2
As, la probabilidad de que S
1
siga a S
3
es igual a 0. Dise ne tres codigos C
1
,C
2
, C
3
(uno para cada estado
1, 2 y 3, cada codigo mapea elementos de el conjunto de S
i
s en secuencias de 0s y 1s), tal que este proceso de
Markov pueda ser enviado con compresion maxima mediante el siguiente esquema:
Paso (a) : Notar el simbolo presente X
n
= i
Paso (b) : Seleccionar codigo C
i
Paso (c) : Notar el simbolo siguiente X
n+1
= j y enviar la palabra de codigo C
i
correspondiente
a j.
Paso (d) : Repetir para el simbolo siguiente. Cual es el largo promedio de mensaje de el siguiente
simbolo condicionado sobre el estado previo X
n
= i usando este esquema de codicacion? Cual
es el numero medio incondicional de bits por simbolo de fuente? Relacione este ultimo resultado
con la taza de Entropia H(U) de la cadena de Markov
Desarrollo
Dado que hay solo 3 cambios de estado posibles por cada transicion es posible desarrollar un codigo de
Human sencillo con codigo 1 para la transicion mas probable, 00 y 01 para los menos probables.
As, una propuesta para los 3 codigos codigos sera:
Codigo EstadoActual S
1
S
2
S
3
C
1
1 00 01
C
2
00 1 01
C
3
0 1
Como al estado S
1
no se puede llegar desde el estado S
3
, solo hay dos transiciones posibles y los codigos
requeridos son simplente la asignacion binaria trivial independiente de sus probabilidades (que por lo demas
son iguales para este caso particular).
Para el caso del largo promedio de mensaje de el siguiente simbolo condicionado sobre el estado previo
X
n
= i usando este esquema de codicacion, es facil notar que corresponde exactament al largo esperado para
el codigo C
i
. As:
Problema 1 continued on next page. . . Page 6 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1 (continued)
E(L|C
1
) = 1
1
2
+ 2
1
4
+ 2
1
4
E(L|C
2
) = 2
1
4
+ 1
1
2
+ 2
1
4
E(L|C
3
) = 1
1
2
+ 1
1
2
Resolviendo:
E(L|C
1
) =
3
2
bits por simbolo
E(L|C
2
) =
3
2
bits por simbolo
E(L|C
3
) = 1 bit por simbolo
El numero medio incondicional de bits por simbolo de fuente requiere de conocer la distribucion estacionaria
de los estados. Si denimos esta distribucion como se debe cumplir que:
=

1
2
1
4
1
4
1
4
1
2
1
4
0
1
2
1
2

Resolviendo este sistema se tiene la siguiente distribucion estacionaria:

=

2
9
4
9
1
3

Finalmente el n umero medio incondicional de bits por simbolo de fuente esta dado por:
E(L) =

3
i=1

i
E(L|C
i
)
=
2
9

3
2
+
4
9

3
2
+
1
3
1
=
6
18
+
12
18
+
1
3
=
1
3
+
2
3
+
1
3
=
4
3
bits por simbolo
Para relacionar este ultimo resultado con la taza de Entropia H(U) de la cadena de Markov consideremos:
H(U) = H(X
2
|X
1
)
=

3
i=1

i
H(X
2
|X
1
= S
i
)
=
4
3
bits por simbolo
Es posible apreciar el n umero medio incondicional de bits por simbolo de fuente es igual a la Entropia H(U)
de la cadena de Markov. Esto se debe a que el largo esparado por cada codigo C
i
es igual a la entropia de estado
despues del estado i, H(X
2
|X
1
= S
i
). De esta forma se tiene que la codicacion empleada tiene compresion
optima.
Page 7 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1
Problema 1 ( Problemas seleccionados Chapter 5, Elements of Information Theory, Cover
y Thomas (referido como The Book en este desarrollo))
Problema 5,9 pag. 144
Largos de codigo optimo que requieren un bit sobre la entropia. El teorema de codicacion de fuente muestra
que el codigo optimo para una variable aleatoria X tiene un largo esperado menor que H(x) + 1. Proporcione
un ejemplo de una variable aleatoria para la cual el largo esperado de codigo optimo sea cercano a H(x) + 1
[i.e. para cualquier > 0, construir una distribucion cuyo codigo optimo sea L > H(X) + 1 ].
Desarrollo
Es posible utilizar un ejemplo trivial para este caso.
Considere una variable aleatoria binaria X que tome la mayor parte del tiempo el estado 0. Por ende la
probabilidad de que X tome el estado 0 es practicamente 1: P(X) = 1 . De igual forma su entropia es
practicamente nula E(X) = 0 + . Adicionalmente, como la variable aleatoria es binaria podemos utilizar 1 bit
como codigo.
De esta forma hemos presentado un ejemplo en el que L = 1 H(X) + 1 = 0 + 1 .
Page 8 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1
Problema 1 ( Problemas seleccionados Chapter 5, Elements of Information Theory, Cover
y Thomas (referido como The Book en este desarrollo))
Problema 5,10 pag. 145
Codigos ternarios que alcanzan el limite de entropia. Una variable aleatoria X puede tomar m valores y
tiene entropia H(x). Un codigo ternario instantaneo es encontrado para esta fuente y esta caracterizado por un
largo promedio:
L =
H(X)
log
2
3
= H
3
(X)
Parte (a): Muestre que cada simbolo de X tiene una probabilidad de la forma 3
i
para algun i
Para mostrar este resultado nos referiremos al teorema 5,3,1 en The Book. Este es el teorema que establece
el limite superior para el largo esperado de cualquier codigo Dario, en particular para D = 3:
L H
3
(X)
Con igualdad solo para el caso en que D
l
i
= 3
l
i
= p
i
.
En particular la ecuacion 5,25 en The Book muestra que:
L H
3
(X) = D(p||r) + log
3
(
1
c
)
Con r =
D
l
i

j
D
l
j
. Para que se cumpla que L = H
3
(X), se debe tener tanto que D(p||r) = 0 y que log
3
(
1
c
) = 0
debido a la positividad de ambos. Por la desigualdad de Kraft se tiene que c = 1 =

D
l
i
con lo que se anula
el segundo termino del extremo derecho de la ultima expresion solo en el caso de que las probabilidades del X
tengan la forma deseada. Esto corresponde a que se disponga de una codicacion para el arbol ternario completo
en que cada hoja tenga una probabilidad igual a 3
l
i
.
Parte (b): Muestre que m es impar.
Del resultado anterior sabemos que p
i
= 3
l
i
. Dado que disponemos de todos los largos podemos crear un
arbol ternario con hojas con profundidad l
i
. Ademas, como fue enunciado anteriormente, en nuestro caso se
tiene que cumplir igualdad en la relacion de Kraft con lo que el arbol buscado es completo y por ende todos los
largos son iguales. Finalmente basta notar que en la profundidad j un arbol ternario tiene exactamente 3
j
hojas
y este numero es siempre impar sin importar la profundidad. De esta forma se tiene que m debe ser impar.
Page 9 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1
Problema 1 ( Problemas seleccionados Chapter 5, Elements of Information Theory, Cover
y Thomas (referido como The Book en este desarrollo))
Problema 5,20 pag. 147
Codigos Human con costos. Palabras como Corre, Ayuda y Fuego son cortas, no debido a su uso frecuente
sino a que permiten salvar un tiempo precioso en las situaciones en que son requeridas. Suponga que X = i
con probabilidad p
i
, para i = 1, 2, . . . , m. Considerando ademas que l
i
es el numero de simbolos binarios en la
codicacion asociada a X = i, y que c
i
corresponde al coste por letra de dicha codicacion cuando X = i. De
esta forma es posible expresar el coste promedio de descripcion de X como C =

m
i=1
p
i
c
i
l
i
:
Parte (a): Minimizar C sobre todos los l
1
, l
2
, . . . , l
m
tal que

2
l
i
1. Ignore cualquier restriccion
de entero implicada sobre l
i
. Presente el argumento asociada a la minimizacion buscada l

1
, l

2
, . . . , l

m
y el valor minimo asociado a C

Buscamos resolver el siguiente problema de optimizacion:

C

= min C = min
m

i=1
p
i
c
i
l
i
s.t.

2
l
i
1
Como buscamos minimizar C podemos utilizar igualdad en las restricciones. Asi:
C

= min C = min
m

i=1
p
i
c
i
l
i
s.t.

2
l
i
= 1
De esta forma podemos escribir las probabilidades de los elementos de la restriccion como r
i
= 2
l
i
. Pode-
mos considerar una probabilidad q
i
para la variable que corresponde a la version ponderada de la probabilidad
original p
i
c
i
. Para asegurar que q forme una distribucion de probabilidad debemos ponderar el conjunto. Asi:
q
i
=
p
i
c
i

m
j=1
p
j
c
j
=
p
i
c
i
Q
.
Asi podemos reescribir inteligentemente el problema de optimizacion:
C

= min C = min
Q
Q

m

i=1
p
i
c
i
l
i
s.t.

2
l
i
= 1
C

= min C = min Q
m

i=1
p
i
c
i
Q
l
i
s.t.

2
l
i
= 1
C

= min C = min Q
m

i=1
q
i
l
i
s.t.

2
l
i
= 1
Reemplazando r
i
desde la restriccion:
Problema 1 continued on next page. . . Page 10 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1 (continued)
C

= min C = min Q
m

i=1
q
i
log(
1
r
i
)
Desarrollando:
C

= min Q

i=1
q
i
log(
1
r
i
) log(
q
i
q
i
)

= min Q

i=1
q
i
log(
q
i
r
i
) +
m

i=1
q
i
log(
1
q
i
)

= min Q

i=1
q
i
log(
q
i
r
i
)
m

i=1
q
i
log(q
i
)

= min Q (D(q||r) + H(q))

Debemos notar que esta expresion depende de q y r. Pero q no afecta la optimizacion debido a que esta
determionado por la probabilidad de la variables y el costo asociado. De esta forma solo es posible realizar la
optmizacion mediante el tratamiento de r. Como r se encuentra en la divergencia es claro que la minimizacion
sera obtenida en el caso en que r = q, es decir la divergencia se vaya a 0. En este caso se tiene que los largos
tendran la forma:
l

i
= log(r
i
) = log(q
i
) = log(
p
i
c
i

m
j=1
p
j
c
j
)
Notar que se han ignorado restricciones de tipo entero sobre los largos estimados. De nuestra expresion de
minimizacion el costo minimo corresponde a:
C

= Q (H(q))
Parte (b): Como podria utilizar el metodo de codicacion de Human para minimizar C sobre
todos los codigos unicamente decodicables?. Utilice C
Huffman
para denotar ese minimo
De forma indirecta pasamos por la solucion de este problema en el desarrollo de la parte a. Para obtener el
codigo de Human considerando los costes debemos utilizar las probabilidades q en lugar de las probabilidades
p en el procedimiento de Huffman. Del resultado de a sabemos que dicha codicacion minimiza el costo
esperado para las palabras de codigo buscadas.
Parte (c): Es posible mostrar que C

C
Huffman
C

m
i=1
p
i
c
i
?
Para hallar este par de inecuaciones basta con reconsiderar las restricciones enteras para los largos esperados.
De esta forma:
l

i
= log(q
i
)
Problema 1 continued on next page. . . Page 11 of 12
Felipe Santiba nez-Leal EL724 Tarea 2 Problema 1 (continued)
A partir de aqui podemos recuperar las siguientes inecuaciones:
log(q
i
) l

i
< log(q
i
) + 1
Multiplicamos cada miembro por p
i
c
i
:
p
i
c
i
log(q
i
) p
i
c
i
l

i
< p
i
c
i
log(q
i
) + p
i
c
i

Si consideramos ahora estas expresiones para cada valor de i

p
1
c
1
log(q
1
) p
1
c
1
l

1
< p
1
c
1
log(q
1
) + p
1
c
1

p
2
c
2
log(q
2
) p
2
c
2
l

2
< p
2
c
2
log(q
2
) + p
2
c
2

. . .
p
m
c
m
log(q
m
) p
m
c
m
l

m
< p
m
c
m
log(q
m
) + p
m
c
m

Finalmente sumando sobre cada miembro y utilizando la denicion propuesta para q

i
llegando a:
Q

q
i
log(q
i
)

p
i
c
i
l

i
< Q

q
i
log(q
i
) +

q
i
De esta forma:
C

C
Huffman
< C

+ Q
Page 12 of 12