Sistemas de comunicaci on

Pr actico 6 Teor a de la Informaci on

Cada ejercicio comienza con un s mbolo el cu al indica su dicultad de acuerdo a la siguiente escala: b asica, media, avanzada, y dif cil. Adem as puede tener un n umero, como 3.1-4 que indica el n umero de ejercicio del libro del curso, Communication Systems, 3th. edition. Bruce A. Carlson.

Ejercicio 1 Un teclado num erico tiene los n umeros 0, 1, 2 . . . 9. Se asume que cada tecla es utilizada en forma equiprobable. Calcule con qu e cadencia deben ser oprimidas las mismas para generar un ujo de informaci on de 2 bit/s. Ejercicio 2
(15.1-2)

De un mazo de 52 cartas se elige una al azar. (a) Hallar la informaci on en bits que se tiene cuando se conoce que la carta es: de corazones una gura una gura de corazones (b) Cu anta informaci on se necesita para identicar la carta si, se sabe que es roja. Ejercicio 3
(15.1-8)

Calcular la tasa de informaci on de una fuente telegr aca que utiliza dos s mbolos, el punto y la raya. El punto tiene una duraci on de 0.2s. La raya tiene el doble de duraci on pero es la mitad de probable. Ejercicio 4 Para una fuente binaria: (a) Mostrar que la entrop a, H , es m axima cuando la probabilidad de enviar un 1 es igual a la probabilidad de enviar un 0. (b) Hallar el valor m aximo de la entrop a.

 Ejercicio 5 Se tiene una fuente S con s mbolos {s1 , s2 , . . . , s6 }, con probabilidades 0.4, 0.3, 0.1, 0.1, 0.06 y 0.04 respectivamente. (a) Hallar la entrop a de la fuente. (b) Considerar una codicaci on binaria con largo de palabra jo. Indicar el m nimo largo de palabra para que la codicaci on sea adecuada. (c) Considerar una codicaci on de Human. Calcular el largo medio del c odigo obtenido. Ejercicio 6 Considerar un canal con la propiedad de que xi y yj son estad sticamente independientes para todo i, j . Mostrar que H (X |Y ) = H (X ) y I (X, Y ) = 0 Ejercicio 7 Canal Binario Sim etrico. Considerar el modelo de un canal binario sim etrico, representado en la gura:
x1 1-alfa y1 alfa

alfa x2 1-alfa y2

donde: P (x1 ) = p y P (y1 |x2 ) = P (y2 |x1 ) = . (a) Calcular la informaci on mutua en funci on de p y (b) Discutir qu e valores toma cuando la potencia del ruido es muy peque na o muy grande. Ejercicio 8 Obtener anal ticamente las caracter sticas de la gura siguiente, correspondiente a un canal anal ogico de ancho de banda B, contaminado con ruido blanco gaussiano aditivo, de densidad espectral de potencia G(f ) = /2.

20

15

S/hR, dB

10 R=C 5 R>C 0 -1.6 dB 0.1 0.2 0.5 1 B/R 2 5 10 20

Ejercicio 9

(15.3-11)

Un ingeniero dice haber dise nado un sistema de comunicaci on anal ogico que permite obtener: (S/N )D = 60dB cuando SR /(BT ) = 5dB y BT = 10W , donde BT es el ancho de banda del canal usado y W es el ancho de banda de la se nal a transmitir. Usted le creer a? Por qu e? Ejercicio 10 Se pretende transmitir im agenes de televisi on digital a partir de una fuente que genera una matriz de 480 500 elementos de imagen (pixels), donde cada pixel puede tomar 32 valores de intensidad. Suponga que se generan 30 im agenes por segundo. (Esta fuente de im agenes digitales es similar a los est andares adoptados para TV digital.) Todos los pixels se consideran independientes, y los niveles de intensidad equiprobables. (a) Hallar la velocidad de transferencia de informaci on R(bit/s). (b) Suponer que la imagen de TV se transmitir a por un canal de 4, 5M Hz de ancho de banda con una relaci on se nal a ruido de 35dB . Hallar la capacidad del canal (bit/s). (4, 5M Hz es el ancho de banda utilizado para transmitir una imagen de TV anal ogica.) (c) Discutir c omo pueden ser modicados los par ametros de la parte (a) para permitir la transmisi on de TV color sin incrementar el valor requerido de R. (Nota: en TV crom atica se debe enviar informaci on de luminancia y cromas; la luminacia es una se nal que lleva la informaci on de brillo y las cromas son dos se nales que llevan la informaci on de color.)

Soluci on
Ejercicio 1
La tasa de s mbolos r se relaciona con la entrop a H y con la tasa de informaci on R seg un la expresi on: R = rH La probabilidad de cada una de las teclas es : P (T ecla) = entrop a de la fuente S={0,1,2, ... 9} es: H (S ) =
xi S 1 10 .

Por lo que la

p(xi )log2

1 = p( x i )

xi S

1 log2 10 = log2 10 bits/simb 10

Despejando r se tiene: r= 2 bits/seg R = = 0, 6 simb/seg H log2 10 bits/simb

Ejercicio 2
(a) de corazones La probabilidad de una carta de corazones es maci on es I (corazones) = log2 4 = 2 bits. una gura La probabiidad de una gura es I (f igura) = log2 13 3 = 2, 1154 bits. una gura de corazones
3 La probabidad de una gura de corazones es 52 , entonces la informaci on 52 es I (f igura de corazones) = log2 3 = 4, 1154 bits. 12 52 3 13 , 13 52 1 4,

entonces la infor-

entonces la informaci on es

(b) La informaci on que se tiene al identicar la carta es log2 (52) bits. De 1 esta informacion s olo se conoce que la carta es roja y como P (roja) = 2 , la informaci on que se tiene es I = log2 2 = 1 bit. Por tanto, la informaci on que resta para conocer la carta es I (carta) I (roja) = log2 (52) 1 = log2 (26) bits. Otra forma de resolver el problema es considerando la probabilidad de la carta 1 . De esta manera llegamos conociendo que es roja, es decir P (carta/roja) = 26 1 al mismo resultado I = log2 P (carta/roja) = log2 (26) bits

Ejercicio 3
La cadencia media de s mbolos esta dada por: r=
seg 2 0, 2 simb .3

1 30 simb seg 1 = 8 seg + 0, 4 simb . 3

La entrop a es: H= Por tanto,

2 3 1 bits log2 + log2 3 = 0, 9183 3 2 3 simb R = r.H = 3, 44 bits seg

Ejercicio 4
(a) Sea p la probabilidad de enviar un uno. La probabilidad de enviar un 0 ser a entonces 1 p, y la entrop a queda planteada de la siguiente forma: H (p) = p.log 1 1 + (1 p).log p 1p

Para saber cu ando es m axima s olo falta derivar respecto a p: H = log 1 p2 1 1p 1p log = log + (1 p). p p2 1p (1 p)2 p

En el m aximo se debe cumplir H = 0 log Tenemos que

1 p p

1p =0 p

= 1 y entonces: p= 1 2

Falta vericar que efectivamente es un m aximo (H < 0): H (p) = (b) 1 1 bits bit H ( ) = 2. .log 2 = log2 2 =1 2 2 simb simb p p (1 p) 1 . = = 4 1p p2 (1 p)p

Ejercicio 5
(a) H(S) = P1 log2 s1 + P2 log2 1 1 mbolo. P6 log2 s6 = 2.1435 bits/s (b)
1 s2

+ P3 log2

1 s3

+ P4 log2

1 s4

+ P5 log2

1 s5

El m nimo largo de palabra de c odigo para codicar 6 s mbolos es 3 bits.

(c) Considerando la extensi on que se muestra en el cuadro 1, el largo de c odigo resulta: L = 1 0.4 + 2 0.3 + 3 0.1 + 4 0.1 + 5 0.06 + 5 0.04 = 2.2 bits/s mbolo. N otese que con este c odigo se llega muy cerca de la entrop a de la fuente. Adem as, aunque la extensi on no es u nica, el largo no depende de la extensi on elegida.

Fuente original S mbolos Prob. C odigo s1 0.4 1 s2 0.3 00 s3 0.1 011 s4 0.1 0100 s5 0.06 01010* s6 0.04 01011*

0.4 0.3 0.1 0.1 *0.1

S1 1 0 011 0100 0101

Fuente reducida S2 S3 0.4 1 0.4 1 0.3 00 0.3 00 0.2 010 0.3 01 0.1 011

S4 0.6 0 0.4 1

Cuadro 1: S ntesis de un c odigo de Human.

Ejercicio 6
Aplicando la denici on: H ( X |Y ) =
X,Y

P (xi , yj ).log2

1 P ( x i |y j )

Como xi y yj son independientesse cumple queP (xi , yj ) = P (xi ).P (yj ) y que P (xi |yj ) = P (xi ), por lo que: H ( X |Y ) =
Y X

P (xi )P (yj ).log2 H ( X |Y ) =

X

1 = P (x i )

P (yj )
Y X

P (xi ).log2

1 P (x i )

P (xi ).log2

1 = H (X ) P (x i )

Para la segunda parte, aplicando la denici on: I (X, Y ) =

X,Y

P (xi , yj ).log2 P (x i ) = P (x i )

P ( x i |y j ) P (x i ) 0=0
X,Y

I (X, Y ) =
X,Y

P (xi )P (yj ).log2

P ( x i ) P ( y j ) .0 =
X,Y

Ejercicio 7
(a) I (X, Y ) =
X,Y

P (xi , yj ).log2

P (x i , yj ) = P (x i )P (yj )

P (xi , yj ).log2
X,Y

P (yj /xi ) P (yj )

P (y1 ) = P (x1 )P (y1 /x1 ) + P (x2 )P (y1 /x2 ) = p(1 ) + (1 p) P (y2 ) = P (x1 )P (y2 /x1 ) + P (x2 )P (y2 /x2 ) = p + (1 p)(1 ) P (y1 /x1 ) P (y1 /x2 ) + P (x2 )P (y1 /x2 ).log2 + ... P (y1 ) P (y1 )

I (X, Y ) = P (x1 )P (y1 /x1 ).log2 ...P (x1 )P (y2 /x1 ).log2

P (y2 /x1 ) P (y2 /x2 ) + P (x2 )P (y2 /x2 ).log2 P (y2 ) P (y2 ) 6

Sustituyendo queda: (1 ) +(1p).log2 +... p(1 ) + (1 p) p(1 ) + (1 p)

I (p, ) = p(1).log2 ...p.log2

1 + (1 p)(1 ).log2 p + (1 p)(1 ) p + (1 p)(1 )

(b) Si la potencia del ruido es muy grande, se tiene igual probabilidad de recibir y1 o y2 (el ruido hace que lo recibido sea aleatorio e independiente de la 1 . entrada). Por lo que en este caso toma valores cercanos a 2 Si la potencia del ruido es muy peque na, entonces cuando se env a un s mbolo (por ej x1 ), siempre se recibe el mismo s mbolo en la recepci on ya sea y1 o y2 . En este caso toma un valor cercano a 0 o a 1.

Ejercicio 8
La ley de Hartley-Shannon nos dice que: C = B log2 (SN RR + 1) donde C es la capacidad del canal, B es el ancho de banda del canal y SN RR es la relaci on se nal a ruido en la recepci on. Si consideramos que la tasa de transferencia de informaci on es igual a la capacidad R = C , tenemos que: R = log2 (SN RR + 1) B
S donde SN RR = B = SR Despejando R de : S R R B

R S R = log2 ( + 1) B R B
R S B = (2 B 1) R R

Llegamos a la expresi on gracada:

Ejercicio 9
Si el ancho de banda del mensaje es W y la relaci on se nal a ruido en detecci on es SN RD = 106 , la tasa de transferencia de informaci on es: R = W log10 (106 + 1) = W.6, 00 hartleys/seg Por otro lado, la capacidad del canal esta dada por: C = B log10 (SN R + 1) C = 10W log10 (100.5 + 1) = W 6, 19 hartleys/seg El sistema es factible. Podemos decir que cumple con las limitantes conocidas de las predicciones te oricas. 7

Ejercicio 10
(a) La velocidad de transferencia de informaci on es: R=5 (b) pixel cuadro M bit bit 480 500 30 = 36 pixel cuadro seg seg

La capacidad de un canal anal ogico es: C = B log2 (SN RR + 1) = 4, 5 M Hz log2 (103,5 + 1) = 52, 32 M bit seg

Por lo que este ancho de banda ser a suciente para enviar TV blanco y negro con 32 niveles por pixel. (c) Los sistemas de compresi on de video digitales utilizan la propiedad del ojo de tener una cpacidad de resoluci on espacial del color mucho m as baja que del nivel del brillo. As , se manda informaci on de color para bloques de pixeles, por ejemplo de 2x2. En nuestro caso, una forma razonable de enviar im agenes color ser a enviar 4 bits/pixel en vez de 5 de informaci on de brillo. As se gana 1 bit por pixel para el color, por lo que si se elige tomar bloques de 2x2, se dispone de 4 bits para mandar la informacion de color. Esto nos dar a una gama 16 colores, que es muy poco, por lo que ser a m as razonable mandar informaci on de color para cada bloque de 3x3, perdiendo mas resoluci on espacial en el color, pero disponiendo de 29 (512) colores diferentes.