EN2612 Teoria da Informac

ao e C
odigos - 1Q2015

Lista 1

1. Considere uma fonte X = {x1 , x2 , x3 , x4 , } tal que p(xi ) =

1
, i = 1, 2, . . ..
2i

(a) Calcule a entropia de X. As seguintes expressoes podem ser u

teis:

n=1

r
r =
1r
n

nrn =

n=1

r
.
(1 r)2

(b) Um smbolo de X e gerado de acordo com esta distribuicao. Ache uma sequencia de
perguntas do tipo sim ou n~
ao que leve ao mnimo n
umero esperado de perguntas para
identificar o resultado de X. Compare o n
umero esperado de perguntas com H(X).
2. Seja Y = 2X , onde X e uma variavel aleatoria que assume um n
umero finito de valores. Qual
ou quais das seguintes afirmacoes sao verdadeiras?
(a) H(Y ) H(X)
(b) H(Y ) H(X)
(c) H(Y ) > H(X)
(d) H(Y ) < H(X)
(e) H(Y ) = H(X)
3. Suponha
uma fonte discreta
sem memoria que produza N smbolos com probabilidades
[
]
p = p1 p2 pN . Qual o valor mnimo da entropia desta fonte? Ache todos os vetores p que atingem esta entropia mnima.
4. A entropia relativa de p(x) em relac
ao `a q(x) (ou distancia de Kullback-Leibler ou divergencia
entre p(x) e q(x)) e definida por
D (p (x) ||q (x)) =

xX

p(x) log

p(x)
,
q(x)

sendo p(x) e q(x) funcoes de probabilidade definidas para xX e X e o conjunto com todos os
possveis valores de x.
Uma das propriedades da entropia relativa e que ela sempre fornece um valor nao-negativo.
Usando este fato, e lembrado que a entropia de uma fonte esta relacionada com a incerteza
sobre qual smbolo e gerado a cada instante, determine o limitante superior (na ausencia de
quaisquer restricoes) para a entropia de uma fonte X, que produz smbolos de acordo com
uma distribuicao p(x).
5. Classifique os codigos abaixo em relacao ao comprimento (fixo ou variavel) e classe (singular/nao-singular, univocamente decodificavel, instantaneo/nao-instantaneo). Justifique cada
resposta.

X
A
B
C
D

C1
0
0
0
0

C2
0
010
01
10

C3
10
00
11
110

C4
0
10
110
111

Refer
encias
[1] Cover, T. M. e Thomas, J. A., Elements of Information Theory, Wiley-Interscience, 2a Ed.,
2006.