Solution Td =° 1

Module «  CC »

Exo 1 :
1. Calculer la quantité d’information propre I(Ei) associée à chaque évènement
Ei, i ∈ {1, 2, 3, 4}.
Par définition, on a I(Ei) = − log2(P r(X = Ei)). Pour les évènements E1, . . . , E4 on
a donc :
16

()4
• I(E1) = − log2 32 = 4.30.
4

30

()4
• I(E2) = − log2 32 = 2.89.
4

( )
• I(E3) = − log2 32 = 12.13.
4

( )
• I(E4) = − log2 32 = 15.13.
4

2. Calculer les informations mutuelles I(E1; E2) et I(E1; E3).

Par définition, on a :

I(Ei; Ej ) = − log2 ( PrPr⁡( Ei∨Ej)

⁡( Ei) )
.

D’où
32

(( )( ))
 I(E1 ; E2) = - log 20 16
4
4

4
= −7, 94. Ici l’information mutuelle est

négative car les évènements sont contradictoires.

 32
I(E1 ; E3) = - log 4 )
(

( )
2∗8
= 3.30.

3. Évaluer approximativement la quantité d’information nécessaire pour

spécifier une main de 4 cartes. Comparer cette quantité à l’entropie de la
variable aléatoire correspondant au contenu d’une main.
Pour spécifier une "main" de 4 cartes il faut une quantité d’information égale à
la quantité d’information apportée lors de la réalisation de l’évèenement. Ici la
quantité d’information nécessaire est donc :
1

(( ))
I( E ) = - log(Pr(X=E)) = -log 32
4
= 15.13.

Calculons maintenant l’entropie de la variable aléatoire X correspondant au

contenu d’une main :
H(X) = - ∑ pi log ( pi ) .

1
Ici toutes les mains ont la même probabilité p = 32
4 ( ) d’arriver et donc :
1
32
( )
H(X) = - p log(p) 4 = - log
(( ))
32
4
= 15.13.

Ainsi la quantité d’information nécessaire pour spécifier une main est égale à
l’entropie de la variable aléatoire correspondant au contenu d’une main.

Exo 7 :
 a) : est une instance de la règle de la chaine pour l’entropie conjointe :
H( X , Y ) = H(X) + H(Y/X) = H (Y) + H(X/Y) .
Avec : Y = g(x) .

 b) : découle du fait que H(g(X)/X) = 0. Par définition

 1
H(g(X)/X) = Ex[H(g(X)|X=x)] = Ex [ E ( p(y|X=x) log p ( y| X =x ¿ ¿] .

Mais, comme Y est une Fonction déterministe de X ,

1, y=g ( x )
{
P(y|X=x) = 0 , y ≠ g ( x ) d’où
1
P(y|X = x) log p ( y∨X =x) = 0 , ∀ y ∈ g( X )

et donc
H(g(X)/X) = Ex [ E( y ∈ g ( x )) 0 ] = 0

 c) règle de la chaine ( comme en (a)) .

 d¿
est une conséquence immédiate de la non-négativité de l’entropie
conditionnelle : H(X|Y) ≥ 0 , avec Y= g(X) .

Exo 3 :
1) Si les joueurs sont équilibrés , la probabilité de chaque branche est ½ .
Nous pouvons donc établir la probabilité conjointe de X et Y , résumée
par le tableau suivant :

Par un simple calcul de loi marginale, nous obtenons facilement que Y est
une variable uniforme binaire, Y ∈{2,3 } , que la loi de X est la suivante :
 Et que p( X| Y = 2 ) est uniforme dans { AA , BB } et p ( Y | X = 3) est
uniforme dans { ABA ,ABB ,BAA, BAB } . par application directe de la
définition d’entropie , nous obtenons :

H(Y) = log 2 = 1 bit,

Et
1 1 1 1
H(X) = 2 4 log 4 + 4 8 log 8= 2 2+ 2 3= 2.5 bits.

Nous pouvons écrire encore :

H(X|Y =2 ) = log2 = 1 bit H(X|Y=3) = log 4 = 2 bits.

Nous avons donc :

1 1 1
H(X|Y) = 2 H(X|Y= 2 ) + 2 H( X| Y = 3 ) = 2 ( 1 + 2 ) = 1.5 bits.

2) La variable Z est aussi indiqué dans la représentation ci-dessous . la loi

conjointe de Z et X est :

Il est évident que Z est une variable uniforme dans l’ensemble { A ,B } , et
donc son entropie est H(Z) = 1 bit.
Conditionnellement à la valeur de Z = z , la séquence X peut prendre trois
valeurs ; une correspondant à la suite X = zz de longueur 2 ( avec
probabilité ½), et les deux autres correspondant à la victoire de l’autre
équipe dans le premier ou le deuxième jeu ( z(bar)z , zz(bar)), chacune
avec prob ¼ . Les entropies conditionnelles sont donc indépendantes de
la valeur de z :

1 2
H( X|Z = z ) = 2 log2 + 4
log4 = 1.5 bits.

Ce résultat peut être obtenu de la regle de chaine :

 H( X, Z) = H(X) + H( Z / X ) = H(Z) + H( X | Z )
Et donc :
H(X|Z) = H(X) + H(Z|X) – H(Z)
Comme Z est une fonction déterministe de X , H(Z|X) = 0 :
H( X|Z) = H(X) – H(Z)
En Utilisant les valeurs de H(X) de l’alinéa précédente, et la valeur de H(Z)
déterminée dans cette alinéa , nous obtenons :
H( X|Z) = 2.5 – 1 = 1.5 bits.

3 ) L’information mutuelle est

I( Y ; Z) = H(Z) – H(Z|Y) = H(Y) – H(Z/Y).
Nous avons déjà vu que H(Z) = H(Y) = 1 bit. La loi conjointe de Z et Y est
représentée dans le Tableau suivant.

D’où nous Concluons immédiatement que les deux variables sont

statistiquement indépendantes :
P(z,y) = P(z) P(y)
Et donc les entropies conditionnelles sont égales à l’entropie non-
conditionnelles :
H(Z|Y) = H(Z), H(Y|Z) = H(Y).

L’information mutuelle est donc nulle, comme une analyse intuitive du

problème sugère ( si les équipes sont équilibrées , savoir le nombre de jeux
n’apporte pas d’info sur quelle équipe a gagné ) :

I (Z ; Y) = 0.
Figure : représentation du tournoi par un arbre binaire.