Universit des Sciences et Technologies de Lille

U. F. R. de Mathmatiques Pures et Appliques

Chanes de Markov
Daniel Flipo
Agrgation de Mathmatiques
Sommaire
I Dnitions et exemples I
z Gnralisations de la proprit de Markov (
z.I Cylindres sur E
N
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
z.z Oprateurs de dcalage sur E
N
. . . . . . . . . . . . . . . . . . . . . . ,
z. Proprit de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . 8
Classication des tats p
.I Classes dtats communicants . . . . . . . . . . . . . . . . . . . . . .
.z Rcurrence et transience . . . . . . . . . . . . . . . . . . . . . . . . . . Io
( Thormes limites I(
(.I Cas j transient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . I
(.z Cas des chanes irrductibles rcurrentes . . . . . . . . . . . . . . . . I
(.z.I Mesures invariantes . . . . . . . . . . . . . . . . . . . . . . . . I
(.z.z Priode dun tat . . . . . . . . . . . . . . . . . . . . . . . . . . zI
(.z. Convergence en loi . . . . . . . . . . . . . . . . . . . . . . . . . z
(.z.( Thorme ergodique . . . . . . . . . . . . . . . . . . . . . . . . z
g Proprits algbriques des chanes de Markov
espace dtats ni z8
Exercices 6
Bibliographie (6
I Dnitions et exemples
Dnition I.I Soit (X
n
)
nN
une suite de variables alatoires de (, A, P) dans un
espace E ni ou dnombrable appel espace des tats.
) On dit que (X
n
)
nN
est une chane de Markov si et seulement si
P(X
n+1
j [ X
n
i , X
n1
i
n1
, . . . , X
1
i
1
, X
0
i
0
) P(X
n+1
j [ X
n
i )
pour tout n N, pour tout tat j et pour toute suite dtats i
0
, i
1
, . . . i
n1
, i , pour
lesquels la probabilit conditionnelle a un sens, c.--d. tels que
P(X
n
i , X
n1
i
n1
, . . . , X
1
i
1
, X
0
i
0
) >0.
) Si en plus la probabilit P(X
n+1
j [ X
n
i ) ne dpend pas de n, c.--d. si
n N, P(X
n+1
j [ X
n
i ) P(X
1
j [ X
0
i )
on dit que la chane de Markov est homogne.
La proprit de Markov exprime que, si la valeur de X
n
est connue linstant n, la
loi des variables futures (X
n+1
, X
n+2
etc.) ne dpend pas du pass (les valeurs de
X
n1
, X
n2
etc.). Vrier titre dexercice que, si (X
n
) est une chane de Markov
homogne,
P(X
n+2
k, X
n+1
j [ X
n
i , X
n1
i
n1
, . . . , X
1
i
1
, X
0
i
0
)
P(X
n+2
k [ X
n+1
j ) P(X
n+1
j [ X
n
i )
P(X
2
k, X
1
j [ X
0
i ). (I)
Exemples : vrier dans chacun des exemples suivants que X
n
est une chane de
Markov homogne et prciser sa matrice de transition.
I) Promenades alatoires : soit (Y
n
)
nN
une suite de variables alatoires indpen-
dantes et de mme loi valeurs dans Z (ou Z
d
), soit X
0
une variable alatoire
valeurs dans Z (ou Z
d
), indpendante des (Y
n
), on pose X
n
X
0
+

n
i 1
Y
i
pour
tout entier n 1.
z) Ruine du joueur : deux joueurs A et B disposant respectivement de fortunes
initiales a et b (entiers positifs) jouent un jeu de hasard. La mise est de 1
par partie ; les rsultats des parties sont indpendants, chaque partie A a la
probabilit p de gagner, q de perdre et r 0 de faire match nul (0 < p < 1,
0 < p <1 et p +q +r 1). Le jeu se poursuit indniment ou jusqu la ruine
dun des deux joueurs. On note X
n
la fortune du joueur A aprs n parties.
I
) Sries de succs : des candidats doivent rpondre une suite de questions de
dicult variable, les performances des dirents candidats sont indpen-
dantes. La probabilit pour chaque candidat de bien rpondre une question
de niveau k est p
k
, celle de donner une rponse fausse est q
k
1p
k
. Lors-
quun candidat donne une rponse fausse, il est remplac par le candidat sui-
vant qui dmarre au niveau 0. X
n
reprsente le niveau atteint par le candidat
en lice linstant n :
n, k N(n k),
_
P(X
n+1
k +1[ X
n
k, X
n1
k 1, . . . X
nk
0) p
k
P(X
n+1
0 [ X
n
k, X
n1
k 1, . . . X
nk
0) q
k
() Modle de diusion gazeuse : On considre une enceinte faite de deux com-
partiments spars par une cloison poreuse. Au dpart le compartiment de
gauche contient a molcules de gaz de type A, celui de droite b molcules
de gaz de type B. On modlise la diusion au travers de la paroi en suppo-
sant qu chaque instant, il y a tirage au hasard dune molcule dans chaque
compartiment et change des deux molcules tires. La compositiondes deux
urnes aprs le n-ime change est compltement dtermine par la donne
de la variable X
n
nombre de molcules de gaz A dans lurne de gauche.
) File dattente : Soit (T
n
)
nN
la suite des instants (alatoires) darrive des clients
un guichet. Un seul client est servi la fois. On note X
n
le nombre de clients
en attente ou en cours de service juste avant linstant T
n
et D
n
le nombre de
clients dont le service se termine dans lintervalle [T
n
, T
n+1
[. On suppose les
variables D
n
indpendantes et de mme loi donne : pour tout k N p
k

P(D
0
k). On a, si a
+
max(a, 0) dsigne la partie positive du rel a,
n N, X
n+1
(X
n
+1D
n
)
+
6) Gestion de stock : on sintresse au nombre de pices dun mme type en
stock dans un entrept, dirents instants (t
n
)
nN
, par exemple chaque
n de journe ou de semaine. La demande pour ce type de pices dans linter-
valle [t
n
, t
n+1
[ est une variable alatoire entire D
n
. La suite des v.a. (D
n
)
nN
est suppose indpendante et de mme loi connue. La politique de gestion
est la suivante : lorsque le niveau du stock un des instants (t
n
) descend en
dessous dun seuil s x on se rapprovisionne de faon ramener le stock
son niveau maximal S dtermin par exemple par la taille de lentrept ou les
moyens nanciers de lentreprise. On admet que la livraison intervient sans
dlai, cest--dire avant le dbut de la priode suivante. La taille X
n
du stock
linstant t
n
vrie
n N,
_
X
n+1
(X
n
D
n
)
+
si s X
n
S
X
n+1
(S D
n
)
+
si X
n
<s
z
,) Processus de branchement : de nombreux exemples de chanes de Markov in-
terviennent en gntique (modles de reproduction) et en physique (dsin-
tgrations atomiques). On suppose qu la n de son existence chaque orga-
nisme i de la n-ime gnration donne naissance un nombre alatoire Y
i ,n
de descendants. Les variables alatoires (Y
i ,n
)
(i ,n)N
2 sont supposes indpen-
dantes et de mme loi. Le nombre X
n
dorganismes de la n-ime gnration
vrie
n N, X
n+1

X
n

i 1
Y
i ,n
Remarque : si (Y
n
)
nN
est une suite de variables alatoires indpendantes et de
mme loi valeurs dans E et si f : EE E est une fonction quelconque, alors la
suite (X
n
)
nN
dnie par
n N, X
n+1
f (X
n
, Y
n
) et X
0
donne, indpendante des (Y
n
)
nN
,
est une chane de Markov homogne. Ce rsultat ( dmontrer en exercice) four-
nit un moyen assez gnral pour tablir quune suite de variables alatoires est
une chane de Markov homogne.
Dnition I.z On appelle matrice de transition de la chane de Markov homo-
gne (X
n
) la matrice P dnie par
I
: (i , j ) EE P(i , j ) P(X
1
j [ X
0
i ).
Proposition I. La loi dune chane de Markov homogne est compltement d-
termine par la donne de sa matrice de transition et de la loi de X
0
(appele
loi initiale)
z
: i E, (i ) P(X
0
i ). Pour tout entier n et tous i
0
, i
1
, . . . , i
n
tats
de E :
P(X
n
i
n
, X
n1
i
n1
, . . . , X
1
i
1
, X
0
i
0
) (i
0
)P(i
0
, i
1
)P(i
1
, i
2
) . . . P(i
n1
, i
n
).
Dmonstration. Immdiate partir de la formule
P(
n

i 0
A
i
) P(A
0
) P(A
1
[ A
0
) P(A
2
[ A
1
A
0
) . . . P(A
n
[ A
n1
. . . A
0
). (z)
et de la proprit de Markov homogne.
Proposition I.( (Chapman-Kolmogorov) Pour tout couple (i , j ) dtats de E et
pour tout couple (n, m) dentiers naturels
P(X
n+m
j [ X
0
i )

kE
P(X
n
k [ X
0
i ) P(X
m
j [ X
0
k) ()
I. Si E nest pas ni, la matrice a un nombre inni de lignes et de colonnes. . .
z. Le plus souvent X
0
est connue de manire dterministe, dans ce cas la loi initiale est une
mesure de Dirac.

En particulier la matrice des transitions en n tapes est la puissance n-ime de la

matrice P des transitions en une tape

:
n N, (i , j ) EE, P(X
n
j [ X
0
i ) P
n
(i , j ) (()
Dmonstration. Calculons P(X
n+m
j [ X
0
i ) en dcomposant lvnement
{X
n+m
j } sur les vnements ({X
n
k})
kE
qui forment une partition de :
P(X
n+m
j [ X
0
i ) P(X
n+m
j
_

kE
X
n
k
_
[ X
0
i )

kE
P(X
n+m
j X
n
k [ X
0
i )

kE
P(X
n+m
j , X
n
k, X
0
i )
P(X
0
i )

kE
P(X
n+m
j [ X
n
k, X
0
i ) P(X
n
k, X
0
i )
P(X
0
i )

kE
P(X
m
j [ X
0
k) P(X
n
k [ X
0
i )
car X
n
est une chane de Markov homogne.
En particulier, pour n m1 et pour tous (i , j ) EE,
P(X
2
j [ X
0
i )

kE
P(X
1
j [ X
0
k) P(X
1
k [ X
0
i )

kE
P(i , k) P(k, j )
ce qui tablit (() dans le cas n 2. Pour m1 et n >1, lgalit () scrit
(i , j ) EE P(X
n+1
j [ X
0
i )

kE
P(X
n
k [ X
0
i ) P(X
1
j [ X
0
k)

kE
P(X
n
k [ X
0
i ) P(k, j )
donc si P(X
n
k [ X
0
i ) P
n
(i , k) alors P(X
n+1
j [ X
0
i ) P
n+1
(i , j ) et la
rcurrence est tablie.
z Gnralisations de la proprit de Markov
Dans la section prcdente nous avons travaill sur les suites nies de variables
alatoires (X
k
)
km
, il est intressant de considrer la chane globalement en
tant que variable alatoire de (, A) dans E
N
muni dune tribu F adquate. Si
. Dans toute la suite la notation P
n
(i , j ) dsigne le terme de la ligne i , colonne j de la ma-
trice P
n
, ne pas confondre avec
_
P(i , j )
_
n
!
(
on veut que X (X
n
)
nN
soit mesurable de (, A) dans (E
N
, F) ds que toutes
ses composantes X
n
le sont de (, A) dans (E, P(E)), il ne faut pas choisir F trop
grande (en particulier le choix F P(E
N
) ne convient pas). On construit F
partir des cylindres de E
N
dnis ci-dessous.
z.I Cylindres sur E
N
Dnition z.I On appelle cylindre de E
N
toute partie C de E
N
de la forme C
B
0
B
1
B
n
EEE. . . , o n est un entier quelconque et o les B
i
sont des
parties quelconques
(
de E.
On appelle tribu cylindrique sur E
N
la plus petite tribu F contenant les cylindres
de E
N
.
Proposition z.z Les cylindres de E
N
ont les proprits suivantes :
a) lintersection de deux cylindres est un cylindre ;
b) la runion de deux cylindres nest pas toujours un cylindre ;
c) le complmentaire dun cylindre est une runion nie de cylindres ;
d) lalgbre de Boole engendre sur E
N
par les cylindres est la famille B dont les
lments sont les runions nies de cylindres.
Dmonstration. a) Si n m, on a
(B
0
B
1
B
n
E. . . ) (B
t
0
B
t
1
B
m
E. . . )
B
0
B
t
0
B
m
B
t
m
B
m+1
B
n
E. . .
b) Considrer la runion des cylindres B
0
EE. . . et EB
t
1
E. . . (faire un
dessin dans R
3
pour B
0
et B
t
1
singletons de N).
c) Soit C B
0
B
1
B
n
EE. . . ,
x C i n, x
i
B
i
donc
x C i n, x
i
B
i
do C
n

i 0
{E EB
i
E. . .}.
d) Montrons que la famille Best une algbre de Boole : il est immdiat de vrier
que E (cylindre) appartient Bet que Best stable par runion nie. Vrions
que B est stable par complmentation : soit B
k
j 1
C
j
une runion nie
de cylindres, son complmentaire B
k
j 1
C
j
et daprs le point c), chaque
(. E dnombrable, est muni de la tribu de toutes les parties de E. Si E tait muni dune tribu E
plus petite, il faudrait bien sr prendre les B
i
dans E.

C
j
est une runion de n
j
cylindres : C
j

n
j
m1
C
t
j ,m
. Finalement, en posant
n max
j k
(n
j
) et C
t
j ,m
pour n
j
<mn, on a
B
k

j 1
C
j

k

j 1
_
n
j

m1
C
t
j ,m
_

j 1
_
n

m1
C
t
j ,m
_

m1
_
k

j 1
C
t
j ,m
_

m1
C
tt
m
o les C
tt
m
sont des intersections nies de cylindres donc des cylindres (point
a) ; le complmentaire de B est bien une runion nie de cylindres.
La famille B est donc une algbre de Boole contenant les cylindres ; rcipro-
quement toute algbre de Boole contenant les cylindres contient par dni-
tion les runions nies de cylindres, la proposition est dmontre.
Proposition z. Si pour tout n N, X
n
est mesurable (, A) (E, P(E)) et si F
est la tribu cylindrique sur E
N
, alors X (X
n
)
nN
est mesurable (, A) (E
N
, F).
Dmonstration. Comme F est la tribu engendre par les cylindres, il sut de
vrier que pour tout cylindre C, X
1
(C) appartient A. Mais
X
1
(B
0
B
1
B
n
EEE. . . )
n

i 0
X
1
i
(B
i
) A
car les X
n
sont mesurables (, A) (E, P(E)).
Il reste munir (E
N
, F) dune probabilit, on pourrait sen tirer en disant quil
sut de prendre la probabilit image de P (probabilit sur ) par X, mais ce
serait bien hypocrite car P na jamais t dnie prcisment ! En fait comment
construit-on (, A, P) ?
Quil sagisse de construire un espace probabilis (, A, P) pour une suite d-
nombrable

de variables alatoires indpendantes de lois donnes valeurs dans

(E, E) ou dune chane de Markov, on procde de la mme manire :
on se place sur lespace produit E
N
que lon munit de sa tribu cylindrique F ;
on essaie de prolonger les probabilits P
n
dnies de faon naturelle sur les
produits nis E
n
en une probabilit P sur E
N
, lexistence et lunicit de P sont
assures par le thorme de Kolmogorov (voir [(]) moyennant des conditions
raisonnables de compatibilit des P
n
(la trace sur E
n
de la probabilit P
n+1
dnie sur E
n+1
doit tre identique P
n
).
Finalement lespace (, A, P) ainsi construit pour porter la suite X (X
n
)
nN
est
identique lespace darrive (E
N
, F, P) et X est lapplication identit.
. Le cas dune suite nie de variables alatoires indpendantes de lois donnes est trivial : on
se place sur lespace produit muni de la tribu produit et de la probabilit produit (indpendance
oblige).
6
Dans le cas des chanes de Markov homognes les P
n
sont dnies partir de
la loi initiale et de la matrice de transition P (cf. prop. I.) et la condition de
compatibilit est facile vrier.
On notera (, A, P

) lespace probabilis adapt la chane de Markov homo-

gne de matrice de transition P donne et de loi initiale ( probabilit donne
sur E). Dans le cas o est une mesure de Dirac (cas o X
0
est connue de manire
dterministe), on note P
x
au lieu de P

x
la probabilit construite sur(, A).
z.z Oprateurs de dcalage sur E
N
Dnition z.( On appelle oprateur de dcalage (ou translation) sur E
N
lappli-
cation de E
N
dans lui-mme dnie par
(x
n
) E
N

_
(x
0
, x
1
, . . . , x
n
, . . . )
_
(x
1
, x
2
, . . . , x
n+1
, . . . )
On considre galement ses itrs, dnis par
k+1

k
:
k
_
(x
n
)
_

_
(x
n+k
)
_
.
La proposition suivante nonce la forme globale de la proprit de Markov ho-
mogne.
Proposition z.g Soit X (X
n
)
nN
une chane de Markov homogne dnie sur
(, A, P

) valeurs dans (E
N
, F), et A
k
(X
0
, . . . , X
k
) la sous-tribu de A engen-
dre par les variables alatoires X
0
, . . . , X
k
. Alors, la loi conditionnelle de
k
(X)
sachant A
k
est la loi conditionnelle de X sachant X
k
:
f mesurable : (E
N
, F) (R
+
, B(R
+
)), E

_
f (
k
(X)) [ A
k
_
E
X
k
_
f (X)
_
.
Dmonstration. Il sut de dmontrer lgalit ci-dessus pour les fonctions in-
dicatrices (linarit et passage la limite croissante) et mme pour les fonctions
indicatrices de cylindres : ceci rsulte par exemple du thorme dunicit des
mesures (la classe des cylindres est stable par intersection nie et contient E
N
).
On peut aussi utiliser la proposition z.z et dire que si deux mesures concident
sur les cylindres, elles concident sur les runions nies de cylindres (formule de
Poincar et stabilit de la famille des cylindres par intersection nie) donc sur
lalgbre de Boole Bengendre et nalement aussi sur la tribu engendre (cf. [I]
th. I-(-,).
Calculons donc pour le cylindre C B
0
B
1
B
n
E E E. . . lesprance
conditionnelle E

(1
C
(
k
(X)) [ A
k
) sur lvnement X
k
i
k
, . . . , X
0
i
0
:
Sur {X
k
i
k
, . . . , X
0
i
0
}, E

(1
C
(
k
(X)) [ A
k
)
P

(X
n+k
B
n
, . . . , X
k
B
0
[ X
k
i
k
, . . . , X
0
i
0
).
,
On dcompose les B
j
pour pouvoir appliquer la proprit de Markov :
P

(X
n+k
B
n
, . . . , X
k
B
0
[ X
k
i
k
, . . . , X
0
i
0
)

( j
0
,..., j
n
)B
0
B
n
P

(X
n+k
j
n
, . . . , X
k
j
0
[ X
k
i
k
, . . . , X
0
i
0
)

( j
0
,..., j
n
)B
0
B
n
1
j
0
i
k
P

(X
n+k
j
n
, . . . , X
k+1
j
1
[ X
k
i
k
, . . . , X
0
i
0
)
soit en sommant en j
0
et en appliquant la proprit de Markov homogne
6
:

( j
1
,..., j
n
)B
1
B
n
1
B
0
(i
k
) P
i
k
(X
n
j
n
, . . . , X
1
j
1
)
1
B
0
(i
k
) P
i
k
(X
n
B
n
, . . . , X
1
B
1
) E
i
k
(1
C
(X))
Finalement, pour tous i
0
, . . . , i
k
de E, on a sur {X
k
i
k
, . . . , X
0
i
0
}
E

(1
C
(
k
(X)) [ A
k
) E
X
k
(1
C
(X)).
z. Proprit de Markov forte
Rappelons quelques dnitions classiques :
Dnition z.6 Soit (, A, P) un espace de probabilit.
On appelle ltration adapte la suite X (X
n
)
nN
la suite croissante de sous-
tribus (A
n
) de A, engendres par les variables (X
k
)
kn
: A
n
(X
0
, . . . , X
n
).
On dit que la variable alatoire T valeurs dans NN{+} est un temps darrt
pour la ltration (A
n
) si et seulement si pour tout n de N lvnement {T n}
appartient A
n
.
On dnit ensuite la tribu A
T
des vnements antrieurs T (temps darrt) par
A A, A A
T
n N, A{T n} A
n
.
On tend enn la dnition des oprateurs de dcalage aux temps darrt en po-
sant
T

n
sur {T n}, ce qui dnit
T
sur lvnement {T <+}.
Proposition z.) (proprit de Markov forte) Soit X (X
n
)
nN
une chane de Mar-
kov homogne dnie sur (, A, P

) valeurs dans (E, F) et T un temps darrt

pour la ltration (A
n
(X
0
, . . . , X
n
)), alors sur lvnement {T <+}
f mesurable : (E
N
, F) (R
+
, B(R
+
)), E

_
f (
T
(X)) [ A
T
_
E
X
T
_
f (X)
_
.
6. faire en exercice en gnralisant le calcul (I) p. I : utiliser la formule (z) p. .
8
Dmonstration. On calcule lesprance conditionnelle E

( f (
T
(X)) [ X
T
, . . . , X
0
)
sur lvnement {T <+} en la dcomposant selon la valeur de T :
E

_
f (
T
(X)) [ A
T
_
1
T<+

kN
E

_
f (
k
(X)) [ A
k
_
1
Tk
soit en utilisant la proposition z. :

kN
E
X
k
_
f (X)
_
1
Tk
E
X
T
_
f (X)
_
1
T<+
.
Classication des tats
.I Classes dtats communicants
Dnition .I Soient i et j deux tats de E. On dit que ltat j est accessible
partir de i si et seulement si
n 0, P
n
(i , j ) P(X
n
j [ X
0
i ) >0.
On dit que les tats i et j communiquent et on note i j si et seulement si j est
accessible partir de i et i est accessible partir de j .
Proposition.z La relation i j est une relation dquivalence sur E. Lespace E
peut donc tre partitionn en classes dquivalence pour la relation i j , appe-
les classes dtats communicants.
Dmonstration. La rexivit est vidente (pour n 0 P(X
0
i [ X
0
i ) 1),
tout comme la symtrie. La transitivit rsulte de la proprit de Chapman-
Kolmogorov : si P
n
(i , k) >0 et si P
m
(k, j ) >0,
P
n+m
(i , j ) P(X
n+m
j [ X
0
i )

l E
P
n
(i , l ) P
m
(l , j ) P
n
(i , k) P
m
(k, j ) >0.
Dnition . Lorsque ltat E est rduit une seule classe (cas o tous les tats
communiquent) on dit que la chane est irrductible.
Pour rechercher les classes dtats communicants, il est commode de travailler
sur le graphe de la chane plutt que sur la matrice de transition : le graphe est
obtenu en traant pour tout couple dtats (i , j ) un arc allant de i j si et seule-
ment si P(i , j ) >0. On peut ajouter une valeur larc (la probabilit P(i , j )) dans
ce cas la donne du graphe valu est quivalente la donne de la matrice de
transition.

Exemples :
P
_
_
_
_
_
_
_
0 0 0
0 0
0 0 0 1 0
0 0 0
0 0 0 1 0
_
_
_
_
_
_
_
1 2 3 4 5

1
1
La chane comporte deux classes : {1, 2} et {3, 4, 5}.
Vrier que lespace dtats associ la ruine du joueur comporte trois classes (
prciser).
Vrier que la promenade alatoire sur Z
2
telle quelle est dnie lexercice
comporte deux classes prciser.
En revanche la promenade alatoire sur Z
2
dnie par
(X
n+1
, Y
n+1
)
_

_
(X
n
+1, Y
n
) avec probabilit
(X
n
1, Y
n
) avec probabilit
(X
n
, Y
n
+1) avec probabilit
(X
n
, Y
n
1) avec probabilit
est irrductible.
.z Rcurrence et transience
Dnition .( Un tat i de E est dit rcurrent si et seulement si, partant de i ,
la chane X revient P
i
-presque srement ltat i . Un tat non rcurrent est dit
transient. On pose

i
()
_
inf {n 1 [ X
n
() i } ou
+ sur {n 1, X
n
() /i }

i
est un temps darrt pour la ltration (A
n
(X
0
, . . . , X
n
)), il est appel temps
de retour i lorsque la chane part de i et temps datteinte de i sinon. On a lqui-
valence suivante :
i E, i rcurrent P
i
(
i
<+) 1
i E, i transient P
i
(
i
<+) <1
Exemple : onmontre (cf. exercice ) que pour la promenade alatoire sur Zdnie
comme somme de variables alatoires de Bernoulli P
0
(
0
< +) 1 [p q[.
Io
Ainsi, pour p q tous les tats sont rcurrents, tandis que pour p / q tous les
tats sont transients (le calcul fait pour ltat 0 vaut bien sr pour tout autre tat).
On sintresse galement la variable alatoire N
i
nombre de passages de la
chane par ltat i aprs linstant 0 :
N
i
()

nN

1
X
n
()i
Nous aurons besoin du rsultat intuitif suivant (expliquer sa signication) :
Proposition .g Soient i et j deux tats quelconques de E, on a
n N, P
j
(N
i
n +1) P
j
(
i
<+) P
i
(N
i
n). ()
Dmonstration. On considre linstant
i
de premier passage de la chane par
ltat i . Lvnement {N
i
n +1} peut scrire
,
:
{N
i
n +1} {
i
<+N
i

i
n}
o N
i

i
dsigne le nombre de visites ltat i aprs linstant
i
. La proprit
de Markov forte applique linstant
i
donne :
P
j
(N
i
n +1) P
j
(N
i

i
n [
i
<+) P
j
(
i
<+)
P
i
(N
i
n) P
j
(
i
<+) car X

i
i sur {
i
<+}.
Remarque : il est possible de contourner le recours la proprit de Markov forte
dans la dmonstration de (). On remarque que {N
i
1} {
i
< +} et on d-
compose lvnement {N
i
n +1} en fonction des valeurs prises par
i
, instant
de premier passage par i :
n 0, {N
i
n +1}
_
N
i
n +1
_

kN

i
k
_
_

kN

{N
i
n +1
i
k}
les vnements {
i
k}
kN
tant deux deux disjoints,
n 0, P
j
(N
i
n +1)

kN

P
j
(N
i
n +1
i
k)

kN

P
j
(N
i
n +1(X
k
i , X
k1
/i , . . . , X
1
/i ))

kN

P
j
(N
i
n +1 [ X
k
i , X
k1
/i , . . . , X
1
/i )
P
j
(X
k
i , X
k1
/i , . . . , X
1
/i )

kN

P
i
(N
i
n) P
j
(
i
k) (prop. de Markov homogne)
P
j
(
i
<+) P
i
(N
i
n).
,. Dans cette formule, opre sur , ce qui suppose E
N
, voir la construction de (, A, P

)
page 6.
II
Proposition .6 Les conditions suivantes sont quivalentes :
a) ltat i est rcurrent (P
i
(
i
<+) 1) ;
b) la chane X revient P
i
-p.s. une innit de fois ltat i : P
i
(N
i
+) 1 ;
c) la srie

nN
P
n
(i , i ) diverge.
Les conditions suivantes sont quivalentes :
a) ltat i est transient (P
i
(
i
<+) <1) ;
b) la variable alatoire N
i
est P
i
-p.s. nie (P
i
(N
i
+) 0) et elle suit une loi
gomtrique
8
sur N : n N, P
i
(N
i
n)
_
P
i
(
i
<+)
_
n
;
c) la variable alatoire N
i
est P
i
-intgrable : E
i
(N
i
)

n1
P
n
(i , i ) <+.
Dmonstration. Appliquons lgalit () dans le cas j i .
Cas i rcurrent : P
i
(
i
<+) 1, lgalit () scrit pour j i :
n N, P
i
(N
i
n +1) P
i
(N
i
n) P
i
(N
i
1) P
i
(
i
<+) 1
donc P
i
(N
i
+) 1 et limplication (a b) est tablie.
Cas i transient :
i
P
i
(
i
<+) <1, lgalit () donne ({N
i
1} {
i
<+}) :
n N, P
i
(N
i
n +1)
i
P
i
(N
i
n) (
i
)
n
P
i
(N
i
1) (
i
)
n+1
donc P
i
(N
i
+) lim (
i
)
n
0, N
i
suit une loi gomtrique sur N; rappelons
que, pour toute variable Z valeurs dans N, on a
E(Z)

nN
nP(Z n)

n1
P(Z n), do
E
i
(N
i
)

n1
P
i
(N
i
n)

i
1
i
<+.
Lgalit E
i
(N
i
)

nN
P
n
(i , i ) dcoule immdiatement du thorme de Tonelli :
E
i
(N
i
) E
i
_

nN

1
X
n
i
_

nN

E
i
(1
X
n
i
)

nN

P
i
(X
n
i )

nN

P
n
(i , i ).
Ainsi les implications (a b c) sont tablies, (b c) galement (si la loi de N
i
charge +, N
i
ne peut tre intgrable et

nN
P
n
(i , i ) diverge). Les implications
(c a) (contrapose de (a c)) et (c a) (contrapose de (a c)) sont ta-
blies aussi.
8. Elle charge 0 contrairement aux lois gomtriques usuelles : pour tout n positif ou nul,
P
i
(N
i
n) (1
i
) (
i
)
n
avec
i
P
i
(
i
<+).
Iz
Proposition .) La rcurrence et la transience sont des proprits de classe : si
les tats i et j communiquent, alors i et j sont tous deux rcurrents ou tous deux
transients.
Dmonstration. Si les tats i et j communiquent, il existe des entiers n 1 et
m1 tels que , P
n
(i , j ) >0 et P
m
( j , i ) >0. P
n+k+m
est le produit des trois matrices
positives P
n
, P
k
, P
m
, do :
k N, P
n+k+m
(i , i ) P
n
(i , j ) P
k
( j , j ) P
m
( j , i )
soit en sommant sur k :

kN

P
k
(i , i )

kN

P
n+k+m
(i , i ) P
n
(i , j ) P
m
( j , i )

kN

P
k
( j , j ).
Daprs la proposition .6 un tat i est transient ou rcurrent selon que la s-
rie

kN
P
k
(i , i ) converge ou diverge ; lingalit ci-dessus prouve que la conver-
gence de la srie

kN
P
k
(i , i ) implique celle de

kN
P
k
( j , j ) et que la diver-
gence de

kN
P
k
( j , j ) implique celle de

kN
P
k
(i , i ), donc les deux sries sont
toujours de mme nature et les tats i et j aussi.
Proposition .8 Tous les tats dune mme classe rcurrente sont visits P
j
-p.s.
une innit de fois partir de nimporte quel tat j de la classe : soient i et j deux
tats appartenant la mme classe rcurrente, alors
P
j
(
i
<+) P
j
(N
i
+) 1.
Dmonstration. Comme les tats i et j communiquent, il existe un entier n tel
que P
n
(i , j ) >0. Si P
j
(
i
+) >0, la probabilit de ne pas repasser une innit
de fois par i en partant de i est minore par le produit P
n
(i , j ) P
j
(
i
+) > 0,
ce qui contredit le fait que i est rcurrent. On a donc P
j
(
i
+) 0 ou encore
P
j
(
i
< +) 1 et en reportant ceci dans lgalit () on obtient pour tout n,
P
j
(N
i
n+1) P
i
(N
i
n) P
i
(N
i
+) 1 (i est rcurrent) puis par passage
la limite dcroissante P
j
(N
i
+) 1.
Proposition .p La probabilit de sortir dune classe rcurrente est nulle ; plus
prcisment si i est un tat rcurrent et C(i ) sa classe
j C(i ), n N, P
i
(X
n
j ) P
n
(i , j ) 0.
Dmonstration. Soit j C(i ), supposons quil existe un n tel que P
n
(i , j ) > 0 ;
dans ce cas, pour tout m, P
m
( j , i ) 0 sinon les tats i et j communiqueraient.
Mais alors la probabilit de non retour i partant de i est non nulle car minore
par P
n
(i , j ) >0, ce qui contredit le fait que i est rcurrent.
I
Proposition .Io Toute chane de Markov homogne sur un espace dtats ni
a au moins un tat rcurrent. En particulier, toute chane irrductible sur un es-
pace dtats ni est rcurrente.
Dmonstration. Montrons que pour tout tat i transient et pour tout j , lesp-
rance du nombre de passages par ltat i , E
j
(N
i
) est nie : rappelons que pour
toute variable Z entire positive E(Z)

n1
P(Z n), en utilisant lgalit () on
obtient
E
j
(N
i
)

nN
P
j
(N
i
n +1)

nN
P
j
(
i
<+) P
i
(N
i
n)
P
j
(
i
<+)

nN
P
i
(N
i
n)
P
j
(
i
<+)
_
1+E
i
(N
i
)
_
.
donc E
j
(N
i
) <+pour tout tat i transient.
Si tous les tats de E (ni) taient transients on aurait aussi
E
j
_

i E
N
i
_

i E
E
j
(N
i
) <+ (Tonelli).
ce qui est absurde puisque

i E
N
i
est le nombre total de visites aux tats de E
cest--dire card(N) +.
( Thormes limites
Les deux questions que lon est amen se poser sont les suivantes :
I. Y-a-t-il convergence en loi des X
n
lorsque n +?
P
i
(X
n
j ) P
n
(i , j )
n+
(i , j )?
z. Y-a-t-il convergence des frquences de passage par chaque tat j ?
f
j
n
()
1
n
n

k1
1
X
k
()j
P
i
p.s.

n+
(i , j )?
Remarquons tout de suite que si les deux convergences ont lieu, les limites (i , j )
et (i , j ) sont les mmes : la frquence f
j
n
() est majore par 1, fonction P
i
-
intgrable, donc par convergence domine E
i
( f
j
n
) E
i
((i , j )) (i , j ) et par
linarit E
i
( f
j
n
)
1
n

n
k1
P
k
(i , j ) (i , j ) (si une suite u
n
converge, la suite de
ses moyennes de Csaro converge vers la mme limite).
I(
(.I Cas j transient
Lorsque j est un tat transient, on a vu dans la dmonstration de la proposi-
tion .Io que pour tout i , E
i
(N
j
) est nie, mais
E
i
(N
j
) E
i
_

nN

1
X
n
j
_

nN

E
i
(1
X
n
j
)

nN

P
i
(X
n
j )

nN

P
n
(i , j ).
Cette srie converge, son terme gnral tend donc vers 0.
Le nombre de visites ltat transient j tant ni P
i
-p.s. pour tout i (mme P
i
-
intgrable, cf. ci-dessus), la suite (1
X
k
()j
)
kN
est donc nulle pour tout k assez
grand (dpendant de ) et donc
1
n
n

k1
1
X
k
()j
P
i
p.s.

n+
0.
Proposition (.I Pour tout tat i de E et pour tout tat j transient on a
P
i
(X
n
j ) P
n
(i , j )
n+
0 et
1
n
n

k1
1
X
k
()j
P
i
p.s.

n+
0.
(.z Cas des chanes irrductibles rcurrentes
La probabilit de sortir dune classe rcurrente est nulle (cf. proposition .). Si
les tats i et j sont rcurrents, le seul cas non trivial est celui o ils sont dans la
mme classe, ce cas se ramne ltude dune chane irrductible rcurrente.
Le dernier cas, i transient et j rcurrent, est laiss en exercice (voir exercice ,).
(.z.I Mesures invariantes
Une faon commode de dnir une mesure sur un espace dtats E dnom-
brable est de se donner un vecteur ligne (
i
)
i E
o
i
({i }).
Dnition(.z Soit P la matrice de transitiondune chane de Markov homogne ;
on dit quune mesure sur E est invariante par P si et seulement si elle est posi-
tive et vrie lquation matricielle P .
La proposition suivante justie lintrt port aux mesures invariantes.
Proposition (. a) Soit (X
n
)
nN
une chane de Markov homogne. Si est une
probabilit invariante et si un instant k, la loi de X
k
est , alors tout instant
ultrieur mn, X
m
est aussi de loi .
I
b) Si E est un espace dtats ni et si pour tout couple (i , j ) de E
2
, P
n
(i , j ) L
i
( j ),
alors L
i
est une probabilit invariante par P.
Dmonstration. a) Si est la loi de X
k
, il est immdiat de vrier que P est la
loi de X
k+1
.
b) Si la suite de matrices P
n
converge vers la matrice L, alors P
n+1
converge aussi
vers L et comme P
n+1
P
n
P, la matrice limite L vrie L LP (linarit du
passage la limite, E tant ni), donc chacune de ses lignes L
i
vrie L
i

L
i
P.
Les mesures limites possibles sont donc rechercher parmi les mesures inva-
riantes.
Thorme (.( Toute chane de Markov homogne rcurrente irrductible ad-
met une mesure invariante strictement positive sur E et toutes les mesures in-
variantes sont proportionnelles.
Ce rsultat dcoule des deux lemmes suivants, le premier tablit lexistence dune
mesure invariante, le second son unicit un facteur multiplicatif prs.
Lemme (.g (existence) Soit X une chane de Markov homogne de matrice P, ir-
rductible rcurrente. On xe un tat k et on pose
j E,
k
j
E
k
_

0n<
k
1
X
n
j
_

k
j
reprsente le nombre moyen de passages par ltat j entre deux passages par
ltat k. Le vecteur ligne
k
a les proprits suivantes :
a)
k
k
1 ;
b)
k
est invariant par P :
k
P
k
;
c) j E, 0 <
k
j
<+.
Dmonstration. a) est vident : pour n 0, 1
X
n
k
1 P
k
-p.s. et les autres termes
de la somme sont tous nuls (n <
k
).
b) Calculons le j -ime terme (
k
P)
j
du vecteur ligne
k
P :

i E

k
i
P(i , j )

i E
E
k
_

0n<
k
1
X
n
i
_
P(i , j )

i E
E
k
_

nN
1
n<
k
1
X
n
i
_
P(i , j )

i E

nN
E
k
_
1
n<
k
1
X
n
i
_
P(i , j ) (Tonelli)
I6

i E

nN
P
k
(n <
k
, X
n
i ) P(i , j )

i E

nN
P
k
(X
n
i , X
n
/k, X
n1
/k, . . . , X
1
/k) P(i , j )

i E
i /k

nN
P
k
(X
n
i , X
n1
/k, . . . , X
1
/k) P(i , j )
or P(i , j ) P(X
n+1
j [ X
n
i , X
n1
/k, . . . , X
1
/k), do

i E
i /k

nN
P
k
(X
n+1
j , X
n
i , X
n1
/k, . . . , X
1
/k)
Pour i / k, lvnement {X
n
i , X
n1
/ k, . . . , X
1
/ k} scrit aussi {
k
> n, X
n
i }
donc
i /k
{X
n
i , X
n1
/ k, . . . , X
1
/ k} {
k
> n}, soit en permutant les sommes
(Tonelli) :

nN
P
k
(X
n+1
j ,
k
>n)

nN
E
k
(1
X
n+1
j
1

k
>n
) E
k
_

nN
1
X
n+1
j
1

k
>n
_
(Tonelli)
E
k
_

0n<
k
1
X
n+1
j
_
E
k
_

1m
k
1
X
m
j
_

k
j
.
La dernire galit rsulte du fait que, la chane tant rcurrente irrductible,
k
est P
k
-presque srement ni, on peut donc remplacer dans la somme, le terme
dindice m0 par le terme dindice m
k
puisque les deux indicatrices valent
1
j k
P
k
-presque srement.
c) La chane (X
n
) tant irrductible, tous les tats communiquent et enparticulier
il existe deux entiers n et m tels que P
n
(i , k) >0 et P
m
(k, i ) >0. Daprs b),
k
est
invariant par P, donc aussi par toutes les puissances de P et comme daprs a),

k
k
1 :
1
k
k

j E

k
j
P
n
( j , k)
k
i
P
n
(i , k)
donc, tout i ,
k
i
est ni et aussi strictement positif car

k
i

j E

k
j
P
m
( j , i )
k
k
P
m
(k, i ) P
m
(k, i ) >0.
Lemme (.6(unicit) Soit X une chane de Markov homogne irrductible, de ma-
trice de transitionP et une mesure invariante par P telle que
k
1. Alors
k
o
k
est la mesure dnie dans le lemme .. Si en plus X est rcurrente, alors

k
.
I,
Dmonstration. crivons lquation dinvariance pour en isolant le terme
dindice k pour lequel
k
1 :
j E,
j

i E

i
P(i , j )

i /k

i
P(i , j ) +P(k, j ).
On itre le procd en isolant chaque fois le terme en
k
:

i /k
_

i
1
/k

i
1
P(i
1
, i ) +P(k, i )
_
P(i , j ) +P(k, j )

i /k

i
1
/k

i
1
P(i
1
, i ) P(i , j ) +

i /k
P(k, i ) P(i , j ) +P(k, j )
. . .

i /k

i
1
/k
. . .

i
n
/k

i
n
P(i
n
, i
n1
) . . . P(i
1
, i ) P(i , j )
+

i /k

i
1
/k
. . .

i
n1
/k
P(k, i
n1
)P(i
n1
, i
n2
) . . . P(i
1
, i ) P(i , j ) +
+

i /k

i
1
/k
P(k, i
1
) P(i
1
, i ) P(i , j ) +

i /k
P(k, i ) P(i , j ) +P(k, j )
on minore
j
en ngligeant la premire somme (la seule contenir des termes
en ) :

i /k

i
1
/k
. . .

i
n1
/k
P(k, i
n1
)P(i
n1
, i
n2
) . . . P(i
1
, i ) P(i , j ) +
+

i /k

i
1
/k
P(k, i
1
) P(i
1
, i ) P(i , j ) +

i /k
P(k, i ) P(i , j ) +P(k, j )
on interprte les produits grce la prop. I., dans chaque somme on part de k
pour arriver j en vitant ltat k entre-temps, do :

j
P
k
(X
n+1
j ,
k
n +1) + +P
k
(X
2
j ,
k
2) +P
k
(X
1
j ,
k
1)

n+1

m1
P
k
(X
m
j ,
k
m) E
k
_n+1

m1
1
X
m
j
1

k
m
_
E
k
_min(n+1,
k
)

m1
1
X
m
j
_
.
On fait tendre n vers +: pour tout j / k, les termes dindices m 0 et m
k
(sur {
k
< +}) de la dernire somme sont nuls, lesprance crot donc vers
k
j
(Beppo-Levi) et comme
k

k
k
1, pour tout j ,
j

k
j
et lingalit
k
est
tablie.
Si on suppose la chane X rcurrente, on sait daprs le lemme (. que
k
est une
mesure invariante. Onpose
k
, cest galement une mesure positive (cf. ci-
dessus), invariante comme dirence de mesures invariantes. Mais comme
k

I8

k
k
1,
k
0 et comme la chane est irrductible tous les tats communiquent :
pour tout tat j , il existe un entier n tel que P
n
( j , k) > 0, est invariante par P
n
,
do :
j E, 0
k

i E

i
P
n
(i , k)
j
P
n
( j , k) donc
j
0 soit
k
.
Remarque : lhypothse mesure positive est essentielle pour lunicit : la pro-
menade alatoire symtrique sur Z est rcurrente irrductible mais lquation
P admet pour solutions les vecteurs ligne de la forme (
i
A+Bi )
i Z
(voir
exercice ), cest la condition 0 sur Z qui impose B0 et fait que cette chane
na que les mesures constantes comme mesures (positives) invariantes.
Il reste voir si la masse totale de ces mesures invariantes (toutes proportion-
nelles) est nie ou non. Si elle lest, il existera une probabilit invariante pour la
chane. La masse totale de
k
est :

k
(E)

j E

k
j

j E
E
k
_

0n<
k
1
X
n
j
_
E
k
_

0n<
k

j E
1
X
n
j
_
(Tonelli)
E
k
_

0n<
k
1
_
E
k
(
k
).
Dnition (.) Pour tout tat i rcurrent, le temps
i
de retour i est ni P
i
-p.s.
et deux cas se prsentent :
soit
i
est aussi P
i
-intgrable, on dit alors que i est rcurrent positif,
soit
i
est non intgrable (E
i
(
i
) +), on dit alors que i est rcurrent nul.
Le thorme suivant tablit que la rcurrence positive (resp. nulle) est une pro-
prit de classe et donne une condition ncessaire et susante pour quune
chane de Markov homogne irrductible soit rcurrente positive.
Thorme (.8 Soit X une chane de Markov homogne irrductible, les trois pro-
positions suivantes sont quivalentes :
a) tous les tats sont rcurrents positifs,
b) il existe au moins un tat rcurrent positif,
c) X admet une probabilit invariante .
Si lune de ces conditions est ralise, est unique : i E,
i

1
E
i
(
i
)

Dmonstration. Limplication a b est triviale.

Montrons b c : Si k est un tat rcurrent positif, E
k
(
k
)
k
(E) est ni, il sut
I
de poser pour tout tat i ,
i

k
i
/
k
(E) pour obtenir une probabilit invariante.
On a pour tout tat k rcurrent positif,
k
1/E
k
(
k
) ce qui tablit la formule
nale.
Montrons c a : soit une probabilit invariante et k un tat quelconque. Il
existe au moins un tat j tel que
j
>0 et , invariante par P, lest aussi par toutes
ses puissances P
n
; comme j et k communiquent il existe un n tel que P
n
( j , k) >0
et
k


i E

i
P
n
(i , k)
j
P
n
( j , k) > 0. En divisant par la constante
k
> 0,
on obtient une nouvelle mesure invariante par P et telle que
k
1. On peut
alors appliquer le lemme dunicit ((.6) , do
k
et on en dduit que k est
rcurrent positif :
E
k
(
k
)

i E

k
i

i E

i E

k
<+ ( probabilit).
Corollaire (.p Toute chane de Markov homogne irrductible espace dtats
ni est rcurrente positive : elle admet une unique probabilit invariante dnie
par
i E,
i

1
E
i
(
i
)

Dmonstration. Une chane de Markov homogne irrductible sur un espace

dtats ni est toujours rcurrente (cf. prop. .Io), elle admet donc des mesures
invariantes (thorme (.() qui sont ncessairement de masse totale nie, do
lexistence dune probabilit invariante. Son expression est donne par le tho-
rme prcdent.
Lexemple classique de chane rcurrente nulle est donn par la promenade ala-
toire symtrique (p q) sur Z.
Comme exemple de chane rcurrente positive sur un espace dnombrable on
peut citer la srie de succs sur N avec pour tout i , p
i
p, q
i
1p (constants)
ou les promenades alatoires sur N avec barrire rchissante en 0 telles que
p <q.
Remarque : lexistence de mesures invariantes pour une chane irrductible nim-
plique nullement que la chane soit rcurrente : seule lexistence dune probabi-
lit invariante permet de conclure la rcurrence (positive). Il est facile de vri-
er que les promenades alatoires sur Z telles que p > q sont irrductibles, tran-
sientes et quelles admettent pour mesures invariantes les mesures de la forme :
i Z,
i
A+B
_
q
p
_
i
A0, B0.
On remarquera aussi que dans cet exemple les mesures invariantes ne sont pas
toutes proportionnelles. . .
zo
Dnition (.Io Soit X une chane de Markov homogne de matrice de transi-
tion P. On appelle mesure rversible pour P toute mesure vriant
(i , j ) E
2
,
i
P(i , j )
j
P( j , i )
La notion de mesure rversible, lie au retournement du temps (non trait ici,
voir []), peut faciliter la recherche dune probabilit invariante : les quations ci-
dessus sont beaucoup plus faciles rsoudre que les quations dinvariance et
fournissent des mesures invariantes, comme le montre la proposition suivante.
Proposition (.II Toute mesure P-rversible est P-invariante.
Dmonstration. Soit P-rversible, calculons (P)
j
:
(P)
j

i E

i
P(i , j )

i E

j
P( j , i )
j

i E
P( j , i )
j
.
Exemple dapplication : considrons la promenade alatoire sur N avec barrire
en 0, sa matrice de transition est donne par
P(0, 0) 1r, P(0, 1) r, i 1, P(i , i +1) p >0, P(i , i 1) q 1p >0.
Les quations de rversibilit scrivent

0
r
1
q i 1,
i
p
i +1
q.
La rsolution est immdiate, les mesures rversibles sont de la forme
i 1,
i

r
q
_
p
q
_
i 1

0
.
La chane est irrductible si et seulement si r > 0 ; dans ce cas, si en plus p < q,
on a une probabilit invariante et la chane est rcurrente positive.
(.z.z Priode dun tat
Le fait quune chane de Markov homogne soit irrductible rcurrente positive,
assure lexistence dune unique probabilit invariante, mais pas la convergence
des matrices P
n
comme le montre lexemple trivial suivant :
Si P
_
0 1
1 0
_
, n N, P
2n
I et P
2n+1
P.
Do la dnition suivante :
zI
Dnition (.Iz On appelle priode dun tat i lentier
d(i ) PGCD{n 1 [ P
n
(i , i ) >0}
Dans lexemple ci-dessus les deux tats sont de priode 2. La priode est gale-
ment une proprit de classe :
Proposition (.I Tous les tats dune mme classe ont mme priode.
Dmonstration. Soient i et j deux tats communicants, montrons que d( j ) di-
vise d(i ), ce qui sut par symtrie pour tablir que d(i ) d( j ). Comme i et j
communiquent, il existe deux entiers l et m tels que P
l
(i , j ) > 0 et P
m
( j , i ) > 0.
Si n est tel que P
n
(i , i ) > 0, alors P
m+n+l
( j , j ) P
m
( j , i )P
n
(i , i )P
l
(i , j ) > 0, donc
d( j ) divise m+n +l . Mais comme P
m+l
( j , j ) P
m
( j , i )P
l
(i , j ) > 0, d( j ) divise
aussi m+l et par dirence d( j ) divise n. d( j ) divise donc tous les entiers tels
que P
n
(i , i ) >0, donc aussi leur PGCD d(i ).
Dnition (.I( On dit quune classe est apriodique si et seulement si tous ses
tats sont de priode 1.
Remarque : Si pour un tat i , P(i , i ) >0, alors la classe de i est apriodique.
Exemple de classe priodique : outre lexemple trivial donn ci-dessus, les prome-
nades alatoires sur Z, S
n
S
0
+

n
i 1
Y
i
o les Y
i
valent 1 sont des exemples
typiques de chanes irrductibles de priode 2.
Proposition (.Ig Soit i un tat de priode 1, alors
a) il existe un entier N(i ) tel que pour tout n N(i ), P
n
(i , i ) >0 ;
b) pour tout tat j communiquant avec i , il existe un entier N(i , j ) tel que pour
tout n N(i , j ), P
n
(i , j ) >0.
Dmonstration. a) Soit D(i ) {n 1 [ P
n
(i , i ) > 0}, cet ensemble est (presque)
un idal : si n et m appartiennent D(i ), pour tous p et q de N, pn +qm ap-
partient aussi D(i )

. En eet, P
pn+qm
(i , i ) (P
n
(i , i ))
p
(P
m
(i , i ))
q
(produit de
matrices positives).
Montrons dabordquil existe unentier m tel que m et m+1 appartiennent D(i ) :
le PGCD de D(i ) valant 1, daprs lgalit de Bezout il existe une suite nie
Io
(n
1
, . . . , n
k
) dentiers de D(i ) et (a
1
, . . . , a
k
) Z
k
tels que

k
j 1
a
j
n
j
1. On spare
les a
j
selon leur signe en posant a
+
j
max(a
j
, 0) et a

j
max(a
j
, 0), lgalit de
. Si la proprit tait vraie pour p et q dans Z, D(i ) serait un vrai idal de Z.
Io. Le PGCD d
k
(i ) de {n 1 [ n k, P
n
(i , i ) >0} dcrot vers d(i ) lorsque k +, comme cest
une suite dentiers d
k
(i ) d(i ) pour k assez grand.
zz
Bezout scrit alors

k
j 1
a
+
j
n
j
1 +

k
j 1
a

j
n
j
. En posant m

k
j 1
a

j
n
j
on a
m+1

k
j 1
a
+
j
n
j
et ces deux entiers sont dans D(i ).
Il sut maintenant de prendre N(i ) m
2
: pour tout n m
2
la division de n par
m scrit : n qm+r avec 0 r <m et q m>r , on peut donc crire q sous la
forme q r +p avec p Ndo n (r +p)m+r r (m+1)+pm donc n appartient
D(i ).
b) Si i communique avec j , j est galement de priode 1 et il existe un entier s
tel que P
s
(i , j ) >0 ; en posant N(i , j ) N( j ) +s on a pour tout l N(i , j ), l n+s
avec n N( j ), do P
l
(i , j ) P
s
(i , j )P
n
( j , j ) >0.
Pour les chanes espace dtats ni, la propositionprcdente admet une forme
plus forte et dnonc plus simple :
Proposition (.I6 Soit X une chane de Markov homogne irrductible sur un es-
pace dtats ni et P sa matrice de transition. Si X est apriodique, les matrices P
n
sont toutes strictement positives pour n assez grand. Rciproquement, si il existe
un n pour lequel P
n
est strictement positive, toutes les matrices (P
m
)
mn
sont
aussi strictement positives et X est apriodique.
Dmonstration. Posons N max(max
i E
N(i ), max
(i , j )E
2 N(i , j )). Si X est ap-
riodique, N est ni daprs la proposition prcdente et tous les termes des ma-
trices P
n
, sont strictement positifs pour n N.
Rciproquement, si pour un entier n, P
n
est strictement positive, il est clair que
toutes les matrices (P
m
)
mn
le sont aussi (crire le produit P
n+1
P P
n
) et le fait
que P
n
(i , i ) et P
n+1
(i , i ) soient strictement positifs implique que D(i ) contient n
et n+1, donc aussi leur dirence, dod(i ) 1 et la chane X est apriodique.
Ce rsultat ne stend videmment pas aux chanes irrductibles sur un espace
dtats dnombrable : penser la chane des sries de succs, elle est apriodique
irrductible mais pour tout tat i , P
n
(i , i ) > 0 n i +1 car pour revenir en i il
est ncessaire de passer par ltat 0.
(.z. Convergence en loi
Thorme (.I) (Convergence en loi) Soit X une chane de Markov homogne ir-
rductible apriodique pour laquelle il existe une probabilit invariante . Alors,
pour toute loi initiale , P

(X
n
j )
n+

j
. En particulier, pour tout tat i ,
P
n
(i , j )
n+

j
.
z
La dmonstration propose ici repose sur un argument de couplage emprunt
[].
Dmonstration. Soit X la chane de Markov homogne de matrice de transi-
tion P et de loi initiale . On considre une seconde chane de Markov homo-
gne Y de mme matrice de transition P mais de loi initiale invariante par P,
indpendante de X ; une telle chane Y existe : pour construire le couple (X, Y) il
sut de se placer sur lespace produit E
N
E
N
muni de la tribu produit des tribus
cylindriques et de la probabilit produit P

. Soit (W
n
) (X
n
, Y
n
) la chane
couple , cest une chane de Markov homogne de loi initiale et de ma-
trice de transition dnie par

P((i , k)( j , l )) P(i , j )P(k, l ).
Cette chane est irrductible, en eet pour tout n,

P
n
((i , k)( j , l )) P
n
(i , j )P
n
(k, l )
(indpendance) et daprs la proposition (.I, ce produit est strictement positif
pour n assez grand car X est irrductible apriodique (Y qui a mme matrice de
transition lest donc aussi).
Il est immdiat de vrier que la probabilit dnie sur EE par
(i ,k)

k
est
invariante par

P. Daprs le thorme (.8, la chane couple W est donc rcurrente
positive.
Fixons un tat a quelconque de E. Le temps datteinte T de ltat {a} {a} par la
chane rcurrente W est donc ni

P

-p.s. On dnit maintenant une nouvelle

suite (Z
n
) en remplaant X
n
par Y
n
partir linstant T :
Z
n
()
_
X
n
() sur {T() >n}
Y
n
() sur {T() n}
Z (Z
n
) est une chane de Markov homogne de loi initiale et de matrice de
transition P (calculer P(Z
n+1
j [ Z
n
i . . . Z
0
i
0
) en distinguant trois cas
selon que Z
n
passe pour la premire fois par {a} aprs linstant n, linstant n ou
avant).
X et Z sont donc deux chanes de Markov homognes de mme loi initiale et de
mme matrice de transition P, elles ont donc mme loi (cf. prop. I.). Calculons
la dirence
P

(X
n
j )
j


P

(X
n
j )

(Y
n
j )

P

(Z
n
j )

(Y
n
j )
en dcomposant sur {T >n} et {T n} pour utiliser le fait que Z
n
Y
n
sur {T n} :
P

(X
n
j )
j


P

(Z
n
j , T >n) +

(Z
n
j , T n)

(Y
n
j , T >n)

(Y
n
j , T n)

(Z
n
j , T >n)

(Y
n
j , T >n)
z(
Finalement,

(X
n
j )
j

(Z
n
j , T >n)

(Y
n
j , T >n)

est ma-
jore par

P

(T >n) qui dcrot vers

P

(T +) 0 lorsque n crot vers +.

(.z.( Thorme ergodique
Thorme (.I8 Soit X une chane de Markov homogne irrductible de loi ini-
tiale quelconque. Alors
II
:
j E,
1
n
n

k1
1
X
k
j
P

p.s.

n+
1
E
j
(
j
)
De plus, si X est rcurrente positive de probabilit invariante , pour toute fonc-
tion f E R borne
Iz
:
1
n
n

k1
f (X
k
)
P

p.s.

n+

i E

i
f (i ) E

( f (X
0
)).
Dmonstration. Si X est transiente, chaque tat j nest visit quun nombre P

-
p.s. ni de fois et le temps
j
datteinte de chaque tat j charge +donc E
j
(
j
)
+, on donc bien
j E
1
n
n

k1
1
X
k
j
P

p.s.

n+
0
1
E
j
(
j
)
Supposons maintenant X rcurrente. Lide consiste appliquer la loi forte des
grands nombres la suite de variables {
j

l
j
}
l 1
qui sont indpendantes et de
mme loi pour la probabilit P

. Rappelons que les instants de passage par j sont

donns par
1
j

j
et
l +1
j

l
j
+
j

l
j
.
Notons V
n
j
la variable alatoire nombre de visites ltat j entre les instants 0
et n : V
n
j

n
k1
1
X
k
j
. Il est clair que V
n
j
n, ses valeurs sont donnes par :
V
n
j
0 sur {
j
>n}
V
n
j
m sur {
m
j
n <
m+1
j
}
_m1

l 0

l
j
n <
m

l 0

l
j
_
(1 mn).
Sur lensemble {V
n
j
1} {
j
n} on a donc :
V
n
j
1

l 0

l
j
n <
V
n
j

l 0

l
j
II. On fait la convention 1/0 lorsque j est transient ou rcurrent nul.
Iz. Le rsultat peut se gnraliser f -intgrable (voir [I]).
z
ou en divisant par V
n
j

n
()
1
V
n
j
V
n
j
1

l 0

l
j

n
V
n
j
<
1
V
n
j
V
n
j

l 0

l
j

n
(). (6)
Les variables {
j

l
j
}
l 1
tant indpendantes et de mme loi
I
pour la probabi-
lit P

, daprs la loi forte des grands nombres, pour P

-presque tout

n
()
1
n
n

l 0

l
j

n+
E
j
(
j
).
Ceci vaut que
j
soit intgrable ou non : si (Y
l
) est une suite de variables positives,
indpendantes, de mme loi, non intgrables,
1
n

n
l 1
Y
l
Pp.s.

n+
+ (appliquer
la loi forte des grands nombres aux variables tronques Y
k
l
min(Y
l
, k) et faire
tendre k vers +).
Lorsque n tendvers +, V
n
j
() crot vers le nombre total N
j
() de visites ltat j
qui vaut + presque srement : la chane tant rcurrente irrductible, pour
tout i , P
i
(N
j
+) 1 (cf. proposition.8) donc P

(N
j
+) 1. La suite V
n
j
()
crot (au sens large) vers +P

-p.s., quitte sauter des termes (ceux dindice n

tels que V
n
j
V
n1
j
) les deux suites
n
() et
n
() sont des sous-suites de
n
()
et ont donc mme limite que
n
() soit E
j
(
j
).
Enn,
j
tant nie P

-p.s., lquation (6) vrie sur {

j
n}, est vraie pour P

-
presque tout au moins pour n assez grand (dpendant de ) et le quotient
n/V
n
j
, encadr par
n
() et
n
() converge donc P

-p.s. vers E
j
(
j
). En passant
aux inverses on a le rsultat annonc dans la premire partie du thorme.
tudions maintenant la limite de
1
n

n
k1
f (X
k
) pour f borne par M dans le cas
o X admet une probabilit invariante . Pour cela transformons la somme
1
n
n

k1
f (X
k
)
1
n
n

k1
f (X
k
)

i E
1
X
k
i

1
n
n

k1

i E
f (i ) 1
X
k
i

1
n

i E
f (i )
n

k1
1
X
k
i

1
n

i E
f (i )V
n
i

i E
f (i )
V
n
i
n
I. Le fait que pour l 0,
j
ait une loi dirente (la chane ne part pas de j ) naecte pas la
limite puisque
1
n

j
0 lorsque n +.
z6
Majorons la dirence

1
n
n

k1
f (X
k
)

i E
f (i )
i

i E
f (i )
_
V
n
i
n

i
_

i E

V
n
i
n

i

Chacun des termes de cette dernire somme tend vers 0 daprs la premire par-
tie du thorme ergodique, mais E nest pas suppos ni, soit donc F une partie
nie de E :

i E

V
n
i
n

i

i F

V
n
i
n

i

i F
V
n
i
n
+

i F

i F

V
n
i
n

i

+1

i F
V
n
i
n
+

i F

i
car

i E
V
n
i
n
1

i F

V
n
i
n

i

i F

i
+

i F

i F
V
n
i
n
+

i F

i
( probabilit)
2

i F

V
n
i
n

i

+2

i F

i
Pour majorer

i E
[V
n
i
/n
i
[ par , il sut de choisir pour F une partie nie de E
assez grande pour que

i F

i
soit plus petite que /4, la premire somme (nie)
est alors majore par /4 pour n assez grand.
Le thorme ergodique complte au moins partiellement linformation donne
par le thorme de convergence enloi. Comme les variables V
n
i
/n sont comprises
entre 0 et 1, on peut leur appliquer le thorme de Lebesgue et
E
i
V
n
j
n
E
i
_
1
n
n

k1
1
X
k
j
_

1
n
n

k1
P
i
(X
k
j )
1
n
n

k1
P
k
(i , j )
n
1
E
j
(
j
)

pour toute chane de Markov homogne irrductible. Sous des hypothses plus
faibles (on ne suppose la chane ni rcurrente ni apriodique) on obtient un r-
sultat plus faible aussi : la convergence des moyennes de Csaro des P
n
(i , j ) au
lieu de celle de la suite des P
n
(i , j ). On a tabli le rsultat suivant :
Proposition (.Ip Les moyennes de Csaro des matrices P
n
dune chane de Mar-
kov homogne irrductible convergent :
(i , j ) EE
1
n
n

k1
P
k
(i , j )
n
1
E
j
(
j
)
avec la convention 1/0 pour les tats j transients ou rcurrents nuls.
z,
g Proprits algbriques des chanes de Markov
espace dtats ni
Dans cette section nous supposons E ni et nous abordons ltude de la conver-
gence des matrices P
n
sous un angle purement algbrique, celui des valeurs
propres de P.
Dnition g.I On appelle matrice stochastique ou matrice de Markov, toute ma-
trice termes positifs ou nuls dont la somme de chaque ligne vaut 1.
Proposition g.z Soit P une matrice stochastique NN.
a) P admet la valeur propre 1 pour le vecteur propre colonne
I( t
(1, 1, . . . , 1) ;
b) les valeurs propres de P sont toutes de module infrieur ou gal 1 ;
c) plus prcisment, elles sont toutes dans la runiondes disques de centre P(i , i )
et de rayon 1P(i , i ) (1 i N).
Dmonstration. a) traduit le fait que la somme des colonnes vaut 1.
b) Soit une valeur propre (complexe) de P et v le vecteur propre associ, de
composantes (v
1
, v
2
, . . . , v
N
). Considrons la composante de module maxi-
mum de v : [v
i
[ max
1j N
[v
j
[. Le produit Pv v scrit pour cette com-
posante :
n

j 1
P(i , j )v
j
v
i
do [[ [v
i
[
n

j 1
P(i , j ) [v
j
[ [v
i
[
n

j 1
P(i , j ) [v
i
[
et [[ 1 (v, vecteur propre, nest pas nul donc v
i
/0).
c) On rcrit lgalit Pv v pour la composante v
i
de module maximum :
v
i

n

j 1
P(i , j )v
j
(P(i , i ))v
i

j /i
P(i , j )v
j
En passant aux modules on obtient :
[P(i , i )[ [v
i
[

j /i
P(i , j ) [v
j
[ [v
i
[

j /i
P(i , j ) [v
i
[ (1P(i , i ))
comme [v
i
[ / 0, il existe donc un i pour lequel [P(i , i )[ 1P(i , i ), ce qui
tablit le rsultat annonc.
I(. On notera
t
v et
t
P les transposs dun vecteur v ou dune matrice P.
z8
Application :
O C
1
Si tous les termes diagonaux
de P sont strictement positifs,
les valeurs propres de P sont
toutes dans le disque de centre
C min
i
P(i , i ) > 0 et de rayon
1min
i
P(i , i ) ; en particulier 1
est lunique valeur propre de
module 1 de P (ventuellement
multiple).
Si P est diagonalisable, si 1 est sa seule valeur propre de module 1 et si 1 est valeur
propre simple, il est facile de montrer que
(i , j ) EE P
n
(i , j )
n

j
indpendante de i .
En eet dans ce cas la suite des matrices diagonales D
n
converge vers une ma-
trice D

de rang 1, donc P
n
converge
I
vers P

QD

Q
1
o Q est une ma-
trice inversible, donc P

est galement de rang 1 et comme toutes ses lignes ont

mme somme, toutes ses lignes doivent tre gales ( ).
Il ne faudrait pas croire que toute matrice stochastique est diagonalisable, voici
un exemple de matrice stochastique 33 triangulaire non diagonalisable :
P
_
_
a a
0
0 0 1
_
_
Les valeurs propres sont , et 1. Si a / 0, le
sous-espace propre associ est de dimen-
sion 1 et P nest donc pas diagonalisable.
Nous allons maintenant donner deux dmonstrations simplies de lexistence
dune probabilit invariante dans le cas o lespace dtats E est ni.
Proposition g. Toute chane de Markov homogne sur un espace dtats ni
admet au moins une probabilit invariante.
Voici une premire dmonstration algbrique :
Dmonstration. une probabilit m est invariante si et seulement si mP m soit
en transposant
t
P
t
m
t
m cest--dire
t
m est un vecteur propre de
t
P pour la va-
leur propre 1. Or 1 est toujours valeur propre de P (cf. proposition prcdente) et
P et
t
P ont mme polynme caractristique donc mmes valeurs propres ; ceci
I. Les passages la limite ne posent pas de problme puisquil sagit de combinaisons linaires
nies.
z
assure lexistence dun vecteur ligne m tel que mP m, mais pas que les compo-
santes de m soient toutes positives ! Lexistence dun vecteur m positif invariant
dcoule du lemme suivant. Il est ensuite facile de le normer (

i E
m
i
1) pour
en faire une probabilit.
Lemme g.( (Perron-Frobenius) Soit P une matrice stochastique NN, une va-
leur propre (relle ou complexe) de module 1 de sa transpose
t
P et v le vec-
teur propre (rel ou complexe) associ :
t
Pv v. Alors, le vecteur colonne w
t
([v
1
[, . . . , [v
N
[), est vecteur propre de
t
P pour la valeur propre 1.
Dmonstration. Calculons la i -me composante
i
du produit (
t
PI)w :

j E
t
P(i , j )w
j
w
i

j E
t
P(i , j )[v
j
[ [v
i
[

j E
t
P(i , j )v
j

[v
i
[ 0
car

j E
t
P(i , j )v
j
v
i
et [[ 1. Il reste remarquer que la somme des
i
est
nulle :

i E

i E
_

j E
t
P(i , j )w
j
w
i
_

j E
w
j

i E
t
P(i , j )

i E
w
i

j E
w
j

i E
w
i
0
donc les
i
sont tous nuls.
Donnons maintenant une dmonstration topologique de la proposition ..
Dmonstration. Une probabilit sur un ensemble E N lments est dnie
par les valeurs des probabilits de chaque singleton, cest donc un vecteur de R
N
dont toutes les composantes sont comprises entre 0 et 1 et dont la somme vaut 1.
Autrement dit, lensemble M
1
(E) de ces probabilits est lintersection de lhyper-
cube [0, 1]
N
et de lhyperplan ane dquation

N
i 1
x
i
1, cest donc un com-
pact de le.v. norm R
N
.
On dit quune suite (
n
) de probabilits sur E (ni) converge vers , si et seule-
ment si, pour tout singleton {i } de E, la suite numrique
n
({i }) converge vers
({i })
I6
. La topologie ainsi dnie sur M
1
(E) est quivalente celle de R
N
(conver-
gence des composantes), M
1
(E) est donc compact.
Soit
0
une probabilit quelconque sur E, pour tout m de N,
0
P
m
est galement
une probabilit sur E, considrons la suite dnie par :
n 1
n

1
n
(
0
+
0
P+ +
0
P
n1
)
I6. Noter que cette dnition quivaut la convergence faible (ou convergence en loi) de (
n
)
vers .
o
Les
n
sont elles aussi des probabilits sur E et la compacit de M
1
(E) permet
dextraire de la suite (
n
) une sous-suite convergente (
n
k
) ; pour tout k :

n
k
P
n
k

1
n
k
(
0
P
n
k

0
)
k+
0
car pour tout singleton {i } de E,
0
P
n
k
({i }) 1. La limite de la sous-suite (
n
k
)
vrie donc P , cest une probabilit invariante.
Ltude qui suit prcise la nature des valeurs propres de module 1 de P.
Rappelons tout dabord que P et
t
P ont mmes valeurs propres et que pour tout
les noyaux de PI et de sa transpose
t
PI ont mme dimension.
Lemme g.g Soit X une chane de Markov homogne irrductible nie (donc r-
currente positive), apriodique, de matrice de transition P. P nadmet aucune
valeur propre de module 1 autre que 1. Le sous-espace propre pour 1 est de
dimension 1.
Remarque : le rsultat du lemme peut tre lgrement amlior ; sous les mmes
hypothses, il rsulte du thorme de Perron-Frobenius que la valeur propre
1 est racine simple du polynme caractristique (voir [6] thorme I.I p. ).
Dmonstration. Soit la probabilit invariante de la chane
I,
; si v est un vec-
teur propre (complexe) de
t
P pour la valeur propre e
i
de module 1, m
t
v
vrie mP e
i
m et mP
n
e
ni
m, soit pour la composante j :
(mP
n
)
j

i E
m
i
P
n
(i , j )
n+

i E
m
i

j

j

i E
m
i
. (,)
mais m a au moins une composante non nulle et pour m
j
/0, (mP
n
)
j
e
ni
m
j
na de limite que si 0 (mod 2), ce qui impose 1. De plus, pour 1,
m
j
(mP
n
)
j
et (,) implique que m est unvecteur ligne proportionnel , le sous-
espace propre de
t
P pour 1 est donc de dimension 1, celui de P aussi.
Le lemme suivant prcise la structure dune classe rcurrente priodique.
Lemme g.6 Soit X une chane de Markov homogne irrductible nie de matrice
de transitionP et de priode d 2. Alors la chane de matrice P
d
nest pas irrduc-
tible : elle possde d classes C
0
, C
1
, . . . , C
d1
telles que si X
k
C
r
, alors X
k+1
C
r +1
(avec la convention C
d
C
0
).
Exemple : la promenade alatoire barrire rchissante sur E {0, 1, . . . , N}, est
de priode d 2 et C
0
{i E [ i pair}, C
1
{i E [ i impair}.
I,. On utilise ici le rsultat du corollaire (. page zo.
I
Dmonstration. Soit i un tat x de E. Remarquons que si n et n
t
sont deux
entiers vriant P
n
(i , j ) >0 et P
n
t
(i , j ) >0, alors n n
t
(mod d) : en eet, comme
i et j communiquent, il existe un entier m tel que P
m
( j , i ) >0 donc P
n+m
(i , i )
P
n
(i , j )P
m
( j , i ) > 0 et de mme P
n
t
+m
(i , i ) > 0, donc d divise la fois n +m et
n
t
+m donc aussi leur dirence n n
t
.
Posons C
r
{ j E [ P
n
(i , j ) > 0 n r (mod d)} (0 r < d) et montrons que
C
0
, C
1
, . . . , C
d1
sont les classes de la chane de matrice P
d
.
Montrons dabord que deux tats dune mme classe C
r
communiquent pour P
d
.
Soient j et k deux tats de C
r
; ils communiquent avec i donc
n
j
P
n
j
(i , j ) >0 et n
k
P
n
k
(i , k) >0 avec n
j
n
k
r (mod d)
m
j
P
m
j
( j , i ) >0 et m
k
P
m
k
(k, i ) >0
doP
n
j
+m
j
(i , i ) >0 et P
n
k
+m
k
(i , i ) >0 donc par dnitionde d d(i ), n
j
+m
j
0
(mod d) et n
k
+m
k
0 (mod d) et comme n
j
n
k
r (mod d), m
j
m
k
dr
(mod d). Mais on a aussi P
m
j
+n
k
( j , k) P
m
j
( j , i )P
n
k
(i , k) >0 et m
j
+n
k
(dr )+
r 0 (mod d) donc m
j
+n
k
est un multiple de d. Par symtrie il en va de mme
de m
m
+n
j
, donc j et k communiquent en un nombre dtapes multiple de d.
Soient maintenant j C
r
et k C
s
avec r / s (mod d). Montrons par labsurde
que j et k ne communiquent pas pour P
d
: supposons quil existe n 1 et m1
tels que P
nd
( j , k) > 0 et P
md
(k, j ) > 0. Comme i communique avec j , il existe l
tel que P
l
(i , j ) > 0 et comme j C
r
, on a l r (mod d), mais alors P
l +nd
(i , k)
P
l
(i , j )P
nd
( j , k) >0 donc l l +nd s (mod d) ce qui est incompatible avec l r
(mod d).
Prenons maintenant j dans C
r
et k dans C
s
tels que P( j , k) >0 et montrons que
s r +1 (mod d) ce qui terminera la dmonstration. Comme j communique
avec i , ona vuci-dessus quil existe unentier l tel que P
l
(i , j ) >0 et l r (mod d).
Mais P
l +1
(i , k) P
l
(i , j )P( j , k) >0 donc l +1 s (mod d) et s r +1 (mod d).
Lemme g.) Soit X une chane de Markov homogne irrductible nie, de ma-
trice de transition P et de priode d 2 ; les racines d-imes de lunit sont va-
leurs propres de P et P na pas dautre valeur propre de module 1. Le sous-espace
propre pour chacune des racines d-imes de lunit est de dimension 1.
Remarque : le rsultat du lemme peut tre lgrement amlior ; en fait chacune
des racines d-imes de lunit est racine simple du polynme caractristique
(voir [6] thorme I.I p. zz).
Dmonstration. Chaque classe C
r
tant irrductible pour P
d
et nie, elle est
rcurrente positive et admet donc une unique probabilit
(r )
invariante par P
d
z
(cf. corollaire (.). Daprs le lemme prcdent,
(r )
P est porte par la classe C
r +1
,

(r )
P est galement invariante par P
d
et donc
(r )
P
(r +1)
(unicit).
Posons exp
2i
d
, en combinant les galits
(r )
P
(r +1)
on obtient
_d1

r 0

(r )
_
P
d1

r 0

(r )
P
d1

r 0

(r +1)

d1

r 0

(r )
(
d

0
)
k (1 k d 1),
_d1

r 0

kr

(r )
_
P
d1

r 0

kr

(r )
P
d1

r 0

kr

(r +1)

k
d1

r 0

kr

(r )
ce qui montre que pour tout 0 k d 1, le vecteur ligne v
k

d1
r 0

kr

(r )
est
vecteur propre gauche pour la valeur propre
k
exp
2i k
d
exp
2i (dk)
d
(son transpos est vecteur propre de
t
P). Les d racines d-imes de lunit sont
donc valeurs propres de
t
P, donc de P.
Rciproquement, soit une valeur propre de module 1 de P et v un vecteur
propre de
t
P associ . Le vecteur ligne (complexe) m
t
v vrie mP m
et donc aussi mP
d

d
m. Soit m
(r )
la trace de m sur la classe C
r
: m
(r )
i
m
i
1
i C
r
.
Comme P
d
(i , j ) 0 si i et j ne sont pas dans la mme classe C
r
(cf. prop. .),
m
(r )
vrie m
(r )
P
d

d
m
(r )
: pour tout tat j de C
r

d
m
(r )
j

d
m
j

_
mP
d
_
j

i E
m
i
P
d
(i , j )

i C
r
m
i
P
d
(i , j )

i C
r
m
(r )
i
P
d
(i , j )
donc m
(r )
est un vecteur propre gauche de P
d
pour la valeur propre
d
. Il est
port par la classe C
r
qui est irrductible pour P
d
daprs le lemme prcdent et
apriodique par dnition de la priode d. On applique le lemme . la chane
de matrice P
d
sur classe C
r
, 1 est la seule valeur propre de module 1, donc
d
1
et est une racine d-ime de lunit.
Enn, daprs le lemme .,, m
(r )
vecteur propre gauche de P
d
pour la valeur
propre 1, est proportionnel
(r )
unique probabilit invariante par P
d
sur C
r
.
On en dduit que m scrit m

0r <d

(r )
o les
r
sont des constantes com-
plexes, mais lquation mP m et la relation
(r )
P
(r +1)
imposent
r +1

r
pour tout r , soit
r

r

0
, donc nalement pour tout racine d-ime de lunit,
il ny a quune direction de vecteur propre gauche : m
0

0r <d

(r )
.
Pour chaque racine d-ime de lunit le sous-espace propre associ pour
t
P (ou
P) est de dimension 1.
Nous sommes en mesure dnoncer le rsultat nal sur les valeurs propres de
module 1 de P dans le cas gnral :
Proposition g.8 Soit X une chane de Markov homogne de matrice de transi-
tion P sur un espace dtats E ni.

a) La dimension du sous-espace propre associ la valeur propre 1 pour P est

gal au nombre de classes rcurrentes de X.
b) Toute valeur propre de module 1 de P est racine d-ime de lunit.
Les racines d-imes de lunit sont valeurs propres de P si et seulement si X a
au moins une classe rcurrente de priode d.
La dimensiondusous-espace propre associ chaque racine d-ime de lunit
(autre que 1) est prcisment le nombre de classes rcurrentes de priode d.
Remarque : compte tenudes remarques qui suivent les lemmes . et .,, lnonc
ci-dessus est encore vrai si on remplace dimension du sous-espace propre par
ordre de la valeur propre .
Dmonstration. Notons T lensemble des tats transients et R
1
, . . . , R
k
les classes
rcurrentes. T peut tre vide, mais il y a toujours au moins une classe rcurrente
(prop. .Io).
Il est toujours possible de renumroter les tats
de faon classer les tats de T en premier, puis
ceux de R
1
et ainsi de suite jusqu R
k
. Daprs
la proposition ., P(i , j ) 0 pour i rcurrent et
j nappartenant pas la classe de i , la matrice P
prsente donc des blocs de zros reprsents ci-
contre dans le cas de classes rcurrentes : les
zones colories reprsentent des termes positifs
ou nuls, les zones claires ne contiennent que des
termes nuls.
T
R
1
R
2
R
3
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
Sur chaque classe rcurrente (nie), il existe une probabilit invariante (prop. .),
en la compltant par des 0 pour les tats des autres classes on obtient encore une
probabilit invariante par P (cf. la structure de la matrice P). Il est facile de voir
que les vecteurs lignes ainsi construits sont linairement indpendants, ce sont
des vecteurs propres gauche pour P et la valeur propre 1 (leurs transposs
sont propres pour
t
P avec 1), la dimension du sous-espace propre de
t
P pour
la valeur propre 1 est donc au moins gale au nombre de classes rcurrentes de X.
Pour tablir lingalit inverse on considre un vecteur propre v quelconque de
t
P pour la valeur propre 1 ; le vecteur ligne m
t
v est invariant par P (ce nest
pas une mesure invariante car ses composantes ne sont pas ncessairement po-
sitives).
Tout vecteur propre v de
t
P associ une valeur propre de module 1 vrie
pour tout j de T v
j
0, en eet : posons m
t
v, si j est transient, pour tout i ,
P
n
(i , j ) 0 lorsque n +(cf. prop. (.I), donc
n
m
j
(mP
n
)
j

i E
m
i
P
n
(i , j )
tend vers 0, ce qui implique m
j
0 et donc v
j
0.
(
Soit R une classe rcurrente xe, il existe une unique probabilit
(R)
sur R inva-
riante par (la restriction de) P. Notons m
(R)
la trace de m sur R : m
(R)
i
m
i
1
i R
.
Comme P
n
(i , j ) 0 si i est rcurrent et j nappartient pas la classe de i (cf.
prop. .), on a
j R, m
(R)
j
m
j
(mP
n
)
j

i E
m
i
P
n
(i , j )

i T
m
i
P
n
(i , j ) +

i R
m
i
P
n
(i , j )

i R
m
i
P
n
(i , j ) (m est nulle sur T)

n+

i R
m
i

(R)
j
si R est apriodique.
Si Rest une classe priodique, il sut de considrer les moyennes de Csaro pour
pouvoir passer la limite (cf. prop. (.I) :
j R, m
(R)
j
m
j

1
N
N

n1
(mP
n
)
j

i R
m
i
1
N
N

n1
P
n
(i , j )
N+

i R
m
i

(R)
j
.
Donc, dans tous les cas, m
(R)
et
(R)
sont proportionnels :
j R, m
(R)
j

i R
m
i

(R)
j

(R)
j

i R
m
i
.
Comme m est nulle sur T, m est la somme sur toutes les classes rcurrentes de
vecteurs de la forme
R

(R)
, la dimension du sous-espace propre associ la va-
leur propre 1 pour
t
P est donc au plus gale au nombre de classes rcurrentes
de X. Le point a) est tabli.
Compte tenu de la forme de la matrice P (voir dessin ci-dessus) le polynme ca-
ractristique de P peut se calculer par blocs : cest le produit des dterminants
des blocs diagonaux correspondants T T, R
1
R
1
, . . ., R
k
R
k
. Le bloc T T
ne fournit aucune valeur propre de module 1 (on a vu ci-dessus que tout vecteur
propre v pour de module 1 est nul sur T), le rsultat b) sobtient en appliquant
le lemme ., aux direntes classes rcurrentes.

Exercices
Exercice I. Ruine du joueur sur N tats
La fortune initiale du joueur A est k (0 k N), celle de son adversaire est Nk.
chaque partie le joueur A prend un son adversaire avec une probabilit p
ou lui donne un avec une probabilit q, la probabilit dune partie nulle tant
r (p +q +r 1). Le jeu sarrte ds que lun des joueurs est ruin.
La fortune X
n
du joueur A aprs la n-ime partie est une chane de Markov de
matrice
P
_
_
_
_
_
_
_
_
_
_
1 0 0 0 0
q r p 0 0
0 q r p 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 q r p
0 0 0 0 1
_
_
_
_
_
_
_
_
_
_
I) Montrer que la probabilit u
N
(k) de ruine du joueur A vrie :
u
N
(0) 1 u
N
(N) 0
k {1, 2, . . . , N1} (p +q)u
N
(k) pu
N
(k +1) +qu
N
(k 1)
et rsoudre ce systme
I8
.
z) Quelle est la probabilit v
N
(k) que le joueur A ruine son adversaire ? Montrer
que la dure du jeu est presque srement nie.
lments de rponse : I) u
N
(k) 1k/N si p q,
u
N
(k)
a
k
a
N
1a
N
avec a q/p si p /q.
Exercice z.
Un joueur possde Io et veut essayer den gagner Io de plus en jouant la rou-
lette. Il envisage deux stratgies :
a) Il mise ses Io en une seule fois sur rouge ou sur noir.
b) Il joue I la fois soit sur rouge soit sur noir et persvre jusqu ce que sa
fortune atteigne zo ( moins quil ne soit ruin avant . . .).
I8. On pourra, soit considrer la suite auxiliaire u
t
N
(k) u
N
(k) u
N
(k 1), soit utiliser les tech-
niques classiques de calcul des suites rcurrentes w
k+1
aw
k
+bw
k1
(a, b constantes donnes).
6
Calculer pour ces deux stratgies la probabilit qua le joueur de sortir du jeu
avec zo en poche, sachant qu la roulette la probabilit que le rouge (ou le
noir) sorte est
18
37
et que le joueur double sa mise sil a jou la bonne couleur et
quil la perd sinon. Commenter le rsultat.
lments de rponse : a) P
a
0.486. b) P
b
0.368.
Exercice . Promenade alatoire sur Z
On considre la promenade alatoire S
n
S
0
+

n
i 1
Y
i
o les Y
i
sont des variables
alatoires indpendantes valant +1, 1, ou 0 avec les probabilits respectives
p, q, r, telles que p +q +r 1 et S
0
une variable alatoire entire indpendante
des (Y
i
)
i 1
. (S
n
)
nN
est une chane de Markov sur Z dont la matrice de transition
est donne par
i Z, P(i , i +1) p P(i , i 1) q P(i , i ) r
Pour tout k de Z on note u(k) la probabilit de passage par ltat 0 partir de
ltat k :
u(k) P
k
(n 0, S
n
0) P(n 0, S
n
0 [ S
0
k).
I) Montrer que la suite u(k) vrie :
k Z

, (p +q)u(k) pu(k +1) +qu(k 1) et u(0) 1

et que
a) si p q k /0 u(k) 1,
b) si p >q k <0 u(k) 1,
c) si p > q k > 0 u(k) (q/p)
k
: comparer les vnements A(k), passage
par ltat 0 de la promenade alatoire qui part de ltat k et A
N
(k) ruine du
joueur de lexercice I et remarquer que A(k) est la limite croissante en N
des A
N
(k).
z) En dduire que la probabilit partant de 0 dy revenir, P
0
(n 1, S
n
0), vaut
dans tous les cas 1[p q[. Autrement dit, la promenade alatoire S
n
est r-
currente si p q et transiente si p /q.
) En utilisant les rsultats de lexercice I, montrer que la promenade alatoire
S
n
symtrique (p q) sort P
0
-presque srement de tout compact :
K N, P
0
(n 1, [S
n
[ K) 1.
,
Exercice (. Principe du miroir
Onconsidre la promenade alatoire symtrique dnie par S
0
0 et S
n

n
i 1
Y
i
pour n 1, o les Y
i
sont des variables alatoires indpendantes de loi :
P(Y
i
+1)
1
2
, P(Y
i
1)
1
2
.
I) On se propose de calculer la loi de la v.a.
5
, premier instant o S
n
5.
Montrer que cette loi ne charge que les entiers impairs suprieurs ou gaux
et calculer P(
5
5).
Pour valuer P(
5
2k +1) avec k 3 on remarque dabord que sur lv-
nement {
5
2k +1}, S
2k
4. On calcule alors le nombre total N
k
de
trajectoires vriant S
0
0 et S
2k
4 en considrant les nombres M et
D de montes et descentes de S
n
, cest dire les nombres de fois o
Y
i
+1 (S
n
monte ) et o Y
i
1 (S
n
descend ).
On calcule ensuite le nombre N
t
k
de trajectoires vriant S
0
0, S
2k
4 et
ayant atteint ltat 5 avant linstant 2k en appliquant le principe du miroir
au premier instant n o S
n
5.
En dduire la loi de
5
:
k 2, P(
5
2k +1)
5(2k)!
(k 2)!(k +3)!
_
1
2
_
2k+1
z) Calculer de manire analogue la loi de la v.a.
10
, premier instant o S
n
10 :
k 5, P(
10
2k)
10(2k 1)!
(k +5)!(k 5)!
_
1
2
_
2k
) Calculer la loi de la v.a. inf{n > 0 [ S
n
10 ou S
n
5}, premier instant
o la promenade atteint soit 10 soit 5, cest--dire la loi de la dure du jeu
lorsque les fortunes initiales des joueurs sont 5 et 10.
Exercice g. Promenades alatoires symtriques sur Z
2
et Z
3
I) Une particule part de lorigine Odu plan Z
2
et se dplace de la faon suivante :
partant linstant n du point (x, y), la particule saute linstant n +1 lun
des quatre points voisins (x +1, y +1), (x +1, y 1), (x 1, y +1), (x 1, y 1)
avec la probabilit
1
4
.
M
n
dsignant la position de la particule linstant n, on cherche calculer
les probabilits P
O
(M
n
O) P(M
n
O [ M
0
O) pour tout n 0. Ramener
ce problme ltude de deux promenades alatoires symtriques sur Z et
montrer que
n >0, P
O
(M
2n
O)
_
C
n
2n
1
2
2n
_
2
En dduire que la srie

n0
P
O
(M
n
O) diverge.
8
z) On reprend le problme dans Z
3
: la particule part de lorigine et si un ins-
tant donn elle est au point (x, y, z), linstant suivant elle saute lun des huit
points voisins (x
t
, y
t
, z
t
) o x
t
x 1, y
t
y 1, z
t
z 1 avec la probabi-
lit
1
8
.
Montrer que
n >0, P
O
(M
2n
O)
_
C
n
2n
1
2
2n
_
3
En dduire que la srie

n0
P
O
(M
n
O) converge.
Conclusion : Les promenades alatoires symtriques sur Z et Z
2
sont rcur-
rentes, la promenade alatoire sur Z
3
est transiente.
Exercice 6. Sries de succs
Soit (p
k
)
kN
une suite de rels de ]0, 1[ et soit (X
n
) la chane de Markov sur N de
matrice de transition
P
_
_
_
_
_
_
_
_
_
_
q
0
p
0
0 0 0
q
1
0 p
1
0 0
q
2
0 0 p
2
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
q
n
0 0 0 p
n

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
_
_
_
_
_
_
_
_
I) Montrer que (X
n
) est une chane irrductible apriodique.
z) Soit
j
le temps datteinte de ltat j . Montrer que
i N, k 1, P
i
(
0
>k)
k1

j 0
p
i +j
.
En dduire la loi de
0
pour la probabilit P
i
et une condition ncessaire et
susante portant sur

j 0
p
j
pour que la chane (X
n
) soit rcurrente.
Dans toute la suite duproblme onnotera k 1,
k

k1
n0
p
n
,

n0
p
n
et
0
1.
) Existe-t-il des mesures rversibles non nulles ? Donner une condition nces-
saire et susante portant sur les (
k
) pour quil existe une probabilit inva-
riante et la calculer.
() tude de la loi du temps datteinte de ltat j partant de ltat i , pour 0 j i .
En remarquant que ltat j ne peut tre atteint partir de i quen passant par
0, montrer que P
i
(
j
k) est nulle si k j et que
k > j , P
i
(
j
k)
k

n1
P
i
(
0
n) P
0
(
j
k n).

) tude de la loi du temps datteinte de i partant de 0. Montrer que si i >0

P
0
(
i
i )
i
et k >i , P
0
(
i
k)
i

n1
P
0
(
0
n) P
0
(
i
k n).
6) Dans cette question on suppose la chane (X
n
) transiente et on se propose de
calculer les probabilits f
i j
P
i
(
j
<).
a) Montrer que si i < j , f
i j
1 : pour cela considrer les v.a. N
k

n0
1
X
n
k
(nombre de visites ltat k) et montrer que

j 1
k0
N
k
+ P
i
-p.s. sur
{
j
+} ; conclure en utilisant la transience de la chane.
b) Cas i j >0 : montrer en utilisant () que si i j >0, f
i j
f
i 0
f
0j
1

i
.
c) En dduire les valeurs de U(i , j )

n0
P
n
(i , j ).
,) Dans cette question on suppose la chane (X
n
) rcurrente et on se propose de
calculer les m(i , j ) E
i
(
j
).
a) Montrer en utilisant z) que pour i 0, m(i , 0)

nN

i +n

i
.
b) Montrer en utilisant ) que pour i >0
m(0, i ) i
i
+
i

n1
n
n1
q
n1
+m(0, i )
i

n1

n1
q
n1
Montrer que

i
n1

n1
q
n1
1
i
et que

i
n1
n
n1
q
n1

i 1
n0

n
i
i
et en dduire que m(0, i )
1

i 1
n0

n
.
c) Justier les galits :
(i , j ) i j >0, m(i , j ) m(i , 0) +m(0, j )
(i , j ) 0 <i < j , m(0, j ) m(0, i ) +m(i , j )
d) Calculer m(i , j ). Retrouver m(i , i ) partir de la probabilit invariante.
Exercice ). Probabilits dabsorption (capture par les classes rcurrentes)
Soit (X
n
)
n0
une chane de Markov sur un espace dtats E ni, admettant un en-
semble nonvide T dtats transients et unensemble nonvide Rdtats rcurrents
(forms dune ouplusieurs classes). Onnote le temps datteinte de lensemble R
par la chane X
n
:
() inf{n 1 [ X
n
() R} ou +
I) Montrer que pour tout tat i transient, la variable est P
i
-presque srement
nie et mme P
i
-intgrable.
(o
z) On pose m
i
E
i
(). Montrer que les m
i
sont solutions du systme linaire :
i T, m
i
1+

j T
P(i , j )m
j
Indication : m
i
E
i
()

nN
P
i
( n +1).
) On suppose dans cette question que lensemble R est constitu de r classes
de rcurrence (C
1
, C
2
, . . . , C
r
), avec r 2. On note
i k
la probabilit datteinte
de la classe C
k
partir de ltat i :

i k
P
i
(n 1 X
n
C
k
) P
i
(X

C
k
)
Montrer que les
i k
sont solutions du systme linaire :
i T,
i k

j C
k
P(i , j ) +

j T
P(i , j )
j k
() Que peut-on dire de la limite lorsque n tend vers linni de P
n
(i , j ) o i est
transient et j appartient la classe rcurrente C
k
?
Indication : remarquer que lim
n
P
n
(i , j ) lim
n
P
i
( <X

C
k
X
+n
j ).
) Retrouver les rsultats de lexercice I sur la ruine du joueur et prciser la dure
moyenne du jeu.
lments de rponse : ) E
i
()
i (Ni )
p+q
si p q.
E
i
()
1
qp
_
i N
1(q/p)i
1(q/p)
N
_
si p /q.
Exercice 8. Dlais et probabilits datteinte
Soit (X
n
)
n0
une chane de Markov irrductible sur un espace dtats ni. On sin-
tresse aux quantits
m
i j
= temps moyen mis par la chane pour passer de ltat i ltat j et

k
i j
= probabilit datteindre ltat j avant ltat k partir de ltat i .
I) Montrer quonpeut rsoudre ce problme grce aux rsultats de lexercice pr-
cdent, condition de modier convenablement la matrice de transition de
la chane.
z) Application la promenade du scarabe
Un scarabe de dplace le long des artes dun ttradre rgulier, en chan-
geant de sommet chaque unit de temps et en choisissant sa destination au
hasard parmi lun des trois autres sommets (avec la mme probabilit
1
3
).
a) Calculer le temps moyen mis par le scarabe pour atteindre le sommet S
2
partir de S
1
.
(I
b) Quelle est la probabilit datteindre S
2
avant S
4
en partant de S
1
?
c) Calculer la loi dutemps datteinte de S
2
partir de S
1
et retrouver le rsultat
du a).
lments de rponse : z) a) Temps moyen = . z) b) Proba = .
z) c) Loi gomtrique : k 1, P( k) (2/3)
k1
(1/3), on retrouve E() 3.
Exercice p. tude dune le dattente
On considre une station service disposant dune seule pompe et de deux places
de parking pour vhicules en attente de service. On discrtise le problme en
faisant les hypothses suivantes :
les clients narrivent quaux instants entiers, en nombre Y
n
linstant n et les
variables (Y
n
)
n0
sont indpendantes et de mme loi, donne par :
P(Y
n
0) 0,4 P(Y
n
1) 0,4 P(Y
n
2) 0,2
les services commencent aux instants entiers et durent une unit de temps.
tout vhicule trouvant son arrive les deux places de parking occupes re-
nonce attendre et cherche une autre station.
I) Montrer que le nombre X
n
de vhicules prsents, en attente ou en service,
juste aprs linstant n est une chane de Markov et prciser sa matrice de tran-
sition.
z) Quelle est la probabilit en rgime stationnaire de lvnement aucun vhi-
cule nest prsent la station ?
) Si aucun client nest prsent linstant 0, quel laps de temps moyen faudra-t-il
attendre jusqu la saturation de la station (premier instant o les deux places
de stationnement sont occupes) ?
lments de rponse I) X
n+1
min
_
(X
n
1)
+
+Y
n+1
, 3
_
. z) (0) 8/35.
) m
0
20 (cf. exercices , et 8).
Exercice Io. Dnition et proprits des fonctions gnratrices
Soit X une variable alatoire valeurs dans N. On pose pour s C
g
X
(s) E
_
s
X
_

kN
s
k
P(X k).
I) Quel est le domaine de dnition de g
X
? On appelle fonction gnratrice de X
la restriction de g
X
lintervalle [0, 1].
(z
z) Montrer que g
X
est indniment drivable sur [0, 1[, que toutes ses drives
sont croissantes sur [0, 1[ et que
k N, g
(k)
X
(0) k! P(X k)
En dduire que la fonction gnratrice dune variable alatoire entire carac-
trise entirement sa loi, autrement dit lapplication P
X
g
X
est injective.
) Montrer que toute srie entire S(x)

k0
a
k
x
k
de rayon de convergence 1,
dont tous les a
k
sont positifs vrie :
S(x)
x1

k0
a
k
si

k0
a
k
<,
S(x)
x1

+ si

k0
a
k
.
En dduire que g est continue gauche au point 1 et que
E(X) lim
s1
g
t
X
(s) et E(X(X1)) lim
s1
g
tt
X
(s) (galits dans R).
Application : calculer la fonction gnratrice dune variable alatoire de Pois-
son de paramtre et en dduire son esprance et sa variance. Mme ques-
tion pour une variable alatoire X binomiale ngative de paramtres r et a
(rappel : une telle variable alatoire est valeurs dans {n N [ n r } et sa loi
est donne par P(X r +k) C
r 1
r +k1
a
r
(1a)
k
pour tout k 0 ; pour r 1 on
retrouve la loi gomtrique).
() Calculer la fonction gnratrice g
X
1
+X
2
de la somme de deux variables ala-
toires indpendantes X
1
et X
2
valeurs dans N en fonction de g
X
1
et g
X
2
.
Application : Quelle est la loi dune somme de deux variables alatoires ind-
pendantes de loi de Poisson de paramtres
1
et
2
. Quelle est la loi dune
somme de n variables alatoires indpendantes de Poisson de mme para-
mtre ?
) Soit (X
i
)
i N
une suite de variables alatoires indpendantes de mme loi
valeurs dans Net une variable alatoire valeurs dans N

indpendante des
(X
i
). Montrer que lexpression
S()
_

()
i 1
X
i
() si () 1
0 si () 0
dnit une variable alatoire entire. On note g la fonction gnratrice com-
mune des X
i
, g

celle de et g
S
celle de S.
Montrer que s [0, 1] g
S
(s) g

g (s) .
En dduire lesprance et la variance de S en fonction de celles de et X
i
.
(
Applications :
a) Dterminer la loi de S lorsque est une variable alatoire de Poisson de
paramtre et les X
i
sont de Bernoulli : P(X
i
1) p P(X
i
0) 1p .
b) Le nombre daccidents de la route se produisant par semaine est une va-
riable alatoire de moyenne M et dcart-type . Les nombres de bles-
ss lors de chaque accident ont des distributions indpendantes, chacune
de moyenne m et dcart-type . Calculer la moyenne et lcart-type du
nombre de blesss de la route par semaine.
lments de rponse
I) Le domaine de dnition contient au moins le disque ferm de rayon 1, mais
peut tre C tout entier en particulier si X est borne : dans ce cas g
X
est un poly-
nme.
) Si X P(), g
X
(s) exp(s 1), E(X) , Var(X) .
Si X binomiale ngative, g
X
(s)
_
sa
1s(1a)
_
r
, E(X)
r
a
, Var(X) r
1a
a
2
.
() g
X
1
+X
2
(s) g
X
1
(s) g
X
2
(s) ; X
1
+X
2
P(
1
+
2
).
) E(S) E(X
1
) E() ; Var(S) (E(X
1
))
2
Var() +E() Var(X
1
).
a) S suit une loi de Poisson de paramtre p.
Exercice II. Chanes de Galton-Watson
Soit (Y
n,k
)
(n,k)N
2 une suite de v.a. valeurs dans N, indpendantes et de mme
loi : Y
n,k
reprsente le nombre de descendants du k-ime individu de la gnra-
tion n.
La taille des gnrations successives est dtermine par celle de la population
initiale (variable entire positive X
0
) et la relation de rcurrence :
n 0, X
n+1

X
n

k1
Y
n,k
.
On pose Y Y
1,1
, mE(Y) et note g(s)

k0
s
k
P(Y k) la fonction gnratrice
commune des Y
n,k
et g
n
celle de X
n
.
I) En utilisant les rsultats de lexercice prcdent,
a) donner une expression de g
n+1
en fonction de g
n
et g,
b) montrer que n 1, E(X
n
) m
n
E(X
0
) et en dduire que si m < 1 la
chane est presque srement absorbe par ltat 0.
((
z) Soit u
n
P
1
(X
n
0) g
n
(0) la probabilit que la chane se trouve ltat 0
linstant n. On suppose dans cette question X
0
1 et P(Y 0) >0.
Montrer que n 1, s [0, 1], g
n+1
(s) g g
n
(s) et en dduire que u
n
vri-
e lquation u
n+1
g(u
n
). Montrer que g est continue, croissante et convexe
sur [0, 1] et tudier la convergence de la suite u
n
dans les deux cas m 1 et
m>1.
Soit linstant de premier passage par 0 de la chane (X
n
). En remarquant que
{X
n
0} { n}, montrer que
si m1, P
1
( <+) 1,
si m > 1, P
1
( < +) (0 < < 1) et P
1
(X
n
+) 1 (remarquer
que tous les tats autres que 0 sont transients).
) Montrer que la suite
_
X
n
m
n
_
est une martingale qui converge lorsque n +.
() Applications :
a) Des particules se dsintgrent en donnant naissance o, I, ou z particules
identiques avec les probabilits p
0
> 0, p
1
> 0, p
2
> 0 (p
0
+p
1
+p
2
1).
Exprimer en fonction de p
0
, p
1
, p
2
la probabilit que les descendants
dune mme particule disparaissent tous.
b) Cent jeunes couples aux noms tous dirents colonisent une le dserte.
Chaque couple procre jusqu avoir au moins un garon et une lle ou au
plus trois enfants. Les probabilits de naissance dun garon ou dune lle
sont supposes gales. Quelle probabilit ont chacun des noms de famille
initiaux de disparatre ?
lments de rponse
() Applications :
a) Si p
2
p
0
(cas m1), la probabilit dextinction est 1.
Si p
2
>p
0
(cas m>1),
p
0
p
2
.
b) Lesprance de la loi du nombre de garons mis au monde par un couple est
m
5
4
et
_
21.
(
Rfrences
[I] Ph. Barbe & M. Ledoux, Probabilit, Belin (I8), ISBN z-,oII-zII-o.
[z] K. L. Chung, Markov Chains with stationary transition probabilities,
Springer (I6,).
[] S. Karlin, Initiation aux processus stochastiques, Dunod (I68).
[(] J. Neveu, Initiation aux processus stochastiques,
Polycopi de cours de matrise/DEA (I8().
[] J. R. Norris, Markov Chains, Cambridge Academic Press (I,).
[6] E. Seneta, Non-negative Matrices and Markov Chains, Springer Verlag (I8I).
[,] P. S. Toulouse, Thmes de probabilits et statistique,
Dunod (I) ISBN z-Io-ooo(o8-o.
(6