Livre N PDF

Processus de Markov et applications
Algorithmes, Rseaux, Gnome et Finance
. Pardoux
11 septembre 2006
Table des matires

1 Monte Carlo
1.1 Description . . . . . . . . . . . . .
1.2 Thormes de convergence . . . . .
1.3 Simulation de variables alatoires .
1.4 Mthodes de rduction de variance
1.5 Exercices . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11
12
13
18
22
26
2 Chanes de Markov
2.1 Dfinition et proprits lmentaires.
2.2 Exemples . . . . . . . . . . . . . . .
2.2.1 Marche alatoire sur E = Zd .
2.2.2 Processus de GaltonWatson .
2.2.3 File dattente en temps discret
2.3 Proprit de Markov forte . . . . . .
2.4 Etats rcurrents et transitoires . . . .
2.5 Le cas rcurrent irrductible . . . . .
2.6 Le cas apriodique . . . . . . . . . .
2.7 Chane de Markov rversible . . . . .
2.8 Statistique des chanes de Markov . .
2.9 Exercices . . . . . . . . . . . . . . . .
2.10 Problmes corrigs . . . . . . . . . .
2.10.1 Enoncs . . . . . . . . . . . .
2.10.2 Corrigs . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
33
34
37
37
38
38
39
41
44
52
58
60
61
68
68
74
3 Algorithmes stochastiques
3.1 Mthode MCCM . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.1 Un cadre dapplication . . . . . . . . . . . . . . . . . .
3.1.2 Le modle dIsing . . . . . . . . . . . . . . . . . . . . .
85
85
88
90
TABLE DES MATIRES
3.2
3.3
3.4
3.5
3.1.3 Analyse baysienne dimages . .

3.1.4 Chanes chauffes . . . . . . . .
Simulation de la probabilit invariante
3.2.1 Simulation parfaite . . . . . . .
3.2.2 Couplage depuis le pass . . . .
Vitese de convergence . . . . . . . . . .
Le recuit simul . . . . . . . . . . . . .
Exercices . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4 Chanes de Markov et gnome

4.1 Comment lire lADN ? . . . . . . . . . . . . . .
4.1.1 Les ilts cpg . . . . . . . . . . . . . . . .
4.1.2 Recherche de gnes . . . . . . . . . . . .
4.2 Le modle i.i.d . . . . . . . . . . . . . . . . . .
4.3 Le modle de Markov . . . . . . . . . . . . . . .
4.3.1 Application aux ilts cpg . . . . . . . . .
4.3.3 Statistique des chanes de Markov M k .
4.3.4 Chane de Markov phase . . . . . . . .
4.3.5 Chane de Markov localement homogne
4.4 Chane de Markov cache . . . . . . . . . . . . .
4.4.1 Calcul de la vraisemblance . . . . . . . .
4.4.2 Lalgorithme de Viterbi . . . . . . . . . .
4.4.3 Estimation des paramtres . . . . . . . .
4.5 Modle semimarkovien cach . . . . . . . . . .
4.5.1 Les limites du modle de Markov cach .
4.5.2 Chane semimarkovienne . . . . . . . .
4.5.3 Le modle semimarkovien cach . . . .
4.5.4 Viterbi semimarkovien . . . . . . . . .
4.6 Alignement de deux squences . . . . . . . . . .
4.6.1 Algorithme de NeedlemanWunsch . . .
4.6.2 Chane de Markov cache . . . . . . . .
4.6.3 Loi a posteriori de lalignement . . . . .
4.6.4 Probabilit a posteriori . . . . . . . . . .
4.7 Un algorithme dalignement multiple . . . . . .
4.8 Exercices . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
92
93
94
95
99
101
105
107
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
111
. 111
. 112
. 113
. 113
. 115
. 115
. 116
. 117
. 118
. 118
. 119
. 121
. 122
. 123
. 129
. 129
. 130
. 131
. 132
. 133
. 136
. 137
. 138
. 142
. 144
. 146
. 148
TABLE DES MATIRES

5 Contrle et filtrage
5.1 Contrle optimal dterministe . . . .
5.2 Contrle des chanes de Markov . . .
5.3 Contrle optimal linaire quadratique
5.4 Filtrage des chanes de Markov . . .
5.5 Le filtre de KalmanBucy . . . . . .
5.5.1 Motivation . . . . . . . . . . .
5.5.2 Solution du problme . . . . .
5.6 Contrle avec observation partielle .
5.7 Exercices . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
6 Le processus de Poisson
6.1 Processus ponctuels et f.a. de comptage
6.2 Le processus de Poisson . . . . . . . .
6.3 Proprit de Markov . . . . . . . . . .
6.4 Comportement asymptotique . . . . .
6.5 Exercices . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7 Processus markoviens de saut

7.1 Gnralits . . . . . . . . . . . . . . . . . .
7.2 Gnrateur infinitsimal . . . . . . . . . . .
7.3 Proprit de Markov forte . . . . . . . . . .
7.4 Chane de Markov incluse . . . . . . . . . .
7.5 Classification des tats . . . . . . . . . . . .
7.6 Le cas irrductible rcurrent . . . . . . . . .
7.7 Rversibilit . . . . . . . . . . . . . . . . . .
7.8 Phylognie . . . . . . . . . . . . . . . . . . .
7.8.1 Modles dvolution . . . . . . . . . .
7.8.2 Vraisemblance en phylognie . . . . .
7.8.3 Lapproche baysienne en phylognie
7.9 Application aux EDP discrtises . . . . . .
7.10 Le recuit simul (suite) . . . . . . . . . . . .
7.11 Exercices . . . . . . . . . . . . . . . . . . . .
7.12 Probmes corrigs . . . . . . . . . . . . . . .
7.12.1 Enoncs . . . . . . . . . . . . . . . .
7.12.2 Corrigs . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
149
. 149
. 151
. 152
. 154
. 156
. 156
. 158
. 161
. 163
.
.
.
.
.
165
. 165
. 166
. 170
. 174
. 176
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
181
. 181
. 186
. 189
. 192
. 195
. 197
. 202
. 203
. 206
. 212
. 216
. 219
. 221
. 228
. 230
. 230
. 234
TABLE DES MATIRES
6
8 Files dattente et rseaux
8.1 File dattente M/M/1 . . . . .
8.2 File dattente M/M/1/K . . .
8.3 File dattente M/M/s . . . . .
8.4 File dattente M/M/s/s . . .
8.5 Atelier de rparation . . . . .
8.6 Files dattente en srie . . . .
8.7 File dattente M/G/ . . . .
8.8 File dattente M/G/1 . . . . .
8.8.1 Une chane incluse . .
8.8.2 Le cas rcurrent positif
8.9 Rseau de Jackson ouvert . .
8.10 Rseau de Jackson ferm . . .
8.11 Rseau tlphonique . . . . .
8.12 Rseau de Kelly . . . . . . . .
8.12.1 Une seule file dattente
8.12.2 Rseau multiclasse . .
8.13 Exercices . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
239
. 240
. 242
. 243
. 246
. 246
. 247
. 248
. 249
. 249
. 250
. 252
. 257
. 259
. 263
. 263
. 267
. 268
9 Mathmatiques financires
9.1 Les concepts de fondamentaux . . . . . . . . . . .
9.1.1 Option . . . . . . . . . . . . . . . . . . . .
9.1.2 Arbitrage . . . . . . . . . . . . . . . . . .
9.1.3 Marchs viables et complets . . . . . . . .
9.2 Options europennes dans le modle discret . . .
9.2.1 Le modle . . . . . . . . . . . . . . . . . .
9.2.2 Stratgie admissible . . . . . . . . . . . . .
9.2.3 Martingales . . . . . . . . . . . . . . . . .
9.2.4 Le march est viable et complet . . . . . .
9.2.5 Prix du call et du put . . . . . . . . . . .
9.2.6 La formule de BlackScholes . . . . . . . .
9.3 Le modle et la formule de BlackScholes . . . . .
9.3.1 Introduction au calcul stochastique . . . .
9.3.2 quations diffrentielles stochastiques . . .
9.3.3 Formule de FeynmanKac . . . . . . . . .
9.3.4 LEDP de BlackScholes . . . . . . . . . .
9.3.5 La formule de BlackScholes (2) . . . . . .
9.3.6 Gnralisation du modle de BlackScholes
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
271
272
272
273
274
275
275
275
277
278
281
281
284
284
292
294
295
297
298
TABLE DES MATIRES
9.4
9.5
9.6
9.7
9.3.7 La formule de BlackScholes (3) . . . . . . .

9.3.8 Le thorme de Girsanov . . . . . . . . . . .
9.3.9 Proprit de Markov et EDP . . . . . . . . .
9.3.10 Option portant sur plusieurs sousjacent . .
9.3.11 Viabilit et Compltude . . . . . . . . . . .
9.3.12 Remarques sur le calcul effectif . . . . . . .
9.3.13 Volatilit implicite . . . . . . . . . . . . . .
Options amricaines . . . . . . . . . . . . . . . . .
9.4.1 Enveloppe de Snell . . . . . . . . . . . . . .
9.4.2 Dcomposition de Doob . . . . . . . . . . .
9.4.3 Enveloppe de Snell et chanes de Markov . .
9.4.4 Retour aux options amricaines . . . . . . .
9.4.5 Options amricaines et options europennes
9.4.6 Options amricaines et modle markovien .
Options amricaines . . . . . . . . . . . . . . . . .
Taux dintrt et obligations . . . . . . . . . . . . .
9.6.1 Courbe de taux en avenir certain . . . . . .
9.6.2 Taux et obligations . . . . . . . . . . . . . .
9.6.3 Option sur obligation . . . . . . . . . . . . .
9.6.4 Un modle de taux dintrt . . . . . . . . .
Exercices . . . . . . . . . . . . . . . . . . . . . . . .
7
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
299
302
303
305
308
308
310
310
312
314
316
316
317
318
318
319
320
320
323
324
326
Bibliographie
329
Index
333
TABLE DES MATIRES
Prface
Les briques de base de ce manuel sont le chapitre 1 sur les mthodes
de Monte Carlo, le chapitre 2 sur les chanes de Markov en temps discret
valeurs dans un ensemble fini ou dnombrable, et les chapitres 6 et 7 sur
le processus de Poisson et les processus markoviens de sauts, qui sont des
processus en temps continu, nouveau valeurs dans un ensemble fini ou
dnombrable.
A partir de ces bases, ce manuel prsente des applications de ces outils
probabilistes dans plusieurs domaines. Le chapitre 3 traite dalgorithmes stochastiques. Il sagit dune part de la mthode de Monte Carlo par chanes de
Markov invente dans les annes 50 pour la mcanique statistique, utilise
en traitement dimages, et qui est devenue loutil de calcul indispensable en
statistique baysienne, ds que les donnes traiter sont complexes. Il sagit
dautre part dun algorithme doptimisation, savoir le recuit simul.
Une autre application concerne la biologie molculaire, avec deux aspects
bien distincts. Lun, prsent au chapitre 4, concerne lannotation des squences dADN (autrement dit la recherche de gnes) et lalignement des
squences. Loutil principal est ici les chanes de Markov caches, qui est par
ailleurs une technique utilise dans bien dautres domaines que la biologie
molculaire (en particulier en traitement du signal et en reconnaissance de la
parole). Une seconde application en biologie a trait la phylognie, qui est
ltude des relations entre espces vivantes, ces relations sillustrant en particulier par un arbre phylogntique. Plusieurs des mthodes de construction
de tels arbres font appel des modles probabilistes dvolution sur larbre
en question. Il sagit de modles de processus markoviens de sauts. Cette
application est traite dans le chapitre 7.
Auparavant, le chapitre 5 prsente une introduction au contrle et au
filtrage, avec en particulier une prsentation du clbre filtre de Kalman
Bucy, un algorithme trs utilis en particulier dans le guidage des fuses et
9
10
TABLE DES MATIRES
des satellites.
Le chapitre 8 prsente une application des processus markoviens de sauts
aux files dattente et aux rseaux (informatiques, tlphoniques, etc..).
Enfin le chapitre 9 donne une introduction aux mathmatiques financires, partant des modles discrets, avec un traitement des modles continus,
y compris une prsentation du calcul stochastique dIt et des processus de
diffusion, qui sont encore des processus de Markov, mais cette fois la fois
en temps continu, et valeurs dans lespace euclidien IRd .
Chaque chapitre est suivi dun certain nombre dexercices. Certains de
ces exercices sont suivis de la mention (en gras) Programmation. Cela veut
dire quils proposent de raliser des simulations, par exemple sous Matlab,
avec le plus souvent visualisation des rsultats sous forme de courbes. Enfin
les chapitres 2 et 7 se terminent par des problmes corrigs.
Ce livre a commenc exister comme polycopi de divers cours, en
deuxime et troisime anne dEcole dingnieurs (tout dabord lEcole Suprieure de Mcanique de Marseille, puis lEGIM/Ecole Centrale de Marseille) et lUniversit de Provence, en DESS, puis en Master. Il contient
la matire pour plusieurs cours sur les chanes et processus markoviens et
leurs applications, qui doivent pouvoir tre suivis par des tudiants en Master de Mathmatiques et Applications, et des lves dEcoles dIngnieurs.
Le contenu convient des cours de second semestre de M1, et des options de
M2. Il peut aussi tre utilis avec profit par des tudiants prparant loption
ProbabilisStatistique loral de lagrgation de Mathmatiques.
La lecture complte de cet ouvrage (en particulier celle du chapitre 9)
suppose que le lecteur a acquis le niveau dun cours de probabilits bas
sur la thorie de la mesure, y compris la notion desprance conditionnelle,
tel quenseign normalement au premier semestre du Master 1 de Mathmatiques. Cependant, une trs grosse partie de louvrage ne fait appel quaux lois
discrtes, et quelques lois densit, ainsi quaux thormes limites usuels
(loi des grands nombres et thorme de la limite centrale). Tout ce matriel
est normalemnt enseign au cours des annes de Licence de Mathmatiques,
et en premire anne de nombreuses Ecoles dIngnieurs.
Je remercie Genevive Foissac qui a assur lessentiel de la dactylographie de ce texte, et mes Collgues Julien Berestycki, Fabienne Castell, Yuri
Golubev, Arnaud Guillin et Laurent Miclo, qui ont relu certaines portions
de cet ouvrage, et mont fait des remarques et critiques qui mont permis
damliorer le manuscript original.
Marseille, Septembre 2006.
Chapitre 1
Simulations et mthode de Monte
Carlo
Introduction
Pour donner une premire ide de la mthode de Monte Carlo, nous allons
considrer un problme dintgration numrique. Il existe de trs nombreuses
mthodes dapproximation de lintgrale :
Z
f (x)dx
[0,1]
Pn
par des formules du type
i=1 wi f (xi ), avec les wi qui sont des nombres
positifs dont la somme vaut 1 et les xi sont des points de lintervalle [0, 1].
Par exemple, lorsque w0 = wn = 2/n, wi = 1/n sinon, les points xi =
i/n tant rgulirement rpartis, on a affaire la mthode des trapzes.
Mais il existe bien dautres mthodes comme la mthode de Gauss ou de
Simpson. Une mthode de Monte Carlo est du mme type : on choisit wi =
1/n et lon tire les xi au hasard (mais pas nimporte comment, il faut tirer
les points selon la loi uniforme sur [0, 1]). Comme on le verra cidessous,
la convergence est assure parla loi des grands nombres, et la vitesse de
convergence, de lordre de K/ n, est donne par le thorme de la limite
centrale. Evidemment, cette vitesse de convergence peut paratre faible si on
la compare aux autres mthodes dintgration en dimension 1. Mais toutes ces
mthodes numriques seffondrent lorsque la dimension augmente. En effet,
dans toutes ces mthodes, la prcision est fonction de la distance entyre deux
11
CHAPITRE 1. MONTE CARLO
12
points voisins de discrtisation. Mais si lon utilise n points de discrtisation

de [0, 1]d , la distance entre deux points voisins est de lordre de n1/d , donc
pour assurer un prcision de lordre de 1/n pour une mthode dordre 1
dapproximation dune intgrale sur [0, 1]d , il faut de lordre de nd points
de discrtisation. Par contre la mthode de Monte Carlo est insensible la
dimension.
Historiquement, la mthode remonte au comte de Buffon qui, en 1777,
a dcrit une mthode de calcul de base sur la ralisation dexpriences
rptes. Mais la vraie naissance de la mthode de Monte Carlo est lie
lapparition des premiers ordinateurs et leurs utilisations dans le cadre des
projets secrets du dpartement de la dfense des Etats Unis dans les annes
40 45. Les premiers articles dcrivant ce type de mthodes datent de la
fin des annes 40 et du dbut des annes 50. Ces mthodes numriques sont
maintenant de plus en plus utilises, cause de leur facilit de programmation, et de la possibilit de raliser en un temps raisonnable un nombre
gigantesque de tirages alatoires sur les ordinateurs modernes.
1.1
Description de la mthode
Pour utiliser une mthode de Monte Carlo, on doit tout dabord mettre
sous forme dune esprance la quantit que lon cherche calculer. Cest
souvent simple, comme pour le cas dun calcul dintgrale, mais a peut tre
plus compliqu, comme lorsque lon cherche rsoudre une quation aux
drives partielles parabolique ou elliptique (cf. les sections 7.9 et 9.3). Nous
reviendrons longuement par la suite sur cette tape dans des cas particuliers.
A lissue de cette tape, il nous reste calculer une quantit de la forme
IE(X), o X est une variable alatoire. Pour pouvoir calculer IE(X), il
convient de savoir simuler des variables alatoires indpendantes X1 , . . . , XN ,
ayant toutes la loi de X. Il ne reste plus alors qu approximer IE(X) par :
1
IE(X) (X1 + + XN ).
N
On va donner un exemple dapplication de la mthode de Monte Carlo, au
cas du calcul dune intgrale, en dtaillant les deux tapes cites : mise sous
forme desprance et simulation de la variable alatoire.
Imaginons que lon cherche calculer une intgrale de la forme :
Z
I=
f (u1 , . . . , ud )du1 . . . dud .
[0,1]d
1.2. THORMES DE CONVERGENCE
13
On pose, X = f (U1 , . . . , Ud ), o les U1 , . . . , Ud sont des variables alatoires

indpendantes suivant une loi uniforme sur le cube [0, 1]d . On a :
IE(X) = IE (f (U1 , . . . , Ud )) =
f (u1 , . . . , ud )du1 . . . dud ,

[0,1]d
par dfinition de la loi du nuplet, (U1 , . . . , Ud ). On vient de raliser la

premire tape (mise sous forme desprance).
Pour la simulation, supposons que (Ui , i 1) est une suite de variables
alatoires indpendantes suivant une loi uniforme sur [0, 1] (obtenue par des
appels successifs une fonction random) et posons X1 = f (U1 , . . . , Ud ), X2 =
f (Ud+1 , . . . , U2d ), etc. Alors la suite (Xi , i 1) est une suite de variables alatoires indpendantes suivant toutes la loi de X. On est en mesure dappliquer
une mthode de Monte Carlo.
Une remarque importante est la trs grande facilit de programmation
de la mthode. Il est noter aussi que cette mthode ne dpend pas de la
rgularit de f , qui peut tre simplement mesurable.
Souvent, on cherche valuer une intgrale dans IRn , plus gnrale, du
type :
Z
Z
I=
g(x)f (x)dx =
g(x1 , . . . , xn )f (x1 , . . . , xn )dx1 . . . dxn ,
IRn
IRn
R
avec f (x) positive et f (x)dx = 1. Alors I scrit sous la forme IE(g(X)) si
X est une variable alatoire valeurs dans IRn de loi f (x)dx. Le problme est
alors de savoir comment simuler une variable alatoire selon cette loi. Pour
beaucoup de lois usuelles, cest simple (loi gaussienne, loi exponentielle, . . . ).
Nous allons maintenant rpondre deux questions :
Quand et pourquoi cet algorithme convergetil ?
Quelle ide peut on se faire de la prcision de lapproximation ?
1.2
Thormes de convergence
La rponse ces deux questions est donne par deux des thormes les
plus importants du calcul des probabilits, la loi forte des grands nombres
qui permet de justifier la convergence de la mthode et le thorme de la
limite centrale qui prcise la vitesse de convergence.
14
Loi forte des grands nombres et mthode de Monte Carlo

Thorme 1.2.1. Soit (Xn , n 1) une suite de variables alatoires indpendantes suivant toutes la mme loi quune variable alatoire X. On suppose que
IE(|X|) < +, alors, pour presque tout (cela signifie quil existe N ,
avec IP(N ) = 0 et que si
/ N) :
IE(X) = lim
n+
1
(X1 + + Xn ).
n
Ce thorme impose une limite thorique aux mthodes de Monte Carlo :

on ne peut lutiliser que pour des variables alatoires intgrables (ce nest
pas vraiment surprenant).
Thorme de la limite centrale et mthode de Monte Carlo Pour
avoir une ide de lintrt de la mthode il faut tre en mesure dvaluer
lerreur :
1
n = IE(X) (X1 + + Xn ).
n
Le thorme de la limite centrale donne un asymptotique de lerreur n mais
de nature alatoire. Il dit que la loi de n finit par ressembler une loi
gaussienne centre.
Thorme 1.2.2. Soit (Xn , n 1) une suite de variables alatoires indpendantes suivant toutes la mme loi quune variable alatoire X. On suppose
que IE(X 2 ) < +. On note 2 la variance de X :

2 = IE(X 2 ) IE(X)2 = IE (X IE(X))2 ,
alors :
n
n converge en loi vers une gaussienne centre rduite Z.
Cela signifie que pour tout a < b,
lim IP( a n b) =
n+
n
n
b
a
x2 dx
e 2 .
2
En pratique, ds que n nest pas trop petit (ce qui est toujours le cas dans
les calculs de Monte Carlo), la probabilit cidessus est pratiquement gale
sa limite, donc on remplace n par une gaussienne centre de variance 2 /n.
15
Remarque 1.2.3. Ce rsultat est extrmement positif, puisquil donne

presque toujours une vitesse de convergence facilement estimable laide des
tirages dj raliss.
Cest une grande force de la mthode de donner une approximation fiable
de lerreur, sans pratiquement aucun calcul supplmentaire.
Remarque 1.2.4. Cependant, le thorme de la limite centrale ne permet
jamais de borner lerreur, puisque le support de la gaussienne est gal IR
en entier. On prsente souvent lerreur de
la mthode de Monte Carlo soit en
donnant lcart type de n , cest dire / n, soit en donnant un intervalle
de confiance 95% pour le rsultat. Ceci signifie que le rsultat cherch se
trouve avec 95% de chance dans lintervalle donn (et avec 5% de chance
en dehors, ce qui ne rassure pas !). Evidemment, la valeur de 95% peut tre
remplace par nimporte quelle autre valeur proche de 1.
Notons limportance de la variance de la variable alatoire X dans lestimation de lerreur. Comme on a le choix de la loi de X pourvu que IE(X)
reste constant, il est tentant de remplacer la variable alatoire X par une
autre de mme esprance mais de variance infrieure. On appelle ce type de
technique technique de rduction de variance (voir la section 1.4).
Il faut aussi noter que la vitesse de convergence de lerreur nest pas
excellente. Cependant, il existe des cas o cette mthode lente est malgr
tout la meilleure accessible (intgrale ou quation parabolique en dimension
plus grande que 4,. . . ). Il est aussi remarquable que la vitesse de convergence
de la mthode, pour des calculs dintgrale, ne dpende pas de la rgularit
de f .
Nous allons donner deux exemples dutilisation du thorme de la limite
centrale. Nous verrons que ce rsultat impose des limites pratiques la mthode de Monte Carlo.
Un cas confortable Supposons, que lon cherche calculer p = IP(f (U )
). On va poser X = 1{f (U )} , avec U v. a. de loi quelconque. Alors IE(X) =
p, et 2 = var(X) = p(1 p). Donc, lissu de n tirages indpendants selon
la loi de X, X1 , . . . , Xn on a :
pn =
X1 + + X n
p + Z.
n
n
Comme p(1 p) 1/4, si lon veut faire une erreur moyenne n de lordre
de 0.01 sur la valeur de p, il convient de prendre n de lordre de 2500. Si lon
16
choisit, n = 2500, lintervalle de confiance 95% pour p est alors, en utilisant

le thorme de la limite centrale [pn 1.96 0.01, pn + 1.96 0.01]. Si la valeur
de p estimer est de lordre 0.50 ceci conduit une erreur acceptable.
Par contre lorsque la valeur de p estimer est trs faible le nombre de
tirages prcdent peut tre insuffisant pour valuer son ordre de grandeur par
simulation (puisquil faut que lordre de grandeur de lerreur soit infrieur
celui de la quantit valuer). On doit (et cest intuitivement vident)
prendre un nombre de tirages nettement suprieur 1/p.
Un cas difficile Imaginons que lon cherche calculer IE (exp(Z)), o Z
est une gaussienne centre rduite. Il est facile de vrifier que :

2
E = IE eg = e 2 .
Si lon applique dans ce cas une mthode de Monte Carlo, on pose X = eZ .

2
2
La variance de X vaut 2 = e2 e . Au bout de n tirages selon la loi de
X, X1 , . . . , Xn on a :
X1 + + X n
En =
E + Z.
n
n
q
2
= e n1 . Si lon se fixe un
Lerreur relative moyenne est de lordre de E
n
ordre de grandeur de lerreur respecter, on voit quil convient de choisir
2
n 2 (e 1). Si = 1 et = 5, cela donne n = 7 1010 , ce qui est
beaucoup (et mme trop !). Par exemple, dans le cas = 5, la valeur exacte
est de lordre de 27 104 , et aprs 105 tirages, on pourra obtenir comme
valeur estime une quantit de lordre de 85 104 , avec comme intervalle de
confiance 95% [467647, 2176181]. Le seul ct rassurant est que lon est
au courant de ce que lapproximation est trs mauvaise.
Cet exemple montre une des limites pratiques de la mthode de Monte
Carlo lorsquon utilise des variables alatoires de variance grande, et donc
conduit formuler une :
Rgle : dans tout calcul de Monte Carlo, on doit systmatiquement estimer laide des simulations ralises la variance de la v.a. dont on cherche
approcher lesprance.
Un exemple plus concret Dans les applications la finance (cf. ci
dessous le chapitre 9), on est amen calculer des quantits du type :

Z
C = IE e K + ,
(1.1)
17
Z tant une gaussienne centre rduite et x+ = max(0, x). Ces quantits

reprsentent le prix dune option dachat appele call. Evidemment, dans le
cas prcis cit on peut trouver une formule explicite (pour lessentiel cest la
clbre formule de Black et Scholes ; mais on verra cidessous des cas o il
ny a gure dalternative la mthode de Monte Carlo) :
IE
avec

+
=e
2 /2
log(K)
1
F (x) =
2
eu
KF
2 /2
log(K)
(1.2)
du.
Mais nous allons ici supposer que lon cherche calculer ces quantits par
simulation, soit
C'N
Z1
++ e
ZN
i
i
Supposons maintenant que lon cherche valuer une option de vente appele
put, cest dire :

P = IE K eZ + ,
(1.3)
donc
P 'N
Il est assez clair que

Var
Ke
K eZ
Z1
i
+
++ K e
< Var
eZ K
et puisque lon a la formule de parit callput

C P = e
2 /2
ZN
i
+
K,
il vaut mieux calculer P par Monte Carlo, et utiliser la formule de parit

callput pour obtenir C, plutt que de calculer directement C par Monte
Carlo (cf. lexercice 1.5.10 cidessous).
Nous venons dindiquer une mthode de rduction de variance. Nous
passerons en revue la plupart de ces mthodes la section 1.4.
18
1.3
Simulation de variables alatoires
Simulation dune loi uniforme sur [0, 1] Tous les langages de programmation des ordinateurs possdent un gnrateur de nombres pseudo
alatoires. Il sagit dun programme qui gnre une suite de nombres parfaitement dterministe, et en plus priodique, mais dont les proprits statistiques lui donnent beaucoup de caractristiques de la ralisation dune suite
de v. a. indpendantes, toutes de loi uniforme sur [0, 1]. La difficult est de
construire en un temps de calcul raisonnable une formule de rcurrence qui
gnre une suite que les tests statistiques acceptent comme tant une suite i.
i. d. de loi uniforme sur [0, 1], avec une priode aussi grandes que possibles.
Ltude de ces algorithmes relve de la thorie des systmes dynamiques. On
trouvera une prsentation des algorithmes classiques de gnration de nombre
pseudoalatoires dans [26] et [37] notamment. Plus rcemment, Matsumoto
et Nishimura [29] ont propos un gnrateur de priode 219937 1 !
Il reste examiner comment simuler les lois usuelles, sachant que lon sait
simuler des v. a. de loi uniforme.
Inversion de la fonction de rpartition Rappelons le rsultat trs classique :
Lemme 1.3.1. Soit X une v. a. r. de fonction de rpartition F continue.
Posons, pour 0 t 1,
F 1 (t) = inf{x, F (x) t}.
Alors si U suit la loi U [0, 1], F 1 (U ) a mme loi que X.
Preuve On utilise la dfinition F (x) = IP(X x). Alors
IP(F 1 (U ) x) = IP(U F (x)) = F (x).

Donc chaque fois que lon a une formule explicite pour linverse de la
fonction de rpartition, cette mthose est utilisable. Cest en particulier le
cas pour la loi exponentielle.
1.3. SIMULATION DE VARIABLES ALATOIRES
19
Simulation dune loi exponentielle Rappelons quune variable alatoire X suit une loi exponentielle de paramtre si et seulement si pour tout
t IR,
IP(X > t) = exp(t).
Donc si F dsigne la fonction de rpartition de X, F (t) = 1 et , et
F 1 (x) =
log(1 x)
.
Si U ' U [0, 1], il en est de mme de 1 U , et
log U
' E().
Simulation de variables gaussiennes (Algorithme de BoxMller) Une

mthode classique pour simuler les variables alatoires gaussiennes repose sur
la constatation que, si U et V sont deux variables alatoires uniformes sur
[0, 1] indpendantes :
p
p
2 log(U ) cos(2V ) et
2 log(U ) sin(2V )
sont indpendantes et de loi N (0, 1). Ce rsultat se vrifie par exemple comme
suit. Si X et Y sont indpendantes et de loi N (0, 1), f : IR2 IR+ ,
2

Z Z
1
x + y2
IEf (X, Y ) =
exp
f (x, y)dxdy
2 IR IR
2
2
Z 2 Z
r
1
r exp
=
f (r cos , r sin )drd
2 0
2
0
Z 1 Z 1 p

p
=
2 log u cos(2v), 2 log u sin(2v) dudv
f
0
0p

p
= IEf
2 log U cos(2V ), 2 log U sin(2V )
Pour simuler une gaussienne de moyenne et de variance 2 , il suffit de

poser X = + Y , o Y ' N (0, 1).
Simulation dune variable alatoire poissonienne Une variable alatoire de loi de Poisson de paramtre est une variable valeurs dans IN
telle que :
n

, si n 0
IP(X = n) = e
n!
20
On verra au chapitre 6 que si {Ti , i 1} est une suite de variables alatoiresX

indpendantes, de loi exponentielle de paramtre , alors la loi de
Nt =
n1{T1 ++Tn t<T1 ++Tn+1 } est une loi de Poisson de paramtre t.
n1
N1 a donc mme loi que la variable X que lon cherche simuler. Dautre
part, on peut toujours mettre les variables exponentielles Ti sous la forme
log(Ui )/, o les (Ui )i1 sont des variables alatoires suivant la loi uniforme
sur [0, 1] et indpendantes. N1 scrit alors :
X
N1 =
n1{U1 U2 Un+1 e <U1 U2 Un } .
n1
Cela donne un algorithme pour simuler une variable alatoire de Poisson.

Mthode de rejet On veut simuler une v.a. de loi de densit f (par
exemple par rapport la mesure de Lebesgue sur IRd ), et on suppose quil
existe une loi de densit g facile simuler, telle que
x IRd f (x) k g(x),
o k est une constante relle. On pose (x) =
f (x)
.
k g(x)
Proposition 1.3.2. Soit (X1 , U1 ) un couple de v.a. indpendantes telles que

X1 suit la loi de densit g et U1 suit la loi uniforme sur [0, 1]. Si U1 (X1 ),
on pose X = X1 .
Sinon on rejette X1 et on recommence en gnrant une suite (Xn , Un )n2
de v.a. indpendantes de mme loi que (X1 , U1 ), jusqu linstant p o Up
(Xp ). On pose alors X = Xp .
La v.a. X ainsi simule a pour densit f .
Remarque 1.3.3.
X1 vaut
1. La probabilit dacceptation linstant 1 de la v.a.
p1 = P (U1 (X1 )) =
Z
1
1
f (x)dx = ,
=
k
k
P(U1 (x))PX1 (dx) =
par lindpendance de U1 et X1 .
a(x)g(x)dx
1.3. SIMULATION DE VARIABLES ALATOIRES
21
Si on ne veut pas trop de rejets lors de la simulation de X, il faut que

cette probabilit dacceptation p1 soit la plus grande possible, et donc
que k soit le plus petit possible. Comme f et g sont des densits et que
f kg, le rel k est en fait ncessairement 1.
f (x)
est proche de
k g(x)
1 et donc si la fonction g a une allure similaire celle de f .
Remarquons de plus que les rejets seront limits si
2. Lalgorithme cidessus est encore valable si la v.a. X simuler a une

densit f par rapport une mesure positive quelconque majore par
kg o g est la densit par rapport dune variable Y facile simuler.
Ceci se traduit par
IP(X A) =
f (x)(dx)
kg(x)(dx) = kIP(Y A).
Si la v.a. X a une loi porte par un ensemble discret E, on peut choisir

pour la mesure de comptage sur E et la mthode de rejet est aussi
valable pour des lois discrtes, f (x) tant dans ce cas gal IP(X = x).
Preuve de la proposition 1.3.2 Remarquons tout dabord quau bout

dun nombre fini dessais, la relation Up (Xp ) sera vrifie ; en effet
IP(p IN X 6= Xp ) = lim IP(

N
= lim IP(
N
pN
pN
{X 6= Xp })
{Up > (Xp )})
= lim IP(U1 > (X1 ))N

N
= lim (1 p1 )N ,
N
puisque les v.a. (Xp , Up ) sont indpendantes et de mme loi. Par consquent
22
IP[X A] =
=
nN
nN
nN
IP[X = Xn , X A]
IP[
{Up > (Xp )}
pn1
\
\
{Un (Xn )} {Xn A}]
(1 p1 )n1 IP[{U1 (X1 )}
1
IP[{U1 (X1 )} {X1 A}]
p1
= IP[X1 A|U1 (X1 )].
\
{X1 A}]
La loi de X est donc la loi de X1 conditionne par lensemble dacceptation

{U1 (X1 )}. Elle satisfait par indpendance de X1 et U1 ,
1
IP[X A] =
p1
IP(U1 (x))PX1 (dx) = k
(x)g(x)dx =
A
f (x)dx.
A

Pour la simulation dautres lois que nous navons pas cites, ou pour
dautres mthodes de simulation des lois prcdentes, on pourra consulter en
particulier les ouvrages [3], [11], [5] et [42].
1.4
Mthodes de rduction de variance
Nous avons vu que

la vitesse de convergence de la mthode de Monte Carlo
est de lordre de / n. Pour amliorer cette mthode il existe de nombreuses
techniques, dites de rduction de variance, qui cherchent diminuer la valeur
de 2 . Nous allons passer en revue plusieurs de ces mthodes.
Echantillonnage prfrentiel Supposons que lon cherche calculer
IE(g(X)) et que la loi de X soit f (x)dx (sur IR pour fixer les ides). On a :
IE(g(X)) =
g(x)f (x)dx.
IR
1.4. MTHODES DE RDUCTION DE VARIANCE

Mais si f est la densit dune loi telle que f > 0 et
que IE(g(X)) peut aussi scrire :
IE(g(X)) =

IR
23
f(x)dx = 1, il est clair
g(x)f (x)
f (x)dx.
f(x)

Cela signifie que IE(g(X)) = IE

, o Y suit la loi f(x)dx sous IP.
On a donc une autre mthode de calcul de IE(g(X)), en utilisant n tirages
Y1 , . . . , Yn de Y , et en approchant IE(g(X)) par :
1
n
g(Y )f (Y )
f(Y )
g(Y1 )f (Y1 )
g(Yn )f (Yn )
++
f (Y1 )
f(Yn )
Si lon pose Z = g(Y )f (Y )/f(Y ), on aura amlior lalgorithme si var(Z) <

var(g(X)). Il est facile de calculer la variance de Z :
2
var(Z) = IE(Z ) IE(Z) =
IR
g 2 (x)f 2 (x)
dx IE(g(X))2 .
f (x)
Si g(x) 0, il est facile de voir que, en choisissant f(x) = g(x)f (x)/IEg(X)

on annule var(Z) ! Il ne faut pas donner trop dimportance ce rsultat, car
il repose sur le fait que lon sait calculer IE(g(X)), et cest justement le but
de la mthode.
Cela permet cependant de justifier lheuristique suivante : prendre f(x)
Raussi proche que possible de |g(x)f (x)| puis la normaliser (diviser par
f(x)dx) de faon obtenir une densit dont la loi est facilement simulable.
Evidemment, les contraintes que lon simpose sont largement contradictoires.
Donnons un exemple simple pour fixer les ides. Supposons que lon
cherche calculer :
Z 1
cos (x/2) dx.
0
On peut alors remplacer le cos par un polynme du second degr. Comme la

fonction sous le signe somme est paire, vaut 0 en x = 1 et 1 en x = 0, il est
naturel de prendre f(x) de la forme (1 x2 ). En normalisant on obtient,
f(x) = 3(1 x2 )/2. En calculant les variances, on peut constater que cette
mthode a rduit la variance dun facteur 100.
24
Variables de contrle Dans sa version la plus simple, il sagit dcrire

IE(f (X)) sous la forme :
IE(f (X)) = IE(f (X) h(X)) + IE(h(X)),
avec IE(h(X)) qui peut se calculer explicitement et var(f (X) h(X)) petit devant var(f (X)). On utilise alors une mthode de Monte Carlo pour
IE(f (X) h(X)) et le calcul direct pour IE(h(X)).
par un exemple simple. Supposons que lon veuille calculer
R 1 Commenons
x
e
dx.
Comme
au
voisinage de 0, ex 1 + x, on peut crire :
0
Z 1
Z 1
3
x
e dx =
(ex 1 x)dx + .
2
0
0
Il est facile de vrifier que la variance de la mthode diminue alors sensiblement.
On peut donner un exemple plus convainquant en considrant le problme
du calcul du prix call (1.1). Il est facile de vrifier que les prix du put et du
call vrifient :
2
C P = IE (eg K) = e /2 K.
2
Lide est alors dcrire C = P + e /2 K et de raliser une mthode de

Monte Carlo pour P . On a dj vu que lerreur est alors trs sensiblement
rduite.
Variables antithtiques Supposons que lon cherche calculer :
Z 1
I=
f (x)dx.
0
Z
1 1
(f (x) +
Comme x 1 x laisse invariante la mesure dx sur [0, 1], I =
2 0
f (1 x))dx. On peut donc calculer I de la faon suivante. On tire n variables
alatoires uniformes sur [0, 1] indpendantes U1 , . . . , Un , et on approxime I
par :
I2n

1 1
1
=
(f (U1 ) + f (1 U1 )) + + (f (Un ) + f (1 Un ))
n 2
2
1
(f (U1 ) + f (1 U1 ) + + f (Un ) + f (1 Un )) .
=
2n
1.4. MTHODES DE RDUCTION DE VARIANCE
25
Lorsque lon compare cette mthode une mthode de Monte Carlo directe lissue de n tirages, on peut montrer que la qualit de lapproximation
samliore pourvu que
IEf (U )f (1 U ) < IEf 2 (U ),
qui est vrai ds que le v. a. f (U ) et f (1U ) sont linairement indpendantes.
On peut gnraliser ce genre dide en dimension suprieure et dautres
transformations prservant la loi de la variable alatoire.
Par exemple, si lon cherche calculer le prix dun put (1.3), on peut
utiliser le fait que la loi de Z est identique celle de Z et rduire la variance
dun coefficient proche de 2.
Mthode de stratification Cest une mthode bien connue de nos statisticiens sondeurs. Supposons que lon cherche calculer I :
Z
I = IE(g(X)) = g(x)f (x)dx.
o X suit la loi f (x)dx. On commence par dcomposer I en :
I=
m
X
Ii =
i=1
m
X
i=1
IE(1{XDi } g(X))
o Di est une partition de lensemble sur lequel on intgre. On utilise alors

ni tirages pour estimer lintgrale Ii . Si lon note i2 = var(1{XDi } g(X)), il
est facile de voir que la variance de lapproximation est donne par :
m
X
2
i
i=1
Et si on minimise cette erreur

m
m
X
i=1
!2
ni
ni = n fix, on obtient ni = n Pmi
i=1
1 X
Le minimum vaut alors
i . On peut montrer quil est infrieur
n i=1
la variance que lon obtiendrait avec n tirages alatoires par une mthode de
Monte Carlo. Evidemment on ne peut que rarement calculer les i , ce qui
limite la porte de cette technique (mais on peut toujours les estimer laide
dune mthode de Monte Carlo !). Pour des considrations approfondies sur
cette technique on pourra consulter [9].
26
Valeur moyenne Supposons que lon cherche calculer :

Z
IE(g(X, Y )) = g(x, y)f (x, y)dxdy,
o f (x, y)dxdy est la loi du couple
(X, Y ).
Z
R
1
Si lon pose h(x) =
g(x, y)f (x, y)dy, avec m(x) = f (x, y)dy, il
m(x)
est facile de voir que :
IE(g(X, Y )) = IE(h(X)).
En effet la loi de X est m(x)dx, et donc :
Z
Z
Z
IE(h(X)) = m(x)h(x)dx = dx g(x, y)f (x, y)dy = IE(g(X, Y )).
On peut dautre part montrer, en interprtant h(X) comme une esprance
conditionnelle, que :
var(h(X)) var(g(X, Y )).
Ainsi, si lon peut calculer explicitement la fonction h(x), il est prfrable

dutiliser une mthode de Monte Carlo pour h(X).
Remarque 1.4.1. On a dit en introduction de ce chapitre que les mthodes

de Monte Carlo taient particulirement intressantes pour calculer des intgrales multiples. On verra un exemple typique dun tel calcul, dans un problme de mathmatique fianncire, lexercice 9.7.5 qui clt le dernier chapitre de ce manuel.
1.5
Exercices
Exercice 1.5.1. Soit X une v.a. de loi gomtrique de paramtre p :

IP (X = k) = p (1 p)k1 , k 1.
1. Rappeler la mthode classique de simulation laide de tirages pile
ou face.
2. Donner une autre mthode de simulation de cette loi utilisant la fonction de rpartition et comparer lefficacit des 2 mthodes.
Exercice 1.5.2.
loi N (0, 1).
1. Rappeler les mthodes classiques de simulation dune
1.5. EXERCICES
27
2. Proposer un algorithme de rejet permettant de simuler une variable

alatoire gaussienne partir de la loi double exponentielle de densit
(/2) exp (|x|).
3. Soit X et Y des variables alatoires indpendantes et de mme loi exponentielle de paramtre 1.
(a) Trouver la loi conditionnelle de X sachant que {Y > (1 X) 2 /2}
(b) Soit Z une variable alatoire suivant la loi ci dessus et S une
variable alatoire indpendante de Z prenant les valeurs 1 avec
la probabilit 1/2. Trouver la loi de SZ.
(c) En dduire une mthode de simulation dune loi N (0, 1).
Exercice 1.5.3. On dit quun processus {X(t), t 0}, est un processus de
Lvy sil possde les deux proprits :
P1 : Pour tout systme (0 = t0 < t1 < t2 < . . . < tn ) les variables alatoires
X(tk ) X(tk1 ) (1 k n) sont indpendantes (on dit alors que X(t)
est un processus accroissements indpendants).
P2 : La loi de X(t + h) X(t) est indpendante de t (on dit alors que X(t)
est un processus homogne) et de plus X(0) = 0.
Dans le cas dun mouvement brownien cest dire dans le cas dun processus
de Lvy tel que X(t) suive une loi N (0, t), trouver la loi de X(t) sachant que
X(t h) = x et X(t + h) = y. En dduire une simulation rcursive de ce
processus.
Mme question pour le processus de Cauchy cest dire dans le cas o X(t)
suit une loi de Cauchy de densit (x2t+t2 ) . (on prcisera la mthode de simulation de la loi conditionnelle ci dessus).
Exercice 1.5.4. Soit (X1 , X2 ) un couple gaussien de coefficient de corrlation et tel que pour i = 1, 2 la variable alatoire Xi suive une loi N (i , i2 ).
1. Montrer que si (Y1 , Y2 ) est un couple de variables alatoires indpendantes de loi N (0, 1) alors le couple Z1 = 1 + 1 Y1 , Z2 = 2 + 2 (Y1 +
p
1 2 Y2 ) a mme loi que (X1 , X2 ). En dduire une mthode de simulation de la loi de ce couple.
2. Gnraliser au cas dune dimension quelconque.
Exercice 1.5.5. Soit X une variable alatoire relle de fonction de rpartition F . On supposera cette fonction de rpartition inversible et lon note F 1
son inverse.
28

1. Comment simuler la loi de X conditionnellement X > m laide
dune mthode de rejet ? valuer lefficacit de la mthode ? Que se
passetil, en particulier, si m devient trs grand ?
2. Si U est une variable alatoire uniforme sur [0, 1], on pose :
Z = F 1 (F (m) + (1 F (m))U ) .
Calculer la fonction de rpartition de Z et en dduire une mthode de
simulation de X conditionnellement X > m. Comparer lefficacit de
cette mthode la mthode du rejet.
3. Gnraliser la mthode prcdente au cas o lon cherche simuler X
conditionnellement a < X < b.
4. On cherche maintenant simuler X, de loi normale N (, 2 ), conditionnellement X > m. Montrer que lon peut se ramener au cas centr
rduit, avec m arbitraire.
5. Proposer une mthode du rejet base sur la loi exponentielle translate
de densit donne par e(xm) 1{x>m} . Comment choisir le paramtre
?
Exercice 1.5.6. Echantillonnage prfrentiel : On veut calculer par une

mthode de Monte-Carlo :
p` = IP(X [`, ` + 1]),
X tant une variable alatoire exponentielle de paramtre 1.
1. Donner lestimateur classique de p` ainsi que sa variance.
2. Dterminer une fonction dimportance telle que les nouveaux tirages
soient tous dans lintervalle [`, ` + 1]. Calculer la variance de ce nouvel
estimateur et conclure pour les grandes valeurs de `.
Exercice 1.5.7. Rduction de variance
1. Proposer une mthode dchatillonage prfrentiel pour le calcul de

I = IE 1{>0} exp ,
si est une gaussienne centre rduite et = 5.
2. Proposer une mthode de variable de contrle pour le mme calcul.
1.5. EXERCICES
29
3. Amliorer votre estimateur laide dune technique de variables antithtiques.

Exercice 1.5.8. Le but de cet exercice est de prouver que la mthode des variables antithtiques rduit bien la variance lorsque la fonction est monotone
en chacune de ses variables.
1. On suppose que f et g sont deux fonctions croissantes bornes de IR
dans IR. Montrer que, si X et Y sont deux variables alatoires relles,
on a :
IE (f (X)g(X)) + IE (f (Y )g(Y )) IE (f (X)g(Y )) + IE (f (Y )g(X)) .
En dduire que si X si est une variable alatoire relle :
IE (f (X)g(X)) IE (f (X)) IE (g(X)) Cov(f (X), g(X)) 0
2. Montrez que, si X1 , . . . , Xn sont n variables alatoires indpendantes :
IE (f (X1 , . . . , Xn )g(X1 , . . . , Xn )|Xn ) = (Xn ),
tant une fonction que lon explicitera sous forme dune esprance.
En dduire que, si f et g sont deux fonctions croissantes en chacun de
leur arguments :
IE (f (X1 , .., Xn )g(X1 , .., Xn )) IE (f (X1 , .., Xn )) IE (g(X1 , .., Xn )) .
3. Soit h une fonction de [0, 1]n dans IR monotone en chacun de ses arguments, et U1 , . . . , Un des variables alatoires indpendantes suivant la
loi uniforme sur [0, 1]. Montrer que :
Cov (h(U1 , . . . , Un )h(1 U1 , . . . , 1 Un )) 0,
et en dduire que le mthode des variables antithtiques rduit la variance dans ce cas.
Exercice 1.5.9. Soit (U1 , . . . , Un ) un chantillon i.i.d. de loi uniforme sur
[0, 1] et (V1 V2 . . . Vn ) lchantillon ordonn. On convient que Vn+1 =
1, V0 = 0 et pour i = 0, . . . , n on pose i = Vi+1 Vi .
1. Trouver la loi du couple (Vi , Vi+1 ) pour i = 1, . . . , n 1 et la loi de i
pour i = 0, . . . , n
30
2. Montrer que sup0in i converge presque srement vers 0.

3. Soit h une fonction continue nulle en 0. Montrer que lestimateur :
Zn =
n
X
i h(Vi )
i=0
converge presque srement vers I =

4. Montrer que :
IE(Zn ) =
1
0
R1
0
h(u)du.
(1 v n )f (v) dv
En dduire que Zn est un estimateur asymptotiquement sans biais de

I. Pouvait-on prvoir ce rsultat sans calcul ?
5. On suppose de plus que h est de classe C 1 . Montrer quil existe une
constante K avec :
n
X
|Zn I| K
2i
i=0
En dduire la vitesse de convergence de Zn vers I dans L1 .
Exercice 1.5.10. Programmation On reprend les formule (1.1) pour le

prix dune option dachat (call) et (1.3) pour le prix dune option de vente
(put). On dduit de lidentit x = x+ (x)+ la formule de parit callput
C P = IEeZ K,
o lesprance IEeZ se calcule explicitement, et vaut exp( 2 /2), do une
mthode de variable de contrle, dont il est clair (pourquoi ?) quelle rduit
la variance.
Par ailleurs, puisque Z et Z ont la mme loi, on peut appliquer au calcul
par Monte Carlo du call comme du put la mthode de rduction de variance
par variable antithtique.
Dans lexprimentation numrique on choisira = 1.5 ainsi que K = 1.
On fera tous les calculs de Monte Carlo avec des tailles dchantillon N =
1 000, 10 000 et 100 000. Pour chaque rsultat, on donnera lestimateur de
Monte Carlo, et un intervalle de confiance 95 %, bas sur le TCL et une
estimation de la variance.
1. Calculer la valeur donne par la formule de BlackScholes (1.2).
1.5. EXERCICES
31
2. Calculer la valeur de C par Monte Carlo, en utilisant la formule (1.1),

puis en utilisant la formule de parit callput et (1.3) pour le calcul de
P par Monte carlo.
3. Effectuer les deux mmes calculs, en utilisant une mthode de variable
antithtique.
32
Chapitre 2
Chanes de Markov
Introduction
Une chane de Markov est une suite alatoire {Xn ; n = 0, 1, 2, . . .}, dfinie
sur un espace de probabilit (, F , IP), valeurs dans un ensemble E qui
peut tre arbitraire, mais qui sera ici soit fini soit dnombrable, et qui jouit
de la proprit de Markov. Sans donner tout de suite une dfinition formelle,
indiquons quune suite de Markov a la proprit que connaissant Xn , on peut
oublier le pass pour prdire lavenir. Une faon de fabriquer une telle suite
est de se donner une suite de v.a.{Yn , n 1} qui sont mutuellement indpendantes, et globalement indpendantes de X0 , valeurs dans F , et une
application f : IN E F E, t.q. pour n 1,
Xn = f (n, Xn1 , Yn ).
Dune certaine faon, cest le modle le plus simple dune suite de v. a. non
indpendantes.
Les deux chapitres qui suivent donneront un aperu des nombreuses applications des chanes de Markov. Notons que nous allons prsenter la thorie
des chanes de Markov homognes (dans la formule de rcurrence cidessus,
cela revient prendre f indpendante de n, et les Yn de mme loi), mme
si dans plusieurs applications on a besoin de chanes non homognes. Mme
dans ces casl, les proprits asymptotiques des chanes homognes sont
cruciales.
33
CHAPITRE 2. CHANES DE MARKOV
34
2.1
Dfinition et proprits lmentaires.
Nous allons dfinir et tudier les chanes de Markov {Xn ; n IN} valeurs dans un espace (fini ou) dnombrable E. On notera x, y, . . . les points
de E. Pour allger la rdaction, on conviendra que pour chaque condition faisant intervenir une probabilit conditionnelle IP(A|B), celleci nest suppose
vrifie que dans le cas o IP(B) > 0.
Dfinition 2.1.1. Le processus stochastique {Xn ; n IN} valeurs dans
E est appel une chane de Markov si pour tout n IN, la loi conditionnelle de Xn+1 sachant X0 , X1 , . . . , Xn est gale la loi conditionnelle sachant
Xn , i.e x0 , . . . , xn , y E,
IP(Xn+1 = y|X0 = x0 , X1 = x1 , . . . , Xn = xn ) = IP(Xn+1 = y|Xn = xn ).
Un critre simple qui permet dans la plupart des cas de vrifier quun
processus est une chane de Markov est donn par le :
Lemme 2.1.2. Soit E et F deux ensembles dnombrables, et f une application de IN E F dans E. Soit X0 , Y1 , Y2 , . . . des v.a. mutuellement indpendantes, X0 valeurs dans E et les Yn valeurs dans F , et {Xn , n 1}
le processus valeurs dans E dfini par
Xn+1 = f (n, Xn , Yn+1 ), n IN.
Alors {Xn , n IN} est une chane de Markov.
Preuve
IP(Xn+1 = y|X0 = x0 , . . . , Xn = xn )
IP(X0 = x0 , . . . , Xn = xn , Xn+1 = y)
=
IP(X0 = x0 , . . . , Xn = xn )
X
IP(X0 = x0 , . . . , Xn = xn , Yn+1 = z)
=
IP(X0 = x0 , . . . , Xn = xn )
{z;f (n,xn ,z)=y}
X
=
IP(Yn+1 = z)
{z;f (n,xn ,z)=y}
IP(Xn = xn , Xn+1 = y)
IP(Xn = xn )
2.1. DFINITION ET PROPRITS LMENTAIRES.
35
Une chane de Markov est lanalogue dun systme dterministe dfini par
une relation de rcurrence du type :
xn+1 = f (n, xn ),
par opposition aux systmes avec mmoiredu type :
xn+1 = f (n, xn , xn1 , . . . , x1 , x0 ).
Ici la fonction f (n, ) est remplace par la matrice de transition :
Pxy = IP(Xn+1 = y|Xn = x).
Dans toute la suite, cette matrice P = (Pxy ; x, y E) sera indpendante de
linstant n. On dit que la chane de Markov est homogne.
La matrice P est dite markovienne (ou stochastique), au sens o elle
vrifie la proprit que x E, le vecteur ligne (Pxy ; y E) est une mesure
de probabilit sur E, cest dire :
X
Pxy 0, y E;
Pxy = 1.
yE
Comme on va le voir, la loi dune chane de Markov est entirement dtermine par la donne dune loi initiale (x ; x E), qui est la loi de X0 , et de
la matrice de transition de la chane.
Dfinition 2.1.3. Soit une probabilit sur E, et P une matrice markovienne. Un processus stochastique {Xn ; n IN} valeurs dans E, et dfini
sur un espace de probabilit (, F , IP), est une chane de Markov (, P ) (i.e.
de loi initiale et de matrice de transition P ) si :
(i)
IP(X0 = x) = x , x E.
(ii) IP(Xn+1 = y|X0 = x0 , . . . , Xn1 = xn1 , Xn = x) = Pxy ,

x0 , . . . , xn1 , x, y.
Proposition 2.1.4. Une CNS pour quun processus {Xn , n IN} valeurs
dans E soit une chane de Markov (, P ) est que n IN, la loi du v.a.
(X0 , X1 , . . . , Xn ) soit donne par
IP(X0 = x0 , X1 = x1 , . . . , Xn = xn ) = x0 Px0 x1 Pxn1 xn .
36
Preuve
CN. Si IP(X0 = x0 , . . . , Xn1 = xn1 ) > 0,
IP(X0 = x0 , . . . , Xn = xn ) = IP(Xn = xn |X0 = x0 , . . . , Xn1 = xn1 )
IP(X1 = x1 |X0 = x0 )IP(X0 = x0 )
et lgalit cidessus rsulte de la dfinition. Sinon, les deux membres de
lgalit de lnonc sont nuls (considrer le plus petit indice k tel que IP(X0 =
x0 , . . . , Xk = xk ) = 0).
CS. Le (i) de la dfinition rsulte de lgalit de lnonc. Le (ii) sen
dduit aisment. Dmontrons en fait plus que (ii).
IP(Xn+1 = xn+1 , . . . , Xn+p = xn+p |X0 = x0 , . . . , Xn = xn )
x Px x Pxn+p1 xn+p
= 0 0 1
x0 Px0 x1 Pxn1 xn
(ii) sen dduit en choisissant p = 1.
On a en fait montr le :
Corollaire 2.1.5. Si {Xn ; n IN} est une chane de Markov (, P ), alors
pour tous n, p, x0 , . . . , xn+p
IP(Xn+1 = xn+1 , . . . , Xn+p = xn+p |X0 = x0 , . . . , Xn = xn )
= Pxn xn+1 Pxn+p1 xn+p .
Une probabilit sur E est considre comme un vecteur ligne, une application g : E IR est considre comme un vecteur colonne, ce qui justifie
les notations
X
(P )y =
x Pxy
xE
(P g)x =
Pxy gy ,
yE
et lintgrale dune fonction g par rapport une mesure scrit (si la somme
converge absolument)
X
g =
x g x
xE
Proposition 2.1.6. Soit {Xn , n IN} une chane de Markov (, P ). Alors
2.2. EXEMPLES
37
(i) IP(Xn = y|X0 = x) = IP(Xn+p = y|Xp = x) = (P n )xy

(ii) IP(Xn = y) = (P n )y
(iii) IE[g(Xn )|X0 = x] = (P n g)x
Preuve
(i)
IP(Xn = y|X0 = x) =
IP(Xn = y, Xn1 = xn1 , .., X1 = x1 |X0 = x)
x1 ,...,xn1
x1 ,...,xn1
x1 ,...,xn1
x Pxx1 Pxn1 y
x
Pxx1 Pxn1 y
= (P n )xy
(ii)
On remarque que
IP(Xn = y) =
IP(Xn = y, X0 = x)
xE
IP(Xn = y|X0 = x)x ,
xE
et on utilise (i).
(iii)
On utilise nouveau (i) partir de :

X
IE[g(Xn )|X0 = x] =
gy IP(Xn = y|X0 = x)
yE
2.2
2.2.1
Exemples
Marche alatoire sur E = Zd
Soit {Yn ; n IN } une suite de v.a. i.i.d. valeurs dans Zd , de loi commune
, et X0 une v.a. valeurs dans Zd indpendantes (Yn ). Alors
Xn+1 = Xn + Yn+1 , IN
38
est une chane de Markov (, P ), avec =loi de X0 , et Pxy = yx . Le cas le

plus classique des marches alatoires dans Zd est le cas des marches alatoires
symtriques partant de 0, i.e.
= 0
1
e1 = ,
2d
o (e1 , . . . , ed ) est une base orthonorme de IRd .
2.2.2
Processus de GaltonWatson
Cest un processus de branchement {Zn ; n IN} o Zn dsigne le nombre

dindividus de sexe mle de la nime gnration portant un nom donn,
ces individus tant tous issus dun mme anctre, lunique mle formant la
gnration 0 (Z0 = 1 p.s.). On suppose que chacun des mles de la nime
gnration engendre in enfants mles (1 i Zn ) de telle sorte que
Zn+1 =
Zn
X
in .
i=1
Notre hypothse fondamentale est que les v.a. {in , i = 1, 2, . . . , n =

0, 1, 2, . . .} sont i.i.d., de telle sorte que en particulier Zn et {1n , . . . , pn , . . .}
sont indpendants.
Les {Zn , n IN} forment une chane de Markov (, P ), valeurs dans
IN, avec = 1 ,
Pxy = (px )y ,
o px , la xme puissance de convolution de la loi p sur IN des nk , i.e. la loi
de la somme de x v.a. i.i.d. de loi commune p.
2.2.3
File dattente en temps discret
On considre une file dattente qui se forme un guichet. Xn dsigne le

nombre de clients dans la file en attente ou en train de se faire servir linstant
n. Entre les instants n et n+1 arrivent Yn+1 clients, et si Xn > 0 partent Zn+1
clients. On suppose que X0 , Y1 , Z1 , Y2 , Z2 . . . sont indpendantes, vrifiant
0 < IP(Yn = 0) < 1, et les Zn vrifiant IP(Zn = 1) = p = 1 IP(Zn = 0).
Cest dire que
Xn+1 = Xn + Yn+1 1{Xn >0} Zn+1 .
2.3. PROPRIT DE MARKOV FORTE
2.3
39
Proprit de Markov forte
Soit {Xn ; n IN} une chane de Markov valeurs dans E, dfinie sur
lespace de probabilit (, F , IP). Etant donn une probabilit sur E, on
utilisera la notation IP pour dsigner nimporte quelle probabilit sur (, F )
telle que sous IP la suite {Xn , n 0} est une chane de Markov de loi initiale
, i. e. la loi de X0 est la probabilit , soit
IP (X0 = x) = x , x E.
Dans le cas = x , on notera IPx pour IPx . IPx sinterprte comme la probabilit conditionnelle, sachant que X0 = x. Pour tout n 0, on notera Fn
la tribu des vnements dtermins par X0 , X1 , . . . , Xn , i.e.

Fn = {; (X0 (), . . . , Xn ()) Bn }, Bn P(E n+1 ) .
Thorme 2.3.1. Soit {Xn ; n 0} une chane de Markov (, P ). Alors

pour tout n IN, x E conditionnellement en {Xn = x}, {Xn+p ; p 0} est
une chane de Markov (x , P ) indpendante de (X0 , . . . , Xn ), autrement dit
pour tout A Fn et pour tout m > 0, x1 , . . . , xm E,
IP (A {Xn+1 = x1 , . . . , Xn+m = xm }|Xn = x)
= IP(A|Xn = x)IPx (X1 = x1 , . . . , X = xm )
Preuve
Il suffit de faire la preuve dans le cas A = {X0 = y0 , X1 = y1 , . . . , Xn =
yn } (A est une runion au plus dnombrable dvnements disjoints de cette
forme, et le cas gnral sen dduira donc par la additivit de IP). Il suffit
de considrer le cas yn = x, car dans le cas contraire les deux membres de
lgalit sont nuls. Le membre de gauche de lgalit de lnonc vaut
IP(X0 = y0 , . . . , Xn = x, Xn+1 = x1 , . . . , Xn+m = xm )
IP(Xn = x)
ce qui vaut, en appliquant deux fois la Proposition 2.1.4,
IP(A)
Pxx1 Px1 x2 Pxm1 xm ,
IP(Xn = x)
soit
IP(A|Xn = x)IPx (X1 = x1 , . . . , Xm = xm ).
40

Le rsultat prcdent dit en particulier que le pass et le futur sont conditionnellement indpendants, sachant la position de la chane linstant prsent n.
Nous allons maintenant tendre la proprit de Markov en remplaant
linstant fixe n par un instant alatoire qui vrifie une proprit particulire.
Dfinition 2.3.2. Une v.a. T valeurs dans IN {+} est appele un
temps darrt si n IN,
{T = n} Fn .
Autrement dit, lobservation de X0 , X1 , . . . , Xn , la chane jusqu linstant
n, permet de dcider si oui ou non T vaut n.
Exemple 2.3.3. i) i n, linstant Si du premier passage ltat x :
(
inf{n 0; Xn = x} si un tel n existe,
Sx =
+,
sinon;
est un temps darrt, ainsi que linstant du premier retour ltat x :
(
inf{n 1; Xn = x} si un tel n existe,
Tx =
+,
sinon.
Remarque 2.3.4. Avec la convention que linf de lensemble vide vaut +,
il est inutile de dfinir ces temps sur deux lignes :
Tx = inf{n 1; Xn = x}.
Tx est bien un temps darrt, puisque
{Tx = n} = {X1 6= x} . . . {Xn1 6= x} {Xn = x}.
ii) A E, le temps datteinte de A
TA = inf{n 1; Xn A}
est un temps darrt.
iii) Par contre, linstant de dernier passage en A
LA = sup{n 1; Xn A}
nest pas un temps darrt.
2.4. ETATS RCURRENTS ET TRANSITOIRES
41
On notera FT la tribu des vnements dtermins par X0 , X1 , . . . , XT ,

dfinie comme la tribu des vnements B F tels que n IN,
B {T = n} Fn .
Thorme 2.3.5. (Proprit de Markov forte) Soit {Xn : n 0} une chane
de Markov (, P ), et T un temps darrt. Conditionnellement en {T < }
{XT = x}, {XT +n ; n 0} est une chane de Markov (x , P ) indpendante de
FT . Autrement dit, pour tout A FT , et pour tout m > 0, x1 , . . . , xm E,
IP(A {XT +1 = x1 , . . . , XT +m = xm }|XT = x, T < )
= IP(A|XT = x, T < ) IPx (X1 = x1 , . . . , Xm = xm )
Preuve Il suffit de montrer que n IN,
IP(A {T = n} {XT +1 = x1 , . . . , XT +m = xm }|XT = x)
= IP(A {T = n}|XT = x)IPx (X1 = x1 , . . . , Xm = xm ),
ce qui rsulte du Thorme 2.3.1, puis de sommer sur n.
2.4
Etats rcurrents et transitoires
On dfinit comme cidessus

Tx = inf{n 1; Xn = x}, et on pose la
Dfinition 2.4.1. Ltat x E est dit rcurrent si IPx (Tx < ) = 1, et
transitoire dans le cas contraire (i.e. si IPx (Tx < ) < 1).
On dfinit le nombre de retours ltat x :
X
Nx =
1{Xn =x}
n1
Proposition 2.4.2. a)
Si x est rcurrent,
IPx (Nx = +) = 1.
b) Si x est transitoire,
IPx (Nx = k) = (1 x )kx , k 0,
avec x = IPx (Tx < ) (en particulier Nx < , IPx p.s.)
42
Preuve Posons
Tx2 = inf{n > Tx , Xn = x}

= Tx + inf{n > 0, XTx +n = x}.
On vrifie (exercice) que Tx2 est un temps darrt.
IPx (Tx2 < ) = IPx (Tx2 < |Tx < )IPx (Tx < )
X
=
IPx (Tx2 = Tx + n|Tx < )IPx (Tx < ).
n=1
Mais, en utilisant le Thorme 2.3.5 on obtient

IPx (Tx2 =Tx + n|Tx < )
= IPx (XTx +1 6= x, . . . , XTx +n1 6= x, XTx +n = x|Tx < )
= IPx (X1 6= x, . . . , Xn1 6= x, Xn = x)
= IPx (Tx = n)
Finalement
IPx (Tx2 < ) = (IPx (Tx < ))2 , soit
IPx (Nx 2) = (IPx (Tx < ))2 ,
et on montre en itrant le mme argument que
IPx (Nx k) = (IPx (Tx < ))k , k IN.
Les deux parties de la Proposition se dduisent aisment de cette relation.
Corollaire 2.4.3. Ltat x est rcurrent ssi
(P n )xx = +
n=0
Preuve
IEx (Nx ) =
IPx (Xn = x)
n1
X
n1
(P n )xx
2.4. ETATS RCURRENTS ET TRANSITOIRES
43
Daprs la proposition, cette quantit est infinie lorsque x est rcurrent. Mais
si x est transitoire,
IEx (Nx ) =
X
k=1
Y
x
k(1 x )kx
(1 x )1 <
Dfinition 2.4.4. On dit que ltat y est accessible partir de x (not

x y) sil existe n 0 tel que IPx (Xn = y) > 0. On dit que les tats x et y
communiquent (not ) si x y et y x.
La relation x y est une relation dquivalence (exercice), et on peut
donc partitionner E en classes dquivalence modulo la relation .
Notons que x y n 0 t.q. (P n )xy > 0, puisque IPx (Xn = y) =
n
(P )xy (Proposition 2.1.6(i)).
Thorme 2.4.5. Soit C E une classe dquivalence pour la relation .
Alors tous les tats de C sont soit rcurrents soit transitoires.
Preuve Soit x, y C. Il suffit de montrer que x transitoire y transitoire
(car alors par labsurde y rcurrent x rcurrent). Comme x y, daprs
la dernire remarque n, m > 0 t.q. (P n )xy > 0 et (P m )yx > 0. Mais r 0,
(P n+r+m )xx (P n )xy (P r )yy (P m )yx )
et
X
r=0
(P )yy
X
1
(P n+r+m )xx < .

(P n )xy (P m )yx n=0
Dfinition 2.4.6. Une chane de Markov (, P ) est dite irrductible si

E est constitu dune unique classe dquivalence. Elle est dite rcurrente
irrductible si elle est irrductible et si tous les tats sont rcurrents.
Proposition 2.4.7. Toute chane de Markov irrductible sur un espace fini
E est rcurrente irrductible.
Preuve Par labsurde, puisque E est fini, il y a au moins un tat qui est
visit une infinit de fois avec une probabilit non nulle, donc p.s. daprs la
dichotomie de la Proposition 2.4.2, et cet tat (donc tous les tats) est (sont)
rcurrent(s).
44
2.5
Le cas rcurrent irrductible
Dans cette section, on suppose la chane irrductible rcurrente. Nous

allons commencer par tudier les excursions successives de la chane entre
deux retours successifs ltat x :
Ek = (XTxk , XTxk +1 , . . . , XTxk+1 ), k 0.
Ces excursions sont des suites alatoires de longueur alatoire finie 2,

formes dtats de E distincts de x, sauf le premier et le dernier qui sont
gaux x. Notons U lensemble des suites
u = (x, x1 , . . . , xn , x),
avec n 0, x` 6= x, 1 ` n. U est dnombrable, et constitue lensemble des
valeurs possible des excursions E0 , E1 , . . . . Ces v.a. prennent donc leurs valeurs
dans un ensemble dnombrable, et leur loi de probabilit est caractrise par
les quantits
IP(Ek = u), u U.
Proposition 2.5.1. Sous IPx la suite (E0 , E1 , . . .) des excursions est i.i.d.,
cest dire quil existe une probabilit {pu , u U } telle que pour tout k > 0,
u0 , . . . , u k U ,
IPx (E0 = u0 , E1 = u1 , . . . , Ek = uk ) =
k
Y
p u` .
`=0
Preuve Cest une consquence de la proprit de Markov forte. En effet,

{E0 = u0 } FTx , et lvnement
est de la forme
{E1 = u1 , . . . , Ek = uk }
{XTx +1 = x1 , . . . , XTx +p = xp },
pour p > 0, x1 , . . . , xp E. Donc
IPx (E0 = u0 , E1 = u1 , . . . , Ek = uk )
= IPx ({E0 = u0 } {XT1 +1 = x1 , . . . , XT1 +p = x}|Tx < )
= IPx (E0 = u0 )IPx (X1 = x1 , . . . , Xp = x)
= IPx (E0 = u0 )IPx (E0 = u1 , . . . , Ek1 = uk )
= IPx (E0 = u0 )IPx (E0 = u1 ) . . . IPx (E0 = uk )
= p u0 p u1 p uk ,
2.5. LE CAS RCURRENT IRRDUCTIBLE
45
si {pu , u U } est la loi de E0 sous IPx .
On appelle mesure sur E un vecteur ligne

X {x ; x E} tel que 0 x <
, x. Dans le cas o la mesure est finie,
x < , on peut la normaliser
xE

x
pour en faire une probabilit sur E, P
, x E . Une mesure est dite
z z
invariante (par la matrice de transition P ) si
P = , i.e.
X
yE
y Pyx = x , x E.
Une mesure sera dite strictement positive si x > 0, x E.

Une mesure de probabilit est invariante ssi la chane (, P ) a la proprit que est la loi de Xn , n IN, donc n, {Xn+m ; m IN} est une
chane (, P ).
Remarque 2.5.2. Soit une probabilit invariante, cest dire une probabilit qui vrifie P = , ou encore x E,
X
y6=x
y Pyx = x (1 Pxx ),
soit
IP(Xn 6= x, Xn+1 = x) = IP(Xn = x, Xn+1 6= x),
ce qui signifie qu lquilibre, le nombre moyen de dparts de ltat x entre
les instants n et n + 1 est gal au nombre moyen darrives ltat x entre
n et n + 1. On voit que lquation qui caractrise la probabilit invariante est
trs intuitive.
Thorme 2.5.3. Soit {Xn ; n IN} une chane de matrice de transition P
rcurrente irrductible. Alors il existe une mesure strictement positive invariante , unique une constante multiplicative prs.
Preuve Existence Posons yx =nombre moyen de visites ltat y lors de
46
lexcursion E0 partant de x, soit
yx = IEx
Tx
X
n=1
X
n=1
=
=
1{Xn =y}
IPx (Xn = y, n Tx )
XX
IPx ({Xn1 = z, n 1 < Tx } {Xn = y})
zE n=1
X X
zE
x
n=2
IPx (Xn1 = z, n 1 Tx ) Pzy
= ( P )y .
Notons que lon a utilis la rcurrence lavant dernire galit. On va maintenant utiliser lirrductibilit de la chane. n, m tels que (P n )xy > 0,
(P m )yx > 0. Donc, puisque xx = 1,
0 < (P n )xy = xx (P n )xy yx
0 < (P n )xy = xx (P n )xy ( x P n )y = yx

yx (P m )yx ( x P m )x = xx = 1.
Donc x est bien une mesure strictement positive, qui vrifie xx = 1.
Unicit Soit invariante telle que x = 1. On va montrer que x , puis

que = x . notons que cette partie de la preuve du thorme nutilise que

lirrductibilit.
y = Pxy +
z 1 P z 1 y
z1 6=x
= Pxy +
=
=
Pxz1 Pz1 y +
z1 6=x
z 2 P z 2 z 1 P z 1 y
z1 ,z2 6=x
n=0 z1 ,...,zn 6=x
n=0
yx .
47
Pxzn Pzn zn1 Pz1 y
IPx (Xn+1 = y, Tx n + 1)
Donc = x est aussi une mesure invariante, et x = 0. Soit y E, et

n tel que (P n )yx > 0. Alors
X
0 = x =
z (P n )zx y (P n )yx .
zE
Donc y = 0, et ceci y E.
On a vu quun tat x est rcurrent si

IPx (Tx < ) = 1.
Posons mx = IEx (Tx ).
Si cette quantit est finie, ltat x est dit rcurrent positif, et sinon
rcurrent nul.
Thorme 2.5.4. On se place nouveau dans le cas irrductible. Un tat x
est rcurrent positif ssi tous les tats sont rcurrent positifs, ssi il existe une
1
probabilit invariante, et dans ce cas elle est donne par = (x =
, x
mx
E).
Preuve Notons que
mx =
yx
yE
Donc si x est rcurrent positif, la probabilit = (y =

probabilit invariante.
yx
, y E) est une
mx
48
Rciproquement, si est une probabilit invariante, par lirrductibilit

(cf. la fin de la preuve de lexistence dans le Thorme
2.5.3), est strictement

y
positive, donc si x est un tat arbitraire, = y = , y E est une
x
mesure invariante qui vrifie x = 1. Par lirrductibilit et la preuve de
lunicit dans le Thorme 2.5.3,
mx =
X
yE
yx =
X y
yE
1
< .
x
Donc ltat x, comme tous les tats, est rcurrent positif.
La dichotomie suivante rsulte des deux thormes prcdents : dans le

cas rcurrent irrductible, la chane est rcurrente positive sil existe une probabilit invariante,
rcurrente nulle si toute mesure invariante est de masse
P
infinie ( i i = +). En particulier, si |E| < , il nexiste pas dtat
rcurrent nul, tout tat rcurrent est rcurrent positif.
Corollaire 2.5.5. Soit {Xn } une chane de Markov irrductible, rcurrente
positive. Pour tout x E, on pose Tx = inf{n > 0, Xn = x}. Alors pour tout
y E,
IEy (Tx ) < .
Preuve Remarquons que
Tx Tx 1{Ty <Tx } ,
do en prenant lesprance sous IPx ,
mx IEx (Tx |Ty < Tx )IPx (Ty < Tx ).
Mais il rsulte de proprit de Markov forte que IEx (Tx |Ty < Tx ) > IEy (Tx ),
et de lirrductibilit que IPx (Ty < Tx ) > 0. Le rsultat est tabli.

Remarque 2.5.6. Cas non irrductible. Limitons nous pour simplifier
au cas |E| < . Il existe au moins une classe rcurrente (ncessairement rcurrente positive), donc il existe au moins une probabilit invariante. Toute
probabilit invariante ne charge que les tats rcurrents. Sil y a une seule
classe rcurrente, alors la chane possde une et une seule probabilit invariante. Sinon, chaque classe rcurrente on associe une unique probabilit
49
invariante dont le support est cette classe, et toutes les mesures invariantes
sobtiennent comme combinaison linaire convexe des prcdentes. Donc ds
quil existe au moins deux classes rcurrentes, il y a une infinit non dnombrable de probabilits invariantes.
Revenons au cas irrductible. On peut maintenant tablir le thorme
ergodique, qui constitue une gnralisation de la loi des grands nombres.
Thorme 2.5.7. Supposons la chane irrductible et rcurrente positive.
Dsignons par = (x , x E) son unique probabilit invariante. Si f : E
IR est borne, alors IP p. s., quand n ,
n
X
1X
f (Xk )
x f (x).
n k=1
xE
Preuve Par hypothse, il existe c tel que |f (x)| c, x E.

Dfinissons
X
Nx (n) =
1{Xk =x} ,
1kn
le nombre de retours ltat x avant linstant n. On veut tudier les limites

quand n de
Nx (n)
.
n
Dsignons par Sx0 , Sx1 , . . . , Sxk , . . . les longueurs des excursions
E0 , E1 , . . . , Ek , . . . partant de x. On a
Sx0 + + SxNx (n)1 n < Sx0 + + SxNx (n) .
Donc
N (n)
N (n)1
Sx0 + + Sx x
Nx (n)
n
S 0 + + Sx x
x
Nx (n)
Nx (n)
Mais par le caractre i.i.d. des Ek (donc aussi des Sxk ),

N (n)
Sx0 + + Sx x
Nx (n)
Comme Nx (n) + IPx p.s.,
IEx (Tx ) = mx IPx p.s.
n
mx IPx p.s.
Nx (n)
50
1
Nx (n)
IPx p.s.
n
mx
Cette convergence a galement lieu IP p.s., loi initiale, puisque les limites de Nxn(n) sont les mmes pour la chane {Xn ; n 0} et pour la chane
{XTx +n ; n 0}.
X
Soit maintenant F E. On note f =
x f (x).
xE

n
X N (n)
1 X

x
f (Xk ) f =
x f (x)

n

n
xE
k=1

X Nx (n)
X Nx (n)

+ x
c
n x + c
n
xF
xF
/

X Nx (n)
X
X

N
(n)
x

=c
x
+ 2c
x
n x + c
n
xF
xF
xF
/

X Nx (n)
X

2c
x
n x + 2c
xF
On choisit F fini tel que
xF
/
, puis N () tel que n N (),

4c
xF
/

X Nx (n)

,

x
4c
n
xF
x
et le rsultat est tabli dans le cas f borne.
On va maintenant tablir un thorme de la limite centrale, en nous limitant - pour simplifier - au cas E fini.
Thorme 2.5.8. Soit {Xn ; n IN} une chane de Markov valeurs dans
E fini, de matrice de transition P irrductible. Soit lunique probabilit
invariante de la chane, et f : E IR telle que
X
f =
x fx = 0.
xE
Alors il existe f 0 tel que, quand n ,

n
1 X
f (Xk ) converge en loi vers f Z,

n 1
51
o Z ' N (0, 1).

Preuve

n
X
1 X
Nx (n)
f (Xk ) =
nfx
x
n 1
n
xE
!
r
p
X
Nx (n)
n
Nx (n)
p
=
x f x
n
Nx (n)
x
xE
Par le mme raisonnement que dans la preuve du thorme ergodique, cette

dernire quantit se comporte quand n comme
r
N (n)
X
Nx (n) Sx0 + + Sx x
p
,
x f x
n
N
(n)
x
xE
avec Sxk = Sxk 1x .

Par le thorme de la limite centrale pour les v.a. i.i.d., le vecteur dont
la xime coordonne est
N (n)
Sx0 + + Sx x
p
Nx (n)
converge en loi quand n vers un vecteur alatoire gaussien centr. En

outre, on a les convergences p.s.
Nx (n)
x , x E.
n
On en dduit la convergence en loi de la somme cidessus vers une v.a.
gaussienne centre.

Le calcul de la variance f2 ne se dduit pas aisment de la preuve ci
dessus. On va donner - sans dmonstration - une formule pour f2 . Au moins
sous les hypothses du Thorme 2.6.7 cidessous, la quantit suivante est
bien dfinie :
X
(Qf )x =
IEx [f (Xn )], x E.
n=0
Notons que
(I P )Qf = f.
52
On a
f2 =
X
xE
=2
X
x
2.6
x (Qf )2x
X
x
x (Qf )x fx
x (P Qf )2x
X
x fx2 .
Le cas apriodique
On vient de montrer en particulier que dans le cas irrductible rcurrent

positif,
n
1X
1{Xk =y} y p.s. ,
n k=1
quand n . En prenant lesprance sous IPx , on obtient que
n
1X k
(P )xy y , x, y E.
n k=1
On voit que les moyennes de Csaro des (P k )xy convergent. On peut se poser
la question : estce que
(P n )xy y , x, y E
Il est facile de voir que ce nest pas toujours le cas sous lhypothse irrductible et rcurrent positif.
Considrons une marche alatoire sur E = Z/N , N entier pair (i.e. on
identifie 0 et N )
Xn = X 0 + Y 1 + + Y n ,
avec les Yn i.i.d. valeurs dans {1, 1}, autrement dit
Xn = (X0 + Y1 + + Yn ) mod N.
Cette chane est irrductible, et rcurrente positive car E est fini. Mais
(P 2k+1 )xx = 0, pour tout x E. Dans le cas particulier N = 2, on a P 2k = I
et P 2k+1 = P .
Pour esprer avoir la convergence souhaite, il faut faire une hypothse
supplmentaire
2.6. LE CAS APRIODIQUE
53
Dfinition 2.6.1. Un tat x E est dit apriodique si N tel que

(P n )xx > 0,
pour tout n N.
Lemme 2.6.2. Si P est irrductible et sil existe un tat apriodique x, alors

y, z E, M tel que (P n )yz > 0, n M . En particulier, tous les tats
sont apriodiques.
Preuve Daprs lirrductibilit r, s N tels que (P r )yx > 0, (P s )xz > 0.
En outre

P r+n+s yz (P r )yx (P n )xx (P s )xz > 0,
ds que n N . Donc on a la proprit dsire avec M = N + r + s.
Remarque 2.6.3. Plaons nous dans le cas irrductible, rcurrent positif.

Soit la probabilit invariante. y > 0, y E. Donc (P n )xy > 0 partir
dun certain rang N est une CN pour que (P n )xy y . On va voir maintenant que cest une CS.
Thorme 2.6.4. Supposons P irrductible, rcurrent positif et apriodique.
Soit lunique probabilit invariante. Alors si {Xn ; n IN} est une chane
de Markov (, P ), y E,
IP(Xn = y) y , n ,
soit
(P n )y y ,
pour toute loi initiale . En particulier, x, y E,
(P n )xy y .
Preuve On va utiliser un argument de couplage. Soit {Yn , n IN} une
chane de Markov (, P ), indpendante de {Xn ; n IN}, et x E arbitraire.
On pose
T = inf{n 0; Xn = Yn = x}
54
Etape 1 Montrons que IP(T < ) = 1.

{Wn = (Xn , Yn ); n IN} est une chane de Markov valeurs dans E E,
de loi initiale (avec (x,u) = x u ), et de matrice de transition P(x,u)(y,v) =
Pxy Puv . Comme P est apriodique, x, u, y, v, pour n assez grand
(P n )(x,u)(y,v) = (P n )xy (P n )uv > 0.
Donc P est irrductible. En outre, P possde la probabilit invariante
(x,u) = x u .
Donc, daprs le Thorme 2.5.4, P est rcurrent positif. T est le premier
temps de passage de la chane {Wn } au point (x, x) ; il est donc fini p.s.
Etape 2 On pose
Zn =
Xn , n T ;
Yn , n > T .
On va maintenant montrer que {Zn ; n IN} est une chane de Markov (, P ).

Notons que par la proprit de Markov forte, les deux processus {XT +n ;
n 0} et {YT +n ); n 0} sont des chanes de Markov (x , P ), indpendantes
de (X0 , . . . , XT ). Par consquent, {Zn , n IN} est, comme {Xn }, une chane
de Markov (, P ).
Etape 3 On va conclure. On a trois identits
IP(Zn = y) = IP(Xn = y)
IP(Yn = y) = y
IP(Zn = y) = IP(Xn = y, n T ) + IP(Yn = y, n > T )
Donc
|IP(Xn = y) y | = |IP(Zn = y) IP(Yn = y)|
IP(n < T )
0,
quand n .
55
On va maintenant prciser la vitesse de convergence dans le thorme

prcdent, sous une hypothse supplmentaire, dite condition de Doeblin :
n0 IN, > 0 et une probabilit sur E tels que
(D) (P n0 )xy y , x, y E.
Remarque 2.6.5. La condition (D) est quivalente la condition
x E, n0 1 tels que inf (P n0 )yx > 0.
yE
Elle entrane que cet tat x est apriodique. Mais elle nentrane pas lirrductibilit (il est facile de construire un contreexemple). On verra lexercice
2.9.5 que cette condition entrane lexistence dune unique classe rcurrente,
donc dune unique probabilit invariante.
Lemme 2.6.6. Si P est irrductible et apriodique, et E fini, alors la condition (D) est satisfaite.
Preuve Choisissons x E. y E, ny tel que n ny (P n )yx > 0.
Posons n
= sup ny , = inf (P n )yx . Alors > 0, et y E,
yE
(P n )yx .
Donc la condition (D) est satisfaite avec n0 = n
, = , = x .
Par ailleurs, la condition de Doeblin est trs rarement satisfaite dans le

cas cardE = +, car alors typiquement n IN, y E,
inf (P n )xy = 0.
xE
Thorme 2.6.7. Supposons que P est irrductible et satisfait la condition

(D). Alors P est apriodique, rcurrente positive, et si dsigne sa probabilit
invariante,
X
|(P n )xj y | 2 (1 )[n/n0 ] , x E, n IN,
yE
o [n/n0 ] dsigne la partie entire de n/n0 .

Nous allons tout dabord introduire un outil qui nous sera utile dans la
preuve du thorme.
56
Dfinition 2.6.8. On appelle couplage de deux probabilits p et q sur E tout

couple alatoire (X, Y ) de deux v.a. valeurs dans E, telles que p soit la loi
de X et q celle de Y .
Lemme 2.6.9. Soit p et q deux probabilits sur E. On a lgalit
||p q||1 = 2
inf
(X,Y ) couplage de p, q
IP(X 6= Y ).
Preuve : Tout dabord, si (X, Y ) est un couplage de p et q,

X
IP(X = Y ) =
IP(X = Y = x)
xE
X
xE
px q x ,
do
IP(X 6= Y ) 1
=
X
xE
px q x
(px qx )+ ,
|px qx |
xE
et
kp qk1 =
xE
2IP(X 6= Y ).
P
Dun autre cot, posons =
xE px qx . Si , U , V et W sont des v.
a. indpendantes, avec IP( = 1) = 1 IP( = 0) = , U de loi r t.q.
rx = 1 px qx , V de loi p t.q. px = (1 )1 (px qx )+ , W de loi q t.q.
qx = (1 )1 (qx px )+ , alors
X = U + (1 )V,
Y = U + (1 )W
ralise un couplage (X, Y ) de p et q tel que 2IP(X 6= Y ) = kp qk1 .
Preuve du thorme 2.6.7 : La chane tant irrductible, la condition

(D) entrane clairement son caractre apriodique.
57
Etape 1 On va tout dabord montrer que pour toutes probabilits et

sur E,
kP n P n k1 2(1 )[n/n0 ] .
(2.1)
Pour cela, daprs le Lemme 2.6.9, il suffit de construire un couplage (Xn , Yn )

des probabilits P n et P n , tel que
IP(Xn 6= Yn ) (1 )[n/n0 ] .
Supposons que n = kn0 + m, avec m < n0 . Etant donn (X0 , Y0 ) de loi
sur E E, pour ` = 0, 1, . . . , k 1, on dfinit (X(`+1)n0 , Y(`+1)n0 ) en
fonction de (X`n0 , Y`n0 ) comme suit. On se donne une suite {` , U` , V` , ` 0}
de v.a.indpendantes, les ` de Bernoulli t.q. IP(` = 1) = = 1 IP(` = 0),
les U` de loi m
= 1 m et les V` de loi uniforme sur [0, 1]. On note enfin
Qxy = (1 )1 ((P n0 )xy my ),
et f : E [0, 1] E telle que si V suit la loi uniforme sur [0, 1], f (x, V ) suit
la loi Qx , x E. On pose alors
X(`+1)n0 = ` U` + (1 ` )f (X`n0 , V` )
Y(`+1)n0 = ` U` + (1 ` )f (Y`n0 , V` ).
Notons que lon a bien construit un couplage (X`n0 , Y`n0 ) de P `n0 et P `n0 ,
pour ` = 0, . . . , k, tel que
IP(X`n0 6= Y`n0 ) IP(`m=0 m = 0) = (1 )` .
Il reste construire un couplage (Xn , Yn ) de P n et P n , tel que {Xn 6=
Yn } {Xkn0 6= Ykn0 }, ce qui est facile.
Etape 2 Montrons maintenant que pour toute probabilit , {P n , n

0} est une suite de Cauchy dans lespace de Banach `1 (E). Si = P m ,
daprs (2.1),
kP n+m P n k1 = kP n P n k1 2cnn0 ,
o c = (1 )1/n0 , do le rsultat.
Etape 3 Il rsulte de la 2me tape que la suite de probabilits {P n , n

0} converge dans `1 (E), vers une probabilit sur E. Mais
P = lim P n+1 = ,
n
58
donc est invariante, et la chane est rcurrente positive. En consquence,

daprs (2.1), pour toute probabilit sur E,
kP n k1 2(1 )[n/n0 ] ,
ce qui tablit la vitesse de convergence annonce, et lapriodicit.
2.7
Chane de Markov rversible
On se place dans le cas irrductible, rcurrent positif. La formulation de

la proprit de Markov pass et futur sont conditionnellement indpendants
sachant le prsent nous indique que si {Xn ; n IN} est une chane de Mar nN = XN n ; 0 n N } est aussi une chane de Markov. En
kov, alors N , {X
gnral, la chane retourne nest pas homogne, sauf si {Xn } est initialise
avec sa probabilit invariante .
Proposition 2.7.1. Soit {Xn ; n IN} une chane de Markov (, P ), avec
N; 0
probabilit invariante et P irrductible. Alors la chane retourne { X
n
n N } est une chane de Markov (, P ), avec
y Pyx = x Pxy , x, y E
Preuve
p+1 = x|X
p = y)
IP(X
= IP(Xn = x|Xn+1 = y)
= IP(Xn+1 = y|Xn = x)
IP(Xn = x)
.
IP(Xn+1 = y)
On dit que la chane {Xn ; n IN} est rversible si P = P , ce qui a lieu

si et seulement si la relation suivante dite dquilibre ponctuelest satisfaite :
x Pxy = y Pyx , x, y E,
avec probabilit invariante. Il est facile de vrifier que si une probabilit
satisfait cette relation, alors elle est invariante par P . La rciproque na
aucune raison dtre vraie.
2.7. CHANE DE MARKOV RVERSIBLE
59
Remarque 2.7.2. Si est la probabilit invariante dune chane irrductible

(et donc aussi rcurrente positive), la chane nest pas ncessairement rversible par rapport . Supposons que cardE 3. Alors il peut exister x 6= y
t.q. Pxy = 0 6= Pyx . Do x Pxy = 0 6= y Pyx . Les transitions de y x de la
chane initiale correspondent aux transitions de x y de la chane retourne,
donc Pyx 6= 0 Pxy 6= 0, do P 6= P .
Remarque 2.7.3. tant donn une matrice de transition dune chane de
Markov rcurrente irrductible P , un problme classique est de calculer sa
Un autre problme, qui apparatra au chapitre suivant, est de dterminer
une matrice de transition P irrductible, dont la chane associe admette
comme probabilit invariante une mesure donne.
Le second problme est facile rsoudre. En fait il existe un grand nombre
de solutions. Le plus simple est de chercher P telle que la chane correspondante soit rversible par rapport la mesure donne . Autrement dit, il suffit
de trouver une matrice markovienne irrductible P telle que la quantit x Pxy
soit symtrique en x, y.
Pour rsoudre le premier problme, on peut l aussi chercher rsoudre
lquation
x Pxy = y Pyx , x, y E,
qui contrairement lquation P = , nimpose pas de sommation en i.

Mais cette quation na de solution que si la chane est rversible par rapport
son unique probabilit invariante, ce qui nest pas forcment le cas.
Supposons maintenant que lon se donne le couple (P, ), et que lon
veuille vrifier si oui ou non est la probabilit invariante associe la
chane de matrice de transition irrductible P . Si la quantit x Pxy est symtrique en x, y, la rponse est oui, et on a mme mieux, la rversibilit. Si
non, il faut vrifier si oui ou non P = . Une faon de faire ce calcul est
donne par la Proposition suivante.
Proposition 2.7.4. Soit P une matrice de transition irrductible, et une
probabilit sur E. On pose pour tout x, y E,
(
y
P , si x 6= y,
x yx
Pxy =
Pxx ,
si x = y.
Alors est la probabilit invariante de la chane de matrice de transition P
60
et P est la matrice de la chane retourne ssi pour tout x E,

X
Pxy = 1.
yE
2.8
Statistique des chanes de Markov
Le but de cette section est dintroduire des notions lmentaires sur la

statistique des chanes de Markov.
On a vu que pour tout n > 0, la loi du vecteur alatoire (X0 , X1 , . . . , Xn )
ne dpend que de la loi initiale et de la matrice de transition P .
La premire question que lon peut se poser en statistique des chanes
de Markov est : peuton estimer le couple (, P ) au vu de lobservation
de la suite (X0 , X1 , . . . , Xn ), dune telle faon que lerreur destimation soit
petite quand n est grand. Comme on va le voir cidessous, on peut estimer
P . Par contre, on ne peut raisonnablement estimer la loi initiale que si
celleci concide avec la probabilit invariante, et que lon est dans le cas
irrductible et rcurrent positif, ce que nous supposerons dans toute la suite
de cette section.
Commenons par lestimation de la probabilit invariante .
Pour tout x E,
n
1 X
n
x =
1{X` =x}
n+1
`=0
est un estimateur consistant de x , puisquune consquence immdiate du

thorme ergodique est que
Proposition 2.8.1. Pour tout x E,
nx x p.s., quand n .
Passons maintenant lestimation des Pxy , x, y E. On choisit lestimateur
n
Pxy
=
n1
X
`=0
1{X` =x,X`+1 =y}
n1
X
`=0
On a la
1{X` =x}
2.9. EXERCICES
61
n
Proposition 2.8.2. Pour tout x, y E, Pxy
Pxy p.s. quand n .
Preuve On a bien sr
n1
n
Pxy
=
On sait que
1X
1{X` =x}
n `=0
!1
n1
1X
1{X` =x,X`+1 =y} .
n `=0
n1
1X
1{X` =x} x .
n `=0
en = (Xn , Xn+1 ). Il nest pas trs difficile de vrifier que

Pour n 0, posons X
en , n 0} est une chane de Markov irrductible et rcurrente positive
{X
e = {(x, y) E E, Pxy > 0}, de matrice de transition
valeurs dans E
Pe(x,y)(u,v) = yu Puv , et de probabilit invariante
e(x,y) = x Pxy . Le thorme
e
ergodique appliqu la chane {Xn } entrane que
n1
1X
1{X` =x,X`+1 =y} x Pxy
n
`=0
2.9
Exercices
Exercice 2.9.1. Montrer que la chane (Xn , n IN) trois tats 0, 1, 2, de

matrice de transition
1
0
0
Q = p 1 p q q (p, q > 0, p + q 1)
0
0
1
et dtat initial 1 (P (X0 = 1) = 1) change dtat pour la premire fois un

instant alatoire T 1 de loi gomtrique. Montrer ensuite que XT est une
v.a. indpendante de T , de loi (p/(p + q), 0, q/(p + q)), et enfin que Xt = XT
si t T .
Exercice 2.9.2. Soit {Xn ; n IN}
transition
1/2 0
0 1/2
0
P =
0
0 1/4
1/2 0
une chane de Markov de matrice de
0
0 1/2
0 1/2 0
1
0
0
.
1/4 1/4 1/4
0
0 1/2
62
Dterminer les classes dquivalence, les tats transitoires et rcurrents, et

les mesures invariantes.
Exercice 2.9.3. On considre une chane de Markov {Xn ; n IN} valeurs
dans lespace fini E = {1, 2, 3, 4, 5, 6}, de matrice de transition P , dont les
termes horsdiagonaux sont donns par
2/3 1/3 0
0
0
1/4
0
0 1/5 2/5
0
0
1/2
0
0
P =
0
0
2/3
0
0
0
0
0
0
1/2
0
0
0
0 1/2
1 Dterminer les termes diagonaux de la matrice de transition P .
2 Montrer que E est constitu de trois classes dquivalence que lon prcisera, lune T tant transitoire, les deux autres R1 , R2 rcurrentes.
3 Dterminer une probabilit invariante admettant R1 comme support, et

une probabilit invariante admettant R2 comme support. En dduire
toutes les probabilits invariantes.
Exercice 2.9.4. Soit P une matrice markovienne sur un ensemble fini E de

cardinal d.
a Montrer que la probabilit est invariante ssi
(I P + A) = a,
o A est la matrice d d dont tous les lments sont gaux 1, et a le
vecteur de IRd dont tous les lments sont gaux 1.
b Montrer que P est irrductible ssi I P + A est inversible.
c Dduire des questions prcdentes une mthode de calcul de .

Exercice 2.9.5. Soit P une matrice markovienne sur un nensemble fini ou
dnombrable E, qui satisfait la condition (D) de la section 2.6.
1. Onsuppose dabord la condition (D) satisfaite avec n0 = 1. Montrer
quil existe un tat rcurrent, qui est p. s. visit par la chane une
infinit de fois, quelque soit le point de dpart. En dduire que la chane
possde une unique classe rcurrente. (Indication : on pourra montrer
2.9. EXERCICES
63
quil existe x E, > 0 tels que la chane puisse tre simule comme
suit : chaque instant n, on va ltat x avec la probabilit , et on
fait un autre mouvement (qui lui dpend de ltat o est la chane) avec
probabilit 1 ).
2. Montrer que le rsultat est encore vrai dans le cas gnral de lhypothse (D). (Indication : considrer la chane chantillonne {Xkn0 , k =
0, 1, . . .}).
X
Exercice 2.9.6. Montrer que si x est rcurrent, alors
(P n )xy = + ssi
n0
x y, = 0 ssi x 6 y.
Exercice 2.9.7. Marche alatoire sur Z On pose

Xn = X 0 + Y 1 + + Y n ,
o les Xn prennent leurs valeurs dans Z, les Yn dans {1, 1}, X0 , Y1 , .., Yn , ..
tant une suite indpendante, et pour tout n,
IP(Yn = 1) = p = 1 IP(Yn = 1),
0 < p < 1.
a Montrer que la chane {Xn } est irrductible.

b Montrer que dans le cas p 6= 1/2, la chane est transitoire (utiliser la loi
des grands nombres).
c On considre
(on
P le cas p = 1/2. Montrer que la chane est rcurrente

valuera n1 (P n )00 en utilisant la formule de Stirling n! ' 2n( ne )n ).
Montrer que la chane est rcurrente nulle (on cherchera une mesure
invariante). Prciser les valeurs de
lim sup Xn et lim inf Xn .
n
Exercice 2.9.8. Marche alatoire sur Zd On pose

Xn = X 0 + Y 1 + + Y n ,
o les Xn prennent leurs valeurs dans Zd , les Yn tant i.i.d., globalement

indpendants de X0 , de loi donne par
IP(Yn = ei ) = (2d)1 ,
1 i d,
{e1 , . . . , ed } dsignant la base canonique de Zd .

Montrer que {Xn } est une chane de Markov irrductible valeurs dans
d
Z , rcurente nulle si d = 1, 2, transitoire si d 3.
64
Exercice 2.9.9. On reprend la marche alatoire valeurs dans Z dans le cas

symmtrique (cas p = 1/2), et on va tablir la rcurrence par un argument
totalement diffrent de celui de lexercice 2.9.7. On suppose pour simplifier
que X0 = x Z.
Pour tous a, b Z, avec a < x < b, on pose
Ta,b = inf{n 0; Xn 6]a, b[},
Ta = inf{n 0; Xn = a},
Tb = inf{n 0; Xn = b},
et on remarque que
XnTa,b = x +
n
X
k=1
Yk 1{Ta,b >k1} .
a Montrer que les v.a. Yk et 1{Ta,b >k1} sont indpendantes. En dduire que
IEXnTa,b = x.
b Montrer que |XnTa,b | sup(|a|, |b|), Ta,b < p.s., et
IEXTa,b = x.
c Etablir les identits
IP(XTa,b = a) =
bx
,
ba
IP(XTa,b = b) =
xa
.
ba
c Montrer que IP(Ta < Tn ) 1, quand n .

d Montrer que Ta < p.s., et que de mme Tb < p.s. En dduire que la
chane est rcurrente.
Exercice 2.9.10. Marche alatoire rflchie en 0 Les {Yn } tant dfinis
comme lexercice 2.9.7, on dfinit la chane de Markov {Xn } valeurs dans
IN par la formule de rcurrence
Xn+1 = 1{Xn >0} Yn+1 + 1{Xn =0} .
On suppose bien sr que X0 IN. On notera cidessous {Xn0 } la marche
alatoire de lexercice 2.9.7, avec le mme X0 et les mmes {Yn } que ceux
utiliss dans la dfinition de la chane {Xn }. On utilisera dans cet exercice
les rsultats de lexercice 2.9.7.
2.9. EXERCICES
65
a Montrer que la chane ainsi dfinie est irrductible valeurs dans IN.
Prciser sa matrice de transition.
b Montrer que p.s., Xn Xn0 , n. En dduire que {Xn } est transitoire
dans le cas p > 1/2.
c On pose T = inf{n 0, Xn = 0}. Montrer que Xn = Xn0 si T n.
En dduire que la chane est rcurrente dans le cas p 1/2 (on pourra
par exemple montrer que ltat 1 est rcurrent).
d Montrer que la chane est rcurrente nulle dans le cas p = 1/2, rcurrente positive dans le cas p < 1/2 (on montrera que dans le premier
(resp. le second) cas, la mesure (1/2, 1, 1, 1, . . .) (resp. la mesure dfinie par
0 =
1 2p
,
2(1 p)
x =
1 2p px1
, x1
2 (1 p)x+1
est une mesure invariante).

Exercice 2.9.11. Chane de naissance et de mort Soit {Xn } une chane
de Markov valeurs dans E = IN, de matrice de transition P dfinie par
Px,x1 = qx ,
Px,x = rx ,
Px,x+1 = px ,
avec pour tout x IN, px + rx + qx = 1, q0 = 0, qx > 0 si x > 0, et px > 0

pour tout x IN.
Pour x IN, on pose x = inf{n 0, Xn = x}. Etant donns trois
tats a, x et b tels que a x b, on pose u(x) = IPx (a < b ). On dfinit
{x , x IN} par 0 = 1 et pour x > 0, x = q1 qx /p1 px .
1. Montrer que la chane est irrductible valeurs dans IN.
2. Pour a < x < b, tablir une relation entre u(x) u(x + 1) et u(x 1)
u(x). Calculer u(a) u(b) en fonction des x , et en dduire que pour
a < x < b,
y=b1
y=b1
X
X
y .
u(x) =
y /
y=x
y=a
Traiter le cas particulier o px = qx pour tout x > 0.
3. Calculer
IP1 (0 = ) et montrer que la chane est rcurrente ssi
P
0 y = +.
66
4. Dterminer les mesures sur E invariantes par P , et en dduire que la

chane est rcurrente positive ssi
X
p0 p1 px1
x=1
q1 q2 q x
< .
5. Montrer que dans le cas rcurrent positif la chane est rversible. (Indication : on remarque tout dabord que pour x > 0 la relation x = (P )x
scrit
x Px,x1 + x Px,x+1 = x1 Px1,x + x+1 Px+1,x .
On considre ensuite le cas x = 0, puis on montre par rcurrence que
x Px,x+1 = x+1 Px+1,x ,
x 0).
Exercice 2.9.12. File dattente On considre une file dattente en temps

discret qui se forme un guichet, suivant le phnomne suivant : chaque
instant n IN, il arrive un client avec la probabilt p, (0 < p < 1) et pas de
client avec la probabilit 1 p. Lorsquil y a au moins un client en attente,
chaque instant un client est servi et quitte le systme avec la probabilit
q, 0 < q < 1, et personne ne quitte le systme avec la probabilit 1 q
(un client qui arrive linstant n repart au plus tt linstant n + 1). Tous
les tirages cidessus sont indpendants entre eux. On note Xn le nombre de
clients prsents dans la file linstant n.
1. Montrer que {Xn , n IN} est une chane de Markov irrductible
valeurs dans IN. Prciser sa matrice de transition Pxy , x, y IN.
2. Donner une CNS sur p et q pour que la chane {Xn } possde une probabilit invariante. On supposera dans la suite que cette condition est
satisfaite et on notera {x , x IN} lunique probabilit invariante que
lon dterminera.
3. Calculer IE (Xn ).
4. On prcise maintenant que les clients sont servis dans lordre de leur
arrive. On dsigne par T le temps de sjour dun client quelconque. Le
systme tant initialis avec sa probabilit invariante, quelle est lesprance de T ?
Exercice 2.9.13. File dattente On considre une file dattente qui se

forme un guichet. Xn dsigne le nombre de clients dans la file en attente ou
2.9. EXERCICES
67
en train de se faire servir linstant n. Entre les instants n et n + 1 arrivent

Yn+1 clients, et si Xn > 0 partent Zn+1 clients. On suppose que X0 , Y1 , Z1 ,
Y2 , Z2 . . . sont indpendantes, avec les Yn i.i.d. vrifiant 0 < IP(Yn = 0) < 1,
et les Zn vrifiant IP(Zn = 1) = p = 1 IP(Zn = 0).
1. Montrer que (Xn ; n IN) est une chane de Markov dont on prcisera
la probabilit de transition.
2. On note la fonction gnratrice des Yn , celle des Zn , n celle des
Xn . Calculer n+1 en fonction de n , et .
3. Montrer quil existe une unique probabilit invariante dont on calculera
la fonction gnratrice ssi IE(Y1 ) < p.
Exercice 2.9.14. Aloha discret Le but de cet exercice est dtudier le
protocole de communication suivant : des usagers se prsentent aux instants
{1, 2, . . . , n, . . .} pour transmettre un message via un canal, qui ne peut transmettre quun message la fois. Lorsque deux ou plus usagers se prsentent
en mme temps, aucun message ne passe, chaque usager en est averti, et il
tente de se reprsenter plus tard. On cherche une politique de retransmission
distribue, i.e. telle que chaque usager puisse dcider quand se reprsenter,
sans connatre les intentions des autres usagers. Le protocole Aloha discret
stipule que chaque usager dont le message a t bloqu tente sa chance
linstant suivant avec la probabilit p. Si son tirage alatoire lui indique de
ne pas se prsenter, il tente sa chance linstant suivant avec la probabilit
p, et ainsi de suite jusqu ce quun tirage lui indique de tenter sa chance.
On appelle Yn le nombre de messages frais (i.e. qui se prsentent pour la
premire fois) arrivant au canal de transmission linstant n. On suppose
que la suite {Yn } est i.i.d., avec IP(Yn = i) = ai , i IN, et IE(Yn ) > 0. Soit
Xn le nombre de messages retards en attente dtre transmis linstant n.
1. Montrer que {Xn } est une chane de Markov dont on prcisera la matrice de transition.
2. Montrer que {Xn } est irrductible, mais nest pas rcurrente positive.
Exercice 2.9.15. Programmation On reprend la file dattente de lexercice

2.9.12.
1. Simuler et tracer une trajectoire de {Xn , n 0} de n = 1 n = 1000,
pour p = 1/2 et successivement q = 3/5, 7/13, 15/29, 1/2.
2. Puisque {Xn } est irrductible, rcurrente positive et apriodique,
(P n )yx x . Tracer au choix lhistogramme (ou la fonction de rpartition) empirique de (P n )y , pour n = 100, 500, 1000, pour une taille
68
dchantillon de 104 . On reprsentera lhistogramme (resp. la fonction

de rpartition) de sur le mme graphique. On traitera les cas p = 1/2,
q = 3/5, 7/13.
3. Comparer graphiquement les quantits
n
n
X
k=1
1{Xk =x} ,
x IN
et lhistogramme de , pour n = 103 , 104 , 105 . On traitera les cas

p = 1/2, q = 3/5, 7/13. Pour chaque valeur de q, on pourra choisir
lintervalle utile des valeurs de x au vu des tracs de la question prcdente.
2.10
2.10.1
Problmes corrigs
Enoncs
Problme 2.10.1. On considre une chane de Markov en temps discret

{Xn ; n IN} valeurs dans lespace fini E = {1, 2, 3, 4, 5, 6}, de matrice de
transition P , dont les termes horsdiagonaux sont donns par
1/2 0
0
0
0
1/3
0
0
0
0
0
0
0
7/8
0
P =
1/4 1/4 0
1/4
1/4
0
0 3/4 0
0
0 1/5 0 1/5 1/5
1. Dterminer les termes diagonaux de la matrice de transition P .

2. Dterminer les classes dquivalence de la chane.
3. Montrer que les tats 4 et 6 sont transitioires, et que lensemble des
autres tats se dcompose en deux classes rcurrentes que lon prcisera. Dans la suite, on notera T = {4, 6}, C la classe rcurrente contenant
1, et C 0 lautre classe rcurrente. Pour tout x, y E, on dfinit x :=
IPx (T < ), o T := inf{n 0; Xn C}.
4. Montrer que
(
1, si x C;
x
0, si x C 0 ;
2.10. PROBLMES CORRIGS
69
et que 0 < x < 1, si x T .
5. En utilisant la partition {T < } = {T = 0}{T = 1}{2 T < }

et en conditionnant dans le calcul de IPx (2 T < ) par la valeur de
X1 , tablir la formule
x =
X
yE
Pxy y ,
si x T .
6. Calculer 4 et 6 .
7. En dduire (quasiment sans calcul !) les valeurs de IP 4 (TC 0 < ) et de
IP6 (TC 0 < ), o TC 0 := inf{n 0; Xn C 0 }.
Problme 2.10.2. Supposons quune mmoire dordinateur contient n donnes 1, 2, . . . , n. Cette mmoire reoit des requtes successives, qui consistent
en une des donnes. Plus la donne requise est proche de la tte de liste,
plus laccs la requte est rapide. On suppose que les requtes successives
sont des v. a. i. i. d. Si la loi commune des requtes tait connue, on aurait
intrt ranger les donnes par ordre dcroissant de probabilit dtre requis.
Mais cette probabilit (p1 , p2 , . . . , pn ) est inconnue (ou lentement variable).
On suppose que pk > 0, 1 k n.
On va donc choisir une faon de replacer la donne aprs consultation,
de telle sorte qu long terme le rang moyen des donnes requises soit le plus
petit possible.
On va considrer deux telles mthodes. La premire consiste replacer
en tte de liste la donne qui vient dtre requise. La seconde consiste faire
progresser celleci dun rang en la replaant dans la mmoire. Dans chacun
des ceux cas, on a une chane de Markov irrductible valeurs dans lensemble
E des permutations de lensemble {1, 2, . . . , n}. On notera Q la matrice de
transition de la premire chane et la mesure invariante associe, P la
matrice de transition de la seconde chane et la mesure invariante associe.
A la chane de matrice Q, on associe la quantit
def
JQ =
n
X
(position de k)pk ,
k=1
o (position de k) est lesprance sous la probabilit de la position de

llment k.
70
A la chane de matrice P , on associe la quantit

def
JP =
n
X
(position de k)pk .
k=1
1. Montrer que la chane de matrice Q nest pas rversible.

2. Montrer que toute chane de Markov irrductible rcurrente positive et
apriodique qui vrifie
(i) Pk` > 0 P`k > 0
(ii) Pour toute excursion k, k1 , k2 , . . . , km , k,
Pkk1
m
Y
Pki1 ki Pkm k = Pkkm
1
Y
Pki+1 ki Pk1 k
i=m1
i=2
est rversible.
3. Montrer que P vrifie (i) et (ii).
4. Montrer que la seconde procdure est prfrable, au sens o J P < JQ .
Problme 2.10.3.
A Soit X le nombre alatoire dindividus dans une
population donne, de fonction gnratrice (u) = IE[uX ], 0 u
1. Indpendemment des autres, chaque individu est slectionn avec
probabilit q (0 < q < 1). On note Y le nombre dindividus slectionns
parmi la population initiale de X individus. Montrer que la fonction
gnratrice de Y (dfinie par (u) = IE[uY ]) est donne par
(u) = (1 q + qu).
B On considre un systme de service (pourvu dun nombre illimit de
serveurs), et on note Xn (n = 0, 1, 2, . . .) le nombre de clients prsents
dans le systme linstant n. On suppose qu linstant n + 1/3 chacun
des Xn clients prsents est servi et quitte le systme avec probabilit
1 p, et reste avec probabilit p (indpendemment des autres, et de tout
le reste) (on notera Xn0 le nombre de clients restant), et qu linstant
n + 2/3 Yn+1 clients nouveaux arrivent. On suppose que les variables
alatoires X0 , Y1 , Y2 , . . . sont indpendantes entre elles et globalement
indpendantes des fin de service des clients aux diffrents instants, et
que la loi commune des Yn est la loi de Poisson de paramtre > 0
(i.e. IP(Y = k) = e k /k!, et IE[uYn ] = exp[(u 1)]).
71
1. Montrer que {Xn ; n 0} est une chane de Markov irrductible

valeurs dans IN.
2. Calculer IE[uXn+1 |Xn = x] en fonction de u, p, et x.
3. On note n (u) = IE[uXn ] la fonction gnratrice de Xn . Calculer

n+1 en fonction de n , puis montrer que
#
"
n1
X
n (u) = exp (u 1)
pk 0 (1 pn + pn u).
0
4. Montrer que (u) = limn n (u) existe et ne dpend pas de 0 ,

et que est la fonction gnratrice dune loi de Poisson dont on
prcisera le paramtre en fonction de et p.
5. Montrer que la chane {Xn ; n 0} est rcurrente positive et prciser sa probabilit invariante.
Problme 2.10.4. On considre une chane de Markov en temps discret
{Xn ; n IN} valeurs dans lespace fini E = {1, 2, 3, 4, 5, 6}, de matrice de
transition P , dont les termes horsdiagonaux sont donns par
1/4 1/3 0
0
0
1/4
0 1/4 1/3 0
1/2 0
0
0
0
.
P =
0
0
0
1/2 1/3
0
0
0 1/2 1/2
0
0
0 1/3 1/4
1. Dterminer les termes diagonaux de la matrice de transition P .
2. Montrer que E est constitu de deux classes dquivalence que lon prcisera, lune R tant rcurrente et lautre T transitoire.
3. On pose T := inf{n 0; Xn R}, et hx = IEx (T ), pour x E.

Montrer que hx = 0 pour x R, et que 1 < hx < pour x T .
4. Montrer que pour tout x T ,
hx = 1 +
X
yE
En dduire les valeurs de hx , x T .
Pxy hy .
72
Problme 2.10.5. Soit X0 , A0 , D0 , A1 , D1 , . . . des v.a. indpendantes valeurs dans IN. Les Dn suivent la loi de Bernoulli de paramtre q, i. e.
IP(Dn = 1) = 1 IP(Dn = 0) = q, avec 0 < q < 1. Les An suivent toutes la
mme
k , k IN, avec 0 rk < 1, 0 < r0 < 1
Ploi dfinie par IP(An = k) = rP
et k=0 rk = 1. On suppose que p = k krk < .
On considre la suite de v.a. {Xn ; n IN} dfinie par rcurrence partir
de X0 par
Xn+1 = (Xn + An Dn )+ ,
avec la notation usuelle x+ = sup(x, 0).
1. Montrer que {Xn ; n IN} est une chane de Markov, prciser sa matrice de transition P , et montrer que cette chane est irrductible.
On suppose dornavant
Pn1que X0 = 0. On note T = inf{n > 0; Xn = 0},
et on dfinit Sn = k=0
(Ak Dk ).
2. Montrer que Xn Sn , et que Xn+1 = Sn+1 sur lvnement {T > n}.
3. Montrer que Sn /n p q p.s., quand n .

4. Montrer que si p < q, T < p.s.
5. On suppose que p > q. Montrer que la chane {Xn ; n IN} visite au

plus un nombre fini de fois 0.
6. En se limitant au cas p 6= q, prciser dans quel cas la chane est rcurrente, et dans quel cas elle est transitoire.
On suppose dornavant que IP(An = 1) = 1 IP(An = 0) = p, avec
0 < p < 1 (p est encore lesprance de An ).
7. Prciser la matrice P dans ce cas.
8. Montrer que si p = q la chane est rcurrente nulle (on utilisera le
rsultat de la question c de lExercice 2.9.7 sans le redmontrer, pour
montrer la rcurrence, puis on cherchera une mesure invariante).
9. On suppose p < q. Montrer que la chane admet une unique probabilit
invariante sur IN, et que k = (1 a)ak , avec a = p(1 q)/q(1 p)
(on tablira une relation de rcurrence pour la suite k = k k+1 ).
Montrer que la chane est rcurrente positive.
Problme 2.10.6. tant donn un nombre 0 < p < 1, on considre une
chane de Markov en temps discret {Xn ; n IN} valeurs dans lespace fini
73
E = {1, 2, 3, 4}, de matrice de transition P donne par
p 1p 0
0
0
0
p 1 p
.
P =
p 1 p 0
0
0
0
p 1p
1. Montrer que la chane {Xn } est rcurrente irrductible.

2. Calculer son unique probabilit invariante .
3. Montrer que la chane est apriodique. En dduire que P n tend, quand
n , vers la matrice
1 2 3 4
1 2 3 4
1 2 3 4 .
1 2 3 4
4. Calculer P 2 . Montrer que cette matrice concide avec la limite calcule

cidessus. Prciser la loi de X2 , ainsi que celle de Xn , n 2.
5. On pose T4 = inf{n 1, Xn = 4}. Calculer IE4 (T4 ).
Problme 2.10.7. On dsigne par {Xn , n IN} une chane de Markov en

temps discret valeurs dans lespace E = {0, 1, 2, 3, 4}, dont la matrice de
transition est donne par :
1
1
1
0 41
4
4
4
p 0 1p 0 1p
1p 2 1p 2
P =
0
0
2
p 2 1p
,
1p
p 0
0
2
2
1p
1p
p 2
0
0
2
avec 0 < p < 1. On pose T := inf{n 1, Xn = 0}.

1. Montrer que la chane {Xn } est rcurrente irrductible. On notera sa
2. Montrer que sous IP0 , la loi de T est une loi gomtrique que lon
prcisera. Montrer que IE0 (T ) = p+1
.
p
3. On note
n
n
X
X
Nn =
1{Xk =0} , Mn =
1{Xk 6=0} .
k=1
k=1
Calculer les limites quand n de n Nn et de n1 Mn .

1
74
4. Donner un argument intuitif a lappui de lgalit

1 = 2 = 3 = 4 .
En dduire la probabilit .
5. Montrer que lon a le rsultat gnral suivant. Sil existe une bijection
de E sur luimme telle que
P x, y = Pxy ,
x, y E,
alors la probabilit invariante possde la proprit suivante : x = x ,

x E. En dduire une justification de largument intuitif de la question
prcdente.
2.10.2
Corrigs
Corrig du problme 2.10.1

1. On dtermine les termes diagonaux de P en crivant que la somme
des termes de chaque ligne vaut 1. On trouve successivement comme
termes diagonaux, dans lordre : 1/2, 2/3, 1/8, 0, 1/4, 2/5.
2. On voit que 1 et 2 communiquent, 3 et 5 communiquent, ainsi que 4
et 6. On peut aussi aller de 4 en 1, 2 ou 5, et de 6 en 2 ou 5. Mais
la rciproque nest pas vraie. Donc il y a trois classes, qui sont {1, 2},
{3, 5} et {4, 6}.
3. Comme on la dit cidessus, la chane peut quitter la classe {4, 6}, alors
que quand elle est dans la classe {1, 2} ou dans la classe {3, 5}, elle nen
sort plus. Donc si la chane part de 4 ou de 6, elle aboutit tt ou tard
dans lune des deux autres classes. Les tats 4 et 6 sont transitoires,
et les deux classes {1, 2} et {3, 5} sont rcurrentes, puisque quand la
chane part de lune de ces classes, elle y reste.
4. Si x C, X0 C sous IPx , donc T = 0 IPx p.s., et x = 1. Si x C 0 ,

sous IPx la chane natteint jamais C, puisquelle reste dans C 0 , et donc
T = IPx p.s., et x = 0. Si x T , IPx (X1 = 2) > 0, et IPx (X1 =
5) > 0, do, puisque {X1 = 2} {T < } et {X1 = 5} {T = },
0 < x < 1.
75
5. Soit x T .
IPx (T < ) = IPx (T = 0) + IPx (T = 1) + IPx (2 T < )
X
= 0 + IPx (X1 C) +
IPx (X1 = z, T < )
=
Pxy +
yC
zT
Pxz z
zT
Pxy y ,
yE
o on a utilis lavantdernire galit

X
X
IPx (X1 = z, T < ) =
Pxz IPz (T < ),
zT
zT
ce qui rsulte de la proprit de Markov, et la dernire galit les

valeurs de x pour x C C 0 .
6. Lquation cidessus scrit
4 = P41 + P42 + P44 4 + P46 6
6 = P61 + P62 + P64 4 + P66 6 ,
soit
4 = 1/2 + 6 /4,
6 = 1/5 + 4 /5 + 26 /5,
ce qui donne 4 = 7/11, 6 = 6/11.

7. La chane aboutit p.s. dans une des deux classes rsurrentes (et ne visite
pas lautre), donc pour tout x E, IPx (T < ) + IPx (TC 0 < ) = 1.
Soit IP4 (TC 0 < ) = 1 4 = 4/11, et IP6 (TC 0 < ) = 1 6 = 5/11.
1. Il suffit de remarquer que pour de nombreux couples (k, `) E 2 , Qk` =
0 < Q`k .
2. Si une chane irrductible, rcurrente et apriodique vrifie (ii), en sommant sur k1 , k2 , . . . , km1 et en notant ` = km , on obtient
(P m )k` P`k = Pk` (P m )`k .
Il reste faire tendre m pour obtenir la relation dquilibre
ponctuel.
76
3. P vrifie (i). Vrifions quelle vrifie (ii) du thorme. Considrons une

excursion. Chaque lment i (1, . . . , n) subit fi dplacement vers
lavant, et reste ri fois en tte, pendant quaucun autre point ne bouge.
Le produit des probabilits de transition le long de lexcursion parcourue dans le sens progressif vaut
Y f +r
pi i i ,
1in
et le produit des probabilits de transition dans le sens rtrograde prend

la mme valeur.
4. A toute permutation (i1 , . . . , in ) de (1, . . . , n), on associe les quantits
(
1, si i` < ik ;
Ik` =
0, sinon.
Alors
position de k = 1 +
Ik` .
`6=k
Donc
JQ =
pk (position de k)
1kn
"
pk 1 +
1kn
=1+
XX
k
=1+
(` prcde k)
`6=k
pk (` prcde k)
`6=k
[pk (` prcde k) + p` (k prcde `)]
k<`
=1+
X
k<`
(pk p` )(` prcde k) +
p` .
k<`
Sous , la probabilit que ` prcde k est la probabilit que ` ait t

appel plus rcemment que k. Donc
(` prcde k) =
p`
.
p` + p k
77
Il reste montrer que si p` > pk ,

(` prcde k) >
p`
.
p` + p k
Nous utilisons maintenant la rversibilit de la chane de matrice de

transition P . On a
pij+1 (i1 , . . . , ij , ij+1 , . . . , in ) = pij (i1 , . . . , ij+1 , ij , . . . , in ).
En itrant cette formule on obtient que
j+1
pk
(. . . , `, i1 , . . . , ij , k, . . .).
(. . . , k, i1 , . . . , ij , `, . . .) =
p`
Donc si p` > pk ,
(. . . , k, i1 , . . . , ij , `, . . .) <
pk
(. . . , `, i1 , . . . , ij , k, . . .).
p`
def
Posons (k, `) = (k prcde `). Sommant sur toutes les permutations

vrifiant k prcde `, et utilisant la relation cidessus, on vrifie que
(k, `) < ppk` (`, k). Puisque (k, `) + (`, k) = 1,
(`, k) >
p`
.
p` + p k
Corrig du problme 2.10.3 A On calcule dabord IE[uY |X = x], qui

vaut la fonction gnratrice de la loi binomiale B(x, q), soit
IE[uY |X = x] = (qu + 1 q)x ,
donc
(u) = IE[uY ]
X
IE[uY |X = x]IP(X = x)
=
x=0

= IE (qu + 1 q)X
= (qu + 1 q).
78
1. Une faon de construire la chane {Xn ; n IN} est la suivante. Soit

{Zn,k ; n, k IN } des v. a. de Bernoulli i.i.d., de loi commune t.q.
IP(Zn,k = 1) = 1 IP(Zn,k = 0) = p. On dfinit
X 0n =
Xn
X
Zn+1,k
k=1
et
Xn+1 = X 0 n + Yn+1 .
On voit alors aisment que lon peut appliquer le Lemme 2.1.2 pour
montrer que {Xn ; n IN} est une chane de Markov. Remarquons
cependant que la suite des Yn du lemme est ici la suite des (Yn , Zn, ),
qui prend ses valeurs dans {0, 1}IN , qui nest pas dnombrable mais
continu (le lemme est bien sr encore vrai dans ce cas). Cette chane
est irrductible, sa matrice de transition P ayant mme la proprit
Px,y > 0, pour tous x, y IN, puisque
Px,y > IP(X 0 n = 0|Xn = x)IP(Yn+1 = y) > 0.
2. La seconde galit cidessous rsulte de lindpendance entre Yn+1 et
le couple (Xn , Xn0 ).
i
h 0

Xn+1
X n +Yn+1
|Xn = x
|Xn = x = IE u
IE u
i
Yn+1 h X 0 n
IE u |Xn = x
= IE u
= e(u1) (pu + 1 p)x ,
3. Il rsulte du dernier calcul

n+1 (u) = IE e(u1) (pu + 1 p)Xn
= e(u1) n (pu + 1 p),
dont on tire la formule de lnonc par rcurrence.

n
4. Quand
+pn u 1. En outre 0 est continue et 0 (1) = 1,
Pn1 kn , 1p
p (1 p)1 ,
0
n (u) (u) = exp[(1 p)1 (u 1)],
qui est la fonction gnratrice de la loi de Poisson de paramtre (1

p)1 .
79
5. Il rsulte des calculs prcdents que si est la fonction gnratrice de

la loi de Xn , alors cest aussi celle de la loi de Xn+1 , donc la chane
{Xn ; n IN} admet la loi de Poisson de paramtre (1 p)1 comme
probabilit invariante. Puisque cette chane est irrductible, il rsulte
alors du thorme 2.5.4 quelle est rcurrente positive.
1. Les termes diagonaux sont (5/12, 1/6, 1/2, 1/6, 0, 5/12).
2. On vrifie aisment que T = {1, 2, 3} et R = {4, 5, 6}.
3. Si x R, T = 0 IPx p.s., donc hx = 0. Si x T , T 1 IPx p.s., et en

outre IPx (T > 1) > 0, donc
IEx (T ) IPx (T = 1) + 2IPx (T > 1) > 1.
Pour montrer que hx < , on modifie la matrice P , en changeant par
exemple la dernire ligne en (5/12, 0, 0, 1/3, 1/4, 0), ce qui rend la chane
irrductible, sans modifier la loi de T sous IPx , donc sans modifier hx .
On conclut en utilisant le Corollaire 2.5.5.
4. Lidentit de lnonc sobtient en crivant que le temps mis pour atteindre R, partant de x linstant 0, vaut 1 plus le temps mis atteindre R, partant du point X1 , soit
hx = 1 + IE [IEX1 (T )] .
Tenant compte de ce que h4 = h5 = h6 = 0, on obtient le systme
linaire
5
1
1
h1 + h2 + h3
12
4
3
1
1
h2 = 1 + h1 + h2
4
6
1
1
h3 = 1 + h1 + h3 .
2
2
h1 = 1 +
On trouve la solution h1 = 236/21, h2 = 32/7, h3 = 278/21.

80
1. Si lon pose Yn+1 = An Dn et f (x, y) = (x y)+ , la proprit de

Markov rsulte du Lemme 2.1.2. On a
P0 0 = IP(An Dn 0) = r0 + qr1
P
x x+k = qrk+1 + (1 q)rk , k IN,
Px x1 = q r0 , i IN
Px x` = 0, ` 2, i `
2.
Puisque r0 < 1, il existe k > 0 tel que rk > 0. En outre q < 1. Donc
Px,x+k > 0 et en outre Px,x1 > 0, donc partant de x, la chane peut
atteindre x + nk ` en n + ` coups, n, ` IN . Or pour tout x 6= y, il
existe n, ` IN tels que y = x + nk `.
Xn+1 Xn + An Dn .
Donc si Xn Sn , Xn+1 Sn+1 . Or X0 = S0 = 0. Lingalit est donc

dmontre par rcurrence.
si T > n, Xk > 0, 1 k n, donc
Xk+1 = Xk + Ak Dk , 0 k < n
do Xn = Sn > 0,
cest dire Xn 1, et puisque An Dn 1,
Xn + A n D n 0
Xn+1 = Sn+1
3.
n1
n1
Sn
1X
1X
Ak
Dk
=
n
n 0
n 0
IE A0 IE D0 = p q
p.s. quand n , par la loi des grands nombres.

Sn
4. Si p < q,
p q < 0, donc Sn . Donc T < p.s., puisque
n
sur {T = +}, Xn = Sn , n, et Xn 0.
5. Si p > q, Sn +. Puisque Xn Sn , Xn p.s., do le rsultat.
81
6. Dans le cas p > q, on vient de voir que ltat 0 est transitoire (un tat
rcurrent est visit une infinit de fois), donc la chane est transitoire.
Dans le cas p < q, P (T < ) = 1, ce qui veut dire exactement que 0
est rcurrent, donc la chane est rcurrente.
7. On a P =
1 p + qp
(1 q)p
0
0
0
q(1 p) qp + (1 q)(1 p)
(1 q)p
0
0
0
q(1
p)
qp
+
(1
q)(1
p)
(1
q)p
0
..
..
..
..
..
.
.
.
.
.
..
..
..
..
..
.
.
.
.
.
8. Dans le cas p = q, tant quelle est dans IN , la chane se comporte
comme une marche alatoire symtrique, sauf que IP(Xn+1 = Xn ) > 0.
Si on dfinit T1 = inf{n 0, Xn 6= X0 }, T2 = inf{n T1 ; Xn 6=
XT1 }, . . . alors Zn = XTn , n N est une chane de Markov de matrice
de transition
0
1
0
0
0
0
1/2 0 1/2 0
0
0
0
0
1/2
0
1/2
0
0
P =
0
0
1/2
0
1/2
0
..
..
..
..
.. ..
.
.
.
.
.
.
Sur IN , {Zn } se comporte comme la marche alatoire symtrique des

exercices 2.9.7 et 2.9.9. Il est facile den dduire que ltat 1 est rcurrent. Il en est de mme pour la chane initiale {Xn }.
Si = (1, 1, 1, . . .), on vrifie aisment que P = , donc il existe une
mesure invariante de masse infinie, et {Xn } est rcurrente nulle.
9. La chane {Xn } tant irrductible, elle admet au plus une probabilit
invariante.
On remarque que
q(1 p)
p(1 q)
(1 q)p + qp + (1 p)(1 q) + q(1 p)
= 1,
p(1 q)
q(1 p)
donc
( P )x = x , x 1.
On vrifie que lon a galement ( P )0 = 0 . Donc = {(1 a)ax , x

IN} est une probabilit invariante, et la chane est rcurrente positive.
82
1. On peut aller de 1 vers 2, de 2 vers 4, de 4 vers 3 et de 3 vers 1, donc

tous les tats communiquent, la chane est irrductible, et rcurrente
positive puisque lespace dtat est fini.
P
2. On rsout le systme dquations = P ,
x x = 1, et on touve
= (p2 , p(1 p), p(1 p), (1 p)2 ).
3. On montre aisment que (P n )11 (P11 )n = pn > 0, n. Donc (cf. 2.7.1

+ 2.7.2) la chane est apriodique. Il rsulte alors du thorme 2.6.4 du
cours que (P n )ij j quand n , do le rsultat.
4. Un calcul lmentaire donne bien P 2 = limn P n . On a donc aussi

P n = P 2 , pour tout n 2. Mais on sait que la loi de Xn vaut P n , si
est la loi de X0 . Or pour tout n 2, P n = pour toute probabilit
, puisque tous les termes de la xme colonne de P n sont identiques,
gaux x . Donc pour tout n 2, la loi de Xn est la probabilit
invariante . La loi limite est ici atteinte ds le rang n = 2.
5. Daprs le thorme 2.5.4 du cours, IEx (Tx ) = 1/x , donc IE4 (T4 ) =
(1 p)2 .
1. Les tats 1, 2, 3 et 4 communiquent avec ltat 0, donc la chane est
irrductible, donc rcurrente puisque lespace dtat est fini.
2. Posons E 0 = {1, 2, 3, 4}. Pour k 2, on a
{T = k} = {X1 E 0 , . . . , Xk1 E 0 , Xk = 0},
IP0 (T = k) = IP0 (X1 E 0 , . . . , Xk1 E 0 , Xk = 0)
= (1 p)k2 p,
car sachant que Xj E 0 , Xj+1 E 0 avec la probabilit 1 p, et

Xj+1 = 0 avec la probabilit p, ceci indpendemment des valeurs de
X0 , X1 , . . . , Xj1 . Donc
IE0 (T ) =
X
k=2
k(1 p)k2 p =
p+1
.
p
3. En combinant les thormes 2.6.4 et 2.6.3 du cours, on obtient que

Nn p/(p + 1) quand n . Donc, puisque Mn + Nn = 1, Mn
83
1/(p + 1). 4 Les tats 1, 2, 3, 4 jouent des rles symtriques dans ce

problme. Daprs le thorme 2.5.4, 0 = p/(1 + p). Alors 1 = 2 =
3 = 4 = [4(1 + p)]1 .
4. Posons 0 = . On a
x =
y Pyx =
z0 P z, u =
donc si x = u,
u0 =
z P z,x ,
z0 Pzu .
Donc est invariante, et par unicit de la probabilit invariante, 0 =

.
Revenons notre problme. Pour toute permutation des points 1, 2,
3, 4, P x, y = Pxy . Do lgalit 1 = 2 = 3 = 4 .
0
84
Chapitre 3
Quelques algorithmes
stochastiques
Introduction
Le but de ce chapitre est de prsenter des algorithmes qui sont bass sur
la simulation dune chane de Markov.
Les trois premires sections seront consacres ltude de la mthode de
Monte Carlo par chane de Markov, trs utilise pour simuler suivant une
loi de probabilit sur un ensemble de cardinal trop grand pour permettre
lutilisation de la mthode de Monte Carlo standard. La section suivante est
consacre la prsentation dun algorithme doptimisation : le recuit simul.
Dans ce chapitre, toutes les chanes de Markov prendront leurs valeurs
dans un ensemble fini E.
3.1
Monte Carlo par chane de Markov
On a vu au chapitre 1 quune faon de calculer une somme du type

X
f (x)x ,
xE
o {x ; x E} est une probabilit, est de lapprocher par

N
1 X
f (Un ),
N n=1
85
86
CHAPITRE 3. ALGORITHMES STOCHASTIQUES
o (U1 , U2 , . . .) est une suite i.d.d. de v.a. de loi commune , et la convergence

de lalgorithme est assure par la loi forte des grands nombres. Dans un certain nombre dapplications importantes en pratique, il est trs difficile (pour
ne pas dire impossible) de simuler des v.a. suivant la loi , bien que E soit de
cardinal fini (mais gigantesque !). Un cas typique est celui o lon connat les
x une constante multiplicative prs, et o le calcul pourtant trs simple de
la constante de normalisation est infaisable parce que card(E) est trop grand
(il supposerait de sommer un nombre gigantesque de termes). Il peut tre
beaucoup plus commode de trouver une matrice markovienne irrductible P ,
qui admette comme mesure invariante, et telle que simuler une chane de
Markov de matrice de transition P soit trs facile. Cest ce que Metropolis et
al. [30] ont t les premiers proposer ds 1953. Comment trouveton une
matrice P qui admet comme probabilit invariante ? En trouvant une matrice P telle que le couple (, P ) satisfasse la relation dquilibre ponctuel.
Remarquons que pour cela la connaissance de une constante multiplicative prs suffit. Il reste simuler une chane de Markov {Xn , n 0} de
matrice de transition P , et faire appel au thorme ergodique pour justifier
lapproximation de
X
f (x)x
par
xE
N
1 X
f (Xn ).
N n=1
Etant donn une probabilit sur E telle que x > 0, x E, comment

trouveton une matrice markovienne P , telle que le couple (, P ) satisfasse
la relation dquiliber ponctuel ? Soit R est une matrice markovienne quelconque sur E, alors la formule (avec la notation a b = inf(a, b))

Pxy = Rxy Ryx , x 6= y;

x
X
(3.1)
P
=
1
xx
xy
y6=x
dfinit bien une matrice markovienne P telle que x Pxy = y Pyx , x, y E.

Lirrductibilit de R ne suffit pas assurer celle de P . Pour que P soit
irrductible, il faut que pour tout x 6= y, il existe n 1 et {x0 , . . . , xn } E
avec x0 = x et xn = y t. q.
Rxk1 xk Rxk xk1 > 0,
1 k n.
3.1. MTHODE MCCM
87
Comment choisiton R en pratique ? On se donne tout dabord un graphe G

sur E non orient, tel que pour tout x, y E, il existe n IN, x1 , . . . , xn+1
tels que x1 = x, xn+1 = y et pour tout 1 k n, (xk , xk+1 ) G, et on
choisit R telle que
Rxy > 0 (x, y) G.
La matrice P dfinie par (3.1) est alors bien irrductible.
Il y a deux choix classiques pour R, une fois le graphe G fix. Le premier
choix, qui porte le nom dchantilloneur de Gibbs , consiste poser
Rxy =

P
0,
{z;(x,z)G} z
1
y , si (x, y) G;
si (x, y) 6 G.
Le second choix, appel algorithme de Metropolis, consiste poser

Rxy =
(nx )1 , si (x, y) G;
0,
si (x, y) 6 G;
o nx = |{z; (x, z) G}|.

Remarquons que la mthode de Monte Carlo par chane de Markov est
conue pour les cas o le cardinal de E est trs grand. On choisira G tel que
les nombres nx soient nettement moins grands que le cardinal de E. Alors la
simulation des transitions dune chane de matrice de transition R est aise,
dans les deux cas Gibbs et Metropolis. Il reste combiner cette simulation
avec lalgorithme dHastings, pour raliser une transition suivant la matrice
P , pour passer de Xn Xn+1 . Cet algorithme met en oeuvre la formule (3.1).
Sachant que Xn = x, on gnre Yn suivant la loi Rx , et si Yn = y, on fait
un nouveau tirage alatoire (indpendant de ce qui prcde) qui aboutit
choisir
(
yx
Yn avec probabilit xy R
1,
Rxy
Xn+1 =
y Ryx
Xn avec probabilit 1 x Rxy 1.
Autrement dit, on gnre une v. a. Un de loi uniforme sur [0, 1], indpendante
de toutes les autres v. a., et on pose
Xn+1 = 1{Un y Ryx /x Rxy } Yn + 1{Un >y Ryx /x Rxy } Xn .
88
3.1.1
Un cadre dapplication
Nous allons maintenant dcrire le cadre classique dapplication de la mthode de Monte Carlo par chane de Markov en physique statistique et en
traitement dimages. Cette mthode est galement trs utilise en statistique
baysienne, cf. la section 7.8.3 cidessous.
On prend E de la forme :
E = S ,
i.e. un point x E est une application :
m x(m) S.
est lensemble des sites (ensemble des points (ou pixels) de limage
discrtise). et S sont finis, et donc aussi E.
Typiquement, est trs grand. Par contre, S (ensemble des niveaux de
gris dans le cas dune image) est de taille plus modeste. Dans certaines applications, S = {1, +1}. Mme dans ce cas le plus simple, card E = 2card ,
donc effectivement E est gigantesque ds que est grand.
Chaque v.a. Xn de la chane prend ses valeurs dans S . Cest donc une
application de dans S. Pour chaque m , Xn (m) est une v.a. valeurs
dans S.
La chane {Xn ; n IN} volue de telle sorte quentre les instants n et
n + 1 une seule composante de X est modifie, i.e. il existe m tel que
m
Xn+1 Xn ,
au sens o Xn+1 (m0 ) = Xn (m0 ), m 6= m0 . Autrement dit le graphe G ci
dessus est tel que (x, y) G si et seulement si x et y ne diffrent quen un
seul site. La mthode de simulation de la chane de Markov va consister
choisir chaque tape un site m modifier, et modifier de faon alatoire
la valeur de Xn (m).
Dcrivons dabord la faon de passer de Xn (m) Xn+1 (m). On verra
ensuite comment choisir la faon de visiter les diffrents sites, i.e. quel m
choisir linstant n. La faon de passer de Xn (m) Xn+1 (m) est dcrite par
m
(m)
une matrice markovienne P (m) , qui a la proprit que Pxy = 0, sauf si x y
(i.e. si toutes les composantes de x et y concident, sauf peut tre celle note
m). On veut que la mesure soit invariante par P (m) .
Pour cela, on va chercher assurer la rversibilit, i.e. que
(m)
(m)
x Pxy
= y Pyx
, x, y E, m .
3.1. MTHODE MCCM
89
On va choisir P (m) comme cidessus. Etant donne une matrice markovienne

R(m) telle que
m
(m)
Rxy
6= 0 x y,
on peut choisir pour x 6= y
(m)
(m)
(m)
x Pxy
= (x Rxy
) (y Ryx
),
et
(m)
Pxx
=1
X
y6=x
(m)
Pxy
0.
Autrement dit (algorithme dHastings), sachant que Xn = x, on gnre Yn

(m)
suivant la loi Rx , et si Yn = y, on fait un nouveau tirage alatoire (indpendant de ce qui prcde) qui aboutit choisir
(m)
yx
Yn avec probabilit y R(m)
1,
x Rxy
Xn+1 =
(m)
X avec probabilit 1 y Ryx 1.
n
(m)
x Rxy
A nouveau les deux choix classiques pour R(m) sont lchantillonneur de

Gibbs qui sobtient en choisissant
1
X
m
(m)
(m)
Pxy
= Rxy
=
z y , si x y,
m
z x
(il consiste choisir Xn+1 (m) en tirant suivant la loi conditionnelle sous ,
sachant les autres composantes (autres que m)), et lalgorithme de Mtropolis,
qui sous sa forme la plus simple consiste choisir
m
(m)
Rxy
= (|S| 1)1 , si x y, si bien que

y
m
(m)
1
Pxy = (|S| 1)
1 , x y, x 6= y.
x
Cela revient choisir dabord une nouvelle valeur ym au site m, uniformment

sur S\{Xn (m)}, puis choisir Xn+1 (m) = ym si y x , et avec probabilit
y
si cette quantit est infrieure 1.
x
Il reste dcrire le programme de visite des sites, i.e. dcider pour chaque
n quelle composante m de Xn on veut modifier. Une mthode consiste visiter dans un ordre fix, puis de recommencer. Lautre, que nous adopterons
90
pour sa simplicit de formulation mathmatique, consiste effectuer chaque

instant n un tirage de m suivant la loi uniforme sur , indpendemment de
tous les autres tirages. Dans ce cas, {Xn ; n IN} est une chane de Markov
homogne de matrice de transition
X
P = ||1
P (m) .
m
On a alors clairement
x Pxy = y Pyx ,
et donc si P est irrductible, est lunique probabilit invariante de la chane
{Xn ; n IN}. Notons que lirrductibilit est assure avec les deux choix
dcrits cidessus pour R(m) , et un tirage uniforme du site chaque pas.
3.1.2
Le modle dIsing
Il sagit dun des modles les plus classiques en physique statistique. N

IN tant fix (N grand), posons
= {N, . . . , 1, 0, 1, . . . , N }2 Z2 ,
( = N ), de frontire = N \N 1 , et dfinissons lespace des configurations comme
E = {1, 1} .
Pour x E, on pose
H(x) =
1
2
m,m0
|mm0 |=1
|x(m) x(m0 )|2 .
Notons que H est petit lorsque x tend prendre la mme valeur aux points
voisins. On dfinit :
E + = {x E; x(m) = 1, m }.
Pour tout > 0 (1/ sinterprte comme une temprature), on dfinit la
probabilit sur E + :
x =
1 H(x)
e
, x E +,
Z()
3.1. MTHODE MCCM
91
avec bien sr
Z() =
eH(x) ,
xE +
quand 0, tend vers la mesure uniforme sur E + , alors que lorsque

+, tend vers la mesure uniforme sur les minima globaux de H, i.
e. ici la masse de Dirac au point dont toutes les coordonnes valent 1. Un
rsultat clbre dOnsager dit que si X est une v.a. valeurs dans E, de loi
, alors
lim IEX(0) = [(1 (sinh 2)4 )+ ]1/8 .
N
lorsque sinh 2 1, on obtient que pour N trs grand, la loi de X(0) nest
gure influence par la condition au bord choisie (i. e. le choix des valeurs de
{x(m), m }), alors que linverse est vrai mme la limite N si
sinh 2 > 1.
Les physiciens sont trs intresss raliser des simulations sous la probabilit pour N grand (pour tenter dobserver des phnomnes, du type
du rsultat dOnsager, mais que lon ne sait pas encore dmontrer concernant ventuellement des modles plus compliqus et moins bien connus que
le modle dIsing). Mais pour N vraiment grand, il est impossible de simuler
directement selon la loi . Il est mme quasiment impossible de calculer la
constante de normalisation Z(). Nous allons dcrire la mthode de Monte
Carlo par chane de Markov dans une version paralllisable, qui exploite la
forme particulire du modle dIsing.
Dcrivons tout dabord lchantillonneur de Gibbs. Considrons une partition de suivant la parit de la somme de deux coordonnes du point m
considr :
+ = {(m1 , m2 ) ; m1 + m2 est pair}
= {(m1 , m2 ) ; m1 + m2 est impair}
Pour x E, on note :
x+ = (x(m), m + ),
x = (x(m), m )
Il rsulte de la forme du modle dIsing que + (x+ |x ), la probabilit que
X + = x+ , sachant que X = x , si X est une v.a. de loi , est de la forme (on
92
utilise la notation pour dire que deux fonctions sont gales une constante
de normalisation prs) :
Y
+ (x+ |x )
ex(m)s(m) ,
m+ \
avec, si m + \,
s(m) =
x (m0 ).
m0 ;|m0 m|=1
On a une formule analogue pour + (x |x+ ).

La facilit de simuler suivant ces deux lois provient de leur forme produit,
et la constante de normalisation pour chaque facteur est explicite.
La procdure est maintenant la suivante. On choisit une configuration
arbitraire X0 dans E + . Ensuite, on utilise la procdure rcurrente suivante.
+
Etant donn Xn , on simule dabord Xn+1

suivant la loi + (|Xn ), puis Xn+1
+
suivant la loi + (|Xn+1
).
Cette procdure est exactement lchantillonneur de Gibbs de la section
prcdente, o lon visite alternativement tous les sites de + \, puis ceux
de \ (avec une numrotation diffrente de la suite Xn ). La convergence
rsulte de la discussion gnrale cidessus. Il nest pas difficile de vrifier que
lon simule ici une chane de Markov irrductible dont est bien la probabilit
invariante.
Dcrivons maintenant lalgorithme de Metropolis. Sachant que Xn = x,
indpendamment pour chaque m + \, on change le signe de x(m) avec
la probabilit
(xm )
p(m, x) =
1 = e2x(m)s(m) 1,
(x)
X
m
avec xm x, xm (m) = x(m), et s(m) =
x (m0 ).
+
Xn+1
(m).
|m0 m|=1
On a ainsi obtenu
On simule ensuite Xn+1
(m) en conditionnant
+
par la valeur de Xn+1 (m). Le processus obtenu {Xn , n IN} est bien une
chane de Markov irrductible, de probabilit invariante .
3.1.3
Analyse baysienne dimages
On peut utiliser le modle dIsing (ou dautres modles de ce type) comme

loi a priori dune image bidimensionnelle digitalise. Chaque point m est
3.1. MTHODE MCCM
93
un pixel (en franglais ! pixel=picture element). x(m) est le niveau de gris

du pixel m (ici avec le modle dIsing on na que deux niveaux de gris :
blanc et noir). En faisant varier le paramtre du modle dIsing, on varie
la texture de limage : plus est grand, plus on favorise une image avec de
grandes taches blanches et de grandes taches noires, alors que plus petit
favorise un mlange plus fin de couleurs.
On observe la couleur (blanche ou noire) de chaque pixel, et lobservation
restitue la couleur effective de chaque pixel avec la probabilit p ]0, 1[, les
erreurs de mesures ventuelles sur les diffrents pixels tant indpendantes.
Alors la loi a posteriori, plus prcisment la loi conditionnelle de lvnement X = x, sachant que lon a observ la configuration y , est
(x|y) eH(x) pa(x,y) (1 p)d(x,y) ,
o a(x, y) est le nombre de sites o les configurations x et y sont en accord
(i.e. identiques) et d(x, y) le nombre de sites o elles sont en dsaccord (i.e.
diffrentes).
On obtient une image nettoye des erreurs dobservation en simulant
selon la probabilit (x|y). Bien quil ne sagisse plus exactement du modle
dIsing, les mmes mthodes sappliquent. Dcrivons lalgorithme de Metropolis. Sachant que Xn = x, indpendamment pour chaque site m + \
on change le signe de Xn+ (m) avec la probabilit
(xm |y)
1
(x|y)

x(m)y(m)
1p
2x(m)s(m)
=e
1,
p
p(m, x, y) =
obtenant ainsi Xn+1

. On simule ensuite Xn+1
en utilisant sur + \, les
valeurs ainsi obtenues. On fabrique ainsi une chane de Markov irrductible,
de probabilit invariante (|y).
3.1.4
Chanes chauffes
La convergence de lalgorithme MCCM requiert que la chane simule visite suffisament souvent tous les tats. Or la forme de la probabilit de transition peut tre telle que la chane a tendance rester pige trs longtemps
dans certaines zones de lespace des tats. Supposons pour fixer les ides que
94
E = Z (ou un intervalle de Z, ou Z/N ), et que Rx,x+1 = Rx,x1 = 1/2.

Posons
H(x) = log(x ).
On peut choisir comme matrice de transition P de la chane
matrice
2 exp[H(x) H(y)],
Pxy = 1 21 exp[H(x) H(x + 1) 21 exp[H(x) H(x 1)],
0,
simuler la
si y = x 1,
si y = x,
sinon.
Supposons que deux zones A et B de Z o prend des valeurs significatives

sont spares par un intervalle o la valeur de est trs petite (i. e. o
H prend des valeurs gigantesques). Alors la chane simule aura tendance
passer trop rarement de A vers B (ainsi que de B vers A). Une solution est
de dfinir dautres matrices de transition telles que
P,xy =
1
exp[(H(x) H(y))],
2
si y = x 1,
avec 0 < < 1. La chane correspondante est dite chauffe ( sinterprte

comme linverse dune temprature). On simule alors en parallle la chane
{Xn } correspondant = 1, et les chanes {Xn1 }, . . . , {Xnk }, correspondant
des valeurs 1 > 1 > 2 > > k > 0. Clairement, ces chanes ont dautant
moins tendance rester piges dans certaines zones de lespace dtat que
est petit. Lide set alors de permuter de temps en temps de faon alatoire
les valeurs de (Xn , Xn1 , . . . , Xnk ), de faon ce que Xn visite plus rapidement
lespace dtats E. Bien sr, dans le calcul final, on ne retient que les valeurs
de {Xn , n 0} ainsi obtenues.
3.2
Simulation de la probabilit invariante
Un problme dans les algorithmes MCCM est le choix de la dure de la

simulation. Par rapport une mthode de Monte Carlo standard, on rajoute
une difficult, qui est quau lieu dinitialiser la chane de Markov sous sa
probabilit invariante, on part dun point arbitraire. Dune certaine faon
on peut penser quil y a une phase initiale de lalgorithme qui permet de
se rapprocher de la probabilit invariante, puis un problme de contrle de
la vitesse de convergence dans le thorme ergodique, qui - comme dans
3.2. SIMULATION DE LA PROBABILIT INVARIANTE
95
une mthode de Monte Carlo standard - peut se rsoudre par utilisation du

thorme de la limite centrale correspondant (cf. Thorme 2.5.8).
On discutera de la vitesse de convergence vers la mesure invariante la
section suivante. Nous allons dabord prsenter des ides des Propp et
Wilson [36], qui permettent une simulation parfaite (au sens de exacte,
par opposition approche) sous la probabilit invariante. Lide est que
lon peut atteindre celleci en un nombre fini (mais alatoire) ditrations.
On suppose dans toute cette section que cardE < , et pour fixer les
notations que E = {1, 2, . . . , N }.
3.2.1
Simulation parfaite
On va supposer dans cette section que

X
(P ) =
inf Pxy > 0,
yE
xE
cest dire quil existe y E tel que Pxy > 0, x E. Cette condition n est
autre que la condition (D) de la section 2.6, mais avec la restriction n0 = 1.
Il est clair que (P ) 1. On pose
y =
inf x Pxy
, y E,
(P )
donc est une probabilit sur E.

Remarque 3.2.1. On pourrait choisir un autre couple (, ) ; > 0,
probabilit sur E tels que Pxy y , mais le choix cidessus est optimal au
sens o il maximise .
Remarque 3.2.2. Lhypothse (P ) > 0 entrane quil existe une unique
classe rcurrente (cf. lexercice 2.9.5), et P possde une et une seule probabilit invariante.
On va choisir une fonction
F : E [0, 1] E
telle que si U est une v.a. de loi U ([0, 1]),
IP(F (x, U ) = y) = Pxy , x, y E.
96
Donc si {Un , n IN} est une suite de v.a. i.i.d. de loi U ([0, 1]), indpendante de X0 ,
Xn = F (Xn1 , Un ), n 1
dfinit une chane de Markov de matrice de transition P .

On dfinit ` : {0} E [0, (P )] par
`(0) = 0
`(y) = `(y 1) + inf Pxy , 1 y N,
x
et on pose J(y) = [`(y 1), `(y)).

On dfinit en outre k : E ({0} E) [(P ), 1] par
k(x, 0) = (P )
k(x, y) = k(x, y 1) + Pxy inf Pzy , 1 y N,
z
et on pose K(x, y) = [k(x, y 1), k(x, y)), 1 x, y N ,

I(x, y) = J(y) K(x, y).
On remarque que |I(x, y)| = Pxy . Enfin on pose
X
F (x, u) =
y1{uI(x,y)} , 1 x N, u [0, 1].
yE
Remarquons que lon a bien IP(F (x, U ) = y) = Pxy , soit

IP(F (Xn1 , Un ) = y|Xn1 = x) = Pxy .
Le point crucial de cette construction est que si linstant n, Un < (P ),
alors la valeur de Xn ne dpend pas de Xn1 .
Autrement dit, si on fait fonctionner en parallle cet algorithme avec la
mme suite {Un } pour diffrents points de dpart X0 , les diffrentes suites
confluent au premier instant n o Un < (P ). On a la
Proposition 3.2.3. Soit T = inf{n 1, Un < (P )}. Alors T et XT sont
indpendantes, T de loi gomtrique de paramtre (P ), et XT de loi .
Preuve
{XT = x, T = n} = {U1 (P ), . . . , Un1 (P ), Un J(x)}
97
Donc
IP(XT = x, T = n) = (1 (P ))n (P )x

On va maintenant construire une chane stationnaire de matrice de transition P .
On se donne une suite i.i.d. {Un , n Z} de v.a. de loi U ([0, 1]), et on
pose
Nk = 1{Uk <(P )} , k Z.
Les {Nk } sont des v.a. de Bernoulli indpendantes.
Pour tout n Z, on pose
(n) = max{k n; Uk < (P )}.
Notons que (k) = (n), k [ (n), n]. En outre, on a IP(n (n) >
k) = (1 (P ))k .
On dfinit alors le processus {Xn , n Z} comme suit. k Z tel que
Nk = 1, on pose
X
Xk =
y1{Uk J(y)} .
yE
Soit maintenant k tel que Nk = 0. X (k) est dfini par la formule cidessus.
En outre,
X (k)+1 = F (X (k) , U (k)+1 ), . . . , Xk = F (Xk1 , Uk ).
Proposition 3.2.4. Le processus {Xn , n Z} ainsi dfini est stationnaire
(i.e. ` Z, k IN, (X`+1 , . . . , X`+k ) ' (X1 , . . . , Xk ), au sens o ces deux
vecteurs ont la mme loi).
En particulier, la loi de X0 est lunique probabilit invariante de la chane
de matrice de transition P .
Preuve Il suffit de montrer le dernier point. On note
Pxy = (1 )Pxy + y .
98
On a
IP(X0 = x) =
X
k=0
IP(X0 = x, (0) = k)
IP(X0 = x| (0) = k)(1 )k
k=0
k=0
( P k )x (1 )k
Or si lon pose x = IP(X0 = x), on a

P =
X
k=0
X
k=0
( P k )x (1 )k P
( P k+1 )x (1 )k+1 +
= ,
donc la loi de X0 est bien la probabilit invariante par P .
Algorithme de simulation parfaite

1. On simule U0 , U1 , . . . , U (0) (ceci requiert un nombre de simulations
qui suit une loi gomtrique).
X
2. On calcule X (0) =
y 1{U (0) J(y)} .
y
3. On calcule X (0)+1 , . . . , X0 laide de la formule Xn = F (Xn1 , Un ),

et des U (0)+1 , . . . , U0 gnrs cidessus.
4. La v.a. X0 ainsi simule suit la loi invariante sous P .
Remarque 3.2.5. La limite de cette approche est que lon a besoin que
(P ) > 0.
On pourrait penser gnraliser cette approche au cas o il existe k 1
tel que (P k ) > 0, mais il ne semble pas que cela conduise un algorithme
effectivement utilisable.
3.2.2
99
Couplage depuis le pass
On suppose ici seulement que P est irrductible. On se donne une application

F : E [0, 1] E
tel que si U est une v.a. de loi U ([0, 1]),
IP(F (x, U ) = y) = Pxy , x, y E.

On va dfinir un couplage multiple On se donne {Uni , 1 i N, n Z}
une suite de v.a. i.i.d. de loi U ([0, 1]), et pour k Z, on pose
(
1,
si n = k
Xn1,k =
1,k
1
F (Xn1 , Un ), si n > k;
Xn2,k
si n = k
2,
2,k
2,k
1,k
2
= F (Xn1 , Un ), si n > k et Xn1
6= Xn1
2,k
2,k
1,k
F (Xn1
, Un1 ), si n > k et Xn1
= Xn1
;
XnN,k
N,
si n = k
F (X N,k , U N ), si n > k et X N,k 6 {X 1,k , . . . , X N 1,k }

n1
n1
n1
n1
n
=
N,k
N,k
1,k
N 1,k
i
N
F (Xn1 , Un ), si n > k, Xn1 {Xn1 , . . . , Xn1 }
i,k
N,k
et iN = inf{i; Xn1
= Xn1
}
On dfinit le temps darrt
Sk = inf{` > k; X`1,k = X`2,k = = X`N,k },

et pour tout n Z, on pose
(n) = sup{k n; Sk n}.
(n) est le plus grand des instants tels que ltat du processus (quel que soit
son numro entre 1 et N ) linstant n ne dpend pas des tats passs avant
(n), puisque linstant (n) le processus numro k valait k, et linstant n
sa valeur ne dpend pas de son numro.
100
Thorme 3.2.6. Soit k Z et (Xn1,k , . . . , XnN,k ; n k) le couplage multiples

dfini cidessus. Supposons que IP( (0) > ) = 1. Alors pour tout x E,
x, (0)
la loi de X0
est la probabilit invariante par P .
Preuve Si k Z, y E,
x, (0)
IP({X0
= y} { (0) > k}) = IP({X0x,k = y} { (0) > k}).
Donc
x, (0)
IP(X0
= y) = lim IP(X0x,k = y).

k
Soit la probabilit invariante par P .

|IP(X0x,k = y) y | = |IP(X0 = y|Xk = x)
X
zE
z IP(X0 = y|Xk = z)|
zE
z |IP(X0 = y|Xk = x) IP(X0 = y|Xk = z)|
X
zE
IP( (0) < k)
0, quand k
Algorithme de couplage depuis le pass
On choisit k Z
i
, . . . , U0i , 1 i N .
1. On gnre Uki , Uk+1
2. On construit laide de la suite prcdente, et de lalgorithme cidessus,
(X`1,k , . . . , X`N,k , ` = k, k + 1, . . . , 0).
3. On teste si oui ou non
X01,k = X02,k = = X0N,k .
Si oui, alors X01,k est une ralisation de la probabilit invariante .
Si non, on repart plus loin dans le pass. Pour ce faire, on gnre
i
i
i
U2k
, U2k+1
, . . . , Uk1
; 1 i N,
3.3. VITESE DE CONVERGENCE
101
en utilisant cette suite et la prcdente on construit

(X`1,2k , . . . , X`N,2k ; ` = 2k, . . . , 0),
et on continue comme cidessus. Notons quil est important demboter les deux suites dans lordre indiqu, puisque le principe consiste
remonter dans le pass.
Il reste donner des conditions qui assurent que IP( (0) > ) = 1). On a
le
Thorme 3.2.7. Si P est apriodique, alors lalgorithme cidessus vrifie
IP( (0) > ) = 1.
Preuve Le rsultat se dmontre comme ltape 1 de la preuve du Thorme
2.6.4.
Remarque 3.2.8. Dans le cas (P ) > 0, on obtient une variante de lalgorithme de simulation parfaite de la section 3.2.1 en appliquant la procdure de
cette section, simplifie comme suit. On simule une seule suite (Un , n Z),
et on utilise la formule de rcurrence
(
(1, . . . , N ),
si n = k;
(Xn1,k , . . . , XnN,k ) =
1,k
N,k
(F (Xn1 , Un ), . . . , F (Xn1 , Un ), si n > k.
3.3
Vitesse de convergence vers la probabilit

invariante
Lalgorithme de couplage par le pass nest pas envisageable dans la

plupart des situations concrtes. Beaucoup dutilisateurs de la mthode de
Monte Carlo par chane de Markov rejettent les n premires itrations du
calcul (procdure dite burn in en Anglais), en esprant que la loi de Xn+1
est proche de la probabilit invariante. Le problme est videmmment de
choisir correctement le nombre n. Le Thorme 2.6.7 peut servir de guide,
surtout si lon sait calculer le optimal. Mais ce rsultat nest le plus souvent
pas assez prcis. Cest une borne suprieure de la distance la probabilit
invariante, qui peut tre assez loin de la distance relle. En outre, ses hypothses ne sont pas ncessairement satisfaites.
Plusieurs auteurs, dont en particulier Diaconis [12], ont montr que dans
beaucoup de situations la distance en variation totale entre la loi de Xn et
102
la probabilit invariante volue comme suit. Pendant une phase initiale, la

dcroissance est trs lente, et la distance reste proche de 1. Puis il y a une dcroissance brutale en quelques itrations vers zro, suivie dune convergence
lente vers zro. Dans une telle situation, aprs les quelques premires itrations, le rsultat reste trs mauvais, puis soudain il samliore brutalement,
et lorsque lon a atteint la fin de la phase de dcroissance rapide, prolonger
les calculs napporte plus grand chose. Le problme est alors de connatre
prcisment le nombre ditrations quil faut effectuer pour atteindre la fin
de la phase de dcroissance rapide. Les auteurs cits ci-dessus donnent des
rsultats trs prcis dans quelques problmes, par exemple le battage dun jeu
de cartes, mais bien sr dans la plupart des cas intressants en pratique, on
na pas dinformation aussi prcise. Nous allons cependant dcrire un rsultat
d Diaconis, Khare et SaloffCoste [13], qui va nous donner loccasion de
prsenter un exemple intressant dutilisation de la mthode de Monte Carlo
par chane de Markov.
Supposons que lon cherche raliser des simulations dun vecteur alatoire valeurs dans E = E1 Ed , de loi de probabilit
(dx1 , . . . , dxd ) = f (x1 , . . . , xd )(dx1 , . . . , dxd ),
o la probabilit sur E est une probabilit produit, i. e.
(dx1 , . . . , dxd ) = 1 (dx1 ) d (dxd ).
On suppose que lon ne dispose pas de mthode directe de simulation suivant
la loi cherche, mais que pour tout x = (x1 , . . . , xn ) et tout 1 i d, on
sait simuler Xi de loi
R
f (x1 , . . . , xi1 , y, xi+1 , . . . , xd )i (dy)

.
f (x1 , . . . , xi1 , z, xi+1 , . . . , xd )i (dz)
Ei
On construit alors une chane de Markov (si E nest pas dnombrable, il

sagit dune chane de Markov valeurs dans un tel ensemble, ce qui sort de
la thorie dcrite dans cet ouvrage, mais on sy ramne par discrtisation)
dont chaque transition est donne par la transformation du vecteur alatoire
X en le vecteur alatoire X 0 , que nous allons maintenant dcrire, en prcisant
la loi conditionnelle de X 0 , sachant que X = x.
La loi conditionnelle de X10 , sachant que X = x, est la loi
R
f (y, x2 , . . . , xd )1 (dy)
,
f (z, x2 , . . . , xd )1 (dz)
E1
3.3. VITESE DE CONVERGENCE
103
et pour 2 i d, la loi conditionnelle de Xi0 , sachant que X = x et que

0
(X10 , . . . , Xi1
) = (x01 , . . . , x0i1 ) est la loi
f (x01 , . . . , x0i1 , y, xi+1 , . . . , xd )i (dy)

.
f (x01 , . . . , x0i1 , z, xi+1 , . . . , xd )i (dz)
Ei
Dans la proposition qui suit, on suppose E dnombrable, et on crit (x)

(resp. (x)) pour ({x}) (resp. ({x})).
Proposition 3.3.1. Si E est dnombrable et (x) > 0, pour tout x E,

alors la chane de Markov de matrice de transition
Pxy = IP(X 0 = y|X = x)
est irrductible, rcurrente positive, et est son unique probabilit invariante.
Preuve La condition (x) > 0, x E, entrane clairement que la chane

est irrductible. Il reste montrer que la probabilit est invariante par P .
104
Or on a
X
xE
(x)Pxy =
x1 ,...,xn
f (y , x , . . . , xn )1 (y1 )
P 1 2
z1 f (z1 , x2 , . . . , xn )1 (z1 )
f (y1 , y2 , x3 . . . , xn )2 (y2 )
z2 f (y1 , z2 , x3 , . . . , xn )2 (z2 )

f (y1 , . . . , yn1 , xn )n1 (yn1 )
P
zn1 f (y1 , . . . , zn1 , xn )n1 (zn1 )
f (y1 , . . . , yn1 , yn )n (yn )
P
zn f (y1 , . . . , yn1 , zn )n (zn )
f (x1 , . . . , xn )1 (x1 ) n (xn )

X
f (x , x , . . . , xn )1 (x1 )
P 1 2
=
z1 f (z1 , x2 , . . . , xn )1 (z1 )
x ,...,x
1
f (y1 , x2 , x3 , . . . , xn )2 (x2 )
P
z2 f (y1 , z2 , x3 , . . . , xn )2 (z2 )

f (y1 , . . . , yn1 , xn )
P
zn f (y1 , . . . , yn1 , zn )n (zn )
f (y1 , . . . , yn1 , yn )1 (y1 ) n (yn )

= (y),
o la deuxime galit sobtient en rarrangeant les termes. La troisime
sobtient en remarquant dabord que seul le premier facteur dpend de x1 et
que sa somme sur x1 E1 vaut 1, puis que dans lexpression restante seul le
premier facteur dpend de x2 , et sa somme sur x2 E2 vaut 1, etc.

Diaconis, Khare et SaloffCoste [13] tudient en particulier le cas suivant
avec n = 2 :
E1 = {0, 1, . . . , m}, E2 = [0, 1], 1 (resp. 2 ) est la probabilit uniforme
sur E1 (resp. E2 ).
k k
f (k, p) = Cm
p (1 p)mk ,
avec m IN arbitraire. Leur rsultat dans cet exemple est que le nombre
ditrations quil faut effectuer pour que la loi de la chane soit proche de sa
probabilit invariante est de lordre de m.
3.4. LE RECUIT SIMUL
3.4
105
Le recuit simul
La recherche des maxima globaux dune fonction est un des problmes

importants en mathmatiques appliques.
Dans le cas dune fonction diffrentiable sur IRd , on peut partir dun point
arbitraire, et se dplacer dans la direction du gradient, tant que la fonction
dcrot. Malheureusement une telle mthode conduit trouver un minimum
local, et non global. Dans le cas dune fonction dfinie sur un ensemble fini
E, on pourrait en principe calculer les valeurs f (x) pour tout x dans E, mais
dans les cas intressants, une telle procdure nest pas envisageable, en raison
de la taille de lensemble E.
Nous allons prsenter dans cette section la mthode du recuit simul, qui
par rapport la mthode du gradient introduit des perturbations alatoires
qui permettent de sortir des bassins dattraction des minima locaux.
Au cours des calculs, les perturbations alatoires sont attnues, de telle
sorte que lon espre finalement aboutir un des minima globaux. La terminologie provient de lanalogie avec les procds chimiques de fabrication
de certains cristaux, qui si on les refroidit trop vite se figent dans un tat
diffrent de ltat dsir, lequel nest atteint qu la suite dun procd impliquant un refroidissement trs lent, avec ventuellement un rchauffement
au cours du procd.
Nous allons prsenter lalgorithme du recuit dans le cas de la minimisation
dune fonction dfinie sur un ensemble fini E.
Commenons par prsenter deux exemples de problme de minimisation
dune fonction sur un ensemble fini de cardinal gigantesque.
Exemple 3.4.1. Le voyageur de commerce. Soit {1, . . . , N } un ensemble
de N villes. Le voyageur doit passer dans chacune de ces villes, en partant
de 1 et en revenant en 1. E est lensemble de tous les itinraires possibles
(card E = (N 1)!). Un itinraire est une suite
x = (x1 , . . . , xN )
telle que x1 = 1, et (x2 , . . . , xN ) constitue une permutation de {2, . . . , N }.
La fonction cot minimiser est (avec xN +1 = 1) :
V (x) =
N
X
k=1
d(xk , xk+1 ),
106
o d(n, m) est la distance de la ville n la ville m. La recherche des minima

globaux de cette fonction V est un des problmes classiques de la recherche
oprationnelle.
Exemple 3.4.2. Restauration dimages. On reprend le modle prsent
la section 3.1.3, et on souhaite, pour obtenir une image restaure (i.e. dont
on a supprim les erreurs dobservation), trouver le maximum de la loi a
posteriori, i.e. avec les notations du chapitre 2, y fix on cherche
x = arg max eH(x) pa(x,y) (1 p)d(x,y) .
x
Supposons que lon cherche maximiser une fonction

U : E IR ,
telle que, pour fixer les ides,
max Ux = 0.
xE
On cherche un des x tels que Ux = 0.

Pour tout > 0, on dfinit la probabilit sur E par :
,x = Z1 eUx ,
avec Z =
xE
eUx . Le paramtre est destin tendre vers +. Quand
xE
+, la probabilit converge vers la probabilit uniforme sur les

maxima de U .
A chaque > 0, on associe la matrice de transition dune chane de
Markov irrductible et apriodique, de probabilit invariante . On peut la
choisir par exemple comme suit. Soit G un graphe non orient dans E, i.e. une
collection de paires de points de E. On suppose que G possde la proprit
suivante : pour tout x, y E, il existe n et x = x1 , x2 , . . . , xn = y E tels
que (xk , xk+1 ) G, 1 k n 1. Posons
nx = |{y, (x, y) G}|.
Alors la matrice P dont les lments hors diagonaux sont donns par
(Uy Ux )

P,xy = 1(x,y)G n1
e
1 ,
x
3.5. EXERCICES
107
et convenablement complte sur la diagonale, a les proprits requises. Notons que plus est grand, plus les transitions qui diminuent la valeur de U
sont rares. Pourvu que le choix du graphe G ne rende pas la chane priodique, si est fix et {Xn , n 0} est une chane de Markov de matrice de
transition P , la loi de Xn converge vers quand n . Lide de lalgorithme du recuit est de faire dpendre de n, de telle sorte que +
quand n , avec lespoir que alors Xn converge vers le (ou lensemble des)
maximum de la fonction U . Ceci est vrai si tend suffisamment lentement
vers + (do la terminologierecuit). Nous donnerons un rsultat dans ce
sens pour lanalogue dune chane de Markov, mais en temps continu, la
section 7.10 cidessous.
3.5
Exercices
Exercice 3.5.1. Soit E un espace dtats dnombrable et p et q des densits

de probabilit, avec 0 < p cq, q tant une densit facilement simulable.
On considre alors une suite Yn , n 1 de variables alatoires indpendantes
et de mme loi q, globalement indpendantes de la variable alatoire X 0 . On
dfinit par rcurrence :
(
p(Yn+1 )
Yn+1 avec probabilit cq(Y
n+1 )
Xn+1 =
p(Yn+1 )
Xn
avec probabilit 1 cq(Y
n+1 )
1. Ecrire Xn+1 sous la forme f (Xn , Un+1 , Yn+1 ), o les Un sont i. i. d. de
loi commune la loi uniforme sur [0, 1], et en dduire que Xn est une
chaine de Markov.
2. Calculer la probabilit de transition Pij de Xn .
3. Calculer P pour une probabilit et en dduire que la loi de X n
converge vers une unique probabilit invariante gale p.
4. Quel rapport y-a-t-il entre cette chane et la mthode de rejet classique ?
Exercice 3.5.2. Soit Pxy un noyau de transition dune chane de Markov
sur un espace dtat dnombrable E. On suppose que :
Pxy cy , pour tout x E,
(3.2)
o c est une mesure de probabilit et > 0. On identifie

P lensemble des
1
mesures bornes sur E ` (E) muni de la norme || = xE |(x)|
108
1. Soit une mesure borne de masse totale nulle. Montrer que |P |

(1 )||. En dduire que si et 0 deux mesures de probabilit sur E
on a :
|P 0 P | (1 ) | 0 | .
2. Montrer que sil existe une mesure de probabilit invariante, elle est
forcment unique et que pour toute probabilit la suite P n est de
Cauchy.
3. Soit (Xn , n 0) une chane de Markov de matrice de transition P .
Montrer que quelle que soit la loi initiale de X0 , la loi de Xn converge
vers une unique loi de probabilit invariante et que de plus :
|P n | Cn
o C est une constante finie et 0 < < 1.

4. Montrer que les rsultats prcdents sont conservs sil existe ` 1 :
`
Pxy
cy , pour tout x, y E.
(3.3)
5. On considre maintenant lalgorithme de Mtropolis sur un espace E

fini. On suppose que Pxy = Pyx et que lquation (3.2) est vrifie. On
cherche simuler une loi donne une constante prs par :
x = CeH(x) .
crire la probabilit de transition Pxy sur E qui permet de construire
lalgorithme de Mtropolis.
6. Vrifier que P vrifie lquation (3.2). Proposer une mthode de simulation approche selon la loi .
Exercice 3.5.3. On veut rsoudre dans IRd lquation
(I A)x = b
(3.4)
o A est une matrice de norme strictement infrieure 1. Pour ceci on

considre une chane de Markov Xn sur E = {1, 2, . . . , d} de loi initiale
strictement positive et de transition P (i, j) strictement positive sur E E .
1. Pour n 1 et y IRd on pose :
Wn = y(X0 )
A(X0 , X1 ) A(Xn1 , Xn )
b(Xn )
(X0 )P (X0 , X1 ) P (Xn1 , Xn )
3.5. EXERCICES
109
Calculer IE(Wn ). En dduire une simulation dune solution approche de

lquation (3.4).
e = E {} et on considre maintenant une chane avec
2. On pose E
en de loi initiale
cimetire . Cest dire une chane X
e porte par E, strice
e
tement positive sur E et de transition P (x, y) strictement positive sur E E
telle que Pe(, ) = 1.
en = }.
On pose T = inf{n 1 ; X
1. Montrer que T est fini presque srement.
2. On pose
e0 )
W = y(X
e0 , X
e1 ) A(X
eT 2 , X
eT 1 )
A(X
eT 1 )
b(X
e0 )Pe(X
e0 , X
e1 ) Pe(X
eT 2 , X
eT 1 )Pe(X
eT 1 , X
eT )
e(X
Calculer IE(W ) et en dduire une simulation de la solution de lquation

(3.4).
110
Chapitre 4
Chanes de Markov et gnome
Introduction
Ce chapitre est consacr la prsentation de mthodes dannotation du
gnome (en particulier la recherche des rgions codantes, donc des gnes) et
aussi dalignement de squences dADN, qui utilisent les chanes de Markov.
Ce chapitre contient en particulier une prsentation des chanes de Markov
caches et des algrithmes qui leur sont associs. Cette notion est utilise
dans de nombreuses applications autres que la gnomique, par exemple en
reconnaissance de la parole, cf. Jelinek [23]. On pourra consulter sur le sujet
de ce chapitre entre autres [15], [16] et [31], dont nous nous sommes inspir.
4.1
Comment lire lADN ?
On considre un fragment dADN, sous la forme dun simple brin constitu dune succession de nuclotides, que nous considrerons comme des lettres
dans lalphabet a, c, g, t, a pour adnine, c pour cytosine, g pour guanine,
t pour thymine, par exemple
a c c g t a a t t c g g a t t g c
Lire ou annoter cette squence consiste essentiellement la dcomposer

en rgions codantes lendroit ou lenvers (sachant que lADN est constitu
en ralit de deux brins complmentaires, avec un a toujours appari avec
un t, un c avec un g, qui ne sont pas lus dans le mme sens), et rgions non
codantes ; dans le cas des gnomes eukaryotes il faut en outre dcouper les
111
112
CHAPITRE 4. CHANES DE MARKOV ET GNOME
rgions codantes en introns et exons. Notons que les rgions codantes sont lues
par codons, i.e. triplets de nuclotides, chaque codon tant ensuite traduit
en un acide amin. La succession des acides amins cosntitue une protine.
Il est donc essentiel de lire chaque rgion codante dans la bonne phase de
lecture. Oublier un codon nest pas forcment trs grave, mais se tromper en
dcalant la lecture dun ou de deux nuclotides est catastrophique !
On est aid dans cette dmarche par la prsence dun codon START (resp.
STOP) au dbut (resp. la fin) de chaque rgion codante. Mais tout START
potentiel nen est pas forcment un. Par contre, un STOP potentiel, dans
une rgion codante, rencontr dans la bonne phase de lecture, est un STOP.
Et il ny a pas de signaux aussi nets marquant la transition entre intron et
exon.
Pour pouvoir faire la distinction entre plages codantes et non codantes,
une premire possibilit est que les proportions respectives de a, de c, de g
et de t soient nettement diffrentes entre plage codante et non codante. Une
seconde possibilit est que ces proportions ne sont pas vraiment nettement
diffrentes, et quil faut compter les di ou trinuclotides.
Dans le premier cas, on va distinguer entre rgion codante et non codante
en comparant les proportions de a, de c, de g et de t. Dans le second cas,
il faudra compter les paires ou les triplets. Et quelque soit le critre adopt,
le plus difficile est de localiser correctement les ruptures (ou changements de
plage).
Les mthodes que nous venons dvoquer pour dcomposer une squence
dADN en ses diffrentes plages dans le but de dtecter les gnes peuvent
tre vues comme des procdures statistiques associes une modlisation
probabiliste. Cette modlisation nest pas la mme suivant que lon regarde
des frquences de nuclotides, de bi ou de trinuclotides. Dans tous les cas,
on considrera la suite des nuclotides comme une suite de v. a. valeurs
dans lensemble E = {a, c, g, t}.
Avant de faire un dtour par les modles probabilistes possibles pour
une squence dADN, considrons deux problmes parmi les plus simples
danalyse de squences.
4.1.1
Les ilts cpg
On note cpg le dinuclotide c suivi de g (la notation c g ou c-g dsigne

plutt la paire de bases c et g apparie, chacune sur un brin de lADN).
Dans le gnome humain, ces dinuclotides ont tendance disparatre, parce
4.2. LE MODLE I.I.D
113
que lorsque la cytosine c est suivie par la guanine g, elle a tendance tre
modifie par mthylation, et mthylc mute facilement en thymine t. Do le
fait que les dinuclotides cpg sont plus rares que ce que donne le produit de la
frquence des c par celle des g. Mais le processus de mthylation est inhib
dans certaines portions du gnome, autour des promoteurs et des codons
START. Dans ces rgions on trouve beaucoup de cpg (en fait plus que le
produit de la frquence des c par celle des g). On appelle ces rgions des
ilts cpg.
On peut donc se poser deux questions. Etant donne une petite portion de
gnome, comment dcider sil provient ou non dun ilts cpg ? Etant donne
une longue squence, comment isoler les ilts cpg ?
4.1.2
Recherche de gnes dans un gnome prokaryote
Dans un gnome prokaryote, un gne est une succession de codons (de

trinuclotides, qui chacun code pour un acide amin), encadrs par un codon
START et un codon STOP. Il y a trois codons START possibles, et trois
codons STOP possibles. Mais alors quun codon STOP putatif dans la bonne
phase de lecture est forcment un STOP, un codon START possible au milieu
dune rgion non codante nest pas forcment un START.
On a donc dans un gnome prokaryote des gnes putatifs consitus dun
codon START, un nombre entier de codons (ie. un multiple de 3 nuclotides),
un codon STOP. Comment distinguer, parmi une collection de gnes putatifs,
les vrais gnes des faux gnes ? Comment trouver les gnes dans un gnome
prokaryote ?
Remarque 4.1.1. Dans les chapitres prcdents, les suites alatoires (en particulier les chanes des Markov) taient indexes par le temps n = 0, 1, 2, . . ..
Dans ce chapitre, on va considrer des suites alatoires indexes par la position n sur une squence gnomique. On aura n = 1, 2, . . ., cest dire que
lindice n part de la valeur 1, et non plus de la valeur 0.
4.2
Le modle i.i.d
Soit X1 le premier nuclotide de notre squence. Sa loi de probabilit est

dfinie par le vecteur p = (pa , pc , pg , pt ) donn par
pa = IP(X1 = a), pc = IP(X1 = b), pg = IP(X1 = g), pt = IP(X1 = t)
114
Notons que pa , pc , pg , pt 0 et pa + pc + pg + pt = 1.
On dit que les v.a. (X1 , . . . , Xn ) sont i.i.d. (indpendantes et identiquement distribues) si elles sont indpendantes et toutes de mme loi. On dit
aussi (dans le langage des statisticiens) que la suite (X1 , . . . , Xn ) est un chantillon de taille n de la loi commune des Xi . A cet chantillon, on associe la
loi de probabilit empirique
pna
1X
1X
=
1{Xi =a} , pnc =
1{Xi =c} ,
n i=1
n i=1
png =
1X
1X
1{Xi =g} , pnt =
1{Xi =t} .
n i=1
n i=1
pn = (pna , pnc , png , pnt ) est une probabilit sur E.

En pratique, la loi commune p = (pa , pc , pg , pt ) des Xi est inconnue. Du
moins si n est suffisamment grand, pn est une bonne approximation de p. En
effet, il rsulte de la loi des grands nombres que
n
pna
1X
=
1{Xi =a} IE(1{X1 =a} ) = IP(X1 = a)
n i=1
quand n (mme rsultat pour c, g, t), et en outre daprs le thorme

de la limite centrale,
!
r
r
Z
x2
1
pa (1 pa )
p
(1
p
)
a
a
n
IP
e 2 dx,
pa pa
n
n
2
et donc puisque
p
1
pa (1 pa ) ,
2
r Z

x2
2
IP |pa pna | >
e 2 dx
2 n

On peut donc estimer la loi inconnue p, sous lhypothse que les nuclotides sont i.i.d., donc en particulier que la plage considre est homogne.
Lhypothse dindpendance nest pas forcment vrifie, mais en ralit
elle nest pas absolument ncessaire pour que la dmarche cidessus puisse
tre justifie.
4.3. LE MODLE DE MARKOV
4.3
115
Le modle de Markov
Supposer que les nuclotides sont indpendants les uns des autres nest pas
trs raisonnable. On peut penser par exemple que, dans une rgion codante, la
loi du 2me nuclotide dun codon dpend de quel en est le premier nuclotide.
Do lide de supposer que la suite (X1 , . . . , Xn ) forme une chane de
Markov. Cependant, il est utile pour lapplication au gnome de considrer une proprit de Markov plus gnrale que ce que nous avons introduit
jusquici.
Dfinition 4.3.1. La suite (X1 , . . . , Xn ) est une chane de Markov dordre
` ( 1) (Modle M `) si k > `,
IP(Xk = xk |X1 = x1 , . . . , Xk1 = xk1 )
= IP(Xk = xk |Xk` = xk` , . . . , Xk1 = xk1 )
Notons quune suite indpendante constitue un modle M 0. Le modle
M 1, est le modle usuel, qui a t tudi dans les chapitres prcdents. Remarquons que lon peut toujours considrer un modle M k valeurs dans E
comme un modle M 1 valeurs dans E k .
4.3.1
Application aux ilts cpg
Les donnes cidessous sont reprises de [15]. On estime deux matrices de

transition de Markov (modle M 1), dune part sur des ilts cpg, et dautre
part sur des squences qui ne sont pas des ilts cpg. Dans le premier cas, on
obtient la matrice de transition estime
a
=c
g
t
a
0.180
0.171
0.161
0.079
c
0.274
0.368
0.339
0.355
g
0.426
0.274
0.375
0.384
t
0.120
0.188,
0.125
0.182
a
P = c
g
t
a
0.300
0.322
0.248
0.177
c
0.205
0.298
0.246
0.239
g
0.285
0.078
0.298
0.292
t
0.210
0.302.
0.208
0.292
P+
et dans le second cas
116
Etant donne une squence x = (x1 , . . . , xn ) de nuclotides, on calcule un

score qui est en fait un lograpport de vraisemblance sous la forme
IPmodle+ (X = x)
IPmodle (X = x)
!
n
X
Px+i1 xi
=
log
Pxi1 xi
i=2
S(x) = log
n
X
Rxi1 xi .
i=2
On peut en fait normaliser ce score en le divisant par la longueur n de la

squence. La matrice des R est donne par
a
R=c
g
t
a
0.740
0.913
0.624
1.169
c
0.419
0.302
0.461
0.573
g
0.580
1.812
0.331
0.393
t
0.803
0.685.
0.730
0.679
Lorsque lon compare les S(x) pour diverses squences dont on sait sil sagit
ou non dilt cpg, on voit que le score cidessus discrimine bien les ilts cpg
des autres types de squence.
4.3.2
Recherche de gnes dans un gnome prokaryote
On procde de faon analogue ce que lon vient de faire la soussection

prcdente. On a notre disposition des vrais gnes et des faux gnes. On
va en utiliser une partie pour lapprentissage du modle, et une autre pour
tester le caractre discriminant ou non de tel score.
On utilise un premier sousensemble des vrais gnes pour estimer la matrice de transition dune chane de Markov. Notons P + lestim obtenu. Le
modle est un modle i.i.d., la probabilit jointe des 4 nuclotides tant
donne par les 4 frquences, calcule partir dun pool contenant la fois
des vrais gnes et des faux gnes. Notons lestim obtenu.
4.3. LE MODLE DE MARKOV
117
Maintenant si x est un gne putatif, on calcule son score

IPmodle+ (X = x)
IPmodle (X = x)

+
n
X
Pxi1 xi
=
log
x i
i=2
S(x) = log
n
X
Rxi1 xi .
i=2
Il savre que cette statistique discrimine trs mal les vrais gnes des faux
gnes.
Par contre, si lon prend comme modle + un modle de Markov M 1 sur
les codons, et que lon procde comme cidessus, alors la nouvelle statistique
S(x) discrimine bien les vrais gnes des faux gnes.
4.3.3
Statistique des chanes de Markov M k
Pour simplifier, on va se contenter de dcrire le modle M 2. Dans ce cas,

ce qui remplace la matrice P est une matrice de transition de E E dans
E, qui donne la loi de probabilit de Xk+1 , sachant le couple (Xk1 , Xk ).
Dans le cas E = {a, c, g, t}, on a donc une matrice de transition 16 lignes
(indexes par les dinuclotides {aa, ac, . . . , gt, tt}) et 4 colonnes (indexes
par {a, c, g, t}).
Remarque 4.3.2. On peut aussi se ramener un modle M 1 sur lespace
dtat E E, puisque si (X1 , X2 , . . . , Xn ) est une chane de Markov dordre
2 valeurs dans E, ((X1 , X2 ), (X2 , X3 ), . . . , (Xn1 , Xn )) est une chane de
Markov dordre 1 valeurs dans E E. On se ramne une matrice de
transition carre, et on peut introduire la notion de probabilit invariante...
On estime la probabilit de transition Pxy,z laide de la quantit
Pn2
k=1 1{Xk =x,Xk+1 =y,Xk+2 =z}
,
Pn2
k=1 1{Xk =x,Xk+1 =y}
qui converge p.s. vers Pxy,z quand n . Remarquons que cette statistique
inclut le dcompte des trinuclotides, donc en particulier des codons, ce qui
fait que les chanes dordre 2 sont trs utilises pour modliser les rgions
codantes de lADN.
118
4.3.4
Chane de Markov phase
Dans une plage codante, on peut penser que la probabilit de transition

nest pas indpendante du site, mais priodique de priode 3. Comme la
notion de chane de Markov priodique dsigne tout autre chose ( savoir
une chane qui nest pas apriodique au sens de la dfinition 2.6.1), nous
utiliserons, la suite de [40], la terminologie chane de Markov phase pour
dsigner une chane de Markov (Xn , 1 n N ) telle que pour tous x, y E,
lapplication n P (Xn+1 = y|Xn = x) est priodique. Dans le cas qui nous
occupe, on peut y compris songer une chane de Markov dordre 2, telle que
pour tout y E, la quantit P (Xn+1 = y|Xn = x, Xn1 = x0 ) ne dpende
pas de x, x0 pour n = 3k, que de x pour n = 3k + 1 et dpende de x, x0 pour
n = 3k + 2, k entier. Cela veut dire en particulier que les codons successifs
sont i.i.d. On pourrait aussi supposer que les codons successifs forment une
chane de Markov dordre 1.
4.3.5
Chane de Markov localement homogne
Si lon regarde plus globalement la squence gnomique, on sattend ce

que la chane de Markov qui dcrit celleci soit homogne dans la runion
des rgions non codantes, dans celle des rgions codantes lendroit, celle
des rgions codantes lenvers, la runion des introns, mais pas globalement
homogne, et cest dailleurs cette inhomognit qui doit nous permettre de
raliser lannotation. Le principal problne est bien de dtecter ce que lon
appelle les ruptures de modle.
Il existe une importante littrature statistique sur ces problmes de rupture de modle, mais il nest pas clair que les algorithmes correspondant sont
adaptables la situation qui est la ntre ici, o il est essentiel dexploiter
lhomognit de la chane sur la runion des plages de mme type (non codant, codant lendroit,...), et pas seulement sur chacune de ces plages prise
isolment.
Nous allons prsenter un algorithme d Audic et Claverie [1] pour lannotation des gnomes prokaryotes. On suppose que notre modle (qui peut
tre M 0, M 1, M 2,...) est dcrit par un paramtre (qui est une probabilit
sur E dans le cas M 0, une probabilit de transition dans le cas M 1, ...),
lequel prend trois valeurs distinctes (toutes trois inconnues !) (0 , 1 , 2 ), suivant que lon est dans une plage non codante, codante lendroit ou codante
lenvers.
4.4. CHANE DE MARKOV CACHE
119
tape dinitialisation On dcoupe la squence en plages de longueur 100

(ventuellement, la dernire plage est de longueur > 100). On dcide
au hasard de placer chaque plage dans lune des trois botes 0, 1, et
2. Sur la base de tous les Xn se trouvant dans la bote 0, on estime une
(1)
(1)
valeur du paramtre , soit 0 . On estime de mme les valeurs 1 et
(1)
2 .
tape de mise jour Supposons que nos trois botes 0, 1, et 2 contiennent
chacune des plages distinctes de longueur 100, sur la base desquelles
(n)
(n)
(n)
on a estim les valeurs 0 , 1 et 2 . On commence par vider ces
botes, et on reprend la squence complte {Xn , 1 n N }. On extrait la soussuite {Xn , 1 n 100}. On estime le paramtre sur
(n)
la base de cette soussuite, et on choisit laquelle des trois valeurs 0 ,
(n)
(n)
1 et 2 est la plus proche de cette nouvelle valeur estime. Puis on
se pose le mme problme avec la suite {Xn , 10 n 110}, avec la
suite {Xn , 20 n 120},.. jusqu ce que la valeur estime devienne
plus proche dune autre des trois valeurs de ltape prcdente. Alors
on revient en arrire de 50 nuclotides, et on place lintervalle ainsi
slectionn depuis le dbut de la squence dans la bote 0, 1, ou 2,
suivant le cas. On recommence, en prenant une plage de longueur 100,
adjacente lintervalle que lon vient de placer dans une des botes, et
on rpte les oprations prcdentes. Lorsque lon a puis la squence,
on se retrouve avec trois botes contenant chacune (du moins il faut
lesprer) des plages de longueur 100. On estime alors les trois nou(n+1)
(n+1)
(n+1)
velles valeurs 0
, 1
et 2
, sur la base du contenu des botes
0, 1, et 2 respectivement.
Si la squence initiale est effectivement constitue de plages dont les compositions statistiques sont de trois types diffrents, lalgorithme converge rapidement, et quand on sarrte, on a un dcoupage de la squence initiale
en soussquences de trois types diffrents. Il ne reste plus qu dcider qui
est qui, ce qui requiert des connaissances a priori, acquises en observant des
squences qui ont dj t annotes.
4.4
Chane de Markov cache
Le point de vue Baysien consiste se donner une loi de probabilit a

priori sur les paramtres inconnu i , et leur volution. Plus prcisment on
120
va maintenant se donner une nouvelle chane de Markov (Y1 , . . . , YN ), dite

cache parce que non observe. Dans le cas des gnomes prokaryotes, la
chane (Yn ) prend par exemple ses valeurs dans lensemble trois lments
F = {0, 1, 2}, et dans le cas eukaryote il faut diffrencier les tats 1 et 2 entre
les parties intron et exon. En ralit cest encore un peu plus compliqu, car
il faudrait prendre en compte les codons START et STOP, mais on verra
cela un peu plus loin. Lavantage de cette approche est que lon dispose
dalgorithmes pour rpondre aux questions que nous nous posons. On note
F lespace dans lequel la chane cache prend ses valeurs, et d = card(F ).
Rappelons que d 3.
Pour simplifier la prsentation succincte de ces algorithmes, on va supposer que (Y1 , . . . , YN ) est une chane de Markov (, P ) valeurs dans F , et
que, connaissant les (Yn ), la suite des nuclotides (X1 , . . . , XN ) est indpendante, la loi de chaque Xn dpendant uniquement du Yn correspondant, i.e.
pour tout 1 n N ,
IP(X1 = x1 , . . . , Xn = xn |Y1 = y1 , . . . , Yn = yn )
n
Y
=
IP(Xk = xk |Yk = yk )
=
k=1
n
Y
Q y k xk .
k=1
Le problme que lon cherche rsoudre est le suivant : ayant observ

la suite des nuclotides (x1 , . . . , xN ), quelle est la suite des tats cachs
(y1 , . . . , yN
) qui explique le mieux ces observations ? Autrement dit, il sagit
de calculer la suite qui maximise la vraisemblance de la loi a posteriori sachant les observations, i.e.
(y1 , . . . , yN
) = argmaxIP(Y1 = y1 , . . . , YN = yN |X1 = x1 , . . . , XN = xN ).
y1 ,...,yN
Notons que, dans ce modle, on a comme paramtres inconnus le triplet

(, P, Q). Pour rsoudre le problme cidessus, on est oblig destimer dabord
les paramtres (mais nous discuterons ce problme la fin). Si lon admet
que lon connat les paramtres, notre problme sera rsolu par lalgorithme
de Viterbi. Mais nous allons dabord prsenter le
4.4.1
121
Calcul de la vraisemblance
Il est clair, au vu de ce qui prcde, que

IP (Y1 = y1 , X1 = x1 , Y2 = y2 , X2 = x2 , , YN = yN , XN = xN )
= y1 Py1 y2 PyN 1 yN Qy1 x1 Qy2 x2 QyN xN .
Et donc
IP (X1 = x1 , . . . , XN = xN )
X
=
y1 Py1 y2 PyN 1 yN Qy1 x1 QyN xN
y1 ,y2 ,...,yn F
Mais cette formule nest pas utilisable en pratique, car elle suppose deffectuer de lordre de N dN oprations, ce qui, ds que N est un peu grand,
devient irralisable. On va maintenant voir une procdure rcursive pour le
calcul de la vraisemblance, savoir la :
Procdure progressive
Considrons la suite (indexe par n) des vecteurs ligne (n), dfinis par :
y (n) = IP (X1 = x1 , X2 = x2 , . . . , Xn = xn , Yn = y), y F.
Cette suite se calcule par une rcurrence progressive comme suit :
1. Initialisation :
y (1) = y Qyx1 , y F.
2. Rcurrence :
y (n + 1) = ((n)P )y Qyxn+1 , y F.
La quantit cherche est donne par :
X
y (N ).
yF
Ce calcul requiert de lordre de d2 N oprations.

On peut aussi calculer la mme quantit en utilisant la :
Procdure rtrograde
On introduit les vecteurs colonne (n), dfinis par :
y (n) = IP (Xn+1 = xn+1 , . . . , XN = xN |Yn = y), y F.
Cette suite se calcule par une rcurrence rtrograde comme suit :
122
1. Initialisation :
y (N ) = 1,
y F.
2. Rcurrence :
2-a y (n) = y (n)Qyxn , y F .
2-b (n 1) = P (n).
Finalement la quantit cherche vaut le scalaire (produit dun vecteur ligne

gauche par un vecteur colonne droite) :
(1).
A nouveau, le nombre doprations requises est de lordre de d2 N . Notons
que
y (n) = IP (Xn = xn , Xn+1 = xn+1 , . . . , XN = xN |Xn = y), y F.
4.4.2
Lalgorithme de Viterbi
Si lon admet que le paramtre est connu, lalgorithme de Viterbi calcule
la suite (y1 , . . . , yN
) qui maximise la vraisemblance. Dfinissons la suite de
vecteurs ligne (n) par :
y (n) = max IP (Y1 = y1 , . . . , Yn1 = yn1 , Yn = y, X1 = x1 , . . . , Xn = xn )
y1 ,y2 ,...,yn1
y (n) est en quelque sorte la plus forte probabilit dune trajectoire des
{Yk , 1 k n 1}, qui se termine par Yn = y, et correspondant la suite
des nuclotides observs x1 , . . . , xn . On a la formule de rcurrence suivante
entre les vecteurs (n) :
y (n + 1) = ((n) P )y Qyxn+1
o lopration qui un vecteur ligne de dimension d et une matrice d d
associe un vecteur ligne de dimension d est dfinie comme suit :
( P )y = sup z Pzy .
zF
123
Lalgorithme de Viterbi consiste calculer les (n) de n = 1 n = N ,

puis retrouver la trajectoire optimale en cheminant pas pas dans le sens
rtrograde : connaissant yn , on en dduit yn1

par la formule :
yn1
= yn (n),
avec
y (n) = argmaxzF z (n 1)Pzy .
Lalgorithme de Viterbi est dcrit comme suit :

1. Initialisation :
y (1) = y Qyx1 , y F ;
(1) = 0.
2. Rcurrence : pour 1 < n N ,
y (n) = ((n 1) P )y Qyxn ,
y (n) = argmaxzF z (n 1)Pzy , y F.
3. Etape finale :
= max y (N )
yF
yN
= arg max y (N ).
yF
4. Rcurrence rtrograde
yn = yn+1
(n + 1), 1 n < N.
Remarque 4.4.1. Notons que lalgorithme de Viterbi est un exemple dalgorithme de la programmation dynamique. Cet algorithme a t invent par
Richard Bellman en 1950, comme algorithme de calcul dun contrle optimal,
cf. chapitre 5 cidessous.
4.4.3
Estimation des paramtres
Il y a deux stratgies possibles. Lune consiste estimer les paramtres

sur une squence dapprentissage dj annote. Dans ce cas, on estime les
124
paramtres dun modle o toute la suite {(Xn , Yn ), 1 n N } est observe.

On utilise les algorithmes destimation bien connus que nous avons prsents
dans les sections prcdentes.
Lautre stratgie consiste estimer les paramtres sur la base des seules
observations de la suite des nuclotides. Lavantage est de faire lestimation
partir du gnome tudi, et non pas partir dun gnome diffrent. Linconvnient est bien sr que lon estime un modle avec des observations trs
partielles. Il existe cependant des algorithmes maintenant classiques (lalgorithme EM, et sa variante SEM), qui permettent de rsoudre ce problme.
Algorithme EM La statistique mathmatique nous enseigne quun bon
estimateur de est lestimateur du maximum de vraisemblance :
N = arg max IP (X1 = x1 , X2 = x2 , . . . , XN = xN ).
Pour allger les critures, on notera dornavant

ON = {X1 = x1 , X2 = x2 , . . . , XN = xN },
Y N = (Y1 , Y2 , . . . , YN ), y N = (y1 , y2 , . . . , yN ).
On ne connat pas de mthode pour trouver un maximum global de la fonction
IP (ON ).
On va indiquer un algorithme itratif qui converge vers un maximum local
de cette fonction, lalgorithme de BaumWelch. Remarquons tout dabord
que :
IP (Y N = y N , ON )
, do :
IP (ON ) =
IP (Y N = y N |ON )
IP0 (Y N = y N |ON ) log IP (ON ) = IP0 (Y N = y N |ON ) log IP (Y N = y N , ON )
IP0 (Y N = y N |ON ) log IP (Y N = y N |ON ).
Sommant sur y N F N , on obtient
X
1
IP0 (Y N = y N , ON ) log IP (Y N = y N , ON )
IP0 (ON ) N
y
X
N
IP0 (Y = y N |ON ) log IP (Y N = y N |ON )
log IP (ON ) =
yN
125
do, en soustrayant la mme identit avec = 0 :

log IP (ON ) log IP0 (ON )
X
1
=
IP0 (ON )
yN
IP0 (Y N = y N , ON ) log IP0 (Y N = y N , ON )

yN
X
yN
IP0 (Y N = y N |ON ) log
IP0 (Y N = y N |ON )
IP (Y N = y N |ON )
Il rsulte de la convexit de la fonction log et de lingalit de Jensen que

le dernier terme de lidentit cidessus est nonngatif. On pose :
Q(0 , ) =
y N F N
Il rsulte du calcul cidessus que :

Q(0 , ) Q(0 , 0 ) IP (ON ) IP0 (ON ).
Lalgorithme itratif de Baum-Welch consiste, chaque itration, calculer
n+1 en fonction de n suivant la formule suivante ;
n+1 = arg max Q(n , )
Pour garder n comme indice du temps, on va plutt noter :
= arg max Q(0 , )
Cet algorithme sinterprte en fait comme un algorithme EM adapt notre
problme.
Lalgorithme EM est bien connu en statistique. Ltape E (comme esprance) consiste ici en le calcul de la fonction Q(0 , ), et ltape M
(comme maximisation) en la recherche du point o la fonction atteint son
maximum.
126
Notons que :
IP (Y
log IP (Y
= y , O N ) = y 1 Q y 1 x1
N
= y , ON ) = log y1 +
N
Y
Pyn1 yn Qyn xn
n=1
N
X
log Pyn1 yn +
n=2
N
X
log Qyn xn
n=1
Il est alors facile de voir, avec la notation = (, P, Q), que

Q(0 , ) = Q0 (0 , ) +
Q1 (0 , Py ) +
yF
Q2 (0 , Qy ),
yF
avec
Q0 (0 , ) =
IP0 (ON , Y1 = y) log y ,
yF
Q1 (0 , Py ) =
N X
X
IP0 (ON , Yn1 = y, Yn = x) log Pyx
n=2 xF
Q2 (0 , Qy ) =
N X
X
xn z IP0 (ON , Yn = y) log Qyz .
n=1 zE
On voit que le problme de la recherche du maximum se dcompose en 1+2

cardF problmes de recherche dun maximum, tous de la forme :
X
arg
maxP
wy log vy ,
0vy 1;yF,
vy =1
yF
P
o les wj [0, 1]. On supprime les contraintes y vy = 1 en exprimant un des
vy en fonction des autres, et lannulation du gradient conduit la solution :
vy = P
wy
y 0 F
wy 0
:
Do les formules suivantes pour = (
, P , Q)
y =
IP0 (ON , Y1 = y)
= IP0 (Y1 = y|ON ), y F.
IP0 (ON )
Pxy =
xz =
Q
PN
127
IP0 (ON , Yn1 = x, Yn = y)

, x, y F.
PN
n=2 IP0 (ON , Yn1 = x)
n=2
PN
n=1
P
N
IP0 (ON , Yn = x)xn z
n=1
IP0 (ON , Yn = x)
, x F, z E.
o xn dsigne la valeur observe de Xn , et le symbole de Kronecker (u0 u = 1

ou 0, selon que u0 = u ou u0 6= u). Il reste voir comment calculer les probabilits qui interviennent cidessus. Pour viter des indices supplmentaires,
on notera 0 = (, P, Q). On a :
y = P
y (1)y
yF y (1)y
Notons A = {X1 = x1 , . . . , Xn1 = yn1 , Yn1 = x}, B = {Yn = y, Xn =

xn , . . . , XN = xN }. On a
IP0 (A B) = IP0 (B|A)IP0 (A),
IP0 (A) = x (n 1),
et grce la proprit de Markov et lindpendance conditionnelle des Xk
sachant les Yk ,
IP0 (B|A) = IP0 (B|Yn1 = x)
= IP0 (Xn = xn , . . . , XN = xN |Yn = y)IP0 (Yn = y|Yn1 = x)
= Pxy y (n)
Notons, pour le calcul du dnominateur, que x (n 1) =
dduit des calculs prcdents la formule :
PN
x (n 1)Pxy y (n)
Pxy = PNn=2
n=2 x (n 1)x (n 1)
Enfin, un calcul analogue donne

xz =
Q
PN
n=1
P
N
x (n)x (n)xn z
n=1
x (n)x (n)
yF
Pxy y (n). On
128
Remarques sur limplmentation Les algorithmes cidessus (algorithme de Viterbi et de BaumWelch) ne sont pas implmentables tels quels sur
machine. La raison en est que lon manipule des produits dun grand (si N
est grand) nombre de termes plus petits que 1, ce qui donne des quantits
microscopiques.
Lalgorithme de Viterbi ne comportant que des produits et des maxima,
la solution est de calculer les logarithmes des quantits qui interviennent (ce
qui remplace les produits par des sommes). Ltape finale de recherche de la
trajectoire optimale est inchange, puisque la fonction log est croissante.
Lalgorithme de BaumWelch comporte des sommes, et dans ce cas la
solution passe par lutilisation de constantes de normalisation.
En pratique, on va remplacer les par les
dfinis par :
!1
X
x (n) =
y (n)
x (n)
yF
si lon note
C(n) =
X
yF
y (n)
!1
, alors
C(n) = c1 c2 cn , o
cn =
X
yF
((n
1)P )y Qyxn
!1
On dfinit de faon analogue,

y (n) = cn cn+1 cN y (n),
y (n) = cn cn+1 cN y (n)
,
en fonction des
et on voit aisment comment rcrire P et Q
et des ,
de telle sorte que chaque terme de la somme apparaissant au numrateur,
comme au dnominateur, soit multipli par C(N ).
Notons quavec ces notations
log IP (ON ) = log C(N ) =
N
X
n=1
log cn .
4.5. MODLE SEMIMARKOVIEN CACH
129
Algorithme SEM Nous allons enfin prsenter de faon trs sommaire

lalgorithme SEM, qui est le plus utile dans les situations que nous dcrirons
plus loin. Pour chaque valeur du paramtre inconnu , on considre la loi
conditonnelle des tats cachs, sachant la suite des nuclotides, note
IP (Y1 = y1 , . . . , YN = yN |X1 = x1 , . . . , XN = xN ) ,
ou plutt

IP Y1N = y1N |X1N = xN
1 .
Lalgorithme SEM est un algorithme itratif, que lon initie avec une valeur
0 . Litration qui remplace n par n+1 se dcompose en deux tapes comme
suit :
Simulation On tire au hasard une ralisation de la suite alatoire Y1N ,
N
suivant la loi IPn (Y1N = |X1N = xN
1 ). Notons y1 (n) la suite obtenue
ainsi.
Maximisation On choisit

n+1 = argmax IP Y1N = y1N (n), X1N = xN
1 .
Dans lalgorithme EM, ltape de simulation est remplace par le calcul de
IEn (Y1N |X1N = xN
1 ).
4.5
4.5.1
Modle semimarkovien cach

Les limites du modle de Markov cach
Un consquence de la proprit de Markov est que les temps de sjour

dune chane de Markov dans chacun des tats visits suivent des lois gomtriques. Le modle de la section 10 implique donc que les longueurs des plages
codantes et non codantes dun gnome prokaryote suivent des lois gomtriques. Or cette hypothse ne cadre pas avec les donnes dont on dispose. Il
y a l un premier argument pour envisager un modle plus gnral, mais on
va voir maintenant un argument encore plus convainquant pour abandonner
le modle de Markov cach.
Examinons plus prcisment notre problme, en nous limitant nouveau
pour simplifier au gnome prokaryote. Il est bien sr essentiel de prendre
en compte linformation contenue dans les codons START et STOP. Si lon
renonce un modle phas, on est oblig dintroduire 3 tats START, 3
130
tats codants et 3 tats STOP, chacun correspondant une des trois phases
de lecture, le tout doit tre multipli par deux pour tenir compte du brin
complmentaire. On ajoute un tat non codant. Cela fait en tout 19 tats.
Certes, la plupart des termes de la matrice de transition sont nuls, mais
cela fait quand mme beaucoup dtats, et dans le cas eukaryote la situation
est bien pire. On peut rduire ce nombre avec un modle phas, mais on
rcupre la mme complexit en multipliant par trois le nombre de matrices
de transition estimer. Enfin on pourrait penser travailler sur la suite des
codons plutt que sur celle des nuclotides, mais ceci ne serait pas valable
pour les parties non codantes.
On va voir cidessous que le modle semimarkovien permet de rduire
le nombre dtats trois dans le cas prokaryote, en outre quil permet de
choisir une loi plus raliste que la loi gomtrique pour la longueur des plages
codantes.
4.5.2
Questce quune chane semimarkovienne ?
La rponse dpend des auteurs. On va donner une dfinition possible.

Comme son nom lindique, une chane semimarkovienne est un peu moins
markovienne (i.e. oublie un peu moins son pass) quune chane de Markov.
tant donne une suite alatoire (X1 , . . . , XN ), et 1 < n < N , on dfinit
pour chaque 1 < n < N la v. a. n de la faon suivante
n = sup{k 0, Xnk = Xnk+1 = = Xn }.
Dans lapplication qui nous intresse, cest le nombre de sites gauche du
site n, qui sont dans la mme plage que celuici. Bien entendu, si lon connat
la ralisation de la suite (X1 , . . . , Xn ), on connat la valeur de n . On notera
n (x1 , . . . , xn ) la valeur de n quand (X1 , . . . , Xn ) = (x1 , . . . , xn ). Cest dire
n (x1 , . . . , xn ) = sup{k; xnk = = xn },
do n = n (X1 , . . . , Xn ).
Dfinition 4.5.1. Une suite alatoire (X1 , . . . , XN ) valeurs dans E est une
chane semimarkovienne ssi pour tout 1 < n N , pour tout (x1 , . . . , xn1 , x,
y) E n+1 ,
IP(Xn+1 = y|X1 = x1 , . . . , Xn1 = xn1 , Xn = x)
= IP(Xn+1 = y|Xn = x, n = n (x1 , . . . , xn1 , x)).
131
Le fait que ltat suivant dune chane semimarkovienne dpende non

seulement de ltat courant, mais de la longueur de la visite dans cet tat
jusquau site considr fait que les lois des temps de sjour dans les divers
tats sont compltement arbitraires.
Plus prcisment, une faon gnrique de prciser la loi dune chane
semimarkovienne (et aussi dindiquer comment la simuler) est la suivante.
Dune part on associe chaque point x E une loi de probabilit
(dx (n), n IN\{0}) sur les entiers privs de 0, qui prcise les lois des
longueurs des plages sur lesquelles la chane est constante.
Dautre part on se donne une matrice de transition P sur E E dune
chane de Markov, dont tous les termes diagonaux sont nuls. Cette
matrice dcrit suivant quelle loi la chane change dtat, quand elle en
change.
Voyons comment simuler une chane semimarkovienne dont la loi est
caractrise par les donnes : pour tout x E, dx dsigne la loi du temps de
sjour ltat x, et Px la loi du prochain tat visit aprs ltat x. Si x est le
point de dpart (X1 = x), on tire une variable altoire T1 valeurs dans IN
de loi dx . Notons n la valeur simule. Alors X1 = X2 = X3 = = Xn = x.
On tire une v.a. Z1 de loi Px sur E\{x}. Supposons que le rsultat du tirage
soit Z1 = y. Alors Xn+1 = y, et on recommence en tirant une v. a. T2 de loi
dy , et une v.a. Z2 de loi Py , et ainsi de suite. Tous les tirages successifs sont
bien entendu indpendants les uns des autres.
4.5.3
Le modle semimarkovien cach
Encore une fois, limitonsnous pour simplifier au cas prokaryote. On

considre 3 tats cachs, ltat 0 pour non codant, ltat 1 pour codant
lendroit, ltat 2 pour codant lenvers. Ltat 0 est un tat markovien (on
verra cidessous la raison de cette restriction), ce qui veut dire que la loi des
longueurs des plages non codantes est une loi gomtrique de paramtre q
( estimer). Les tats 1 et 2 sont dits semimarkoviens. On choisira comme
loi des longueurs des plages codantes lendroit et lenvers limage par
lapplication x 3x dune loi binomiale ngative de paramtres m IN et
0 < p < 1 (i. e. cette loi dcrit le nombre de codons plutt que le nombre de
nuclotides).
Dfinition 4.5.2. On dit que la v.a. T suit la loi binomiale ngative de
paramtres m et p si T est le nombre de jets de pile ou face ncessaires pour
132
obtenir exactement m piles, p dsignant la probabilit dobtenir pile chaque

coup. Soit
k1
IP(T = k) = Cm1
(1 p)km pm ,
qui vaut la probabilit dobtenir m1 piles au cours des k 1 premiers coups,
multiplie par la probabilit dobtenir pile au kime coup.
La logique voudrait que lon choisisse comme valeur du paramtre m le
plus petit nombre dacides amins que contient un gne, plus deux (pour les
codons START + STOP). Malheureusement, ce nombre minimal peut tre
extrmement rduit dans des cas tout fait exceptionnels, alors quil est
de lordre de la dizaine hormis ces cas tout fait exceptionnels. Un choix
raisonnable semble tre m = 10, mais ce choix doit tre critiquvalid par
le Biologiste (et/ou confront la squence tudie).
Quant au paramtre p, il doit tre estim.
Quant la loi de probabilit qui rgit les changements dtat, elle est
dfinie comme suit. On admet que tout plage codante ( lendroit comme
lenvers) est suivie dune plage non codante. Donc P10 = P20 = 1. En outre,
P01 + P02 = 1, et on peut soit supposer que P01 = 1/2, soit chercher estimer
cette quantit.
Discutons maintenant de la loi des nuclotides, sachant ltat cach. On
peut admettre que dans les plages non codantes, les nuclotides sont i. i. d.,
la loi commune tant estimer. Dans une plage codante, on suppose par
exemple que les codons sont mutuellement indpendants, le premier prenant
ses valeurs dans lensemble des codons START possibles, le dernier dans lensemble des codons STOP possibles, les autres codons tant i. i. d., valeurs
dans les codons possibles qui codent pour un acide amin (en particulier ces
codons ne peuvent pas prendre comme valeur un des codons STOP). La description de la loi des codons dune plage codante lenvers se dduit aisment
de celle que nous venons de donner pour les plages codantes lendroit.
4.5.4
Viterbi dans le cas semimarkovien cach
Nous allons maintenant dcrire comment lalgorithme de Viterbi scrit

dans notre nouvelle situation (qui est en fait une situation mixte markov
cach semimarkov cach).
Comme pour les chanes de Markov caches, lide est de calculer des
quantits y (n), pour tous les tats cachs y, et 1 n N . Pour y = 0, on
133
pose comme prcdemment

y (n) = max IP (Y1 = y1 , .., Yn1 = yn1 , Yn = y, X1 = x1 , .., Xn = xn ).
y1 ,y2 ,..,yn1
Pour y = 1 (et de mme pour y = 2), on pose

y (n) = max P (Y1 = y1 , ., Yn1 = yn1 , Yn = y, Yn+1 6= y, X1 = x1 , ., Xn = xn )
y1 ,...,yn1
La formule de rcurrence est la suivante :

n
y (n) = max P (X1n = xn1 |Y1n = y, Yn+1 6= y)dy (n)y ,

n
n
= xnnk+1 |Ynk 6= y, Ynk+1
= y, Yn+1 6= y);
max P (Xnk+1
1kn1
o
max (z (n k)Pzy ) dy (k)
z6=y
Remarquons que le fait qu chaque tape on ait calculer un max sur

1 k n rend lalgorithme a priori quadratique en N , ce qui est une
mauvaise nouvelle. Cependant on peut limiter la porte de ce max, en arguant
du fait quune rgion codante se termine au premier codon STOP rencontr.
Cette remarque est encore vraie pour un exon dans le cas eukaryote : celuici
se termine au plus loin lors de la rencontre du premier codon STOP (soit
que ce codon marque effectivement la fin du gne, soit quil soit situ dans
un intron, ou encore dans la mauvaise phase de lecture, mais au del du
premier intron rencontr). La mme remarque ne sapplique pas aux rgions
non codantes, do le choix de prendre ltat 0 markovien.
4.5.5
Recherche de gnes dans un gnome prokariote
La loi a priori des Y

On a 3 tats, codant + = 1, codant = 2, non codant = 0.
La loi de Y1 est une loi = (0 , 1 , 2 ).
Quand Yn = 0, on tire Yn+1 suivant la loi p = (p0 , p1 , p2 ) (avec p0 > 0,

p1 > 0, p2 > 0, p0 + p1 + p2 = 1).
Si Yn1 = 0 et Yn = 1 (description analogue en remplaant 1 par 2), on
tire la longueur de la rgion codante suivant une loi qui ne charge que
les multiples entiers de 3. Juste aprs une plage codante, on est dans
ltat non codant (tat 0).
134
La loi conditionnelle des X, sachant les Y

Sachant que Yn = 0, Xn est indpendant de tout le reste, et suit la loi q =
(qa , qc , qg , qt ) (avec qa > 0, qc > 0, qg > 0 et qt > 0, qa + qc + qg + qt = 1).
Si Yn = 1 (description analogue si Yn = 2), tout dpend de o on en est
dans la plage codante
1. Le 1er codon suit une loi dterminer porte par les codons
START.
2. Les codons intermdiaires sont tirs suivant une loi qui charge
les divers codons qui codent pour des Acides Amins, les codons
STOP possibles tant exclus.
3. Le dernier codon est tir suivant une loi dterminer porte par
les codons STOP.
Le calcul des
Pour y = 1 et y = 2, on dfinit
y (n) = max IP(Y1n1 = y1n1 , Yn = y, Yn+1 = 0, Xn1 = x1n ).
y1 ,...,yn1
Pour y = 0, on dfinit
0 (n) = max IP(Y1n1 = y1n1 , Yn = 0, Xn1 = x1n ).
y1 ,...,yn1
Pour n < 3m, 1 (n) = 2 (n) = 0. En outre si Yn = 0, ncessairement toute

la suite Y1 , . . . , Yn est constante et gale 0. Donc il ny a pas de maximum
prendre et
0 (n) = IP(Y1n = 0, X1n = xn1 ) = 0 p0n1
n
Y
q xk .
k=1
Pour n 3m,
Voyons dabord la formule de rcurrence dans le cas y = 0. Si n >
3m, la collection des y1 , . . . , yn1 sur laquelle on prend le maximum se
subdivise en trois classes, suivant la valeur de yn1 . On a
0 (n) = max[0 (n 1)p0 , 1 (n 1), 2 (n 1)]qxn .
135
Considrons maintenant le cas y = 1 (on traiterait de la mme faon le

cas y = 2).
1. soit Y1n = 1 et Yn+1 6= 1 (ce qui suppose que n est un multiple
entier de 3). Cela scrit :
IP(X1n = xn1 | Y1n = 1, Yn+1 6= 1)d1 (n)1
2. soit la squence cache est en 1 sur la plage [n k + 1, n], alors
(avec ynk 6= 1, donc ncessairement ynk = 0, ce qui impose que
k soit un multiple entier de 3 ; et la quantit qui suit est nulle
sauf si la fois (xnk , xnk+1 , xnk+2 ) est un codon START et
(xn2 , xn1 , xn ) est un codon STOP)
max
y1 ,...,ynk1
n
IP(Y1nk = y1nk , Ynk+1
= 1, Yn+1 = 0, X1n = xn1 )
= 0 (n k)p1
n
n
= 1, Yn+1 = 0|Ynk+1 = 1, Ynk = 0)
IP(Xnk+1
= xnnk+1 , Ynk+1
= 0 (n k)p1
n
n
= 1, Yn+1 = 0)d1 (k).
IP(Xnk+1
= xnnk+1 |Ynk = 0, Ynk+1
La probabilit conditionnelle cidessus se factorise en
k/3
Y
j=0
nk+3j+3
nk+3j+3
n
IP(Xnk+3j+1
= xnk+3j+1
|Ynk = 0, Ynk+1
= 1, Yn+1 6= 1)
k/31
IPSTART (xnk+3
nk+1 )
nk+3j+3
IPCODANT (xnk+3j+1
)IPSTOP (xnn2 )
j=1
:= IPC+ (xnnk+1 ).
Finalement, avec la convention 0 (0) = 1 /p1 ,
1 (n) =
k
max
0 (nk)p1 IPC+ (xnnk+1 )d1 (k).
multiple entier de 3; 3mkn
136
4.6
Alignement de deux squences
Considrons deux squences de nuclotides (ou dacides amins)

xn1 = (x1 , . . . , xn )
y1m = (y1 , . . . , ym ).
Considrons pour fixer les ides le cas de squences de nuclotides. Soit les
deux squences
a a c g g t t c c c a g t t
a c g t t t c c a g t c.
On a bien envie de les aligner comme suit
a a c g g t t c c c a g t t
a c g t t t c c a g t c.
Pour faire cela, on cr des trous (gap en Anglais) (dans lune des deux
squences (on aurait pu vouloir crer des trous dans chacune des deux squences). Notons que du moment que n 6= m, on aura un minimum de
|n m| trous.
On peut associer chaque alignement des deux squences xn1 et y1m un
score, qui sera dautant plus lev que lalignement est bon. Supposons que
la longueur commune des squences alignes (en comptant les trous) est T .
Ncessairement, T sup(n, m). Pour 1 i T , si en position i on trouve
le nuclotide ai dans la premire squence et le nuclotide bi dans la seconde
squence (on na pas ncessairement ai = xi , sauf sil ny a pas de trou dans la
premire squence gauche de la position i ; idem pour la seconde squence),
la position i contribue s(ai , bi ) au score global de lalignement. Si la position
i on a louverture dun trou dans lune des deux squences (au sens o il y a
un trou dans la premire (resp. la seconde) squence la position i, et pas
de trou dans la mme squence la position i 1), cette position contribue
d au score global, et si on a le prolongement dun trou, i contribue e au
score global. Finalement, le score global dun alignement de longueur T vaut
X
X
X
s(ai , bi )
(d+(`j 1)e)
(d+(`0k 1)e),
1iT,pas de trou en i
trous 1re squence
trous 2me squence
si `j (resp. `0k ) dsigne la longueur du jime trou de la premire squence

(resp. du kime trou de la seconde squence). s est une application de
4.6. ALIGNEMENT DE DEUX SQUENCES
137
{acgt}2 dans IR, qui est maximale sur la diagonale. Dans le cas de squences
dacides amins, on remplace bien sr {acgt} par lensemble des 20 acides
amins. Dans les deux cas, s sera choisi de telle sorte que, pour a 6= b, s(a, b)
sera dautant plus grand quune mutation entre a et b est plus probable.
4.6.1
Algorithme de NeedlemanWunsch
La recherche de lalignement optimal peut se faire laide dun algorithme

de programation dynamique. Si lon dfinit M (i, j) comme le meilleur score
possible parmi tous les dbuits dalignements qui aboutissent aligner xi et
yj , Ix (i, j) le meilleur score parmi tous les dbuts dalignements qui aboutissent aligner xi avec un trou dans la seconde squence, yj tant le dernier
nuclotide de la seconde squence gauche du trou, et Iy (i, j) le meilleur
score parmi tous les dbuts dalignements qui aboutissent aligner yj avec un
trou dans la premire squence, xi tant le dernier nuclotide de la premire
squence gauche du trou, alors on a les formules de rcurrence suivantes :
M (i 1, j 1) + s(xi , yj ),
M (i, j) = max Ix (i 1, j 1) + s(xi , yj ),
Iy (i 1, j 1) + s(xi , yj );
(
M (i 1, j) d,
Ix (i, j) = max
Ix (i 1, j) e;
(
M (i, j 1) d,
Iy (i, j) = max
Iy (i, j 1) e.
On a exclu dans ces formules quun trou dans une squence puisse tre immdiatement suivi par un trou dans lautre, ce qui est vrai pour lalignement
optimal si d e < inf a,b s(a, b). Dans le cas e = d, la triple rcurrence
cidessus se rduit lunique rcurrence
F (i 1, j 1) + s(xi , yj ),
F (i, j) = max F (i 1, j) d,
F (i, j 1) d.
Il existe de nombreuses variantes de cet algorithme. En particulier, on peut
sintresser la recherche du meilleur alignement local (et non ncessairement
138
global). Celuici sobtient dans le cas d = e en modifiant la rcurrence comme

suit
0,
F (i 1, j 1) + s(x , y ),
i j
F (i, j) = max
F (i 1, j) d,
F (i, j 1) d.
Le fait que le maximum soit atteint par 0 indique le dbut dun alignement local. Notons que dans ce cas, F (, 0) = F (0, ) 0. Lalgorithme dalignement
local que nous venons de dcrire sappelle lalgorithme de SmithWaterman.
4.6.2
Alignement par chane de Markov cache
Nous allons maintenant replacer la recherche dun alignement optimal

entre deux squences dans le cadre des chanes de Markov caches. Ici la
chane cache sera note Z1 , . . . , ZT . Notons que T nest pas donn priori,
il est alatoire. Cette chane prend ses valeurs dans un espace quatre tats,
que lon dsignera par {A, I, S, F }, A pour aligner, I pour insrer un trou
dans la premire squence, S pour supprimer, soit insrer un trou dans la
seconde squence, F pour fin qui est un tat absorbant de la chane.
Il faut maintenant prciser dune part la loi a priori de la chane Z1 , .., ZT ,
et dautre part la loi conditionnelle de la double suite

1
T 1
X
X
,...,
Y1
YT 1
valeurs dans lensemble {a, c, g, t, }, sachant la suite Z1 , . . . , ZT (la valeur
de T , la longueur de la suite, faisant partie des inconnues qui sont prcises
par lalignement).
On va considrer {Zt , t 1} comme une chane de Markov valeurs dans
lespace {A, I, S, F }, et T := inf{t 1, Zt = F }. La matrice de transition
de cette chane est la matrice
1 2
1 0
1 0 .
0
0 0 1
On choisit comme loi de Z1 la probabilit
(1 )1 (1 2
0).
139
La loi de (Z1 , . . . , ZT ) est compltement spcifie.

Notons que la loi de T est donne par
IP(T = t) = (1 )t2 , t 2.
On peut prciser la loi des transitions, conditionnes au fait quelles naboutissent pas en F . Si lon pose
PGH := IP(Zt+1 = H|Zt = G, T > t + 1),
G, H {A, I, S}, on a
12
P =
1
1
1
1
1
0 .
et des Y ,
Prcisons maintenant la loi conditionnelle de la suite des X
sachant (Z1 , . . . , ZT ). A nouveau, on crit les choses dans le cas de squences
de nuclotides. La transposition aux squences dacides amins ne pose pas de
difficult. On se donne dune part une probabilit {pa,b , (a, b) {acgt}2 },
et dautre part une probabilit {qa , a {acgt}}. Conditonnellement en
t , Yt ), 1 t < T sont indpendantes. Sachant que
(Z1 , . . . , ZT ), les v. a. (X
t , Yt ) est distribu suivant la loi p. Sachant que
1 t < T et Zt = A, (X
t = et Yt suit la loi q. Sachant que 1 t < T
1 t < T et Zt = I, X
t , Yt ) nest pas dfini pour t T .

et Zt = S, Xt suit la loi q et Yt = . (X
Autrement dit,
IP

T 1
X
1
Y T 1
1

Y
Y
x1t1 T
t
Z
=
z
=
p
1{xj =} qyj
xi y i
1
y1t1 1
1i<t;zi =A
1j<t;zj =I
Y
qxk 1{yk =}
1k<t;zk =S
140
On peut maintenant calculer la probabilit

x1t1
T
t
, Z1 = z 1
IP
y1t1
Y
= z1 (1 )t2
p xi y i

1T 1
X
Y1T 1
1jn xj =
1in xi 6=,yi 6=
qyj
q xk
1kn yk =
`
`2
`3
`
1 2 1
1 4
1
1
1
1
Y
Y
Y
= z1
p xi y i
qyj
q xk
1jn;xj =
1in;xi 6=,yi 6=
`1 `2 `3
1kn;yk =
`4
(1 2 ) (1 ) ,
o `1 est le nombre de transitions de la chane {Z } de A vers A, `2 le

nombre de transitions de A vers I ou S (ouverture dun trou), `3 le nombre
de transitions de I ou S vers luimme (prolongement dun trou), et `4 le
nombre de transition de I ou S vers A (fermeture dun trou).
Notons que lobservation est constitue des ralisations des deux suites
(X1 , . . . , XN ) et (Y1 , . . . , YM ) obtenues partir de la double suite

1
T 1
X
X
,...
,
Y1
YT 1
en supprimant les trous.

Il nous faut encore prciser la quantit
IP(X1N = xn1 , Y1M = y1m , Z1T = z1t ).
En fait on va plutt calculer la quantit suivante, donc la maximisation par
rapport zt1 produira le mme rsultat :
IP (X1N = xn1 , Y1M = y1m , Z1T = z1t )
On a
IP
(X1N
xn1 , Y1M
IP(X1N = xn1 , Y1M = y1m , Z1T = z1t )

Qn
Qm
.
i=1 qxi
j=1 qyj
y1m , Z1T
z1t )
t1
Y
v(i),
=
1 i=1
141
avec
v(i) =
px
y
(1 2 ) qx k(i)qy`(i) , si zi = A et i = 1 ou zi1 = A,
k(i) `(i)
pxk(i) y`(i)
(1
)
, si zi = A, i > 1 et zi1 = I ou S,
qxk(i) qy`(i)
qy`(i) = ,
si zi = I, et i = 1 ou zi1 = A,
y
`(i)
qx
si zi = S, et i = 1 ou zi1 = A,
qxk(i) = ,
k(i)
qy`(i)
= ,
qy`(i)
qxk(i) = ,
si zi = I, i > 1 ou zi1 = I,
si zi = S, i > 1 ou zi1 = S,
k(i)
k(i) = i +
i1
X
j=1
On note que
Qt1
i=1
v(i) =
1{zj =I} ,
Qt
i=1
`(i) = i +
j=1
v 0 (t) =
(
1,
1
,
12
1{zj =S} .
v 0 (i), o
px
y
(12 ) qx k(i)qy`(i) ,
k(i) `(i)
,
12
v 0 (i) = 1 ,
12
pour 1 i < t, et
i1
X
si zi = A,
si
si
si
si
zi
zi
zi
zi
= I, et i = 1 ou zi1 = A,
= S, et i = 1 ou zi1 = A,
= I, i > 1 ou zi1 = I,
= S, i > 1 ou zi1 = S,
si zt1 = A,
si zt1 = I ou S.
Chercher un (z )t1 qui maximise IP (X1N = xn1 , Y1M = y1m , Z1T = z1t ) est quivalent chercher un (z )t1 qui maximise
log IP
(X1N
xn1 , Y1M
y1m , Z1T
z1t ) log
t
X
log v 0 (i).
i=1
Il est alors facile de voir que lalgorithme de Viterbi pour rsoudre ce probme
142
est exactement lalgorithme de NeedlemanWunsch, condition de poser

pab
+ log(1 2 ),
qa qb
(1 )
d = log
,
1 2
e = log .
s(a, b) = log
Notons que lalgorithme calcule une trajectoire z1t qui maximise la probabilit
a posteriori. En particulier, la valeur t de la longueur de lalignement optimal
est donne par
t = inf{s, k(s 1) = n, `(s 1) = m}.
4.6.3
Loi a posteriori de lalignement
Nous venons de donner un cadre probabiliste lalgorithme de NeedlemanWunsch. Nous allons maintenant exploiter ce cadre probabiliste, pour
faire des choses nouvelles.
Lide de chercher aligner deux squences est lie la croyance quil y a
une similitude entre ces deux squences, par exemple parce quelles drivent
dune mme squence ancestrale. Lorsquun alignement nest pas performant,
cela peut provenir de ce que cet alignement nest pas le bon, ou quil ny en
a pas de bon, par exemple parce que ces squences nont rien voir entre
elles. Il peut tre intressant de disposer dun critre qui permette de dcider
dans quelle mesure deux squences xn1 et y1m sont alignables. Un tel critre
(dalignabilit ?) est donn par la probabilit que notre modle de chane de
Markov cache produise la paire de squences observe, i. e. par la quantit
X
IP(X1N = xn1 , Y1M = y1m ) =
IP(X1N = xn1 , Y1M = y1m , Z1T = z1t ).
z1t alignements
Quel est lensemble des alignements que parcourt z1t ? Cest lensemble des
suites de longueur arbitraire t, dont les t 1 premiers termes appartiennent
lensemble {A, I, S}, et le dernier terme est un F . Evidemment, pour que
la probabilit correspondante soit non nulle, une contrainte trs forte liant
z1t n et m doit tre satisfaite, savoir
t = inf{s, k(s 1) = n, `(s 1) = m}.
143
En particulier, on doit avoir t sup(n, m) + 1.

On va maintenant voir quil existe un algorithme progressif qui calcule
la quantit IP(xn1 , y1m ). Il sagit tout simplement de la partie progressive de
lalgorithme de ViterbiNeedelmanWunsch, o lon remplace la maximisation par la somme. Plus prcisment, on calcule (f A (i, j), f I (i, j), f S (i, j))
par une rcurrence progressive sur (i, j) comme suit
f (i, 1) = f (1, j) = 0,
A
i, j
f (0, 0) = 1, f (0, 0) = 0, f S (0, 0) = 0

f A (i, j) = pxi yj [(1 2 )f A (i 1, j 1)
+ (1 )(f I (i 1, j 1) + f S (i 1, j 1))]
f I (i, j) = qyj [f A (i, j 1) + f I (i, j 1)]
f S (i, j) = qxi [f A (i 1, j) + f I (i 1, j)]

Finalement
IP(X1N = xn1 , Y1M = y1m ) = [f A (n, m) + f I (n, m) + f S (n, m)].

On peut maintenant considrer la loi a posteriori de lalignement, i. e. la
probabilit conditionnelle
IP(Z1T = z1t |X1N = xn1 , Y1M = y1m )
IP(X1N = xn1 , Y1M = y1m , Z1T = z1t )

.
IP(X1N = xn1 , Y1M = y1m )
Le cas le plus favorable est celui o cette loi est trs concentre autour de
lalignement optimal, i.e. o la quantit IP(Z1T = (z )t1 |X1N = xn1 , Y1M = y1m )
est sinon proche de 1, du moins nettement non nulle. Lorsque ce nest pas le
cas, il peut tre intressant de savoir si lensemble des alignements proches
de lalignement optimal concentre ou non une masse significative de la loi
a posteriori. La loi a posteriori contient donc beaucoup dinformation sur
la qualit et la pertinence de lalignement optimal. Nous allons maintenant
dcrire un algorithme rtrograde pour simuler suivant cette loi a posteriori,
qui utilise le calcul des quantits (f A (i, j), f I (i, j), f S (i, j)) fait ci dessus.
On commence par tirer au hasard avec la probabilit
(f A (n, m) + f I (n, m) + f S (n, m))1 (f A (n, m) f I (n, m) f S (n, m))
si lalignement se termine au site t1 par lalignement de xn avec ym (choix de
A), ou par lalignement de ym avec un trou dans la premire squence (choix
144
de I), ou par lalignement de xn avec un trou dans la seconde squence (choix

de S).
Dcrivons maintenant litration de cet algorithme. Supposons qu un
moment donn lalgorithme nous ait conduit aligner xi et yj . On examine
alors la quantit
f A (i, j) = pxi yj [(12 )f A (i 1, j 1)
I
(4.1)
S
+ (1 )(f (i 1, j 1) + f (i 1, j 1))].
(4.2)
On dcide alors
px y (12 )f A (i1,j1)
,
daligner xi1 avec yj1 avec la probabilit i j
f A (i,j)
daligner yj1 avec un trou dans la premire squence avec la probabilit
pxi yj (1 )f I (i1,j1)
,
f A (i,j)
daligner xi1 avec un trou dans la seconde squence avec la probabilit

pxi yj (1 )f S (i1,j1)
.
f A (i,j)
Si par contre lalgorithme nous avait conduit aligner yj avec un trou dans
la premire squence, xi tant le dernier nuclotide de celleci non encore
utilis, on dcide
qy f A (i,j1)
daligner xi avec yj1 avec la probabilit j f I (i,j) ,

daligner yj1 avec un trou dans la premire squence avec la probabilit
qyj f I (i,j1)
.
f I (i,j)
On a une description analogue dans le cas o xi est align avce un trou

dans la seconde squence.
4.6.4
Probabilit a posteriori dun alignement
Si la probabilit de nimporte quel alignement est faible, il se peut que

celle de certains alignements partiels soit lev. On va voir que lon peut
calculer la probabilit que lalignement mette en correspondance certaines
paires (xi , yj ). On notera xi yj lensemble des alignements z1t qui placent xi
en face de yj . On va maintenant calculer la probabilit
IP(X1N = xn1 , Y1M = y1m , xi yj ) =
z1t xi yj
IP(X1N = xn1 , Y1M = y1m , Z1T = z1t ).
145
On a en fait
IP(X1N = xn1 , Y1M = y1m , xi yj ) = IP(X1i = xi1 , Y1j = y1j , xi yj )
IP(XiN = xni , YjM = yjm |xi yj ).
Le premier facteur dans cette formule nest autre que la quantit f A (i, j) que
lon a calcule par un algorithme progressif la soussection prcdente.
Le second facteur est la quantit bA (i, j), que lon calcule par une rcurrence rtrograde comme suit.
bA (n, m) = bI (n, m) = bS (n, m);
b (, m + 1) b (n + 1, ) 0.
Pour tous les (i, j) 6= (n, m),
bA (i, j) = (1 2 )pxi+1 yj+1 bA (i + 1, j + 1)
+ [qxi+1 bS (i + 1, j) + qyj+1 bI (i, j + 1)],
bI (i, j) = (1 )pxi+1 yj+1 bA (i + 1, j + 1) + qyj+1 bI (i, j + 1),
bS (i, j) = (1 )pxi+1 yj+1 bA (i + 1, j + 1) + qxi+1 bS (i + 1, j).
On notera alors
IP(xi yj |X1N = xn1 , Y1M = y1m )
IP(X1N = xn1 , Y1M = y1m , xi yj )

,
IP(X1N = xn1 , Y1M = y1m )
que lon crira en abrg IP(xi yj ).

Etant donnes deux squences xn1 et y1m , et un alignement z1t de ces squences, on notera (i, j) z1t si et seulement si z1t xi yj , i. e. si lalignement
z1t place xi et yj lun en face de lautre. La quantit suivante est une sorte
desprance, pour deux suites xn1 et y1m donnes, du recouvrement entre lalignement z1t et un alignement tir au hasard suivant la loi a posteriori des
alignements :
X
IP(xi yj ).
Axn1 ,y1m (z1t ) =
(i,j)z1t
Il sagit dun nouveau critre de qualit dun alignement, pour lequel

on peut calculer lalignement optimal, par lalgorithme de programmation
dynamique classique associ la rcurrence progressive (on abandonne ci
dessous lindice (xn1 , y1m )).
A(i 1, j 1) + IP(xi yj ),
A(i, j) = max A(i 1, j),
A(i, j 1).
146
Notons que tous les IP(xi yj ) se dduisent immdiatement des quantits

calcules par les deux algorithmes progressif et rtrograde cidessus.
4.7
Un algorithme dalignement multiple
En bioinformatique, on a souvent besoin daligner plus de deux squences.

Ce problme est trs difficile. Tous les algorithmes qui rsolvent ce problme
en un temps raisonnable (cest dire tous ceux qui sont utliss en pratique)
procdent peu ou prou par alignements deux deux successifs.
Nous allons prsenter Probcons, un des dernier n de ces algorithmes,
qui est celui qui ce jour semble donner les meilleurs rsultats en terme de
prcision, tout en tant plus rapide que certains de ses concurrents, cf. [14].
Cet algorithme utilise, comme on va le voir, le cadre des PairHMMs que
nous venons dtudier la section prcdente. On reprendra les notations
introduites cidessus sans les redfinir. Cependant, nous allons introduire un
changement de notation : dornavant les alignements seront nots a, et non
plus z. En effet, puisque nous serons obligs de dsigner trois squences la
|x|
|y|
|z|
fois, nous les noterons x1 , y1 et z1 .
Etant donn m squences {s1 , . . . , sm }, lalgorithme effectue les oprations successives suivantes :
Etape 1 : Calcul des matrices de probabilits a posteriori.
Pour chaque paire x, y S, on calcule la matrice
P (x, y) = (Pij (x, y)) ,
1 i |x|, 1 j |y|
donne par
|x|
|y|
Pij (x, y) = IP(xi yj |X1N = x1 , Y1M = y1 ).

Etape 2 : Alignements deux deux.
Pour chaque paire x, y S, on calcule lalignement a qui maximise la
quantit
Ax|x| ,y|y| (a),
1
et on pose
E(x, y) =
1
A |x| |y| (a ).
min(|x|, |y|) x1 ,y1
4.7. UN ALGORITHME DALIGNEMENT MULTIPLE
147
Etape 3 : Transformation par consistence.

Aux trois squences x, y, z S, on associe en particulier la matrice
|x| |z| P (x, z) et la matrice |z| |y| P (z, y). On a alors bien sr pour
1 i |x| et 1 j |y|,
(P (x, z)P (z, y))ij =
|z|
X
Pik (x, z)Pkj (z, y),
k=1
et on dfinit une nouvelle matrice P 0 (x, y) par

P 0 (x, y) =
1 X
P (x, z)P (z, y).
|S| zS
Notons que par dfinition

(
1, si i = j,
Pij (x, x) =
0, si i 6= j.
Dans chacune des matrices cidessus, un grand nombre de termes sont
trs petits. Tous les termes infrieurs un seul fix sont mis zro,
et un algorithme de multiplication de matrices creuses est utilis. La
transformation P P 0 peut tre itre un nombre arbitraire de fois.
Par dfaut, ProbCons leffectue deux fois.
Etape 4 : Construction dun arbre.
Ici on va utiliser les quantits E(x, y) calcules ltape 2. La construction est effectue par la mthode itrative suivante. Pour commencer,
chaque squence est identifie un groupe. A chaque paire de groupes
x et y, on associe la quantit E(x, y) calcule ltape 2. A chaque
tape, on cherche le couple de groupes (x, y) qui maximize la quantit
E(x, y). On fusionne ces deux groupes en un seul not xy, et on dfinit
pour tout autre groupe z la quantit
E(xy, z) := E(x, y)
E(x, z) + E(y, z)
.
2
Etape 5 : Alignement progressif.

On aligne les squences deux par deux, en utilisant lalgorithme de
NeedlemanWunsch, avec le score
s(xi , yj ) := Pij0 (x, y),
148
et des pnalits pour les trous (d et e) gales zro. Deux groupes sont
aligns selon le meilleur alignement de deux squences, une prise dans
chaque groupe.
Raffinement itratif.
On partitionne de faon alatoire lensemble S en deux sousgroupes,
auxquels on fait subir les tapes 4 et 5.
4.8
Exercices
Exercice 4.8.1. Programmation

1. Simuler une chane de Markov {Xn }, de n = 1 n = 5000 valeurs
dans E = {a, c, g, t}, en utilisant trois matrices de transition P1 , P2 et
P3 distinctes, en changeant de matrice de transition tous les 200 400
nuclotides (en variant les longueurs des plages homognes).
2. Retrouver les trois matrices et les plages homognes laide de lalgorithme dAudicClaverie.
3. Tester lalgorithme de chane de Markov cache sur le mme jeu de
donnes, avec ou sans la donne des trois matrices Pi .
4. Recommencer lopration avec des matrices estimes sur les trois types
de plage dune squence gnomique prokaryote annote. Appliquer ensuite les mmes algorithmes la squence en question, et comparer les
rsultats obtenus avec lannotation propose dans la base de donne.
5. Appliquer maintenant cette squence un algorithme de chane semi
markovienne cache, qui tient compte du fait quune plage codante commence par un codon START et finit par un codon STOP.
Chapitre 5
Contrle et filtrage des Chanes
de Markov
Introduction
Considrons un mobile (par exemple un avion ou un satellite) dont on veut
contrler la trajectoire, laquelle est soumise des perturbations alatoires. Le
but du contrle peut tre notamment de rapporcher la trajectoire du mobile
dune trajectoire nominale dsire. Le problme est trs diffrent suivant que
la trajectoire perturbe est ou non observe directement.
Aprs une brve section sur le contrle optimal dterministe, nous prsenterons des notions sur le contrle des chanes de Markov, puis celui des
suites gaussiennes, avec un cot quadratique. Nous aborderons ensuite le
problme du filtrage (cest dire le suivi dun mobile qui suit un mouvement alatoire, et dont la trajectoire est partiellement observe) des chanes
de Markov, et des suites gaussiennes, dont la solution est donne par le clbre filtre de KalmanBucy. Nous clturerons ce chapitre par le problme
de contrle linaire quadratique, avec observation partielle, dont la solution
combine le filtre de Kalman et le contrle linaire avec cot quadratique.
5.1
Contrle optimal dterministe
On considre le systme dynamique suivant contrl en temps discret :

Xn = f (Xn1 , un ), n 1, X0 donn ,
149
CHAPITRE 5. CONTRLE ET FILTRAGE
150
o Xn E IRd , un U IRk , f : E U E. La suite {un , n = 1, 2, . . .}

constitue le contrle que lon peut choisir chaque instant n dans lensemble
des contrles admissibles U , le but tant de minimiser un cot de la forme :
J(u) =
N
X
L(Xn , un ).
n=1
Cestdire que lon cherche u = (u1 , . . . , uN ) tel que

J(u ) = min J(u).
uU N
En admettant quun tel contrle optimal existe (on peut donner des conditions pour que cela soit le cas ; lexistence est triviale si U est un ensemble
fini), on va maintenant donner un algorithme permettant de le calculer. Pour
cela on introduit les quantits suivantes :
(n, x) =
min
uk U,nkN
N
X
L(Xk , uk ),
k=n
o Xn1 = x. On a alors
Equation de la programmation dynamique (R. Bellman).
(n, x) = min{L(f (x, u), u) + (n + 1, f (x, u))}
uU
Cette quation provient du fait suivant :

si u,n = (un , un+1 , . . . , uN ) est optimal pour le problme de contrle entre
def
n et N , avec la condition initiale Xn1 = x, alors u,n+1 =(un+1 , . . . , uN ) est
optimal pour le problme de contrle entre n + 1 et N , avec la condition
initiale Xn = f (x, un ).
Algorithme de la programmation dynamique
On suppose maintenant que E est un ensemble fini (si ce nest pas le cas,
on est oblig de discrtiser lespace dtats, pour se ramener un ensemble
fini).
Lalgorithme progresse de faon rtrograde partir de linstant final N ,
pour le calcul des (n, x), pour n = N , N 1, . . . , 1, et tous les x E.
Instant N : pour chaque x E, on calcule
(N, x) = min L(f (x, u), u),

uU
et on note u (N, x) lun des arguments qui ralise ce minimum.
5.2. CONTRLE DES CHANES DE MARKOV
151
Passage de n + 1 n : pour chaque x E, on calcule :

(n, x) = min{L(f (x, u), u) + (n + 1, f (x, u))},
uU
et on note u (n, x) lun des arguments qui ralise ce minimum.

A la fin des calculs, on dispose de toutes les quantits {(n, x); 1 n
N, x E}, et en particulier de
(1, x) =
min
u1 ,...,uN U
J(u), si X0 = x,
pour tout x E.
A condition davoir gard en mmoire toutes les valeurs {u (n, x); 1
n N, x E}, on peut maintenant construire la trajectoire optimale (et
surtout dterminer un contrle optimal) en repartant dans le sens usuel du
temps :
X1 = f (X0 , u (1, X0 )),
Xn = f (Xn1
, u (n, Xn1
)),
XN = f (XN 1 , u (N, XN 1 )).
5.2
Contrle des chanes de Markov
On suppose maintenant que {Xn , n = 0, 1, 2, . . .} est une chane de Markov contrle valeurs dans E dnombrable, cestdire que son volution
est rgie par :
Xn = f (Xn1 , Yn , un ), n 1, X0 E donne,
o {Yn , n 1} est une suite de v.a. indpendantes et de mme loi valeurs
dans F , {un , n 1} est une suite de v.a. valeurs dans U , tel que pour
tout n 1, un est (Xn1 ) mesurable et f : E F U E. On vrifie
aisment que {Xn , n 0} dfinie ainsi est une chane de Markov. On cherche
minimiser le cot
N
X
J(u) = IE
L(Xn , un ).
n=1
152
On va voir quun contrle optimal u = (u1 , . . . , uN ) est tel que pour tout
n, un ne dpend que de Xn1 , ce qui fait que la suite {Xn , 0 n N }
correspondante est une chane de Markov.
On introduit comme la section prcdente les quantits (1 n N, x
E) :
N
X
(n, x) =
min
IEn,x
L(Xk , uk ),
uk Uk ,nkN
k=n
o Uk dsigne lensemble des v.a. (Xk1 ) mesurables valeurs dans U , et

IEn,x dsigne lesprance conditionnelle IE(|Xn1 = x). On a alors lquation de la programmation dynamique
(n, x) = min IE{L(f (x, Yn , u), u) + (n + 1, f (x, Yn , u))}
uU
et on note u (n, x) une valeur de u U qui ralise ce minimum.

Lalgorithme de la programmation dynamique consiste alors, comme dans le cas dterministe. calculer dans le sens rtrograde du temps, les
(n, x) et u (n, x), en commenant par n = N , et en finissant avec n = 1.
On peut alors ensuite mettre en oeuvre le contrle optimal en utilisant
linstant n le contrle u (n, Xn1 ), en commenant linstant n = 1.
Remarque 5.2.1. On pourrait plus gnralement chercher un contrle optimal dans la classe des contrles u = (u1 , . . . , uN ) tels que pour tout n, un
dpend de (X0 , X1 , . . . , Xn1 ). On montrerait quil existe un contrle optimal
markovien, i.e. tel que chaque un ne dpend que de Xn1 , si bien que la
suite {Xn } est bien une chane de Markov.
5.3
Contrle optimal linaire quadratique
Dans cette section, on suppose que {Xn , n IN} est une suite gaussienne
valeurs dans IRd , qui satisfait la formule de rcurrence linaire :
Xn = AXn1 + Bun + fn + n , n 1,
avec X0 , 1 , 2 , . . . une suite indpendante de vecteurs alatoires gaussiens,
0 , 0 ), et n ' N (0, Q), et les fn sont des vecteurs donns dans
X0 ' N ( X
d
IR . On suppose que les contrles un prennent leurs valeurs dans U = IRk ,
5.3. CONTRLE OPTIMAL LINAIRE QUADRATIQUE
153
que A est une matrice d d et B une matrice d k. On cherche minimiser

la fonctionnelle
N
X
J(u) = IE
[hF Xn , Xn i + hRun , un i],
n=1
o F (resp.R) est une matrice symtrique d d (resp. k k), et R est dfinie

positive.
Lintrt du problme de contrle linaire quadratique est que lon va
donner une formule explicite pour le contrle optimal.
Remarque 5.3.1. On pourrait utiliser une fonctionnelle de cot plus gnrale, de la forme
J(u) =
N
X
n=1
[hF (Xn xn ), Xn xn i + hRun , un i],
o (x1 , . . . , xN ) est la cible dont on cherche se rapprocher, le cot pondrant lloignement entre Xn et xn , et la norme du contrle que lon applique.
Cependant un problme de ce type peut se mettre sous la forme de notre
n = Xn xn , grce lintroduction des
problme cidessus, en posant X
vecteurs fn dans la formule de rcurrence.
Avec les notations de la section 5.2. on a le
Thorme 5.3.2. Pour tout 1 n N, x IRd ,
(n, x) = hGn x, xi + 2hhn , xi + cn ,
et u (n, x) = (R + B (F + Gn+1 )B)1 B [(F + Gn+1 )(Ax + fn ) + hn+1 ] o
la suite {(Gn , hn , cn ); 1 n N } est dfinie par la rcurrence rtrograde :
Gn = A (I (F + Gn+1 )B(R + B (F + Gn+1 )B)1 B )(F + Gn+1 )A,
hn = A (I (F + Gn+1 )B(R + B (F + Gn+1 )B)1 B )[(F + Gn+1 )fn + hn+1 ]
cn = cn+1 + T r[(F + Gn+1 )Q] + h(F + Gn+1 )f + 2hn+1 , fn i
< B(R + B (F + Gn+1 )B)1 B [(F + Gn+1 )fn + hn+1 ], (F + Gn+1 )fn + hn+1 >
et GN +1 = 0, hN +1 = 0, cN +1 = 0.
La preuve du thorme repose sur le rsultat lmentaire :
154
Lemme 5.3.3. Soit P une matrice k k autoadjointe dfinie positive, et

f IRk . Alors
min [hP u, ui + 2hu, f i] = hP 1 f, f i,
uIRk
et le minimum est atteint au point u = P f .

Preuve du thorme : admettons la formule de lnonc pour tout
(n + 1, x). Alors
(n, x) = min IEn,x [hF Xn , Xn i + hRu, ui + hGn+1 Xn , Xn i + 2hhn+1 , Xn i] + cn+1
uIRk
= h(F + Gn+1 (Ax + fn ), Ax + fn i + 2hhn+1 , Ax + fn i + cn+1 + T r[(F + Gn+1 )Q]

+ min{h(R + B (F + Gn+1 )B)u, ui + 2hB [(F + Gn+1 )(Ax + fn ) + hn+1 ], ui}
u
La formule pour u (n, x) dcoule alors du lemme 5.3.3, et en outre

(n, x) = hA (I (F + Gn+1 )B(R + B (F + Gn+1 )B)1 B )(F + Gn+1 )Ax, xi
+ 2hA (I (F + Gn+1 )B(R + B (F + Gn+1 )B)1 B )[(F + Gn+1 )fn + hn+1 ], xi
+ cn+1 + T r[(F + Gn+1 )Q] + h(F + Gn+1 )fn + 2hn+1 , fn i
hB(R + B (F + Gn+1 )B)1 B [(F + Gn+1 )fn + hn+1 ], (F + Gn+1 )fn + hn+1 i,
do lon dduit les formules de rcurrence. Comme le calcul cidessus est
correct avec n = N , condition de poser GN +1 = 0, hN +1 = 0, cN +1 = 0, le
rsultat est tabli par rcurrence.
Remarque 5.3.4. Les matrices de covariance 0 et Q ninterviennent que
dans les constantes cn ; en particulier le contrle optimal nen dpend pas. Il
est le mme dans le cas 0 = Q = 0, qui est le cas dterministe.
5.4
Filtrage des chanes de Markov
On se donne une chane de Markov {Xn ; n IN} valeurs dans E, qui

nest pas observe. On observe la suite {Yn , n IN} donne par
Yn = h(Xn , n ),
o les n sont des v.a. i.i.d, globalement indpendantes de la chane {Xn },
valeurs dans lensemble dnombrable G, et f : E G F est connue.
5.4. FILTRAGE DES CHANES DE MARKOV
155
La situation est en fait celle des chanes de Markov caches, mais cette fois
on se place dans une situation dynamique, o lon cherche chaque instant
n estimer la vraie valeur de Xn , au vu des observations Y1 , Y2 , . . . , Yn .
On veut un algorithme rcursif, tel que linstant n + 1, le calcul utilise le
rsultat du calcul de linstant n, et la nouvelle observation Yn+1 , sans quil
soit ncessaire de rutiliser les anciennes observations Y1 , Y2 , . . . , Yn . Le but
est de pouvoir faire tourner lalgorithme en temps rel. Il savre que la
bonne quantit calculer chaque instant n est la loi conditionnelle n
de Xn , sachant Y1 , Y2 , . . . , Yn . On introduit galement la loi conditionnelle
n|n1 de Xn , sachant Y1 , Y2 , . . . , Yn1 .
Pour tout x E, y F , on pose
g(x, y) = IP(h(x, n ) = y)
= IP(Yn = y|Xn = x).
Lvolution des lois conditionnelles {n } est alors donne par le
Thorme 5.4.1. Pour tout n 1,
n|n1 (x) = (n1 P )x
g(x, Yn )n|n1 (x)
n (x) = P
0
0
x0 F g(x , Yn )n|n1 (x )
Preuve On peut considrer que la chane (Xn ) est gnre par la formule
de rcurrence
Xn = f (Xn1 , n ),
o les {n } sont i.i.d., globalement indpendants des {n }. Il en rsulte en
particulier que
IP(Xn = x|Y1 , . . . , Yn1 , Xn1 ) = IP(Xn = x|Xn1 ),
do :
n|n1 (x) = IP(Xn = x|Y1 , . . . , Yn1 )
= IE [IP(Xn = x|Xn1 )|Y1 , . . . , Yn1 ]
= (n1 P )x .
156
Pour tablir la seconde relation, notons tout dabord que si IP Y1 ,...,Yn1 dsigne
la probabilit conditionnelle IP(|Y1 , . . . , Yn1 ),
IP(Xn = x|Y1 , . . . , Yn1 , Yn ) = IPY1 ,...,Yn1 (Xn = x|Yn )
Mais pour toute probabilit Q,
Q(Xn = x|Yn ) = H(x, Yn ), o
H(x, y) = Q(Xn = x|Yn = y)
Q(Yn = y|Xn = x)Q(Xn = x)
=P
0
0
x0 Q(Yn = y|Xn = x )Q(Xn = x )
et la seconde relation sen dduit, puisque
IPY1 ,...,Yn1 (Yn = y|Xn = x) = IP(h(x, n ) = y)

= g(x, y).
5.5
Le filtre de KalmanBucy
Dans le cas o tout est gaussien, les calculs se simplifient, et on aboutit

au clbre filtre de KalmanBucy, qui est universellement utilis. Commenons tout dabord par une
5.5.1
Motivation
Considrons un satellite, qui se dplace dans lespace selon lquation

diffrentielle
dx
(t) = f (x(t)), x(0) = x0 .
dt
Comme le calcul sur ordinateur impose de discrtiser lquation (et que nous
ne voulons pas prsenter le filtre de Kalman en temps continu), on va remplacer lEDO cidessus par une formule de rcurrence sur les xn = x(n ), o
est le pas de temps (autrement dit 1/ est la frqence dchantillonage).
La formule exacte est
Z (n+1)
xn+1 = xn +
f (x(s)ds,
n
5.5. LE FILTRE DE KALMANBUCY
157
que lon va approcher par le schma numrique le plus simple : le schma

dEuler, dont la prcision est acceptable si est suffisament petit :
xn+1 = xn + f (xn ), n 0,
x0 donn.
En ralit cette trajectoire est une trajectoire thorique, ou nominale, au

sens o lquation cidessus nest pas exacte, car il est illusoire de prtendre
prendre en compte toutes les attractions de tous les corps clestes (le passage
de certains dentre eux proximit du satellite est imprvisible, et peut tre
considr come alatoire), la forme exacte de la terre, etc. Do la justification
de lintroduction dun modle alatoire pour lvolution de xn :
xn+1 = xn + f (xn ) + Vn , n 0,
x0 donn,
o les Vn sont des vecteurs alatoires Gaussiens centrs. Dans beaucoup de

situations, les perturbations sont suffisament petites pour que lon puisse
approcher valablement lcart Xn = xn x0n entre xn et la trajectoire nominale
x0n (ceci dautant que le filtrage de Kalman que nous allons prsenter sert
guider le satellite pour que sa trajectoire relle reste proche de la trajectoire
nominale) par la solution dune quation aux diffrences linarise :
Xn+1 = An Xn + Vn ,
o
An = I + x f (x0n ).
Notons que cette approximation nest pas toujours valable, et des mthodes
plus compliques doivent alors tre mises en oeuvre.
Pour suivre le satellite, des observations radar sont prises depuis la terre.
Mais ces observations ne concernent pas forcment tout le vecteur Xn (typiquement, Xn dsigne le couple positionvitesse du satellite linstant n ,
alors que le radar ne mesure que la position), et en outre cette mesure est
entache dune erreur (comme toute erreur physique !). Sans compter que
suivant la position du satellite dans sa trajectoire il est observ par lun ou
lautre des radars prvus pour le suivre, ou par aucun dentre eux. On peut
donc modliser ces mesures par lobservation chaque instant n de
Y n = H n Xn + W n ,
o Hn = 0 aux instants o le satellite nes pas observ, et les Wn sont de
nouveau des v. a. gaussiens centrs. En outre la condition initiale est elle
aussi un vecteur alatoire, que lon suppose gaussien.
158
5.5.2
Solution du problme
On suppose que Xn prend ses valeurs dans IRd , Yn dans IRk , et que
Xn = AXn1 + n , n 1
Yn = HXn + n , n 1,
0 , P0 ), les n
avec X0 , 1 , 1 , 2 , 2 , . . . , n , n , . . . indpendants, X0 de loi N (X
de loi N (0, Q) et les n de loi N (0, R). On suppose que la matrice R est
inversible. Bien sr, il ne sagit plus de chane de Markov valeurs dans un
ensemble dnombrable.
On note encore n la loi conditionnelle de Xn , sachant Y1 , . . . , Yn .
n , n ), o (X
n , n )n0 est donne
Thorme 5.5.1. La loi n est la loi N (X
par la formule de rcurrence :
n+1
X
n
n+1
0
X
n + n H ? (Hn H ? + R)1 (Yn+1 HAX

n)
= AX
= An A? + Q
= n n H ? (Hn H ? + R)1 Hn
0 , 0 = P 0
=X
On va montrer le thorme. Notons que lon pourrait le dduire du rsultat

de la section prcdente, pralablement adapt au cas de lois absolument
continues par rapport la mesure de Lebesque sur IRd (resp. IRk ), au lieu de
loi sur lespace discret E (resp. F ).
Rappelons tout dabord deux rsultats concernant le conditionnement
dans le cadre gaussien.

X
Proposition 5.5.2. Soit
un vecteur alatoire gaussien de dimension
Y

X
11 12
d + k, de loi N
,
. On suppose 22 > 0. Alors, la loi
Y
21 22
),
avec
Y = N (X,
=X
+ 12 1 (Y Y )
X
22
(ii) = 11 12 1
22 21
(i)
est une loi de probabilit conditionnelle de X, sachant Y , cestdire que

pour tout B Bd ,
IP(X B|Y ) =
Y (B).
= Cov(X X).
En outre,
5.5. LE FILTRE DE KALMANBUCY
159
Preuve
dsigne le vecteur alatoire dfini par (i), on pose
Si X
= X X.
X

X
On montre facilement que
est un vecteur alatoire gaussien, et que
Y
Y ) = 0.
Cov(X,
et Y sont indpendants, alors que X
est une fonction de Y . Soit
Donc X
d
maintenant Cb (IR ).
+ X)|Y
IE[(X)|Y ] = IE[(X
]
Z
+ x)IP (dx)
=
(X
X
d
ZIR
=
(x)
Y (dx),
IRd
),
si
= Cov(X).
avec
Y = N (X,
Enfin
= Cov(X X)
Cov(X)
12 1
= Cov(X X
22 (Y Y ))
1
= 11 212 1
22 21 + 12 22 21
= 11 12 1
22 21 .

X
Proposition 5.5.3. Soit Y un vecteur alatoire gaussien de dimension
Z
)
la loi
d + k + `, tel que Y et Z soient indpendants. On note
Y = N (X,

Y,Z = N (X,
conditionnelle de X sachant Y , et
) la loi conditionnelle de
= IE(X). Alors
X sachant (Y, Z). On note nouveau X
+ IE(X X|Z)
+X
X
=X
=X
Cov(X).
(jj)
=
(j)
160
Preuve On suppose que IE(Z) = 0 (ce qui ne restreint pas la gnralit).

Dsignons par U , Y et Z les sousespaces vectoriels ferms de L2 (, F , IP)
engendrs respectivement par :
- les constantes et les coordonnes de Y , Z ;
- les constantes et les coordonnes de Y
- les coordonnes de Z.
L
Alors U = Y
Z, et Y Z.
Donc, pour tout 1 i d, X

i , la projection orthogonale de Xi sur U , est
i |Z),
la somme de Xi , la projection orthogonale de Xi sur Y, et de IE(Xi X
la projection orthogonale de Xi sur Z. (j) est tabli.
Donc
=XX
+ IE(X X|Z)
X X
i |Z) Z U , donc est orthogonal dans
pour tout 1 i, j d, IE(Xi X
j .
L2 (, Z, IP) Xj X
Ceci entrane que
= Cov(X X)
Cov(X X)
+ Cov(IE(X X|Z)),
ce qui joint la dernire affirmation de la Proposition 5.5.2, tablit (jj).
On peut maintenant passer la :
Preuve du Thorme 5.5.1
Puisque (Xn , Y1 , Y2 , . . . , Yn ) est un vecteur alatoire gaussien, il rsulte de
n , n ), o X
n est une fonction affine de
la Proposition 5.5.2 que n = N (X
n ). Il nous reste calculer (X
n+1 , n+1 ) en
Y1 , . . . , Yn , et n = Cov(Xn X
fonction de (Xn , n ). Puisque

Xn+1 = AXn + n+1
avec n+1 centr et indpendant de (Xn , Y1 , . . . , Yn ),
n,
IE(Xn+1 |Y1 , . . . , Yn ) = AX
et en outre
n ) = An A + Q.
Cov(Xn+1 AX
5.6. CONTRLE AVEC OBSERVATION PARTIELLE
161
Il nous reste appliquer la Proposition 5.5.3, pour rajouter le conditionnement par Yn+1 . Pour cela, il nous faut dfinir linnovation :
In+1 = Yn+1 IE(Yn+1 |Y1 , . . . , Yn )
n
= Yn+1 HAX
n + Hn+1 + n+1 ,
= HAX
n = Xn X
n .
o X
Notons que le v.a. (Y1 , . . . , Yn , In+1 ) est un vecteur alatoire gaussien,
et que les coordonnes de In+1 sont orthogonales dans L2 (, Z, IP) celles
de Y1 , . . . , Yn . Donc (Y1 , . . . , Yn ) et In+1 sont indpendants, et de plus In+1
est centr. Comme en outre (Y1 , . . . , Yn , Yn+1 ) = (Y1 , . . . , Yn , In+1 ), on va
pouvoir utiliser la Proposition 5.5.3, qui nous dit que
n+1 = AX
n + IE(Xn+1 IEXn+1 |In+1 )
X
n+1 AX
n )
et n+1 = An A + Q Cov(X
Lesprance conditionnelle cidessus se calcule laide de la Proposition 5.5.2.

Or
i
h
IE(Xn+1 In+1 ) = AIE Xn (Xn Xn ) A H + QH
IEIn+1 In+1
= An A H + QH
= HAn A H + HQH + R
Donc
n+1 = AX
n + (An A + Q)H [H(An A + Q)H + R]1 (Yn+1 HAX
n)
X
et
n+1 = An A + Q
(An A + Q)H [H(An A + Q)H + R]1 H(An A + Q),
ce qui dmontre le thorme.
5.6
Contrle avec observation partielle
On considre maintenant le problme suivant :

Xn = AXn1 + Bun + fn + n , n 1,
Yn = AXn + n
162
o nouveau X0 , 1 , 1 , 2 , 2 , . . . est une suite de v.a. gaussiens indpendants,

X0 et les n de dimension d, les n de dimension k de matrice de covariance
R inversible, un valeurs dans IR` , choisi parmi les suites adaptes la suite
{Yn }, i.e. tel que pour tout n, un soit une fonction de Y1 , . . . , Yn1 , et on
cherche minimiser le critre :
J(u) = IE
N
X
n=1
[hF Xn , Xn i + hQun , un i].
On aura besoin du rsultat technique suivant :

On dfinit les suites
0
Xn0 = AXn1
+ fn + n , n 1, X00 = X0 ,
Yn0 = HXn0 + n , n 1,
et on pose Yn = (Y1 , . . . , Yn ), Yn0 = (Y10 , . . . , Yn0 ), n 1, Y0 = Y00 = {, }.

On a alors le
Lemme 5.6.1. Pour tout n, Yn = Yn0 .
Preuve Posons
u
Xnu = AXn1
+ Bun , n 1, X0u = 0,
Ynu = HXnu , n 1.
Puisque (u1 , . . . , un ) est Yn1 mesurable, il en est de mme de (Y1u , . . . , Ynu ).

Mais
Yn = Yn0 + Ynu , n 1.
Donc (Y10 , . . . , Yn0 ) est Yn mesurable, soit Yn0 Yn . Rciproquement, puisque
u1 est dterministe (car Y0 mesurable), Y1u est connu, donc Y1 = Y10 + Y1u
est une fonction de Y10 , soit Y1 Y10 . Supposons que Yn Yn0 . Alors
u
(u1 , . . . , un+1 ) est Yn0 mesurable, et donc aussi Yn+1
, do
0
u
Yn+1 = Yn+1
+ Yn+1
0
est Yn+1
mesurable.
Une consquence du lemme 5.6.1 est que la suite de tribus (Y1 , . . . , YN )

ne dpend pas du choix du contrle choisi. Maintenant, il est clair que
J(u) = IE
N
X

n=1
IEYn (hF Xn , Xn i) + hRun , un i
5.7. EXERCICES
163
Or
n + X
n,
Xn = X
n = IE(Xn |Yn ), et X
n est indpendant de Yn . Donc si lon note n =
avec X
n ),
cov(X
J(u) = IE
N h
X
n=1
hF Xn , Xn i + hRun , un i + T rF n .
On est donc ramen au problme suivant (cf. la section 5.5) :

n = (I n1 H (Hn1 H + R)1 H)AX
n1 + Bun + fn
X
+ n1 H (Hn1 H + R)1 Yn
0 = X
0
X
= IE
min J(u)
N h
X
n=1
i
n, X
n i + hRun , un i ,
hF X
qui est un problme de contrle optimal dterministe (puisque les Yn sont

observs, donc connus), dont la solution est donne par le thorme 5.3.2.
5.7
Exercices
Exercice 5.7.1. Programmation On reprend le modle du filtre de

KalmanBucy, avec d = k = 1, A = 0.98, X0 = 1, Q = 2, R = 2,
Hn = cos(n/13) (ou une autre fonction priodique choisir).
1. Simuler pour 1 n 100, Xn et Yn .
n de Xn , pour
2. Ecrire un programme qui calcule lestime de Kalman X
1 n N . Tracer (Xn , Xn ), et lerreur destimation.

3. Recommencer la seconde tape avec dautres valeurs de A, et ventuellement de Q et R. Dans quelle mesure le filtre de Kalman tolre-t-il les
erreurs dans le modle ?
Exercice 5.7.2.
1. Donner les formules du filtre de Kalman dans le cas
non homogne, o les matrices A et H dpendent de n. Autrement dit,
le modle du dbut de la section 5.5.2 est remplac par
Xn = An Xn1 + n , n 1
Yn = Hn Xn + n , n 1.
164
2. On suppose maintenant donnes des applications mesurables bornes

y A(y) de IRk dans IRd d,
y H(y) de IRk dans IRk d,

et on suppose maintenant que les suites {Xn } et {Yn } sont relies par
les formules
Xn = A(Yn )Xn1 + n , n 1
Yn = H(Yn )Xn + n , n 1,
les hypothses sur (X0 , 1 , 1 , . . . , n , n , . . .) tant les mmes qu la
section 5.5.2. clairement la suite {(Xn , Yn ),n 1} nest pas gaussienne.
Montrer que pour tout n 1, la loi conditionnelle de Xn , sachant
Y1 , . . . , Yn est une loi de Gauss, et prciser les formules de rcurrence
pour lesprance et la matrice de covariance de cette loi. On dit que lon
est dans le cas dun modle conditionnellement gaussien.
Chapitre 6
Le processus de Poisson
Introduction
Dans ce chapitre et les deux suivants, on va tudier des processus de
Markov dfinis sur IR+ , valeurs dans un ensemble fini ou dnombrable E,
qui sont constants entre leurs sauts qui se produisent des instants alatoires : on les appelle processus markoviens de saut.
Dans ce chapitre, nous allons introduire le prototype des processus markoviens de saut, savoir le processus de Poisson.
Ce processus modlise des rpartitions alatoires de point sur IR+ , qui
peuvent correspondre des instants de collision de particules, mais aussi
des instants darrive de clients dans une file dattente, dappels un central
tlphonique.
6.1
Processus ponctuels et f.a. de comptage
Un processus ponctuel sur IR+ se dcrit par la donne dune suite

croissante de points alatoires
0 < T1 < T2 < < Tn < dans IR+
qui sont des v.a. dfinies sur un espace de probabilit (, F , IP). Outre les
ingalits cidessus, on suppose que Tn , n .
165
CHAPITRE 6. LE PROCESSUS DE POISSON
166
On posera
S1 = T 1
S2 = T 2 T 1
.........
Sn = Tn Tn1
.........
les v.a. Tn sont les instants o se produisent un vnement, les Sn sont les
dlais ou les temps dattente entre deux vnements successifs.
On dfinit la f.a. de comptage {Nt , t 0} du processus ponctuel
{Tn , n IN} de la faon suivante :
Nt = sup{n; Tn t}
X
=
1{Tj t}
j1
Nt est le nombre dvnement qui se sont produits avant linstant t.

Notons que N0 = 0, puisque T1 > 0 et pour tout t > 0, Nt < puisque
Tn , n .
Pour 0 s < t, Nt Ns est le nombre dvnements qui se sont produits
dans lintervalle de temps ]s, t].
Une trajectoire type du processus {Nt , t 0} est dessine la figure 6.1
Prcisons que les trajectoires de {Nt } sont continues droite.
Notons que la donne de {Nt , t 0} est quivalente celle de la suite
{Tn , n IN}, et que lon a les relations :
{Nt n} = {Tn t}
{Nt = n} = {Tn t < Tn+1 }
{Ns < n Nt } = {s < Tn t}
6.2
Le processus de Poisson
Dfinition 6.2.1. On dit que le processus ponctuel {Tn , n IN} ou sa f.a.

de comptage {Nt , t 0} est un processus de Poisson si {Nt , t 0} est
une f.a. accroissements indpendants et stationnaires i.e. si
6.2. LE PROCESSUS DE POISSON
167
4
3
2
1
0
T0
T1
T2
T3
T4
Fig. 6.1 Trajectoire dun processus de Poisson
a) quels que soient t0 < t1 < < tn dans IR+ , les accroissements {Ntj
Ntj1 ; 1 j n} sont des v.a. indpendantes ;
b) pour 0 s < t, la loi de Nt Ns ne dpend que de s et t que par la
diffrence t s.
La proprit b) est appele la stationarit des accroissements de {Nt }.

Le nom processus de Poisson est justifi par la :
Proposition 6.2.2. Soit {Nt , t 0} la f.a. de comptage dun processus de
Poisson. Il existe > 0 tel que pour tous 0 s < t, la loi de Nt Ns est la
loi de Poisson de paramtre (t s), i.e.
IP(Nt Ns = k) = e(ts) [(t s)]k /k !, k IN.
Remarque 6.2.3. Ce paramtre est appel lintensit du processus de
Poisson {Nt , t 0}. Il est gal au nombre moyen dvnements qui se produisent pendant un intervalle de temps de longueur unit, i.e.
IE[Nt+1 Nt ] = .
168
Preuve de la Proposition 6.2.2 Pour tous 0 s < t, considrons la

fonction gnratrice de Nt Ns , qui est lapplication u fts (u) de [0, 1]
dans luimme qui ne dpend que de t s et est dfinie par :
fts (u) = IE[uNt Ns ]
X
=
IP(Nt Ns = k)uk .
k0
Par la proprit a) de la dfinition,

ft (u) = fs (u)fts (u), 0 s < t, u [0, 1].
Il rsulte de cette identit que
ft (u) = [f1 (u)]t
dabord pour les t rationnels, puis pour tout t dans IR+ car t ft (u) est
dcroissante.
Comme en outre
ft (u) P (Nt = 0)
= P (T1 > t)
% 1, quand t 0,
f1 (u) 6= 0, et donc il existe (u) dans IR+ tel que
ft (u) = et(u) .
Puisque u exp((1 u)) est la fonction gnratrice de la loi de Poisson
de paramtre , il reste montrer que
(u) = (0)(1 u).
Or clairement
1
(u) = lim (1 ft (u))
t0 t
X1
IP(Nt = k)(1 uk )
= lim
t0
t
k1
6.2. LE PROCESSUS DE POISSON
169
Mais puisque 0 u 1,
0
X1
k2
1
IP(Nt = k)(1 uk ) IP(Nt 2)
t
t
et le rsultat dcoule de la formule

1
(u) = lim IP(Nt = 1) (1 u),
t0
t
condition que lon ait
1
IP(Nt 2) 0, quand t 0.
t
Or
nIN
{Nnt = 0, N(n+1)t 2} {T2 < T1 + t}
Comme IP(Nt = 0) = ft (0) = exp((0)t), en utilisant en outre la proprit

a) de la dfinition, on a :
X
exp((0)nt)IP(Nt 2) = [1 exp((0)t)]1 IP(Nt 2)
nIN
IP(T2 < T1 + t)
Mais, quand t 0,
P (T2 < T1 + t) P (T2 T1 ) = 0
et pour tout t suffisamment petit,
((0)t)1 < (1 exp((0)t))1 < 2((0)t)1 .
Remarque 6.2.4. Il rsulte de la dernire partie de la preuve cidessus que
IP(Nt+h Nt = 0) = 1 h + (h)
IP(Nt+h Nt = 1) = h + (h)
IP(Nt+h Nt 2) = (h)
Donc des probabilits petites devant h prs, N (t + h) N (t) est une v.a.
de Bernoulli prenant la valeur 0 avec la probabilit 1 h et la valeur 1 avec
170
probabilit h. Cette proprit, jointe lindpendance des accroissements et

la formule
Nt+s Nt =
n
X
j=1
[Nt+jh Nt+(j1)h ], avec h =
s
,
n
entraine que Nt+s Nt suit approximativement une loi binomiale de paramtres (n, s/n). Or, quand n , cette loi converge vers la loi de Poisson
de paramtre s.
Notons que pour tout n, 0 < t1 < t2 < < tn , la loi du vecteur alatoire
(Nt1 , Nt2 . . . , Ntn ) est entirement dtermine par la Proposition 6.2.2 et la
condition a) de la dfinition 6.2.1.
Corollaire 6.2.5. La loi de linstant T1 du premier vnement est la loi
exponentielle de paramtre (i.e. la loi sur IR + de densit et ). Il en est
de mme pour la loi du temps dattente aprs s du premier vnement aprs
s, TNs +1 s, pour tout s > 0.
Preuve Il suffit de remarquer que pour tout t > 0,
IP(T1 > t) = IP(Nt = 0)
= et
et de mme
IP(TNs +1 s > t) = IP(Ns+t Ns = 0)
= P (Nt = 0).
6.3
Proprit de Markov
Soit {Nt , t 0} un processus de Poisson dintensit . Pour tout s, t > 0,

posons
Nts = Ns+t Ns .
Il rsulte immdiatement de la Dfinition 6.2.1 que {Nts , t 0} est

un processus de Poisson dintensit , indpendant de {Nt , 0 t
s}. Remarquons que la donne de {Nt , 0 t s} est quivalente
celle de (Ns , T1 , T2 , . . . , TNs ). Lindpendance dont il est question cidessus
6.3. PROPRIT DE MARKOV
171
est quivalente celle de des vecteurs alatoires (Ns , T1 , T2 , . . . , TNs ) et

(TNs +1 , TNs +2 , . . . , TNs +p ), pour tout entier p.
Puisque les accroissements futurs aprs s {Ns+t Ns , t 0} sont indpendants du pass {Nt , 0 t s}, il est clair que le futur aprs s {Ns+t , t 0}
ne dpend du pass {Nt , 0 t s} que par lintermdiaire du prsent Ns ;
ou encore, le futur et le pass sont conditionnellement indpendants, sachant
le prsent. Cest la proprit de Markov.
Nous reviendrons sur cette proprit au chapitre suivant.
Nous allons maintenant gnraliser le rsultat cidessus au cas o s est un
certain type de temps alatoire. Pour cela, il nous faut tout dabord rappeler
une notation, et poser une dfinition.
Rappelons tout dabord quune tribu de parties dun ensemble E est une
classe de parties de E stable par passage au complmentaire, runion et intersection dnombrable. On peut toujours parler de la plus petite tribu contenant une certaine classe C P(E), car cest lintersection de toutes les tribus
contenant C (il existe au moins une telle tribu, savoir P(E), et une intersection quelconque de tribus est une tribu, comme cela se vrifie aisment).
Par exemple, la tribu borlienne de IRd , note Bd , est la plus petite tribu de
parties de IRd contenant tous les ouverts.
Dans le cas dune variable alatoire valeurs dans un espace dnombrable E, (X) = {X 1 (F ); F E}. Etant donn un vecteur alatoire
X de dimension d (i.e. une variable alatoire valeurs dans IRd ), on note
(X) = {X 1 (B); B Bd } la plus petite sous tribu de parties de qui rend
X mesurable. Cest lensemble des vnements dont on sait sils sont ou non
raliss au vu de la valeur prise par X. Etant donn {Xi , i I} une collection quelconque de vecteurs alatoires (de dimensions quelconques !), on note
{Xi ; i I} la plus petite tribu contenant toutes les (Xi ), i I.
Il sera commode dutiliser dans la suite la notation suivante : pour t 0,
FtN = {Ns ; 0 s t}
= {Nt , T1 , T2 , . . . , TNt }.
Dfinition 6.3.1. Etant donn un processus de Poisson {Nt , t 0}, on
appelle temps darrt (de {Nt }) une v.a. S valeurs dans IR+ {+} qui
possde la proprit que pour tout t dans IR + ,
{S t} FtN .
172
Pour tout s dans IR+ , S s est un temps darrt. Pour tout n, Tn est un
temps darrt. TNs +1 est galement un temps darrt. Par contre, TNs nest
pas un temps darrt, car si t < s,
{TNs t} = {Ns Nt = 0}
/ FtN , 0 t < s.
A tout temps darrt S de {Nt }, on associe la tribu des vnements dtermins par la trajectoire {NtS , t 0} arrte S :
def
N
FSN ={A F
; A {S t} FtN , t 0}.
On a la :
Proposition 6.3.2. Soit {Nt , t 0} un processus de Poisson dintensit ,
et S un temps darrt de {Nt }. Sur lvnement {S < } on pose pour t 0
NtS = NS+t NS .
Conditionnellement en {S < }, {NtS , t 0} est un processus de Poisson
dintensit , indpendant de FSN .
Preuve On sait dj que le rsultat est vrai si S est constant. Supposons
maintenant que S prend ses valeurs dans une suite croissante (sj , j 1) de
rels positifs. Notons que comme S est un temps darrt,
N
{S = sj } = {S sj }\{S sj1 } Fsj
Soit A FSN , 0 < t1 < t2 < . . . < t` et n1 , . . . , n` dans IN.

!
`
\
IP A ( {NtSk = nk })
k=1
X
j
X
j
IP {S = sj } A
IP({S = sj } A)IP
= IP(A)IP
`
\
k=1
`
\
k=1
`
\
{Nsj +tk Nsj = nk }
k=1
{Ntk = nk } ,
{Nsj +th Nsj = nk }
!!
6.3. PROPRIT DE MARKOV
173
N
o on a utilis la proprit {S = sj } A Fsj
pour la seconde galit, et le
fait que le second facteur de lavant dernire expression ne dpend pas de sj ,
par stationnarit des accroissements de {Nt }.
Le rsultat est tabli pour un temps darrt prenant ses valeurs dans une
suite croissante dinstants. Mais tout temps darrt S peut tre approch par
une suite dcroissante de temps darrt de cette forme. En effet, pour tout
n, posons
X
Sn =
k2n 1{(k1)2n <Sk2n } .
kIN
Lgalit cidessus est alors vraie avec S remplac par Sn , puisque

S Sn FSN FSNn .
On passe aisment la limite dans lgalit avec S remplac par Sn puisque

par continuit droite des trajectoires de {Nt , t 0},
!
!
`
`
\
\
IP A ( {NtSkn = nk }) IP A ( {NtSk = nk }) .
k=1
k=1
Corollaire 6.3.3. Soit {Nt ; t 0} un processus de Poisson dintensit ,

et (Tn )n1 ses instants de saut. 0n pose S1 = T1 , S2 = T2 T1 , . . . , Sn =
Tn Tn1 , . . .. Les variables alatoires S1 , S2 , . . . , Sn , . . . sont indpendantes,
toutes de loi exponentielle de paramtre .
Preuve On sait dj que T1 , le premier instant de saut dun procesus de

Poisson dintensit , suit une loi exponentielle de paramtre . Il rsulte
de la Proposition 6.3.2 avec S = Tn que Sn+1 = Tn+1 Tn est le premier
instant de saut dun processus de Poisson dintensit donc suit une loi
exponentielle de paramtre , et est indpendant de T1 , T2 , . . . , Tn , donc aussi
de S1 , S2 , . . . , Sn . Ceci tant vrai pour tout n 1, le rsultat est dmontr.

Il est assez clair que lon a la rciproque suivante :
Proposition 6.3.4. Soit {Sn ; n 1} une suite de v.a.r. indpendantes,
toutes de loi exponentielle de paramtre > 0. On pose
Tn = S1 + + Sn , n 1,
Nt = sup{n; Tn t}, t 0.
Alors {Nt , t 0} est un processus de Poisson dintensit .
174
On a donc une faon de construire un processus de Poisson, ce qui en

particulier dmontre que la Dfinition 6.2.1 nest pas vide ! On a aussi une
faon de simuler le processus de Poisson.
6.4
Comportement asymptotique
Soit nouveau {Nt ; t 0} un processus de Poisson dintensit . On a :

IE[Nt ] = t, V ar[Nt ] = t.
Donc IE[Nt /t] = , Var[Nt /t] = t , do N (t)/t en moyenne quadratique,
quand t . En fait on a aussi la loi forte des grands nombres :
Proposition 6.4.1. Soit {Nt ; t 0} un processus de Poisson dintensit .
Nt
p.s. quand t .
Alors
t
Preuve Remarquons tout dabord que
X
Nn =
[Ni Ni1 ]
1in
est la somme de n variables alatoires indpendantes, de mme loi de Poisson

de paramtre (donc intgrable). Il rsulte donc de la loi forte des grands
nombres que
Nn
, p.s., quand n .
n
Or, avec la notation [t] = partie entire de t,
N[t] [t] Nt N[t]
Nt
=
+
.
t
[t]
t
t
Il suffit donc de montrer que
Nt N n
0, quand n .
n
n<t<n+1
sup
Or si
def
n =
sup
n<t<n+1
Nt N n ,
= Nn+1 Nn ,
6.4. COMPORTEMENT ASYMPTOTIQUE

les {n } sont i.i.d. et intgrables. Donc
175
1 + + n
p.s., do
n
n
0 p.s.
n

On a un thorme de la limite centrale :
Proposition 6.4.2. Soit {Nt ; t 0} un processus de Poisson dintensit .
Alors
Nt t
Z en loi, quand t ,
t
o Z est une v.a.r de loi gaussienne centre rduite (i.e. desprance 0 et de
variance 1).
Preuve On raisonne comme dans la preuve prcdente.
Nn n
Z en loi, quand n ,
n
daprs le thorme de la limite centrale classique. Et
p
Nt N[t]
p
[t] / [t],
[t]
qui tend en probabilit vers zro quand t puisque

P n / n > = P n > n

= P 1 > n
0, quand n .
Donc a fortiori
Nt N[t]
p
0 en probabilit quand t . Finalement :
[t]
r
N[t] [t]
Nt t
[t]
= p
t
t
[t]
r
Nt N[t]
[t] [t] t
+ ,
+
t
t
t
176
et on sait que si Xn X en loi, Yn 0 en probabilit, alors

Xn + Yn X en loi.

On peut en fait tablir un thorme de la limite centrale fonctionnel
que nous allons maintenant dcrire. Une dmonstration analogue celle de
la Proposition 6.4.2 montre que pour tout t > 0,
Ntu tu
Bt en loi quand u ,
u
o Bt est une v.a.r. gaussienne
centre de variance t. Remarquons que pour
chaque u, {[Ntu tu]/ u, t 0} est un processus accroissements indpendants, dont les sauts sont damplitude (u)1/2 . Il en rsulte que lon
peut passer la limite cidessus quand u de faon coordonne pour les
diffrents t, de telle sorte que la limite {Bt , t 0} soit un processus gaussien
centr, accroissements indpendants, trajectoires continues, et vrifiant
E[Bt ] = t. {Bt ; t 0} est ce quon appelle le mouvement brownien.
6.5
Exercices
Exercice 6.5.1. Soit X une v.a.r. valeurs dans IR + t.q. IP(X > t) >
0, t > 0. On suppose en outre que s, t > 0,
IP(X > s + t/X > t) = IP(X > s).
En dduire que la loi de X est une loi exponentielle.
Exercice 6.5.2. Trois personnes A, B et C arrivent la poste en mme
temps pour tlphoner. Il y a deux cabines quoccupent immdiatement A et
B. C remplace le premier sorti. A, B et C quittent immdiatement la poste
aprs avoir tlphon.
On dsigne par X, Y et Z les temps doccupation de la cabine par A, B et
C respectivement. Ces trois variables alatoires sont supposes indpendantes
et quidistribues, de loi commune la loi sur IR + de densit exp(t), t 0
(avec > 0).
a Calculer la probabilit que C sorte le dernier.
6.5. EXERCICES
177
b Trouver la loi de probabilit du temps total T pass par C la poste.

c Linstant 0 tant linstant darrive des trois personnes la poste, donner
la loi de probabilit de linstant du dernier dpart.
Indication : on cherchera dterminer la loi du v.a. (X Y, X Y X Y )
( = inf, = sup).
Exercice 6.5.3. Une machine possde une dure de vie 1 de loi exponentielle
de paramtre . Lorsquelle tombe en panne, elle est instantanment remplace par une machine semblable de dure de vie 2 et ainsi de suite. On suppose
les dures de vie (n ; n IN) indpendantes et quidistribues. La premire
machine commence travailler linstant 0 ; les instants Tn (n 1) de dfaillance des machines successives (soit T1 = 1 , T2 = 1 + 2 , . . .) forment
un processus de Poisson.
a Pour un instant t > 0 fix, soit Dt la dure coule depuis la mise en fonctionnement de la machine en marche linstant t. Dans quel ensemble
la v.a. Dt prendelle ses valeurs ? Quelle est la loi de Dt ? Montrer que
lorsque t , cette loi possde une limite.
b Soit St la v.a. positive telle que t + St soit linstant de dfaillance de
la machine en fonctionnement linstant t. Quelle est la loi de St ?
Quelle est la loi du couple (Dt , St ) et quelle est la limite de cette loi
lorsque t ? Pourquoi les deux v.a. Dt et St ne sontelles pas
quidistribues et pourquoi le deviennent-elles quand t ?
c Quelle est la loi de Dt +St , la dure de vie de la machine en fonctionnement

linstant t ? Comparer la limite de cette loi quand t avec la loi
commune des n .
Exercice 6.5.4. a) Soit X1 , X2 , . . . , Xn des v.a.r. indpendantes, toutes
de loi uniforme sur [0, t], et Y1 , Y2 , . . . , Yn la mme suite ordonne par
ordre croissant, i.e. dfinie par
Y1 = inf Xi = Xi1
1in
Y2 =
inf
1in,i6=i1
Xi
et ainsi de suite. Prciser la loi du vecteur alatoire (Y1 , Y2 , . . . , Yn ).

b)
Soit {Nt , t 0} un processus de Poisson dintensit . Montrer que

la loi conditionnelle du vecteur alatoire (T1 , T2 , . . . , Tn ), sachant que
Nt = n, est la loi trouve en a).
178
Exercice 6.5.5. Soit {Nt1 ; t 0} et {Nt2 ; t 0} deux processus de Poisson

indpendants, dintensit respective 1 et 2 . Montrer que {Nt1 + Nt2 ; t 0}
est un procesus de Poisson dintensit 1 + 2 .
Exercice 6.5.6. On admet que la population des individus infects par le
virus VIH crot selon un processus de Poisson dintensit inconnue . On
notera Nt le nombre dindividus infects linstant t. On ne prendra pas en
compte les dcs.
Chaque individu infect subit une priode dincubation entre le moment o
il est infect par le VIH et le moment o les symptmes du SIDA apparaissent.
La dure de cette priode dincubation est alatoire. Les priodes dincubation
pour les diffrents individus sont i. i. d., de loi commune la loi sur IR + de
la fonction G(t)
= 1 G(t).
fonction de rpartition connue G. On notera G
1
On note Nt le nombre dindividus qui linstant t prsentent les symptmes du SIDA, Nt2 le nombre dindividus qui linstant t sont infects par
le VIH, mais ne prsentent pas encore les symptmes du SIDA. On a bien
sr
Nt = Nt1 + Nt2 ,
et on demande de montrer que pour tout t > 0, Nt1Ret Nt2 sont deux v. a.
t
indpendantes, Nt1 de loi de Poisson de paramtre 0 G(s)ds, et Nt2 de loi
Rt
de Poisson de paramtre 0 G(s)ds.

Exercice 6.5.7. Programmation On appelle taux de panne dune v. a. X
densit valeurs dans IR+ la fonction de IR+ dans IR+ dfinie par
(t) =
f (t)
,
1 F (t)
o f dsigne la densit de la loi de X, F sa fonction de rpartition. Lexercice 6.5.1 dit que la loi exponentielle est la seule avoir un taux de panne
constant.
On appelle loi de Weibull de paramtres , > 0 la loi de fonction de
survie
F (t) = e(t) ,
et de taux de panne
(t) = (t)1 .
La loi de Weibull a un taux de panne croissant si > 1 et dcroissant si
< 1. On retrouve la loi exponentielle de paramtre dans le cas = 1.
6.5. EXERCICES
179
On appelle loi (, ) la loi de probabilits sur IR + de densit

f (t) =
t
e (t)1 ,
()
R
o () = 0 et t1 dt.
A nouveau la loi Gamma a un taux de panne croissant si > 1 et dcroissant si < 1. Notons que si lon additionne n v. a. indpendantes, toutes
exponentielles de mme paramtre , on obtient une v. a. de loi (n, )
taux de panne croissant.
Supposons que deux machines travaillent en parallle, et ont besoin pour
leur fonctionnement dune pice M quelque peu fragile. On dispose dune
seule pice de rechange, qui est place instantanment sur la machine dont la
pice M tombe en panne la premire. Les trois pices M (les deux en place au
dbut, et celle de rechange) ont des temps de vie i. i. d. La deuxime panne
est fatale la machine qui la subit. Si les temps de vie de ces pices suivent
une loi exponentielle, alors lexercice 6.5.2 montre que les deux machines ont
mme probabilit de subir la deuxime panne.
On peut supposer que si lon remplace la loi exponentielle par une loi
taux de panne croissant, la machine qui a vu sa pice remplace a plus de
chance de vivre plus longtemps que lautre, et que cest linverse dans le cas
dune loi taux de panne dcroissant.
On demande dillustrer laide de tirages alatoires le rsultat de lexercice 6.5.2, et les deux conjectures que nous avons formules.
Successivement pour IP = la loi exponentielle de paramtre 1, la loi
(3, 1), la loi de Weibull de paramtres (1,0.5) (que lon simule aisment
en inversant sa fonction de rpartition), on simule une matrice 3 N de v.
a. indpendantes de loi IP, note X. On trace alors, en fonction de n variant
de 1 N , et sur le mme graphique les trois quantits
n
n
X
k=1
{min[X(1, k), X(2, k)] + X(3, k) max[X(1, k), X(2, k)]}.
On pourra choisir N = 103 ou N = 104 .
180
Chapitre 7
Processus markoviens de saut
Introduction
Dans ce chapitre, nous allons prsenter lessentiel de la thorie des processus de Markov en temps continu, valeurs dans un ensemble fini ou dnombrable E. Comme on le verra la section 7.4, ces processus sont en quelque
sorte une combinaison dun processus de Poisson et dune chane de Markov
en temps discret (la chane incluse). Dans une seconde partie de ce chapitre,
nous prsenterons des applications la phylognie, aux quations aux drives partielles discrtises, et lalgorithme du recuit simul. La preuve de
la convergence de lalgorithme du recuit prsente ici est de Francis Comets (communication prive). Les files dattente seront traites au chapitre
suivant.
7.1
Gnralits
Le but de ce chapitre est dtudier les processus de Markov valeurs dans

un espace dtat E fini ou dnombrable. On supposera que les trajectoires de
nos processus nont que des discontinuits de premire espce (des sauts), et
pour fixer les ides que les trajectoires sont continues droite et pourvues de
limite gauche en tout point. Les trajectoires dun tel processus {Xt , t 0}
sont ncessairement constantes entre ses sauts, lesquels se produisent des
instants alatoires T1 (), T2 (), . . . , Tn (), . . .. La diffrence avec le processus
de Poisson du chapitre prcdent est que, connaissant la position avant le
saut, la position aprs le saut est alatoire. Si lon dsigne par Zn () la
181
CHAPITRE 7. PROCESSUS MARKOVIENS DE SAUT
182
position de {Xt } juste aprs la nime saut Tn (), n 1, une trajectoire

type de {Xt ; t 0} est dessine la figure 7.1.
Z3
Z0
Z2
T0
T1
T2
T3
T4
Z4
Z1
Fig. 7.1 Trajectoire dun processus markovien de sauts

La donne de {Xt ; t 0} est quivalente celle de la double suite
{Tn , Zn ; n 0}.
Pour certaines applications, il convient de pouvoir rendre certains tats
absorbants (par exemple, dans le cas dun modle dcrivant lvolution de la
taille dune population sans possibilit dimmigration, ltat 0 est absorbant).
x E est dit absorbant si XTn () = x Tn+1 () = +.
On supposera donc que les instants de saut forment une suite croissante
0 = T 0 T1 T2 T n
avec Tn IR+ {+}, et
Tn () < Tn+1 () si Tn () < ,
et en outre quil ny a pas dexplosion, i. e. que les instants de saut ne saccumulent pas distance finie, autrement dit que
Tn () + p. s.,
quand n .
(7.1)
7.1. GNRALITS
183
Une fonction alatoire {Xt ; t 0} valeurs dans E est appele fonction

alatoire de sauts si elle est de la forme :
X
Xt () =
Zn ()1[Tn (),Tn+1 ()[ (t)
{n0; Tn ()<}
o les v.a. Zn prennent leurs valeurs dans E. Posons la :

Dfinition 7.1.1. Une fonction alatoire de sauts {Xt , t 0} valeurs
dans E est appele processus markovien de sauts (ou chane de Markov
en temps continu) si pour tout 0 < s < t, la loi conditionnelle de la v.a. X t
sachant {Xu ; 0 u s} ne dpend que de Xs , i.e. si pour tout n IN,
0 t0 < t1 < < tn < s, x0 , x1 , . . . , xn , x, y E,
IP(Xt = y|Xt0 = x0 , Xt1 = x1 , . . . Xtn = xn , Xs = x) = IP(Xt = y|Xs = x)1 .
On dira que le processus markovien {Xt , t 0} est homogne si la
quantit P (Xt = y|Xs = x) ne dpend de s et de t que par la diffrence t s.
On ntudiera dans la suite que des processus markoviens homognes. On
utilisera la notation :
IP(Xt = y|Xs = x) = Pxy (t s)
o pour tout t > 0, P (t) est une matrice markovienne sur E E, appele
matrice de transition dans le temps t. On notera cidessous (t) la loi de
probabilit de Xt sur E, t 0. (0) est appele la loi initiale du processus
{Xt ; t 0}.
Proposition 7.1.2. Soit {Xt , t 0} un processus markovien de sauts, de
loi initiale et de matrices de transition {P (t), t > 0}. Pour tout n dans IN,
0 < t1 < < tn , la loi du vecteur alatoire (X0 , Xt1 , . . . , Xtn ) est donne
par : pour tout x0 , x1 , . . . , xn dans E,
IP(X0 = x0 , Xt1 = x1 , Xt2 = x2 , . . . , Xtn = xn )
= x0 Px0 x1 (t1 )Px1 x2 (t2 t1 ) Pxn1 xn (tn tn1 ).
1
Cette condition na de sens que si

IP(X(t0 ) = x0 , X(t1 ) = x1 , . . . , X(tn ) = xn , X(s) = x) > 0.
On ne tiendra pas compte de la condition pour les valeurs de n, x0 , x1 , . . . , xn , x pour

lesquelles cette ingalit nest pas satisfaite
184
Par consquent, pour tout t > 0,

(t) = (0)P (t)
au sens o y (t) =
g : E IR,
x (0)Pxy (t), et pour toute fonction positive ou borne
xE
IE[g(Xt )|X0 = x] = (P (t)g)x

X
=
Pxy (t)gy .
yE
En outre, les matrices de transition {P (t), t > 0} vrifient la relation de

semigroupe (quation de ChapmannKolmogorov) :
P (s + t) = P (s)P (t),
au sens o pour tous les x, y dans E
Pxy (t + s) =
Pxz (t)Pzy (s)
zE
Preuve Il rsulte immdiatement de la dfinition des probabilits conditionnelles et de la proprit de Markov que
IP(X0 = x0 , Xt1 = x1 , . . . , Xtn = xn )
= IP(X0 = x0 )P (Xt1 = x1 |X0 = x0 )IP(Xt2 = x2 |X0 = x0 , Xt1 = x1 )
IP(Xtn = xn |X0 = x0 , Xt1 = x1 , . . . , Xtn1 = xn1 )
= x0 Px0 x1 (t1 )Px1 x2 (t2 t1 ) Pxn1 xn (tn tn1 ).
Dans le cas n = 1, cette formule scrit :
IP(X0 = x, Xt = y) = x Pxy (t)
et le second rsultat sen dduit en sommant sur x E. Par dfinition de
P (t),
IP(Xt = y|X0 = x) = Pxy (t),
le troisime rsultat sen dduit en multipliant par gy et sommant en y E.
Enfin la formule cidessus dans le cas n = 2 donne, aprs division par x0
IP(Xs = k, Xs+t = y|X0 = x) = Pxz (s)Pzy (t)
7.1. GNRALITS
185
le dernier rsultat sen dduit en sommant en z E.
Nous allons maintenant prsenter quelques exemples de processus markoviens de saut.

Exemple 7.1.3. Un processus de Poisson {Nt ; t 0} dintensit est un
processus de Markov valeurs dans IN, de matrice de transition :
(
et (t)yx /(y x)!,
Pxy (t) =
0,
si y x;
sinon.
Exemple 7.1.4. Processus du tlgraphe Etant donn un processus de

Poisson {Nt } dintensit , et une v.a. X0 valeur dans E = {1, +1},
indpendante de {Nt ; t 0}, on pose :
Xt = X0 (1)Nt , t 0.
{Xt , t 0} est un processus de Markov, de matrice de transition :
P+1+1 (t) = P11 (t) = et
P1+1 (t) = P+11 (t) = e
X (t)2n
n0
(2n)!
X (t)2n+1
(2n + 1)!
n0
Exemple 7.1.5. Soit {Nt ; t 0} un processus de Poisson dintensit , et

dinstants de saut 0 < T1 < T2 < T3 < < Tn < . On se donne en outre
une chane de Markov en temps discret {Zn ; n IN} valeurs dans E, de
matrice de transition {Pxy ; x, y E}, indpendante de {Nt , t 0}. Alors
on peut montrer (voir exercice 7.11.1 cidessous) que
Xt =
X
n=0
Zn 1[Tn ,Tn +1[ (t), t 0
est un processus markovien de saut.
186
7.2
Gnrateur infinitsimal
La proprit de semigroupe fait que P (t) est connu pour tout t ds quil
est connu pour t petit. En fait, on va voir quil est entirement dtermin par
sa drive droite en t = 0 (on sait que P (0) = I).
Thorme 7.2.1. Soit {P (t), t > 0} le semigroupe des matrices de transition dun processus markovien de sauts {Xt , t 0}.
Il existe une matrice {Qxy ; x, y E} (appele le gnrateur infinitsimal du semigroupe {P (t); t 0} qui vrifie
(i)
(ii)
Qxy 0 si x 6= y
X
Qxx =
Qxy 0,
yE\{x}
(cette dernire galit tant stricte sauf si ltat x est absorbant) et telle que,
lorsque h 0,
Pxy (h) = hQxy + (h) si x 6= y
Pxx (h) = 1 + hQxx + (h).
En outre, conditionnellement en X0 = x, linstant de premier saut T1 et la
position aprs le premier saut Z1 = XT1 sont indpendants, T1 de loi exponentielle de paramtre qx = Qxx , et Z1 de loi sur E donne par {Qxy /qx ; y 6= x}.
Preuve Remarquons tout dabord que
{T1 > nh} {X0 = Xh = = Xnh } {T1 > nh} {T2 T1 h}.
Comme P (T2 T1 h) 0 quand h 0, on a que si, h 0, nh t (avec
nh t),
IP(T1 > t|X0 = x) = lim IP(X0 = Xh = = Xnh |X0 = x)
= lim[Pxx (h)]n
Lexistence de cette dernire limite entrane que
1
[1 Pxx (h)] qx [0, +],
h
7.2. GNRATEUR INFINITSIMAL
187
quand h 0, et donc
IP(T1 > t|X0 = x) = eqx t .
Do ncessairement qx < et qx = 0 ssi x est absorbant. On pose Qxx =
qx .
1
La dmonstration de lexistence des limites de Pxy (h) pour x 6= y se fait
h
de faon analogue :
{T1 t, Z0 = x, Z1 = y}
= lim 1mn {X0 = Xh = = X(m1)h = x, Xmh = y}
h0,nht
1 Pxx (h)n
Pxy (h)
1 Pxx (h)
1
1 eqx t
lim Pxy (h)
=
qx
h
IP(T1 t, Z1 = y|X0 = x) = lim
1
Donc Qxy = lim Pxy (h) existe pour x 6= y et
h
IP(T1 t, Z1 = y|X0 = x) = (1 eqx t )
Qxy
qx
do
IP(T1 t, Z1 = y|X0 = x) = IP(T1 t|X0 = x)IP(Z1 = y|X0 = x)
et
IP(Z1 = y|X0 = x) =
Qxy
.
qx
Dans le cas cardE < , on dduit immdiatement du Thorme le :

Corollaire 7.2.2. (i) {P (t), t 0} est lunique solution de lquation de
Kolmogorov rtrograde
dP
(t) = QP (t) t > 0; P (0) = I.
dt
188

En outre u(t, x) := E[g(Xt )|X0 = x] satisfait aussi une quation de
Kolmogorov rtrograde
X
u
(t, x) =
Qxy u(t, y), t > 0, x E;
t
yE
u(0, x) = g(x), x E.
(ii) {P (t), t 0} est aussi lunique solution de lquation de Kolmogorov

progressive :
dP (t)
= P (t)Q, t > 0; P (0) = I.
dt
En outre, la famille des lois de probabilit marginales {(t), t 0} des
v.a. {Xt ; t 0} satisfait lquation de FokkerPlanck :
x (t) X
=
y (t)Qyx , t > 0, x E.
t
yE
Preuve Pour tablir lquation de Kolmogorov rtrograde, il suffit de driver
Pxy (t) en utilisant la proprit de semigroupe sous la forme
P (t + h) = P (h)P (t).
Lquation pour u se dduit alors de lquation obtenue en multipliant

droite par le vecteur colonne {gx }.
Lquation progressive sobtient en drivant partir de la formule :
P (t + h) = P (t)P (h).
Lquation de FokkerPlanck sen dduit alors en multipliant gauche par
le vecteur ligne {(0)}.
Remarque 7.2.3. Essayons dexpliquer la terminologie quation progressive, quation rtrograde (en Anglais forward, backward equation). Lquation rtrograde est une quation pour la fonction (t, x) Pxy (t), y E fix.
Cest une quation en la variable t et en la variable rtrograde x. x dsigne
la position linstant initial, cest la position dans le pass. Au contraire,
lquation progressive est une quation pour la fonction (t, y) P xy (t),
x E fix. La variable y dsigne la position de la chane linstant t, cest
la position linstant prsent.
189
Considrons maintenant lquation rtrograde pour u(t, x)

=
IE[g(Xt )|X0 = x], choisissons T > 0, et posons pour 0 t T ,
v(t, x) = u(T t, x) = IE[g(XT )|Xt = x]. v satisfait lquation
X
v
(t, x) +
Qxy u(t, y) = 0, t > 0, x E;
t
yE
v(T, x) = g(x), x E.
Lquation pour v est une quation rtrograde au sens o elle se rsout dans
le sens ngatif du temps, de t = T vers t = 0. Notons que dans le cas non
homogne, o le gnrateur infinitsimal Q dpend de t, la quantit v(t, x) =
IE[g(XT )|Xt = x] est bien solution de cette mme quation, alors que lon na
plus lquation pour u.
La dmonstration cidessus nest pas rigoureuse dans le cas cardE = ,
puisquelle implique la permutation dune drivation et dune sommation
infinie. Nous tablirons lquation de Kolmogorov rtrograde dans le cas
gnral dans la section suivante.
7.3
Proprit de Markov forte
La notion de temps darrt et la tribu FSX sont dfinis comme la section

6.3, en remplaant {Nt ; t 0} par {Xt ; t 0}.
Thorme 7.3.1. Soit S un temps darrt du processus markovien de sauts
{Xt ; t 0}. Conditionnellement en {S < } et {XS = x}, {XS+t , t 0}
est indpendant de FSX , et sa loi est celle de {Xt ; t 0} sachant que X0 = x.
Preuve On va se contenter de faire la dmonstration dans le cas dun temps
darrt constant S s. Le cas gnral sen dduit comme pour le processus de
Poisson (cf. Preuve de la Proposition 6.3.2). Soit 0 s1 < s2 < < sk < s ;
0 < t1 < t2 < < t` ; x, x1 , . . . , xz , y1 , . . . , y` S,
IP(Xs+t1 = y1 , . . . , Xs+t` = y` /Xs1 = x1 , . . . , Xsk = xk , Xs = x)
IP(Xs1 = x1 , . . . , Xsk = xk , Xs = x, Xs+t1 = y1 , . . . , Xs+t` = y` )
=
IP(Xs1 = x1 , . . . , Xsk = xk , Xs = x)
= Pxy1 (t1 )Py1 y2 (t2 t1 ) Py`1 y` (t` t`1 )
= IP(Xt1 = y1 , . . . , Xt` = y` |X0 = x)
190

Nous allons maintenant tablir lquation de Kolmogorov rtrograde dans
le cas gnral.
Thorme 7.3.2. Pour tout x, y E, la fonction t Pxy (t) est drivable,
et
d
Pxy (t) = (QP )xy (t).
dt
Preuve Dfinissons pour tout n IN la loi conditionnelle de (Zn , Tn ) sachant
que X0 = Z0 = x :
Rn (x; y, B) = IP(Zn = y, Tn B|Z0 = x), B borlien de IR+ .
Notons que
(
1, si x = y, 0 B;
R0 (x; y, B) =
0, sinon.
et quil rsulte du Thorme 7.2.1 que

Z
Q
eqx t dt, si x 6= y;
xy
R1 (x; y, B) =
B
0,
si x = y.
La proprit de Markov forte linstant Tm entrane que
IP(Zm+n = z, Tm+n B|FTXm ) = Rn (XTm ; z, B Tm ),

o nous avons utilis la notation
B t = {s IR+ ; s + t B}
Donc
IP(Zm+n = z, Tm+n B|X0 = x) = IE[Rn (Zm ; z, B Tm )|X0 = x]
XZ
Rm (x; y; dt)Rn (y; z, B t),
=
yE
IR+
Autrement dit,
Rm+n (x; z, B) =
XZ Z
yE
R+
Rm (x; y, dt)Rn (y; z, du t),

soit
Rm+n (x; z, du) =
XZ
y
191
Rm (x; y, dt)Rn (y; z, du t),
o la mesure Rn (y; z, du t) est dfinie par

Z
Z
Rm (y; z, du t)f (u) =
Rm (y; z, du)f (t + u).
IR+
IR+
Il est clair que les {Rn , n 1} sont entirement dtermins par R1 et cette
quation fondamentale.
Remarquons que
X
Pxy (s) =
IP(Zm = y, Tm s < Tm+1 |Z0 = x)
m0
m0
m0
m0
P (Zm = y, Tm s, Tm+1 Tm > s Tm |Z0 = x)
IE[IP(Tm+1 Tm > s Tm |Zm , Tm )1{Zm =y,Tm s} |Z0 = x]

IE[eqZm (sTm ) 1{Zm =y,Tm s} |Z0 = x]
XZ
m0
eqy (st) Rm (x; y, dt),

0
o on a utilis la troisime galit la proprit de Markov forte linstant

Tm .
Donc daprs lquation cidessus
XZ s
qx s
eqy (st) Rm (x; y, dt)
Pxy (s) = xy e
+
m1
Pxy (s) = xy e
qx s
m0,zE
soit
Pxy (t) = xy e
e
0
qx t
eqx t Pxy (t) = xy +
qy (st)
XZ
zE
eqx s
0
R1 (x; z, du)Rm (z; y, dt u),
t
0
X
z6=x
R1 (x; z, ds)Pzy (t s)
Qxz Pzy (s)ds.
192
Donc la fonction t Pxy (t) est drivable, et
X
d
Pxy (t) =
Qxz Pzy (t) qx Pxy (t)
dt
z6=x
X
=
Qxz Pzy (t).
z

Le raisonnement qui prcde montre que
IP(Z1 = y, T1 B, Z2 = z, T2 T1 C|Z0 = x)
Z Z
=
R1 (x, y, dt)R1 (y, z, du)
B
Cette formule se gnralise la loi de ((Z1 , T1 ), . . . , (Zn , Tn )). Partant de

cette loi jointe, on pourrait en dduire que le processus de saut correspondant
{Xt , t 0} est markovien.
Remarque 7.3.3. Si on se donne un gnrateur quelconque Q, on peut dfinir R1 , et donc la loi des (Zx , Tx ). Mais la suite {Tn } correspondante ne
vrifie pas forcment la condition de nonexplosion (7.1), i.e. le processus
{Xt } correspondant nest pas forcment dfini pour tout t 0. On donnera
la section suivante des conditions suivantes sur Q pour que ce soit le cas.
7.4
Chane de Markov incluse
Soit {Xt ; t 0} un processus de Markov dont les temps de saut T1 , T2 , . . . ,

Tn , . . . vrifient la condition de nonexplosion (7.1). La suite {Zn ; n IN}
dfinie par
Zn = XTn (avec T0 = 0)
est une chane de Markov en temps discret (cest une consquence de la
proprit de Markov forte de {Xt }), appele la chane incluse, qui a la
particularit que Zn+1 6= Zn p.s., n 0. Sa matrice de transition P se
calcule aisment en fonction du gnrateur Q de {Xt } :
(
(Qxx )1 Qxy , si y 6= x;
Pxy =
0,
si y = x.
7.4. CHANE DE MARKOV INCLUSE
193
Posons, pour n 1,
Sn = qZn1 (Tn Tn1 )
et pour t 0,
Nt = sup{n;
n
X
k=1
(o qx = Qxx ),
Sk t}.
Alors {Nt ; t 0} est un processus de Poisson dintensit 1 (utiliser la proprit de Markov forte de {Xt }, et le fait que si U ' exponentielle (), U '
exponentielle (1)).
Rciproquement, soit Q un gnrateur infinitsimal, i. e. une matrice
indxe par E E, telle que pour tout x E,
X
Qxy < 0.
Qxy 0, y 6= x; Qxx =
y6=x
On pose qx = Qxx , et on dfinit la matrice de transition P par

(
Qxy
, si y 6= x;
Pxy = qx
0,
si y = x.
(7.2)
A toute condition initiale x E, on associe la chane de Marekov {Zn , n

0} de matrice de transion P . Soit maintenant {Nt ; t 0} un processus
de Poisson dintensit 1, indpendant de la chane {Zn ; n IN}. On note
0 = T0 < T1 < T2 < les instants de saut du processus de Poisson, et on
dfinit, pour n 1,
Tn Tn1
,
q(Zn1 )
Tn0 = S1 + . . . + Sn .
Sn =
Si la condition de non explosion (7.1) est satisfaite, alors

X
def
0
Xt =
Zn 1[Tn0 ,Tn+1
[ (t), t 0
(7.3)
n0
est un processus de Markov de gnrateur infinitsimal Q.

Il reste rpondre la question : tant donn un gnrateur infinitsimal
Q, quand estce que la suite de temps darrt {Tn0 , n 0} associe vrifie la
condition de nonexplosion, i. e. quand estce que (7.3) dfinit Xt pour tout
t 0 ? On va montrer la
194
Proposition 7.4.1. La condition de non explosion (7.1) est satisfaite ssi

X
qZ1n = + p.s.
(7.4)
n0
Commenons par noncer le

Corollaire 7.4.2. Pour quun gnrateur infinitsimal Q soit le gnrateur
infinitsimal dun processus de Markov qui satisfait la condition (7.1), il suffit
que lune des deux conditions suivantes soit satisfaite
1. supxE qx < .
2. La chane de Markov {Zn } de matrice de transition P dfinie (7.2) est

rcurrente.
Il est clair que que chacune des deux conditions du Corollaire entrane
(7.4). La Proposition rsulte maintenant du Lemme suivant, en posant
An = Tn+1 Tn ,
Bn =
1
q Zn
n 0.
Lemme 7.4.3. Soit {An , n 1} et {Bn , n 1} deux suites indpendantes

de v. a. valeurs dans IR+ , la suite des {An } tant i. i. d. de loi commune
la loi exponentielle de paramtre 1. Alors il y a quivalence entre
P
1.
n=1 An Bn = + p. s.
P
2.
n=1 Bn = + p. s.
Preuve Il rsulte de lindpendance des deux suites que le Lemme est une
consquence du fait que pour toute suite {bn , n 1} de nombres strictement
positifs,
X
X
An bn = + p. s.
bn = +.
(7.5)
P
n=1
n=1
Si n bn < , alors IE n An bP
n =
n bn < , donc a fortiori
p. s. Il reste montrer que si n bn = +, alors
n :=
n
X
k=1
A n bn <
Ak bk + p. s., quand n .
Dans le cas P
o il existe une soussuite nj telle que bnj +, clairement
P
n A n bn
j Anj bnj = +, car les Anj tant i. i. d. de loi exponentielle,
7.5. CLASSIFICATION DES TATS
195
une infinit dentre euxPest plus grande que 1. Il reste donc considrer le
cas o 0 bn C et n bn = +. Alors pour tout M > 0, si n est assez
grand pour que IEn > 2M ,

IEn
IP(n M ) IP |n IEn |
2
Pn 2
V ar(n )
b
= 4 Pn1 k 2
4
2
(IEn )
( 1 bk )
4C
Pn 0,
1 bk
et donc n + en probabilit, et donc p. s. par monotonie de la suite. Le

Lemme est tabli.
Remarque 7.4.4. Au chapitre suivant, nous prciserons des processus markoviens de sauts en indiquant leur gnrateur infinitsimal Q. On pourra
vrifier que tous les exemples traits satisfont lune des conditions (en fait
en gnral la premire) du Corollaire 7.4.2.
7.5
Classification des tats
Dans ce qui suit, on dsignera comme dans le cas du temps discret par
IPx la loi conditionnelle de {Xt , t 0}, sachant que X0 = x. Les classes
dquivalence du processus de Markov {Xt ; t 0} sont celles de la chane
incluse. Notons que ds que {Xt ; t 0} est irrductible,
Pxy (t) > 0,
x, y E, t > 0.
(7.6)
En effet, pour tout x, y E, il existe n 1 et x0 = x, x1 , . . . , xn1 , xn = y tels

que Qxk1 xk > 0, 1 k n, et il rsulte des proprits de la loi exponentielle
que Pxy (t) Pxx1 (t/n) Pxn1 y (t/n) > 0.
Un tat x E est dit rcurrent (resp. transitoire) pour {Xt ; t 0} sil
est rcurrent (resp. transitoire) pour la chane incluse. Donc en particulier
dans le cas irrductible, tous les tats sont soit rcurrents soit transitoires.
On a, comme dans le cas des chanes en temps discret, le
Thorme 7.5.1. Soit {Xt ; t 0} un processus de Markov irrductible et
rcurrent. Alors il existe une mesure strictement positive sur E solution
196
de lquation Q = 0, unique une constante multiplicative prs. En outre,

une telle mesure est invariante par le semigroupe {P (t)}, i. e. P (t) = ,
t 0.
Preuve On remarque que si Q dsigne le gnrateur infinitsimal du processus {Xt } et P la matrice de transition de sa chane incluse, alors
Q = q(P I),
o q dsigne la matrice diagonale dfinie par
x, y E.
qxy = xy qx ,
Notons que lhypothse que le processus est irrductible entrane que qx > 0,
x E. Donc on va pouvoir sans problme diviser par q. Lhypothse est
que la chane incluse est irrductible et rcurrente. Donc la mesure x dfinie
dans la preuve du Thorme 2.5.3 est strictement positive, et elle est lunique
( une constante multiplicative prs) solution de lquation x P = x . Donc
la mesure strictement positive x = q1 x vrifie x Q = 0, et toute autre
solution 0 de cette quation est telle que q0 est invariante par P , donc il
existe une constante c telle que 0 = c. On a la formule suivante pour la
mesure x :
xy
yx
=
= IEx
qy
= IEx
Z
Z
Rx
1{Xs =y} ds
1{Xs =y,s<Rx } ds.
Mais si t > 0, par la proprit de Markov forte,
IEx
t
0
1{Xs =y} ds = IEx
Rx +t
Rx
1{Xs =y} ds.
7.6. LE CAS IRRDUCTIBLE RCURRENT

Donc
xy
= IEx
197
Rx +t
1{Xs =y} ds
t
Rx
= IEx
1{Xt+s =y} ds
0
Z
=
IPx (Xt+s = y, s < Rx )ds
0
Z X
IPx (Xs = z, s < Rx )Pzy (t)ds
=
0
xz Pzy (t).
7.6
Le cas irrductible rcurrent
Pour distinguer entre rcurrence positive ou nulle (cette question ne se

pose que dans le cas |E| = +), il ne suffit pas de regarder ce quil en est
de la chane incluse, comme on va maintenant le voir. Dfinissons linstant
du premier retour ltat x comme :
Rx = inf{t T1 ; Xt = x}
Dfinition 7.6.1. Ltat x est dit rcurrent positif sil est rcurrent et si
IEx (Rx ) < , rcurrent nul sil est rcurrent et si IEx (Rx ) = +.
A nouveau, dans le cas irrductible rcurrent, tous les tats sont soit rcurrents nuls, soit rcurrents positifs, et suivant le cas on dit que le processus
{Xt } est transitoire, rcurrent nul ou rcurrent positif. Le cas rcurrent positif est quivalent lexistence dune unique probabilit invariante, comme
on va maintenant le montrer.
Thorme 7.6.2. Soit {Xt , t 0} un processus markovien de sauts irrductible. Alors un tat x E est rcurrent positif si et seulement si tous
les tats sont rcurrents positifs, si et seulement si il existe une probabilit
invariante , et dans ce cas
1
, x E.
IEx Rx =
x q x
198
Preuve Si x est rcurrent positif pour {Xt }, alors x est rcurrent pour la
chane incluse {Zn , n 0}. On dsigne par yx le nombre moyen de visites
ltat y lors dune excursion de {Zn } partant de x. Il rsulte de ce que la
dure de chaque sjour ltat y est indpendante de la chane incluse, et
desprance qy1 que
X yx
.
IEx Rx =
q
y
yE
Mais on a vu dans la preuve du Thorme 7.5.1 que la mesure x dfinie par

xy =
yx
qy
vrifie x Q = 0. La condition x rcurrent positif entrane donc lexistence

dune mesure invariante de masse finie, donc dune probabilt invariante.
Supposons rciproquement quil existe une probabilit solution de Q = 0.
Alors la mesure q est invariante par P , et pour tout x, y E,
q y y
q x x
est le nombre moyen de visites ltat y au cours dune excursion de {Zn }

partant de x. Donc
X y
< , x E,
IEx Rx =
q
x x
yE
et nimporte quel tat x E est rcurrent positif.
Nous allons maintenant nous limiter au cas rcurrent positif, et tablir le

thorme ergodique, puis tablir la convergence des probabilits de transition
vers la probabilit invariante.
Thorme 7.6.3. Soit {Xt , t 0} un processus markovien de sauts valeurs
dans E irrductible, rcurrent positif. On note Q son gnrateur infinitsimal,
et lunique probabilit invariante. Alors si f : E IR est borne,
Z
X
1 t
f (Xs )ds
f (x)x
t 0
xE
p. s. quand t .
199
Preuve Il suffit de considrer le cas f (y) = 1{y=x} et de travailler sous IPx

(cf. la preuve du Thorme 2.5.7). Comme dans le cas du temps discret, les
excursions successives partant de x sont i. i. d.. On note N x (t) le nombre de
visites ltat x entre linstant 0 et linstant t, Tkx le temps pass ltat x
par le processus {Xt } au cours de sa kime visite. Puisque la N x (t)ime
visite ltat x nest pas forcment termine linstant t, on a
Z
N (t)1
N (t)
1 t
1 X x
1 X
x
Tk <
Tk .
1{Xs =x} ds
t
t 0
t
x
k=1
k=1
Mais clairement TNx x (t) /t 0 p. s. quand t , et

x
N (t)
N (t)
1 X x
1 X x N x (t)
x
T =
T
t k=1 k
t
N (t) k=1 k
1
1
IEx Rx qx
= x .
En effet, puisque la suite {Tkx , k 1} est i. i. d., et par la rcurrence N x (t)

quand t , p. s.
x
N (t)
1 X x
1
Tk IEx (T1x ) = .
x
N (t)
qx
k=1
Enfin la preuve du fait que

t
N x (t)
IEx (Rx )
suit le mme argument que dans la preuve du Thorme 2.5.7.
Dans le cas du temps continu, la convergence de la loi de Xt vers la

probabilit invariante quant t est vraie dans le cas irrductible et
rcurrent positif, sans restriction supplmenatire.
Thorme 7.6.4. Soit {Xt , t 0} un processus markovien de sauts valeurs dans E irrductible, rcurrent positif, et lunique probabilit solution
de lquation de lquation de FokkerPlanck stationnaire. Alors pour toute
probabilit sur E et x E, (P )x(t) x quand t .
200
Preuve On pourrait suivre la dmarche de la preuve du Thorme 2.6.4,

mais on va plutt utiliser ce rsultat.
Si lon chantillonne le processus {Xt } en posant Yn = Xnh , n = 0, 1, . . .,
o h > 0 est arbitraire, il est clair que {Yn , n IN} est une chane de Markov
irrductible et apriodique daprs (7.6), dont lunique probabilit invariante,
qui ne dpend pas de h, est . Admettons un instant le
Lemme 7.6.5. Pour tout t, h > 0, x, y E,
|Pxy (t + h) Pxy (t)| 1 eqx h .
Fixons > 0 et x, y E. On choisit tout dabord h > 0 suffisament petit

pour que
1 eqx s /2, 0 s h,
puis on choisit N assez grand pour que
|Pxy (nh) y | /2,
si n N.
On conclut que si t N h, en notant n lentier tel que nh t < (n + 1)h,

|Pxy (t) y | |Pxy (t) Pxy (nh)| + |Pxy (nh) h | .
Le thorme se dduit aisment de ce rsultat, en dcoupant lensemble des
points de dpart en un ensemble fini qui supporte toute la mesure prs,
et son complmentaire. Il reste procder la
Preuve du Lemme 7.6.5 : On note que
X
|Pxy (t + h) Pxy (t)| = |
Pxz (h)Pzy (t) Pxy (t)|

z

X

Pxz (h)Pzy (t) (1 Pxx (h))Pxy (t)
=

z6=x
1 Pxx (h).
Remarque 7.6.6. La convergence du Thorme 7.6.4 a lieu au sens de la

convergence troite des probabilits sur E. En effet dune part quand t ,
(P )x (t) P
x pour tout xP E, donc aussi pour tout sousensemble fini
F E, xF (P )x (t) xF x . Comme en outre P (t) et sont des
probabilits sur E, il nest pas trop difficile de montrer que si f : E IR est
borne,
X
X
(P )x (t)f (x)
x f (x), quand t .
x
201
Notons que si la probabilit invariante est la loi de X0 , le processus

{Xt ; t 0} est stationnaire au sens o pour tout n IN, 0 t1 < t2 <
< tn , la loi du vecteur alatoire (Xt1 +s , Xt2 +s , . . . , Xtn +s ) ne dpend pas
de s 0.
Remarque 7.6.7. Lquation Q = 0 scrit x E,
X
y Qyx = x
Qxy .
y6=x
y6=x
Le membre de gauche de cette galit sinterprte comme le flux entrant dans

ltat x lquilibre en provenance des diffrents tats, et le membre de droite
comme le flux sortant de x lquilibre, vers les divers tats. Lquation
Q = 0 dit donc qu lquilibre, les nombres moyen par unit de temps de
dparts et darrives chaque tat sont gaux.
On a aussi dans ce contexte une gnralisation du thorme de la limite
centrale.
Thorme 7.6.8. Supposons que le processus markovien de sauts {X t ; t
0} est irrductible, et quil possde une probabilit invariante . Soit f
2
L
la forme f = Qg, avec g L2 (E, ) [ceci entrane que < , f >=
X(E, ) deX
x f x =
x Qxy gy = 0].
x
xy
On pose
C(f ) := 2
f x g x x ,
xE
que lon supposera non nul (alors C(f ) > 0). Alors
1
p
tC(f )
t
0
f (Xs )ds Z,
en loi, quand t , o Z est une v.a.r. gaussienne centre rduite.

On a aussi la convergence de
tu
p
f (Xs )ds, t 0
uC(f ) 0
mouvement brownien {Bt , t 0}, quand u .
vers un
202
7.7
Rversibilit
Etant donn un processus markovien de sauts {Xt ; t 0}, et T > 0,

T
{Xt = XT t , 0 t T } est aussi markovien. Si la loi de X0 est une

T est homogne. Notons Q
son gnrateur
probabilit invariante , alors X
infinitsimal. On a le
= Q ssi la relation dquilibre ponctuel
Thorme 7.7.1. Q
x Qxy = y Qyx , x, y E,
est satisfaite. Dans ce cas, on dit que le processus {Xt } est rversible (pour
la probabilit , qui est ncessairement invariante).
Preuve : On a, pour les mmes raisons que la formule analogue pour le
temps discret,
y
Pxy (t) = Pyx (t),
x
do lon dduit en prenant la drive en t = 0
xy = y Qyx .
Q
x
Le rsultat est maintenant vident.
Remarque 7.7.2. Comme dans le cas des chanes en temps discret, un
processus markovien de saut irrductible rcurrent positif nest pas ncessairement rversible. A nouveau, un contreexemple est donn par le cas o pour
un certain couple x 6= y, Qxy = 0 6= Qyx , ce qui nest pas contradictoire avec
lirrductibilit ds que cardE 3.
Remarque 7.7.3. Comme dans le cas du temps discret, dterminer un gnrateur Q connaisant une probabilit invariante nest pas difficile. Le plus
simple est de chercher Q telle que le processus correspondant soit rversible
par rapport , donc de chercher Q gnrateur infinitsimal irrductible, tel
que la quantit x Qxy soit symtrique en x, y.
Dterminer la probabilit invariante, connaissant le gnrateur infinitsimal irrductible, est en gnral plus difficile. On peut chercher rsoudre
lquation
x Qxy = y Qyx ,
mais celleci na de solution que dans le cas rversible. Dans le cas non
rversible, il faut rsoudre lquation Q = 0. Si on sait deviner une
constante multiplicative prs, on peut utiliser le rsultat suivant
7.8. PHYLOGNIE
203
Thorme 7.7.4. tant donne une probabilit sur E, on pose pour x, y

E
xy = y Qyx .
Q
x
Si
X
y6=x
xy =
Q
Qxy ,
y6=x
est le gnrateur du processus

alors est une probabilit invariante, et Q
retourn.
Preuve : En utilisant la premire, puis la seconde identit de lnonc, on
obtient
X
y Qyx = x
y6=x
xy
Q
y6=x
= x
Qxy
y6=x
= x Qxx ,
soit lgalit Q = 0. La seonde partie de lnonc est alors une consquence
de la formule contenue dans la preuve du thorme 7.7.1.

Notons que si lon sait deviner le gnrateur du processus retourn, on
en dduit la probabilit invariante une constante multiplicative prs, qui se
calcule laide dune seule sommation.
7.8
Modles markoviens dvolution et Phylognie
On va prsenter les processus de Markov sur les arbres, qui sont couramment utilises comme modle en phylognie. On considrera des arbres
binaires, avec ou sans racine. On reprsente la figure 7.2 un arbre binaire
avec racine (avec la racine en haut et les feuilles en bas !), et la figure 7.3
un arbre binaire sans racine.
204
Fig. 7.2 Arbre binaire avec racine

Processus de Markov sur un arbre avec racine Le processus part de
la racine (qui joue le rle de linstant initial 0) dans un certain tat, disons
x. Il volue jusquau premier noeud qui se trouve la distance r de la racine,
comme un processus markovien de sauts pendant lintervalle de temps r.
Notons y ltat du processus en ce noeud. Sur chaque branche qui part de
ce noeud court un processus markovien de sauts, partant de y, de telle sorte
que les deux processus sur les deux branches sont indpendants, jusquau
prochain noeud, et ainsi de suite jusquaux feuilles de larbre. Notons que
lon considrera toujours un processus irrductible valeurs dans un ensemble
fini, donc ce sera un processus rcurrent positif, et la loi du processus la
racine sera la probabilit invariante. On peut alors, sans modifier la loi du
processus, supprimer la branche entre la racine et le premier noeud.
Processus de Markov sur un arbre sans racine Supprimons donc la
branche entre la racine et le premier noeud. Cela signifie que le processus
part de la racine (situe au premier noeud) sous la probabilit invariante, et
volue indpendemment sur les deux branches, jusqu rencontrer les noeuds
7.8. PHYLOGNIE
205
Fig. 7.3 Le mme arbre, sans racine

suivants, etc... Reportonsnous maintenant la figure 7.3. La racine nest plus
marque sur la branche centrale. On peut encore limaginer, et considrer que
deux processus partent de ce point, un dans chaque sens, vers les deux noeuds
aux extrmits de la branche centrale. Supposons maintenant que lon dplace
la racine sur la branche centrale, vers la droite ou vers la gauche. Il est assez
facile de se convaincre de ce que la loi du processus rsultant sur larbre
nest pas modifie par un tel changement, condition quil sagisse dun
processus rversible. En effet, la diffrence entre les deux constructions avec
la racine en deux points diffrents de la branche centrale est quune portion
de cette branche est parcourue dans deux sens diffrents par le processus.
Dans le cas rversible, la racine peut tre place quivalemment en une des
deux extrmits de la branche centrale, ou mme en nimporte quel noued,
ou nimporte quel point de larbre. On voit donc que lon peut dfinir un
processus markovien rversible sur un arbre sans racine, en plaant le point
de dpart nimporte o sur larbre.
206
7.8.1
Modles dvolution
Pour prciser la vraisemblance dun arbre au vu des donnes, il nous faut

prciser un modle dvolution, qui indique comment ces donnes ont t
fabriques par lvolution le long des branches de larbre, pour chaque site
sur lADN. On va dcrire pusieurs modles markoviens dvolution de lADN,
en prcisant les taux de transition dun nuclotide lautre. Cest dire que
lon prcisera la matrice Q sous la forme
a
Q=c
g
t
a
x
x
x
x
c
x
x
x
x
g
x
x
x
x
t
x
x
x
x
Le modle de JukesCantor (1969) Cest le plus simple, qui suppose

que toutes les mutations se font au mme taux, i.e. pour un certain > 0,
3

.
Q=

3
La probabilit invariante associe est la probabilit uniforme sur les 4 nuclotides. Les probabilits de transition se calculent explicitement. P (t) =
0, 25 + 0, 75e4t
0, 25 0, 25e4t
0, 25 0, 25e4t
0, 25 0, 25e4t
0, 25 0, 25e4t
0, 25 + 0, 75e4t
0, 25 0, 25e4t
0, 25 0, 25e4t
0, 25 0, 25e4t
0, 25 0, 25e4t
0, 25 + 0, 75e4t
0, 25 0, 25e4t
0, 25 0, 25e4t
0, 25 0, 25e4t
.
0, 25 0, 25e4t
0, 25 + 0, 75e4t
Les modles de Kimura (1980 et 1981) Parmi les quatre types de nuclotides, la cytosine et la thymine sont des pyrimidines, alors que ladnine
et la guanine sont des purines. Il est raisonnable de supposer que les transitions (remplacement dune purine par une autre, ou dune pyrimidine par
une autre) sont plus frquentes que les transversions (remplacement dune
purine par une pyrimidine ou vice versa). Donc on est amen supposer que
les taux de sustitution entre a et g ou entre c et t sont plus levs que tous
7.8. PHYLOGNIE
207
les autres, do le modle (avec > )
.
Q=
La probabilit invariante est encore la probabilit uniforme. Les probabilits

de transition sont donnes par
Pxx (t) = 0, 25 + 0, 25e4t + 0, 5e2(+)t ,
Pxy (t) = 0, 25 + 0, 25e4t 0, 5e2(+)t ,
si x 6= y sont soit tous deux des purines, soit tous deux des pyrimidines,
Pxy (t) = 0, 5 0, 5e4t
dans le dernier cas.
Kimura a propos un second modle, de la forme
,
Q=
pour lequel la probabilit invariante est encore la probabilit uniforme.

Le modle de Felsenstein Etant donn une loi de probabilit sur lespace E = {a, c, g, t}, et un nombre positif u, Felsenstein a propos le modle
u(a 1)
uc
ug
ut
ua
u(c 1)
ug
ut
.
Q=
ua
uc
u(g 1)
ut
ua
uc
ug
u(t 1)
Notons que clairement pour x 6= y,
x Qxy = y Qyx ,
donc est la probabilit invariante, et la chane est rversible. La matrice Q
possde deux valeurs propres : u, dont lespace propre associ est constitu
208
des vecteurs orthogonaux dans IR4 , et 0, dont lespace propre associ est
constitu des vecteurs colinaires au vecteur (1, 1, 1, 1). Passant lexponentielle, on montre aisment que

Pxy (t) = etQ xy = eut xy + (1 eut )y .
Dans le cas particulier o = (1/4, 1/4, 1/4, 1/4), ce modle se rduit celui
de JukesCantor.
Le modle dHasegawa, Kishino, Yano (1985) Il sagit dune gnralisation la fois du premier modle de Kimura, et de celui de Felsenstein.
Soit nouveau une probabilit sur E, et u, v deux nombres positifs.
ug v2
vc
ug
vt
va
ut v1
vg
ut
,
Q=
ua
vc
ua v2
vt
va
uc
vg
uc v1
o 1 = a + g , 2 = c + t . A nouveau est la probabilit invariante. On

peut encore donner une expression explicite pour P (t).
Il y a de bonnes raisons de supposer que c = g et a = t , puisque
lADN est une molcule deux brins, constitu de paires c : g et a : t.
Lgalit cidessus est une consquence de lhypothse assez naturelle que
lvolution est la mme sur les deux brins. Le modle HKY, avec cette restriction, devient un modle avec trois paramtres, savoir u, v et = c +g ,
qui a t propos par Tamura en 1992. Il scrit
u v
v
u
v(1 )
1 v(1 ) u(1 ) v
v
u(1 )
.
Q=
v
u(1 ) v v(1 )
2 u(1 )
v(1 )
u
v
u v
Le modle rversible gnral Comme le cardinal de E est trs petit,
on peut chercher utiliser le modle le plus gnral. Tavar a propos une
paramtrisation du modle le plus gnral, qui prend la forme
uW uAc uBg uCt

uDa uX uEg uF t
Q=
uGa uHc uY uIt ,
uJa uKc uLg uZ
7.8. PHYLOGNIE
209
o u est un paramtre positif, la probabilit invariante,

W
X
Y
Z
= Ac + Bg + Ct
= Da + Eg + F t
= Ga + Hg + It
= Ja + Kc + Lg ,
et les paramtres A, B, . . . , L sont douze paramtres libres. Comme on le

verra cidessous, il est important pour le calcul du maximum de vraisemblance que le modle soit rversible. La contrainte de rversibilit impose six
contraintes, savoir
A = D, B = G, C = J, E = H, F = K, I = L.
Il reste donc six paramtres choisir, par exemple A, B, C, E, F et I. Il y a
en outre les 3 paramtres de la probabilit invariante, cela fait donc en tout
9 paramtres choisir.
Modles de codons Un codon est un triplet de nuclotides qui code pour

un acide amin. Parmi les 43 = 64 codons possible, 3 sont des codons STOP
possibles, les 61 autres codent pour les 20 acides amins. Notons au passage
que le code gntique (la rgle de traduction des codons en aminoacides)
est dgnr, au sens o plusieurs codons codent pour le mme aminoacide.
Donc parmi les mutations possibles de codons, il faut distinguer les mutations
synonymes (qui transforment un codon en un autre qui code pour le mme
acide amin) des mutations non synonymes. Les dernires sont soit freines,
soit favorises par la slection, alors que les changements synonymes saccumulent au taux des mutations. En gnral, le rapport mutations synonymes
/ mutation non synonymes est plus grand que 1.
Goldman et Yang on propos en 1994 un modle comportant 63 paramtres, savoir 60 paramtres pour les frquences xyz , le taux de transition
, le taux de transversion , et le rapport
= taux des mutations non synonymes / taux des mutations synonymes.
210
Le modle GY scrit
x2 y2 z2
Q(x1 y1 z1 )(x2 y2 z2 ) = x2 y2 z2
x2 y2 z2
x2 y 2 z 2
si 1 et 2 diffrent par plus dune base,

pour une transition synonyme,
pour une transversion synonyme,
pour une transition non synonyme,
pour une transversion non synonyme.
Notons que sur les 63 paramtres estimer, les 60 paramtres de la probabilit invariante ne sont en gnral pas estims par le maximum de
vraisemblance, mais par les frquences empiriques des divers codons dans les
donnes. Une autre possibilit est destimer xyz par le produit x1 y2 z3 des
frquences des divers nuclotides aux positions 1, 2 et 3 du codon.
Modles non homognes Une hypothse implicite dans les modles markoviens considrs jusquici est la stationnarit. Le gnrateur infinitsimal
est le mme sur les diverses branches de larbre phylogntique. Donc la
probabilit invariante est la mme sur les diverses branches, autrement dit
les diverses squences doivent avoir aproximativement la mme composition
en bases. Certaines donnes contredisent nettement cette situation. On peut
alors relcher lhypothse dhomognit du processus de Markov sur tout
larbre. Galtier et Gouy adoptent le modle de Tamura, avec des paramtres
et homognes sur tout larbre, et un paramtre (qui rgle la proportion
de g + c) qui peut varier dune branche lautre de larbre.
Dpendance ou indpendance entre les sites La plupart des modles
markoviens supposent que le comportement des divers sites au cours de lvolution est un comportement i.i.d. Evidemment cette hypothse nest pas raisonnable, mais elle simplifie grandement les calculs.
Il y a ce jour trs peu de travaux qui proposent des modles markoviens o les volutions des diffrents sites sont corrles. Citons le travail de
G. Didier, qui propose un modle o lvolution de chaque site dpend des
sites voisins. Indiquons une autre approche, utilise par Pollock, Taylor et
Goldman pour modliser lvolution de squences de protines.
Considrons un modle du type
Qxy = sxy y ,
7.8. PHYLOGNIE
211
qui est un modle rversible, si sxy = syx . On propose alors de modliser

lvolution dune paire de protines en choisissant un gnrateur infinitsimal
de la forme
Qxx0 ,yx0 = sxy yx0 ,
Qxx0 ,xy0 = sx0 y0 xy0 ,
Qxx0 ,yy0 = 0, si x 6= y et x0 6= y 0 ,
o est une probabilit invariante sur lensemble des paires de protines.
Variation du taux dvolution entre branches Etant donn un gnrateur infinitsimal Q, pour tout u > 0, uQ est encore un gnrateur infinitsimal. Supposons que Q est constant sur tout larbre. Si u est lui aussi
constant sur larbre, puisque les feuilles (les espces daujourdhui) sont quidistantes (les distances sont mesures en temps) de lanctre commun situ
la racine, alors on est dans la situation de lhypoth`se dune horloge molculaire. Certains jeux de donnes sont incompatibles avec une telle hypothse.
On doit alors, pour utiliser un modle cohrent avec de telles donnes, permettre au paramtre u de prendre une valeur diffrente sur chaque branche
de larbre. On a donc un nouveau paramtre par branche, ce qui fait au total
beaucoup de paramtres.
Un autre point de vue est de supposer que u est la valeur prise par un processus stochastique, qui volue sur larbre comme un processus de Markov,
soit en temps continu, soit en temps discret (et alors la valeur du processus est
constante sur chaque branche, les changements se produisant aux noeuds).
Conditionnellement en les valeurs prises par ce processus, les divers nuclotides voluent comme des processus de Markov non homognes sur larbre.
On est alors dans un cadre baysien, qui se prte des calculs grce aux
mthodes de simulation dites Monte Carlo par Chanes de Markov (voir
plus loin).
Variation du taux dvolution entre sites Le modle le plus frquent
de variation de taux entre sites est de supposer que les taux associs aux
divers sites sont i.i.d., de loi commune une loi gamma (ou une discrtisation
de cette loi).
Une autre approche, de Felsenstein et Churchill consiste supposer
que les taux forment, le long de la squence dADN considre, une chane
212
de Markov (qui est en fait cache), valeurs dans un ensemble de cardinal

petit (pour des raisons pratiques).
Modles dit covarion Il sagit de modles o le taux dvolution est non
seulement diffrent dun site lautre, mais aussi, pour un site donn, dune
branche lautre de larbre. Covarion est un acronyme pour COncomitantly
VARIable codON.
Posons E = {a, c, g, t}, G= lensemble des valeurs possibles pour le taux
u. Galtier considre en chaque site un processus de Markov indpendant,
valeurs dans E G.
7.8.2
Vraisemblance en phylognie
La comparaison des gnomes de diverses espces est maintenant le principal outil pour tenter de reconstruire des arbres phylogntiques. Il existe
plusieurs algorithmes qui construisent de tels arbres. Nous allons donner des
indications sur la mthode du maximum de vraisemblance.
Notons que lon peut comparer des gnes (i.e. des collections dacides
amins), ou bien des squences dADN. Nous nous limiterons pour fixer les
ides aux squences dADN.
Calcul de la vraisemblance dun arbre Pour fixer les ides, supposons
que lon utilise le modle de Felsenstein. Le temps t correspond ici une
distance sur larbre. Notons que le seul paramtre dintrt est le produit
u t. Quitte modifier en consquence les longueurs des branches de larbre,
on peut toujours se ramener u = 1, ce que nous supposons dornavant.
Nous ne considrerons dans la suite que des arbres binaires.
On va supposer dans cette section que les diffrents sites voluent indpendemment les uns des autres, et tous au mme taux, ce taux tant galement constant dans tout larbre. Cette hypothse nest pas trs raliste,
et beaucoup de travaux rcents se concentrent sur la dtection des sites qui
voluent plus vite que les autres, ventuellement dans une partie seulement
de larbre, mais pour dmarrer ltude et construire un premier arbre, il est
naturel de faire lhypothse simplificatrice que nous venons dnoncer. Une
autre hypothse assez utilise est que les taux dvolution des diffrents sites
sont des v.a. i. i. d., de loi commune une loi Gamma.
7.8. PHYLOGNIE
213
Linformation notre disposition, les donnes, est constitue dun jeu de

k squences alignes, de longueur m, i.e. pour chaque site s, 1 s m, on
a k lettres dans lalphabet a, c, g, t, une pour chaque feuille de larbre.
A chaque arbre binaire enracin T possdant k feuilles, on va associer la
vraisemblance L(T ), fonction des donnes. La vraisemblance L(T ) est un
produit de s = 1 m des vraisemblances associes chaque site s :
m
Y
L(T ) =
Ls (T ).
s=1
Chaque Ls (T ) se calcule en utilisant la proprit de Markov, comme nous

allons maintenant le voir.
Soit T un arbre enracin. On peut par exemple coder les noeuds dun tel
arbre comme suit, en partant de la racine, vers les feuilles (cf. figure 7.4) :
0 dsigne la racine ;
1, 2 sont les fils de la racine, i.e. les noeuds qui sont directement relis
la racine par une branche ;
1.1, 1.2 dsignent les fils de 1 ; 2.1, 2.2 les fils de 2 ;
et ainsi de suite jusquaux feuilles.
Pour tout noeud T \{0}, on note ` la longueur de la branche qui joint
le pre de , et on associe lensemble des feuilles du sousarbre
dont est la racine. En particulier, 0 dsigne lensemble des feuilles de
larbre. Si 0 , = {}. Si T \0 , on note = {.1, .2} les fils
de .
On note {X , T } les nuclotides aux noeuds de larbre. On suppose
quils constituent les valeurs aux noeuds de larbre dun processus de Markov
sur larbre de gnrateur infinitsimal Q. Seules les valeurs des {X ,
0 } sont observes. On note x la valeur observe de X , pour 0 . La
vraisemblance de larbre, au vu des nuclotides au site s, est
Ls (T ) = IPT (0 {X = x }) .
On va expliciter le calcul de cette quantit, ce qui mettra en vidence sa

dpendance par rapport larbre T .
()
Pour tout T , x E, on dfinit Ls,x , la vraisemblance conditionnelle
du sousarbre dont est la racine, conditionne par X = x, par la rcurrence
montante suivante.
Si 0 ,
(
1, si x = x ;
()
Ls,x
=
0, sinon.
214
0
2
2.2
1.1
1.1.1
1.1.2
2.1
2.2.1
1.1.1.1
1.1.1.2 1.1.2.1 1.1.2.2 1.22.1.1 2.1.22.2.1.1
2.2.1.2
2.2.2
Fig. 7.4 Arbre binaire avec racine, et codage des noeuds

Sinon,
()
Ls,x
=
x.1 ,x.2 E
(.2)
Pxx.1 (`.1 )L(.1)
s,x.1 Pxx.2 (`.2 )Ls,x.2 .
(0)
Ce calcul conduit finalement prciser les quantits Ls,x , x E. Enfin

Ls (T ) =
x L(0)
s,x ,
xE
et
L(T ) =
m
Y
Ls (T ).
s=1
On aurait pu tout aussi bien crire chaque Ls (T ) comme une somme de 4|T \0 |
termes. Mais les formules cidessus constituent lalgorithme quil faut utiliser
en pratique.
7.8. PHYLOGNIE
215
Maximum de vraisemblance Le calcul du maximum de vraisemblance

sur tous les arbres possibles est complexe. La partie la moins difficile consiste
maximiser par rapport aux longueurs des branches. Encore utilise-t-on un
algorithme dont il nest pas clair quil conduit un maximum global. Celui
ci consiste maximiser successivement par rapport chaque longueur de
branche, et itrer la succession des maximisations tant que la vraisemblance
augmente. On va voir maintenant que chaque maximisation par rapport
une longueur de branche se fait assez aisment.
Dans la mesure o les {X , T } sont issus dun processus de Markov
rversible sur larbre, la loi des {X } ne dpend pas du choix de la racine en
nimporte quel noeud de larbre (ou plus gnralement nimporte o sur une
branche arbitraire).
Considrons deux noeuds voisins et de larbre. Dsignons cette fois
par ` la longueur de la branche qui les relie. Si lon place la racine nimporte
()
()
o sur cette branche, on dfinit comme cidessus des quantits Ls,x et Ls,y ,
x, y E. Attention cependant quil sagit de la vraisemblance du sousarbre
dont est la racine, dans un arbre dont on a dplac la racine. Par exemple
dans larbre le la figure 7.4, si = 2, = 2.2, et on place la racine entre
et , le sousarbre dont est la racine contient les noeuds 2, 0, 1, 1.1, 1.1.1,
1.1.1.1, 1.1.1.2, 1.1.2, 1.1.2.1, 1.1.2.2, 1.2, 2.1, 2.1.1, 2.1.2, et le sousarbre
dont est la racine contient les noeuds 2.2.1, 2.2.1.1, 2.2.1.2, 2.2.2.
Alors
X
() ()
Ls (T ) =
x Pxy (` )Ls,x
Ls,y
x,yE
() ()
y Pyx (` )Ls,x
Ls,y .
x,yE
Cette procdure permet dexpliciter la dpendance de Ls (T ) et de L(T ) par

rapport la longueur dune branche donne, et de calculer le maximum par
rapport cette longueur. La recherche de ce maximum est en tout cas assez
simple dans le cas du modle dvolution que nous avons dcrit cidessus (on
maximise le logarithme de L(T ), ce qui remplace le produit des Ls (T ) par
une somme, et simplifie la maximisation).
Remarque 7.8.1. Les modles dvolution ne sont pas tous rversibles. Il
est encore possible dexpliciter la dpendance de la vraisemblance par rapport
la longueur dune branche donne, mais il faut alors prendre soin dutiliser
216
la probabilit de transition du processus retourn lorsque le dplacement de

la racine conduit ce que le processus partant de la nouvelle racine parcourt
une branche dans le sens inverse du sens inital.
7.8.3
Lapproche baysienne en phylognie
Reprenons lcriture de la vraisemblance. Notons D le vecteur des variables alatoires qui sont observes, et d le vecteur des valeurs observes (d
comme donnes), i. e. d est constitu des diverses squences gnomiques
alignes.
Prcisons maintenant les paramtres dont dpend la vraisemblance. Dans
les paramtres inconnus (que lon cherche prciser), il y
dune part la forme de larbre, que nous noterons , qui est une inconnue
dans un ensemble fini T (de cardinal (2n3)!! dans le cas dun arbre enracin
avec n feuilles, (2n 5)!! dans le cas sans racine si k est un entier impair,
k!! = 1 3 5 k),
dautre part les longueurs des diverses branches, et la matrice de transition Q du modle dvolution (ou du moins les paramtres de cette matrice
autres que la probabilit invariante). Les longueurs de branche et les paramtres inconnus de la matrice Q varient dans une partie dun espace euclidien
V IRd . On notera cet ensemble de paramtres .
Le paramtre inconnu est donc le couple = (, ), dont la valeur est
arbitraire dans = T V , et la vraisemblance est la fonction
L() = IP (D = d).
La vraisemblance de la valeur du paramtre inconnu est la probabilit
dobserver les donnes que nous avons sous les yeux, si est la vraie valeur
de ce paramtre.
Dans le point de vue baysien, le paramtre inconnu est la ralisation
dune variable alatoire, autrement dit (, ) est la ralisation dun vecteur
alatoire (T, ). Prendre ce point de vue impose de se donner une loi de
probabilit a priori, dont le baysien nous dit quelle permet dintgrer des
informations a priori sur le paramtre inconnu, ce que refusent les anti
baysiens, pour qui la seule information que lon a le droit dutiliser est celle
contenue dans les donnes.
On va donc se donner une loi a priori pour le vecteur (T, ), que lon
prendra de la forme suivante :
7.8. PHYLOGNIE
217
on se donne la loi de T , qui est une loi sur un ensemble fini T , donc on
se donne des = IP(T = ), T ;
on se donne la loi conditionnelle de , sachant la valeur de T , et on
suppose que pour tout T , la loi conditionnelle de , sachant que T = ,
admet une densit q (), autrement dit pour toute fonction mesurable
f : T V IR+ ,
XZ
IE[f (T, )] =
f (, )p ()d,
T
condition de noter p () = q ().

Dans ce contexte, on a un couple alatoire, form dune part du paramtre (T, ), et dautre part des donnes D. La loi de ce couple est prcis
par
- dune part la loi a priori de (T, ) ;
- dautre part la loi conditionnelle des donnes, sachant le paramtre.
Plus prcisment, la vraisemblance sinterprte dans le contexte baysien
comme la probabilit conditionnelle :
L(, ) = IP (D = d|(T, ) = (, )) .
On va alors chercher calculer la loi a posteriori, qui est la loi conditionnelle du paramtre (T, ), sachant les donnes, i. e. sachant que D = d.
Cette loi conditionnelle est donne par la clbre formule de Bayes, qui dans
notre situation prcise la loi de jointe de (T, ) sachant que D = d sous la
forme
IP (D = d|(T, ) = (, )) p ()
R
p (|D = d) = P
.
T V IP (D = d|(T, ) = (, )) p ()d
Autrement dit, nouveau si
f : T V IR+ ,
R
T V f (, )IP (D = d|(T, ) = (, )) p ()d
R
P
IE [f (T, )|D = d] =
.
T V IP (D = d|(T, ) = (, )) p ()d
Par exemple, on peut sintresser la loi de probabilit a posteriori de
la forme de larbre, i. e. de la v. a. T . Celleci est donne par la formule
suivante : pour tout T ,
R
IP (D = d|(T, ) = (, )) p ()d
IP (T = |D = d) = P V R
.
T V IP (D = d|(T, ) = (, )) p ()d
P
218
Mthode de calcul MCCM Supposons que lon veuille calculer cette

dernire quantit, pour un petit nombre de valeurs de . Un calcul explicite est sans espoir, compte tenu de la taille des donnes (nombre despces
considres) et de la complexit croissante des modles utiliss. On est donc
amen utiliser une mthode de type Monte Carlo, utilisant des tirages
alatoires. Cependant , il se prsente une srieuse difficult pour raliser des
tirages alatoires suivant la loi a posteriori de (T, ), sachant les donnes,
cest que pour identifier cette loi, il est ncessaire de calculer le dnominateur dans les formules cidessus. Pour peu en particulier que le cardinal de
T soit gigantesque, ce calcul peut se rvler totalement impossible.
On se trouve eaxctement dans la mme situation que celle dcrite au
dbut de la section 3.1.
Rappelons lalgorithme de MetropolisHastings. Lide est la suivante.
Soit Q une matrice de transition sur F (qui na a priori rien voir avec
la probabilit ), dont on soit capable de simuler aisment les transitions.
On choisit comme matrice P la matrice de transition dont les termes hors
diagonaux sont donns par

y
Pxy = min Qxy , Qyx ,
x
et les termes diagonaux sont donns par
X
Pxx = 1
Pxy ,
y6=x
sous rserve que P ainsi dfinie soit irrductible, ce qui est par exemple vrai si
Q est irrductible et vrifie la proprit : pour tout x, y, Qxy > 0 Qyx > 0.
Il est clair que cette matrice P est bien une matrice de transition (Pxy Qxy ,
x 6= y implique que Pxx 0), et que est invariante par P , pusique la relation
dquilibre ponctuel
x Pxy = y Pyx , x 6= y
est bien satisfaite. Pour expliquer comment on simule les transitions de la

chane de matrice de transition P , posons pour x, y F ,

y Qyx
Pxy
= min 1,
r(x, y) =
.
Qxy
x Qxy
Une faon de simuler une transition de la chane {Xk } de matrice de transition

P est la suivante. Supposons que Xk = x, et on veut simuler Xk+1 . On simule
7.9. APPLICATION AUX EDP DISCRTISES
219
dabord une transition de la chane {Yk } de matrice de transition Q, partant

de Yk = x. Supposons que le rsultat de ce tirage soit Yk+1 = y. On accepte
cette transtion (et dans ce cas Xk+1 = y) avec la probabilit r(x, y) ; on refuse
cette transition (et dans ce cas Xk+1 = x) avec la probabilit 1 r(x, y).
Remarquons r(x, x) = 1, donc dans le cas y = x, la nontransition est
toujours accepte.
Autrement dit, pour passer de Xk = x Xk+1 , on effectue
le tirage de Yk+1 , suivant la probabilit Qx ;
le tirage de Uk+1 , de loi uniforme sur [0, 1] ;
et on pose
Xk+1 = Yk+1 1{Uk+1 r(x,Yk+1 )} + Xk 1{Uk+1 >r(x,Yk+1 )} .
Mise en oeuvre de la mthode MCCM La mise en oeuvre de la mthode MCCM pose des problmes dlicats, pour lesquels on na essentiellement pas de rponse satisfaisante, en particulier dans le cas de la phylognie.
Nous avons dj discut cette question dans un cadre gnral la section
3.3. Rappelons quil convient dliminer le dbut de la simulation (burnin).
En outre, pour obtenir un chantillon de la loi a posteriori, on ne retient
quune itration toutes les n, o n est choisi en fonction de la vitesse de dcorrlation de la chane, laquelle peut tre estime partir des simulations.
Certaines mises en oeuvre consistent simuler plusieurs chanes en parallle,
dont ventuellement certaines sont chauffes, voir la section 3.1.4.
7.9
Application aux EDP discrtises
Soit D un domaine born de IR2 (le rsultat qui suit est en fait vrai en
dimension quelconque), de frontire D lipschitzienne. On suppose pour fixer
les notations que lorigine 0 D. On considre le problme de Dirichlet :
(
u(x) = 0, x D;
u(x) = f (x), x D;
avec f C(D c ). Il est bien connu que cette quation admet une solution
unique u lment de C(D).
Etant donn h > 0, soit hZ2 lensemble des points du plan dont les
coordonnes sont des multiples entiers relatifs de h. On pose Dh = D hZ2 .
220
Dh est constitu des points de D c hZ2 qui sont distance h dau moins
h = Dh Dh . e1 et e2 dsignant les deux vecteurs de
un point de Dh , et D
base, on dfinit loprateur approch h par :
2
(h v)(x) =
1X
(v(x + hei ) + v(x hei )) v(x).
4 i=1
Daprs lExercice 7.11.4, la solution du problme de Dirichlet discrtis

(
h uh (x) = 0, x Dh ;
uh (x) = f (x), x Dh ;
est donne par la formule uh (x) = IE[f (XThh c )|X0h = x], o {Xth ; t 0} est
D
un processus markovien de sauts de gnrateur infinitsimal

dans hZ2 , et
1
h , valeurs
2
TDh hc = inf{t 0; Xth Dhc }.

Remarquons que {Xth , t 0} a mme loi que {hXh12 t , t 0}, et que daprs
le dbut de la section 2.3 ce dernier processus converge vers un mouvement
brownien standard unidimensionnel, quand h 0. Il nest pas trop difficile
( condition tout de mme notamment de bien comprendre cette notion de
convergence de processus !) den dduire que
uh (x) u(x) = IE[f (BTDc )|B0 = x],
(o TDc = inf{t 0; Bt D c }), cette dernire formule donnant la solution
du problme de Dirichlet. On a ainsi une preuve (alternative aux mthodes
classiques danalyse numrique) de la convergence de uh vers u.
Notons enfin que le problme de Dirichlet discrtis pourrait aussi sinterprter en terme dune chane de Markov en temps discret, de matrice de
transition h + I.
Ces interprtations probabilistes permettent aussi dutiliser des mthodes
de Monte Carlo pour le calcul approch de solutions dEDP. Ces mthodes
sont trs utilises dans certains cas o les mthodes danalyse numrique
classique ne sont pas efficaces, ou sont inutilisables (en particulier dans les
cas de dimension trop grande), cf. [28]. Elles sont par ailleurs trs appprcies
pour leur simplicit de programmation. Quelques lignes de code suffisent pour
programmer le calcul de la solution approche dune quation aux drives
7.10. LE RECUIT SIMUL (SUITE)
221
partielles ! Mme sil faut laisser tourner lordinateur un peu plus longtemps
opour avoir la mme prcision quavec une mthode de diffrences, lments
ou volumes finis, le fait que la programmation soit facile, rapide, et surtout
permette facilement la reprise du programme par un autre programmeur,
quand le premier aura quitt le service ou lentreprise.
7.10
Le recuit simul (suite)
Dans cette section, E est suppos fini. Rappelons que que lon cherche
maximiser une fonction
U : E IR ,
telle que, pour fixer les ides,
max Ux = 0.
xE
Autrement dit, on cherche un des x tels que Ux = 0.

A chaque > 0 on associe le gnrateur infinitsimal Q = {Qxy , x, y E}
donn pour x 6= y par

Qxy = 1{(x,y)G} exp

(Uy Ux ) ,
2
o G est un graphe non orient dans E, i.e. une collection de paires de point
de E, choisie de telle sorte que le processus de gnrateur Qxy soit irrductible
(ce qui revient dire que x, j E, n et x1 , x2 , . . . , xn tels que (x, x1 ) G,
(x1 , x2 ) G, . . . , (xn , y) G).
Le processus markovien de gnrateur infinitsimal Q est clairement rversible par rapport sa probabilit invariante dfinie par
,x = Z1 eUx ,
x E.
On dfinit la forme de Dirichlet associe Q comme la forme bilinaire

sur IRE :
E(, ) =< , Q >
X
=
x Qxy y x
x,y
1X
2
x,y
|x y |2 Qxy x ,
222
o on a utilis la rversibilit et deux fois lidentit

`2 () `2 () est autoadjoint semi dfini positif.
Qxy = 0, donc Q :
Dfinition 7.10.1. On appelle trou spectral de Q la quantit :

E(, )
,
inf
non constante V ar ()
!2
X
X
x x .
o V ar () =
2x x
def
xE
xE
Lemme 7.10.2. Q tant le gnrateur infinitsimal dun processus de Markov irrductible valeurs dans un espace fini E, son trou spectral vrifie
> 0.
Preuve Daprs la formule cidessus pour E(, ), le quotient
E(, )
V ar ()
reste inchang si lon ajoute une constante. On peut donc se contenter
de minimiser ce rapport pour tel que IE () = 0, do
=
inf
60;IE ()=0
h, Qi
,
h, i
et est la plus petite valeur propre de Q, considr comme oprateur

linaire sur `2 (), restreint lorthogonal des constantes. Comme Q est autoadjoint semi dfini positif, il suffit de montrer que lespace propre associ
la valeur propre zro est restreint aux constantes. Mais si appartient
cet espace propre,
X
Qxy y = 0, x E,
y
donc a fortiori
0=
X
x,y
x Qxy y x =
1X
|x y |2 Qxy x ,
2 x,y
ce qui, puisque Q est irrductible, entrane bien que est constante.
223
Soit maintenant {Xt , t 0} un processus de Markov de gnrateur infinitsimal Q. Pour tout t > 0, on note (t) = (x (t); x E) la loi de Xt . On
pose
2
X x (t)
(t) =
1 x ,
x
xE
et on remarque que (t) = 0 ssi (t) = .
Lemme 7.10.3. dsignant le trou spectral de Q,

(t) (0)e2t .
Preuve On remarque tout dabord que
2
X x (t)
1 x
(t) =
x
x
X x (t) 2
x 1.
=
x
x
Donc
X x (t)0 (t)
d
x
(t) = 2
dt
x
x
X x (t)y (t)Qyx
=2
x
x,y
X x (t)
y (t)
y Qyx
x
y
x,y

(t)
(t)
,
=2<Q
>

(t)
2V ar
= 2(t).
=2
Soit
d
log (t) 2.
dt
224
On a montr que t vitesse exponentielle (comparer avec le thorme 2.6.7).

On en arrive maintenant au recuit. On va faire dpendre de t, et le
faire tendre vers linfini (et donc la temprature, son inverse, vers zro)
quand t . Plus prcisment, tant une constante dterminer, on
choisit
1
(t) = log(1 + t),
donc (0) = 0 et (t) + quand t . Bien sr, la chane nest

plus homogne, le gnrateur infinitsimal Q, le trou spectral , la mesure
invariante , et la constante de normalisation Z deviennent des fonctions
de t : Q(t), (t), (t), Z(t). Notons que (0) est la mesure uniforme sur E,
Z(0) = |E|1 , alors que () = lim (t) est la mesure uniforme sur les zros
t
de U (i.e. sur les maxima de U ).

def
Notre but est de montrer le [M = sup(Ui )] :
iE
Thorme 7.10.4. Si > M , (t) () quand t .

Nous allons tout dabord montrer le :
Lemme 7.10.5.
(t) (0)
1
1+t
M
Preuve Choisissons tel que IE(0) [] = 0. Alors par dfinition de (0),

X
1X
|x y |2 Qxy (0)x (0) (0)
2x x (0).
2 x,y
x
Par ailleurs,
Ux +Uy
e(t) 2
Qxy (t)x (t) = Qxy (0)
Z(t)
(t)M
e
|E|
Qxy (0)
x (0)
Z(t)
225
Donc
Et (, ) =
1X
|x y |2 Qxy (t)x (t)
2 x,y
e(t)M |E| X
|x y |2 Qxy (0)x (0)
2Z(t)
x,y
X
1
(0)e(t)M
2x
Z(t)
x
X
(0)e(t)M
2x x (t)
(0)e
(t)M
V ar(t) ().
Les deux termes extrmes de cette ingalit tant invariants par addition
dune constante , lingalit rsultante est vraie sans la restriction que
IE(0) [] = 0. Le lemme est tabli, puisque
(t)M
1
1+t
M
Preuve du thorme : Il suffit de montrer que (t) 0, o

(t) =
X x (t)
x
x (t)
X x (t)2
x
x (t)
2
x (t)
1.
Notons que (t) est un majorant du carr de la norme L1 de la diffrence

(t) (t). En effet, par CauchySchwarz,
X
x
|x (t) x (t)| =
X |x (t) x (t)| p
p
p
x (t) (t).
x (t)
x
226
On a
X d x (t)2
d
(t) =
dt
dt x (t)
x

X
dx
2 dx
2
(t)x (t) x (t)
(t)
=
x (t)
2x (t)
dt
dt
x

X 2 (t)
(t) (t)
,
= 2Et
0 (t)
Ux x2 x (t)
(t) (t)
x (t)
x
X Uy e(t)Uy
2x (t) (t)Ux
+ 0 (t)
e
Z 2 (t)
x2 (t)
x,y
2(t)(t) + 0 (t)M ((t) + 1)
(2(t) M ( 0 (t))(t) + M 0 (t)

M
M
2(0)
(t) +
M/
(1 + t)
(1 + t)
(1 + t)
Comme > M , (1 + t)M/ >> (1 + t)1 quand t , il existe c > 0 tel

que, pour t assez grand :
M
d
(t) c(1 + t)M/ (t) + (1 + t)1 ,
dt
et le thorme rsulte du
Lemme 7.10.6. Soit x, b C 1 (IR+ ; IR+ ), a C(IR+ ; IR+ ) tels que
Z
(i)
a(t) dt = + ;
0
(ii)
b(t) & 0 quand t ;

dx
(t) a(t)(x(t) b(t)).
(iii)
dt
Alors x(t) 0 quand t .
Preuve
d
dt
x(t) exp
Z
a(s)ds
0

=e
Rt
0
a(s)ds
Rt
a(s)ds
dx
(t) + a(t)x(t)
dt
a(t)b(t).
227
Donc, en intgrant, on obtient :

x(t) x(0)e
Rt
a(s)ds
Rt
s
a(r)dr
a(s)b(s)ds.
Le second membre de lingalit cidessus est la solution dune EDO linaire,

qui majore x(t). Donc il suffit dtablir le rsultat pour x(t) solution de
lEDO, cest dire que lon peut supposer que :
dx
(t) = a(t)(x(t) b(t)).
dt
On pose y(t) = x(t) b(t). Il suffit de montrer que y(t) 0 quand t .
dy
(t) = a(t)y(t) b0 (t).
dt
Z
0
b0 (s)ds = b(t) < . Donc pour t N ,
Notons que b (t) 0, et
t
y(t) = e
Rt
0
a(s)ds
RN
0
y(0)
a(s)ds
y(0) +
Rt
s
a(r)dr 0
b (s)ds
|b (s)|ds + e
Rt
a(r)dr
e
0
RN
s
a(r)dr
|b0 (s)|ds.
Soit > 0 arbitraire. On choisit N assez grand pour que la somme des deux
premiers termes du membre de droite soit plus petit que . En choisissant

2
alors t assez grand, le troisime terme son tour est plus petit que . Le
2
lemme est tabli.
1
Remarque 7.10.7. La fonction (t) =
log(1 + t) tend trop lentement
vers linfini quand t , pour tre utilise en pratique. On peut montrer

des rsultats plus faibles que (t) () avec une fonction qui crot plus
vite quun logarithme (fonction puissance). Dun autre cot, si on se pose
la question datteindre le meilleur rsultat possible sur un horizon fini fix,
on peut montrer quil existe des programmes de croissance de vitesse
exponentielle qui sont proches de loptimum.
228
7.11
Exercices
Exercice 7.11.1. Soit {Tn , n 1} un processus ponctuel de Poisson dintensit , et {Zn , n 0} une chane de Markov indpendante de {Tn , n 1}
valeurs dans E, de matrice de transition Pxy , x, y E. On pose
Xt =
X
n=0
Zn 1[Tn ,Tn+1 [ (t), t 0.
Montrer que {Xt , t 0} est un processus markovien de sauts dont on prcisera la matrice de transition, le gnrateur infinitsimal, et la loi de linstant
du premier saut.
Exercice 7.11.2. Soit {Xt ; t 0} un processus markovien de sauts valeurs dans lensemble fini ou dnombrable E, de gnrateur infinitsimal
{Qxy ; x, y E}. On suppose que := supx Qxx < . Soit {Nt ; t 0}
le processus de comptage des sauts de {Xt }, et {Nt0 , t 0} un processus de
Poisson dintensit .
Comparer IP(Nt n) et IP(Nt0 n), ainsi que IE[f (Nt )] et IE[f (Nt0 )],
avec f une fonction croissante de IN dans IR. Montrer que lexercice 7.11.1
fournit une autre dmonstration de ce rsultat.
Exercice 7.11.3. Soit {Nt , t 0} et {Pt , t 0} deux processus de Poisson
indpendants, dintensit respective et .
a Montrer que {Xt , t 0} dfini par
Xt = N t P t
est un processus markovien de sauts irrductible valeurs dans Z, dont
on prcisera le gnrateur infinitsimal.
b On suppose 6= . Montrer que {Xt /t} et {Xt } convergent p.s. dans IR

quand t . Prciser la limite de {Xt } suivant le signe de .
Montrer que {Xt } est transitoire.
c On suppose que = . Prciser la loi de la chane incluse. Dduire des

exercices 2.9.7 et 2.9.9 que {Xt } est rcurrent nul.
Exercice 7.11.4. a Soit {Xt , t 0} un processus markovien de sauts

valeurs dans E, de gnrateur infinitsimal {Qxy ; x, y E}. Soit F
7.11. EXERCICES
229
une partie de E. On dfinit

(
inf{t; Xt F }, si un tel t existe;
TF :
,
sinon,
la fonction u : E IR par
u(x) = IE[h(XTF )1{TF <} |X0 = x],
o h est une application borne de F dans IR, et la fonction v : E
IR {+} par
v(x) := IE[TF |X0 = x].
Montrer que TF est un temps darrt.
Montrer que u et v vrifient respectivement les quations :
Qu(x) = 0, x E\F
u(x) = h(x), x F ;
Qv(x) + 1 = 0, x E\F
v(x) = 0, x F ;
(on introduira le conditionnement par (T1 , X(T1 ))).
b
On considre maintenant le cas dun processus de naissance et de mort

sur E = Z, i.e. le gnrateur infinitsimal Q satisfaisant Qx,x+1 =
(x), Qx,x1 = (x), Qx,x = (x) (x), dans le cas particulier
(x) = , (x) = , x Z (, > 0). On pose F = {1, 2, . . . , N 1}c ,
o N est un entier positif. Calculer u(x) = IE[XTF |X0 = x], x Z.
Montrer que TF est p.s. fini. Dterminer la loi conditionnelle de la v.a.
XTF , sachant que X0 = x.
Exercice 7.11.5. Etant donn un espace de probabilit (, Ft , P ) muni dune

filtration {F } (i.e. une collection croissante indexe par t IR+ de sous
tribus de A), on appelle martingale (par rapport la filtration {F t }) un
processus stochastique {Mt , t IR+ } qui vrifie :
Mt est intgrable , t 0; IE[Mt |Fs ] = Ms , 0 s t.
230
a Soit {Mt , t IR+ } une martingale continue droite et S un temps darrt

born par une constante t. Montrer que IE[MS ] = IE[Mt ] = IE[M0 ].
b Soit {Xt , t 0} un processus markovien de sauts valeurs dans E, de
gnrateur infinitsimal {Qxy ; x, y E}, et f une application borne
de E dans IR. Montrer que {Mt , t IR+ } dfinie par
Z t
Qf (Xs )ds
Mt = f (Xt )
0
est une martingale par rapport la filtration {FtX } ;

c On reprend les notations de la deuxime partie de lexercice prcdent.
Calculer IE(TF |X0 = x) (pour le cas 6= , on utilisera les rsultats
des deux questions prcdentes avec la fonction f (x) = x et le temps
darrt S = inf(TF , t), puis on fera tendre t vers linfini ; pour le cas
= , on fera le mme calcul, avec f (x) = x2 ). On admettra que le
rsultat de la question b sapplique ces deux fonctions, bien quelles
ne soient pas bornes.
7.12
7.12.1
Probmes corrigs
Enoncs
Problme 7.12.1. On considre la fois la chane de Markov en temps

discret {Xn ; n IN} valeurs dans E = IN, de matrice de transition
q p 0 0 ...
q 0 p 0 . . .
P = 0 q 0 p . . .
0 0 q 0 p . . .
.. .. .. .. . .
.
. . . .
et le processus markovien de sauts en temps continu {Xt ; t 0} valeurs

dans E = IN, de gnrateur infinitsimal
p p
0
0
...
q 1 p
0
...
q 1 p
...
Q= 0
,
0
0
q
1
p
.
.
.
..
..
..
..
..
.
.
.
.
.
7.12. PROBMES CORRIGS
231
o 0 < p, q < 1, p + q = 1.
On pourra dans la suite comparer la chane {Xn ; n IN} et la marche
alatoire valeurs dans Z tudie dans lexercice 2.9.7 (pour laquelle on a
montr le caractre transitoire lorsque p 6= q, et rcurrent nul lorsque p = q),
et remarquer que le processus {Xt ; t 0} est une file dattente M/M/1
comme tudie dans le chapitre suivant.
1. La chane {Xn ; n IN} estelle la chane incluse du processus {Xt ; t
0} ?
2. Montrer que les deux processus {Xn ; n IN} et {Xt ; t 0} sont irrductibles.
3. Montrer que toute mesure invariante de {Xn ; n IN} est une mesure
invariante de {Xt ; t 0}, et viceversa. Montrer que les chanes sont
de mme nature (toutes deux transitoires, ou rcurrentes positives, ou
rcurrentes nulles).
4. Montrer que les deux chanes sont transitoires dans le cas p > q.
5. Montrer que les deux chanes sont rcurrentes dans le cas p = q = 1/2
(on pourra utiliser la comparaison avec lexercice 2.21.4). Calculer dans
ce cas une mesure invariante (on dterminera 1 en fonction de 0 , puis
2 en fonction de 0 , . . .), et en dduire que le processus est rcurrent
nul.
6. On se place maintenant dans le cas p < q. On pose = p/q, et on
remarque que q 1 ( p) = 2 . Montrer quil existe une probabilit gomtrique invariante pour les deux chanes (on calculera 1 en fonction
de 0 , 2 en fonction de 0 , . . .).
La fin du problme tudie deux variantes de la chane en temps continu
{Xt ; t 0}.
7. On modifie le gnrateur infinitsimal Q en multipliant p et q par une
mme constant c > 0. Montrer que ni la nature de la chane (transience,
rcurrence nulle ou positive), ni lventuelle mesure invariante nest
modifie par la prsence de la constante c. Questce qui est modifi
dans le processus ?
8. On se place dans le cas p < q, on utilise toujours la notation = p/q,
et on considre maintenant le processus markovien de sauts {Yt ; t 0}
232

de gnrateur infinitsinal Q0 dfini
p,
0
Q0y p,
0,
et pour x 1 :
x
q,
x ,
Q0xy
x p,
0,
par :
si y = 0;
si y = 1;
sinon;
si y = x 1;
si y = x;
si y = x + 1;
sinon.
Comparer les chanes incluses de {Xt ; t 0} et de {Yt ; t 0}. Vrifier

que {x = 1; x IN} est une mesure invariante, et en dduire que
{Yt ; t 0} est rcurrente nulle. Expliquer pourquoi {Yt } met en moyenne plus de temps que {Xt } revenir en x, partant de x.
Problme 7.12.2. A On considre une suite alatoire en temps discret
{Xn ; n 0} valeurs dans IN, dfinie comme suit : X0 = x0 IN, et
pour tout n IN,
(
(Xn + Un+1 )+ , si Vn+1 = 1;
Xn+1
0,
si Vn+1 = 0;
o la suite (U1 , V1 , U2 , V2 , . . .) est indpendante, et pour tout n 1,
IP(Un = 1) = IP(Un = 1) = 1/2,
IP(Vn = 1) = 1IP(Vn = 0) = p,
avec 0 < p < 1.

1. Montrer que {Xn ; n 0} est une chane de Markov irrductible
valeurs dans IN, dont on prcisera la matrice de transition.
2. Montrer que la chane {Xn ; n 0} est rcurrente positive (on ne
cherchera pas ici de probabilit invariante, on utilisera un raisonnement probabiliste).
3. Montrer que si est la racine de lquation p(1 + 2 ) = 2 situe dans lintervalle ]0, 1[, alors la probabilit gomtrique sur
IN donne par x = (1 )x , x IN, est lunique probablit
invariante de la chane.
233
B On considre maintenant un processus markovien de sauts en temps

continu {Xt ; t 0} valeurs dans IN, de gnrateur infinitsimal
p/2 p/2 0
0
0
...
1 p/2 1 p/2 0
0
...
1 p p/2 1 p/2 0
...
Q=
.
1p
0
p/2
1
p/2
0
.
.
.
..
..
..
..
..
. ...
.
.
.
.
Prciser la matrice de transition de sa chane incluse (comparer avec

la chane de la partie A). Montrer que {Xt ; t 0} est irrductible et
rcurrent. Montrer que la probabilit de la question A 3 est invariante
pour Xt . En dduire que {Xt ; t 0} est rcurrente positive.
Problme 7.12.3. Soit {Xt ; t 0} une chane de Markov en temps continu

valeurs dans IN, de gnrateur infinitsimal
0
0 0 ...
( + )
0 0 . . .
.
Q= 0
( + ) 0 . . .
..
..
.. .. ..
0
.
.
. . .
avec , > 0.
1. Dterminer la chane incluse. Montrer que {Xt ; t 0} est irrductible.
2. Montrer que {Xt ; t 0} est rcurrente dans le cas , transitoire
dans le cas < .
3. Montrer que dans le cas > , il existe une unique mesure invariante
de la forme donne la question 9 du problme 2.10.5, avec a que
lon dterminera en fonction de et .
4. Montrer que {Xt ; t 0} est rcurrente positive dans le cas > ,
rcurrente nulle dans le cas = .
Problme 7.12.4. P dsignant la matrice de transition dfinie au problme
2.10.6, on pose Q = P I, et on considre une chane de Markov en temps
continu {Xt , t 0} de gnrateur infinitsimal Q.
1. Dterminer la matrice de transition P 0 de la chane incluse.
2. Dcrire les trajectoires de la chane {Xt }, en prcisant les paramtres
des lois exponentielles des temps de sjour dans les divers tats.
234
3. Montrer que la chane {Xt } est irrductible, rcurrente positive. Dterminer sa probabilit invariante.
4. Dterminer la probabilit invariante de la chane incluse.
7.12.2
Corrigs

1. Non, la chane {Xn } nest pas la chane incluse de {Xt }. La matrice
de transition de la chane incluse a sa premire ligne gale (0, 1, . . .),
et le reste de P est le mme. Il nest pas difficile de voir que {Xn } est
irrductible comme la chane incluse, et quelle a la mme proprit
en terme de transience, rcurrence nulle ou positive (cf. question 3).
Seule la forme exacte dune ventuelle mesure invariante est un petit
peu diffrente.
2. Puisque 0 < p, q < 1, aussi bien {Xn } que la chane {Yn } incluse dans
{Xt } passe avec une probabilit positive de 0 1, et de x x 1 et
x + 1, pour x 1. Donc pour x, y IN, chacun des deux processus a
une probabilit non nulle, partant de x, datteindre y en |y x| coups.
Les deux processus sont donc irrductibles sur IN.
3. Il est facile de voir que lquation P = est identique lquation
Q = 0, puisque Q = P I. Donc toute solution dune quation est
solution de lautre, donc {Xn } et {Xt } ont mme mesure invariante.
Le caractre transitoire ou rcurrent de {Xt } est quivalent au caractre
transitoire ou rcurrent de la chane incluse {Yn }, qui est quivalent
au caractre transitoire ou rcurrent de {Xn }. En effet une chane de
Markov {Xn } valeurs dans IN est transitoire ssi Xn quand
n , puisque la transience est quivalente au fait que pour tout
m 1, il existe n(, m) tel que n > n(, m) Xn 6 {0, 1, . . . , m}.
Ceci dpend des lignes de la matrice de transition au del de la mime,
qui sont les mmes pour les matrices de transition de {Xn } et de {Yn }.
Enfin, une faon de distinguer entre rcurrence positive et rcurrence
nulle est de regarder le type de mesure invariante pour la chane. Donc
daprs ce qui prcde, si {Xn } et {Xt } sont rcurrentes, elles sont soit
toutes les deux rcurrentes positives, soit toutes les deux rcurrentes
nulles.
+
4. Il suffit de considrer {Xn }. Or Xn+1 = Xn +1{Xn >0} Yn+1 +1{Xn =0} Yn+1
,
avec X0 , Y1 , Y2 , . . . indpendantes, IP(Yk = 1) = p = 1 IP(Yk = 1).
235
P
Donc Xn P
X0 + nk=1 Yk , et comme les Yk sont i.i.d., avec IE(Yk ) =
p q > 0, nk=1 Yk + quand n , et a fortiori Xn +
quand n , et {Xn } est transitoire.
5. Il suffit de montrer que Xn 6 quand n . Pour cela il suffit de

montrer par exemple que partant de nimporte quel x > 1, la chane
visite p.s. ltat x 1 (et donc revient p.s. en x par irrductibilit).
Comme la trajectoire de Xn entre x et x 1 ne passe pas en 0, la loi du
temps datteinte
de x 1 partant de x est la mme que pour la marche
P
alatoire n1 Yk , dont on sait par lexercice 2.21.4 quelle est rcurrente
dans le cas p = q, donc le temps datteinte de x 1 partant de x est p.s.
fini. On pourrait argumenter
que le caractre rcurrent nul de {Xn } se
Pn
dduit de celui de 1 Yk , mais il est tout aussi simple de remarquer
que la mesure donne par x = 1, x IN est invariante pour {Xn }.
6. En rsolvant lquation Q = 0, on trouve 1 = (p/q)0 , 2 = (1

p0 )/q = 0 ( p)/q = 2 0 . plus gnralement, on a que x 1,
x+1 = (x px1 )/q. Donc si x = x1 , alors x+1 = x1 (
p)/q = 2 x1 = x . Donc par rcurrence, x = x 0 , et est une
probabilit si 0 = 1 , ce qui donne finalement x = (1 )x ,
x IN. Il sagit bien dune loi gomtrique, en fait le processus sonsidr
iic est un cas particulier de la file dattente M/M/1, cf. la section 8.1
cidessous. Dans ce cas p < q, les chanes sont rcurrentes positives.
7. Il est facile de vrifier que tous les raisonnements cidessus sont inchangs par la prsence de la constante c, puisque celleci ne modifie ni la
chane incluse ni lquation pour une ventuelle mesure invariante. La
constante c modifie seulement la loi des temps de sjour dans chaque
tat, en multipliant par c le paramtre de la loi exponentielle correspondante. Si c > 1, on raccourcit en loi les temps de sjour, si c < 1,
on les rallonge (lesprance dune v.a. qui suit la loi exponentielle(c) est
c1 ).
8. On voit aisment que la chane incluse de {Yt } est la mme que celle
associe {Xt }. Mais lquation pour la mesure invariante devient
q1 = p0 , et pour x 1, x+1 px+1 = x x x1 qx1 , et on
voit aisment que la mesure uniforme (x = 1, x) est invariante. En
rallongeant de plus en plus les temps de sjour dans les tats loigns
de 0 (on multiplie le paramtre de la loi exponentielle par x , un facteur dautant plus petit que x est grand), on rend lesprance du temps
de retour en x infini.
236

Cette dernire question donne un exemple dun processus markovien de
saut rcurrent nul dont la chane incluse est rcurrente positive. Pour
un exemple dans lautre sens (le processus en temps continu rcurrent
positif, la chane incluse rcurrente nulle), il suffit de choisir p = q =
1/2, et de multiplier cette fois la xme ligne de la matrice Q par
x , ( < 1 comme cidessus). Alors la mme probabilit gomtrique
qu la question 6 est invariante pour le processus en temps continu.
En divisant la xme ligne par x , on raccourcit le temps de sjour
dans ltat x, le facteur x tant dautant plus petit que x est grand.
On raccourcit donc la longueur des excursions partant de 0, cellesci
devenant desprance finie, alors mme que le nombre dtats visits
entre deux passages ltat x est desprance infinie (la chane incluse
est rcurrente nulle).
Corrig du problme 7.12.2 A

1. Il est assez clair daprs lnonc que le lemme 2.1.2 sapplique, et on a
bien une chane de Markov. Sa matrice de transition est
1 p/2 p/2 0
0
0 0
1 p/2 0 p/2 0
0 0
1 p p/2 0 p/2 0 0
P =
,
1p
0
p/2
0
p/2
0
..
..
..
..
..
..
.
.
.
.
.
.
et puisque les deux diagonales infrieures et suprieure ne contiennent
pas de 0, on peut avancer et reculer dun pas chaque instant, donc
aller en temps fini de x y, pour tout couple dtats x, y IN, do
lirrductibilit.
2. Soit T le temps du premier retour en 0, partant de 0. IP(T > k) < pk
pour tout k 1. Donc
IE(T ) =
X
k=0
IP(T > k) < .
Donc ltat 0 est rcurrent positif, et donc la chane a cette proprit,

grce lirrductibilit.
3. Les calculs permettent de vrifier que la probabilit donne dans
lnonc satisfait P = , donc cest une probabilit invariante, qui est
unique par irrductibilit.
237
B La matrice de transition de la chane incluse diffre de la matrice P de

la partie A uniquement par sa premire ligne, qui vaut (0 1 0 0 . . .). Donc
la chane incluse est irrductible, et avec les notations de la question A 2
appliques la chane incluse, on a IP(T > k) < pk1 , et donc IP(T < ) =
1, donc la chane incluse est rcurrente, et {Xt } est rcurrent irrductible.
Puisque Q = P I, et que P = , Q = 0, et par le thorme 7.6.2 {Xt }
est rcurrent positif.
1. La matrice de transition de la chane incluse scrit
0
1
0
0
0
0
+
0
0
0
0
0
0 + 0
0
P =
+
0 + 0 + 0
..
..
..
..
..
..
.
.
.
.
.
.
...
. . .
. . .
. . .
..
.
Ses diagonales suprieure et infrieure ont tous leurs coefficients non

nuls, donc la chane incluse est irrductible, et il en est de mme de
{Xt }.
2. Notons quune faon de construire la chane incluse {Zn = XTn } est

de se donner des v.a. i.i.d. {Yn , n 1} valeurs dans {1, 1} t.q.
= 1 IP(Y1 = 1), et de poser, pour n 0,

IP(Y1 = 1) =
+
Zn+1 =
1
si Xn = 0
Zn + Yn si Xn > 0.
Le caractre rcurrent ou transitoire de {Zn }, donc aussi de {Xt }, stablit comme dans le problme 2.10.5.
3. Lgalit ( Q)0 = 0 entrane que a = /, et on vrifie aisment que
ce choix de a donne bien Q = 0.
4. Daprs ce que lon vient de voir, {Xt } est rcurrente positive si > .
Si = , la mesure = (1, 1, 1, . . .) est invariante, cest une mesure
de masse infinie, donc {Xt } est rcurrente nulle.
238

1. On a
p1 1p 0
0
0
1
0
1
p
1
p
0
0
, P0 =
Q=
p
1 p 1
0
p 1p
0
0
p
p
0
0
0
0
p 1 p
.
0
0
1
0
2. Partant de ltat 1, {Xt } attend un temps exponentiel de paramtre

1p, puis passe dans ltat 2. Partant de ltat 2, {Xt } attend un temps
exponentiel de paramtre 1, puis passe dans ltat 3 avec probabilit p,
dans ltat 4 avec probabilit 1 p. Partant de ltat 3, {Xt } attend
un temps exponentiel de paramtre 1, puis passe dans ltat 1 avec
probabilit p, dans ltat 2 avec probabilit 1 p. Partant de ltat
4, {Xt } attend un temps exponentiel de paramtre p, puis passe dans
ltat 3.
3. La chane incluse est clairement irrductible. Puisque lespace dtat
est fini, la chane est alors rcurrente positive. Lquation pour la probabilit invariante est Q = 0, soit encore P = , donc la probabilit
invariante est celle du problme 2.10.6, soit .
4. La probabilit invariante de la chane incluse est la probabilit solution
de lquation P 0 = , soit (p/3, 1/3, 1/3, (1 p)/3).
Chapitre 8
Files dattente et rseaux
Introduction
Les processus markoviens de saut servent modliser les files dattente.
Cellesci ont dabord t tudies pour les besoins du tlphone, puis pour
ceux de la recherche oprationnelle. On est pass ensuite ltude des rseaux
de files dattente, lequels servent valuer les performances des systmes
informatiques, et aussi des systmes de production.
Le modle mathmatique de base des files dattente est le suivant. Des
clients arrivent suivant un certain processus. Quand un client arrive, si un
guichet est libre il se prsente celuici et commende tre servi. Sinon il
se met en attente, et sera servi lorsquun guichet sera libre (et que les clients
arrivs avant lui auront t servis - moins quun systme de priorits plus
complexe ne soit mis en place). Les temps de service suivent une certaine loi
(qui dans certains modles plus complexes que ceux que nous allons considrer pourrait dpendre du type de client). Nous supposerons implicitement
que la salle dattente est de capacit infinie, et quaucun client nest rejet,
sauf mention explicite du contraire.
Pour nous, la file dattente sera caractrise par la loi des arrives, la
loi des temps de service et le nombre de guichets disponibles. On supposera
toujours les temps de service i.i.d. et indpendants du processus des arrives.
On pourra consulter la monographie [39] pour un expos beaucoup plus
complet sur le sujet.
239
CHAPITRE 8. FILES DATTENTE ET RSEAUX
240
8.1
File dattente M/M/1
M comme sans mmoire ou markovien. 1 est le nombre de guichets. On

suppose que le processus des arrives est un processus de Poisson dintensit
, et que les temps de service sont i.i.d. de loi commune la loi exponentielle
(). Le nombre de clients prsents dans le systme (au guichet + en attente)
est alors un processus markovien de saut valeurs dans IN, de gnrateur
infinitsimal Q donn par :
Qx,x+1 = , x IN;
Qx,x1 = , x 1;
Qxy = 0 si |x y| 2;
et donc
Q00 = ,
Qxx = ( + ), x 1.
En effet, fixons t 0 et x 1. Si on note {Ns } le processus des arrives, et

S le temps dattente partir de t pour que le service en cours linstant t
se termine, on a
IP(Xt+h = x + 1|Xt = x) = IP(Nt+h Nt = 1, S > h) + (h)
IP(Xt+h
= eh heh + (h),
h1 Px,x+1 (h) , h 0.
= x 1|Xt = x) = IP(Nt+h Nt = 0, S h) + (h)
= eh (1 eh ) + (h),
h1 Px,x1 (h) , h 0.
On a utilis lindpendance du processus des arrives et du temps de service.

Si on conditionnait en outre par des valeurs passes de {Xs } avant t, le
rsultat ne serait pas affect, cause du caractre markovien de {Ns } et du
caractre exponentiel de la loi de S (cf. exercice 6.5.1).
En outre, par le mme raisonnement, pour |y x| 2,
IP(Xt+h = y|Xt = x) = (h).
La file dattente M/M/1 est un processus de naissance et de mort en
temps continu, irrductible sur IN. Si > , le nombre moyen darrives
par unit de temps est suprieur au nombre moyen de dparts par unit de
temps, et Xt + p.s. Le processus est transitoire.
8.1. FILE DATTENTE M/M/1
241
Dans le cas = , le processus est rcurrent nul. Dans le cas < , le

processus est rcurrent positif. Sa probabilit invariante est donne par :

x
x = 1
.
Pour la justification de ces affirmations, voir lexercice 8.13.1 cidessous. A

lquilibre, le nombre moyen de clients prsents dans le systme est :
IE (Xt ) =
xx =
x=1
Lesprance du temps de retour en 0 est :

IE0 (R0 ) =
=
q 0 0
( )
Le temps moyen entre deux priodes o le guichet est vide vaut

IE0 (R0 )
1
1
=
q0
Calculons le temps moyen pass par un client dans le systme. Conditionnellement au fait de trouver x clients devant lui en arrivant, le temps moyen
pass par un client est (x + 1)/. Donc le temps moyen est :
IE (Xt + 1)/ =
1
.
Largument cidessus, qui peut sembler contradictoire (pourquoi ltat de

la file au moment dune arrive estil le mme que celui de la file un instant
arbitraire ?), est correct asymptotiquement, au sens o la loi du nombre de
clients que le nime arriv trouve devant lui converge vers la probabilit invariante de Xt , quand n , cf. lexercice 8.13.2 cidessous. En outre, cest
une consquence du Thorme qui suit, o {Xt } dsigne le nombre de clients
prsents dans une file dattente non ncessairement de type M/M/1. Formulons trois hypothses, qui sont en particulier vrifies dans le cas markovien
rcurrent positif :
Z t
1
p.s., quand t ,
t
X(s)ds X
(H1)
0
242
est une constante,

o X
une suite alatoire tn , quand n t. q. Xtn = 0,
(H2)
et on suppose en outre que les dures de sjour de tous les clients sont finies,
et que si Dn dsigne la dure du sjour du nime client arriv aprs linstant
telle que
0, il existe une constante D
n
X
= lim 1
D
Dk .
n n
k=1
(H3)
Thorme 8.1.1. (Formule de Little) On considre un systme de service

tel que le nombre moyen darrives par unit de temps soit gal , et qui
vrifie les hypothses (H1), (H2) et (H3) cidessus. Alors
= D.
X
Preuve Dsignons par N (t) le nombre de clients arrivs avant t, et {tn , n
IN} une suite telle que Xtn = 0, n et tn , quand n . Alors il nest
pas difficile de vrifier que si X0 = 0 :
N (tn )
X
k=1
Donc
1
tn
tn
0
Dk =
tn
Xs ds.
0
N (tn )
N (tn )
1 X
Xs ds =
Dk .
tn
N (tn ) 1
Il reste faire tendre n , en utilisant les hypothses. Le cas X0 6= 0

sen dduit puisque les dures de sjour des clients prsents linstant 0 sont
finies.

Notons que la formule de Little est trs intuitive.
8.2
File dattente M/M/1/K
En pratique, on ne peut pas en gnral avoir un nombre arbitraire de

clients en attente. Dans le modle M/M/1/K, les arrives sont poissoniennes
8.3. FILE DATTENTE M/M/S
243
dintensit , les temps de service de loi exponentielle de paramtre , il y

a un serveur, et la salle dattente contient au plus K clients (dont celui en
train de se faire servir). Ceci signifie que tout client qui arrive quand la salle
dattente est pleine est rejet.
Le nombre de clients prsents dans le systme est alors un processus
markovien de saut valeurs dans {0, 1, 2 . . . , K}. Son gnrateur infinitsimal
est donn par
Qx,x+1 = , 0 x K 1; Qx,x1 = , 1 x K;
Qxy = 0 si |x y| > 2. Donc en outre
Q00 = , Qxx = ( + ), 1 x K 1; QKK = .
Ce processus de Markov est irrductible, valeurs dans un ensemble fini,
donc rcurrent positif. Sa probabilit invariante se calcule aisment.
Dans le cas 6= , on trouve
x
1 /
x =
, 0 x K.
1 (/)K+1
1
.
Dans le cas = , on a x = K+1
La probabilit quun client arrivant soit rejet est gale la proportion
du temps o la file est pleine, soit
K
K =
8.3
1
K+1 si 6= ,
1
K =
1
si = .
K +1
File dattente M/M/s
On revient au cas dune salle dattente de capacit infinie, mais on

suppose maintenant quil y a s guichets (serveurs) disponibles. Les temps
de service aux diffrents guichets sont bien sr mutuellement indpendants.
Il nest pas difficile de voir que :
Q01 = , Q0x = 0, x > 1;
pour 1 x s,
Qx,x+1 = , Qx,x1 = x, Qxy = 0, |x y| > 1;
244
pour x s,
Qx,x+1 = , Qx,x1 = s, Qxy = 0, |x y| > 1.
Le seul calcul nouveau faire est le suivant : si S1 , . . . , Sx sont i.i.d.
exponentielles (),
IP(S1 Sx > h) = (eh )x .
Donc la probabilit quil y ait au moins un dpart dans un intervalle de temps
de longueur h, lorsque x guichets sont occups, est
1 exh ,
et
1 exh
x.
h
En outre, la probabilit quil y ait au moins deux dparts pendant un intervalle de temps de longueur h est un (h).
{Xt } est rcurrent positif si < s. Dans ce cas, on peut chercher une probabilit invariante en cherchant une solution de lquation dquilibre ponctuel :
x Qx,x+1 = x+1 Qx+1,x .
On trouve que
(
(/)x /x!,
si 0 x s;
x /0
x xs
(/) /s s!, si x > s.
Les deux cas qui conduisent une formule simple sont le cas s = 1 (dj
trait, loi gomtrique) et le cas s = , auquel cas 0 = e/ , et
x = e/ (/)x /x!,
i.e. la probabilit invariante est la loi de Poisson (/).
On a le Thorme de Burke : si < s, lquilibre le processus des
dparts est un processus de Poisson dintensit . En effet, {Xt } est rversible
par rapport . Donc lquilibre (i.e. sous IP ), {XT t ; 0 t T } a
mme loi de {Xt , 0 t T }, et les dparts de {Xt } sont les arrives de
{XT t }.
Calculons maintenant la probabilit quun client arrive alors que tous les
serveurs sont occups (et donc quil soit mis en attente avant dtre servi).
8.3. FILE DATTENTE M/M/S
245
Celleci est gale la proportion du temps pendant laquelle tous les serveurs
sont occups, donc
x

X
ss X
x = 0
s! x=s s
x=s
= 0
avec
0 =
" s1
X (/)x
x!
x=0
s
(/)s
,
s!
s
(/))s
s
+
s!
s
#1
La formule que nous venons dobtenir fait partie des formules dErlang.
Enfin, posons nous la question de savoir ce qui est le plus efficace, du point
de vue de lutilisateur, pour faire face des arrives poissoniennes dintensit
2 : deux serveurs en parallle, avec temps de service de loi exponentielle de
paramtre (solution 1), ou bien un seul serveur, avec temps de service de
loi exponentielle de paramtre 2 (solution 2) ( < ) ?
Calculons les temps de sjour moyen des clients dans le systme, dans les
deux cas. Dans la premire solution, lquilibre
la loi du nombre de clients
x
1 /
1 /
; x = 2
, x 1.
est donne par 0 =
1 + /
1 + /
Donc le nombre moyen de clients prsents dans le systme vaut
x
1 / X
X1 = 2
x
1 + / x=1
2/
(1 /)(1 + /)
Donc daprs la formule de Little la dure moyenne de sjour est
1
= X1 =
D
2
( )(1 + /)
Dans la seconde solution,
2 =
D
1
( )2
2 < D
1 , et la solution dun seul serveur, avec temps
Mais 1 + / < 2, donc D
de service de loi exp(2), est la solution prfrable.
246
8.4
File dattente M/M/s/s
On considre la file M/M/s, mais cette fois sans salle dattente, i.e. tout
client arrivant alors que les s guichets sont occups est rejet. Cest le modle
de fonctionnement dun central tlphonique.
Le nombre Xt de clients dans le systme linstant t constitue un processus de Markov valeurs dans {0, 1, . . . , s}, avec le gnrateur infinitsimal :
Q01 = , Q0x = 0, x > 1;
si 0 < x < s,
Qx,x+1 = ,
Qx,x1 = x,
Qs,s1 = s,
Qxy = 0, |x y| > 1;
Qsy = 0, y 6= s, y 6= s 1.
La probabilit invariante est la loi de Poisson tronque :

s
(/)x X (/)y
/
, 0 x s.
x =
x!
y!
y=0
Par le thorme ergodique, la proportion du temps pendant laquelle le systme est plein, qui est aussi la proportion dappels perdus, est
s
(/)s X (/)y
s =
/
,
s!
y!
y=0
expression qui a reu le nom de formule dErlang.
8.5
Atelier de rparation
Une usine fait fonctionner s machines. Chacune delles tombe en panne

au taux (linstant de panne est une v.a. de loi exponentielle de paramtre
). Lusine est quipe dun atelier de rparation. Les temps de rparation
sont exponentiels de paramtre .
Dsignons par Xt le nombre de machines en tat de marche linstant t
valeurs dans E = {0, 1, . . . , s}. {Xt } est un processus markovien de saut.
8.6. FILES DATTENTE EN SRIE
247
Son gnrateur infinitsimal est le mme que celui de la file M/M/s/s, mais
avec et intervertis ! Donc la probabilit invariante de ce processus est
x =
s
(/)x X (/)y
/
, 0 x s.
x!
y!
y=0
Le taux de panne global est

g =
s
X
x x
x=1
s1
X
x=0
s
(/)x X (/)y
/
x!
y!
y=0
Le nombre moyen de machines rpares par unit de temps vaut

nr = (1 s )
= b
8.6
Files dattente en srie
Supposons que les clients demandent deux services : ils font dabord la
queue au guichet A, puis au guichet B, dont les deux temps de service sont
indpendants, le temps de service de A suivant une exponentielle (), et celui
de B une loi exponentielle ().
Quelle est la longueur moyenne de la file au guichet B ? Notons {Xt } le
nombre de clients (en service ou en attente) au guichet A, {Yt } le nombre de
clients au guichet B.
Les arrives au guichet A sont supposes former un processus de Poisson
dintensit . Si > , Xt , on peut admettre quil y a toujours des
clients en A, et ils sortent suivant un processus de Poisson dintensit . Si
< , daprs le thorme de Burke les dparts de A forment un processus
de Poisson dintensit . Il est donc naturel de prtendre que le processus
des arrives en B est un processus de Poisson dintensit . Donc {Yt }
est rcurrent positif ssi < , et dans ce cas la longueur moyenne de la
. Les deux files sont rcurrentes positives si < .

file en B est
248
Dans ce cas, lquilibre, le temps moyen pass par un client dans le systme
A+B est
1
1
+
.

8.7
File dattente M/G/
Les arrives forment encore un processus de Poisson dintensit . Les

temps de service sont i.i.d., de loi commune gnrale, de fonction de rpartition F (t) = IP(T t). Il y a une infinit de serveurs, ce qui simplifie
normment lanalyse, en vitant toute interaction entre les clients.
Le nombre de clients arrivs avant t suit une loi de Poisson de paramtre
t. Conditionnons par Nt = n. Si lon numre les n clients arrivs de faon
alatoire, alors les temps darrive A1 , . . . , An de ces clients sont i.i.d. de loi
uniforme sur [0, t] (cf. exercice 6.5.4).
Pour chacun de ces clients, le service nest pas termin avec probabilit
Z
Z
1 t
1 t
p=
IP(T > s)ds =
(1 F (s))ds.
t 0
t 0
Donc la loi conditionnelle de Xt , sachant que Nt = n, est la loi binomiale
(n, p). Finalement
IP(Xt = x) =
=
n=0
X
n=x
=e
IP(Xt = x|Nt = n)IP(Nt = n)

Cxn px (1 p)nx et (t)n /n!
t (pt)
x!
X
((1 p)t)nx
n=x
= ept (pt)x /x!
(n x)!
Donc la loi de Xt est la loi de Poisson de paramtre

que
Z
Z
(1 F (s))ds =
(1F (s))ds. Notons
IP(T > s)ds = IE(T ).
Si IE(T ) < , la file a comme loi limite, la loi de Poisson (IE(T )).
8.8. FILE DATTENTE M/G/1
8.8
249
File dattente M/G/1
Les clients arrivent suivant un processus de Poisson dintensit > 0. Les

temps de service successifs sont des v. a. i. i. d., indpendantes du processus
des arrives. On note la loi des temps de service, et L sa transforme de
Laplace, i. e.
Z
L(u) =
eut (dt),
u > 0.
On note lesprance de la probabilit , qui est suppose finie.
8.8.1
Une chane incluse
Pour tout n 0, on note Xn le nombre de clients en attente (ou en train

de se faire servir) juste aprs le nime dpart. Pour n 0,
Xn+1 = Xn + Yn+1 1Xn >0 ,
o Yn est le nombre darrives durant le service du nime client. Le fait que

{Xn , n 0} est une chane de Markov rsulte du
Lemme 8.8.1. Les v. a. {Yn , n 1} sont i. i. d., indpendantes X0 , de loi

commune de fonction gnratrice
A(z) = L((1 z)).
Preuve Lindpendance par rapport X0 est assez claire. Soit n 1. Notons

Si la dure du service du iime client.

IE z1Y1 znYn IE IE z1Y1 znYn |S1 , . . . , Sn
Z

IE z1Y1 znYn |S1 = t1 , . . . , Sn = tn (dt1 ) (dtn )
=
=
=
IRn
+
n
YZ
i=1
n
Y
i=1
eti (1zi ) (dti )

IR+
L((1 zi )).
Il est clair que la chane de Markov {Xn } valeurs dans IN est irrductible.
On note que
def
= IE(Yn ) = .
250
8.8.2
Le cas rcurrent positif
Proposition 8.8.2. Si < 1, la chane {Xn } est rcurrente positive.

Preuve Dsignons par Zn le nombre de visites de la chane en 0 avant le
nime dpart. On a
Xn = X 0 + Y 1 + + Y n n + Z n .
Supposons la chane transitoire. Alors Xn p. s. quand n , et
Zn /n 0 quand n , puisquil y a p. s. au plus un nombre fini de retour
en 0. Mais par la loi des grands nombres,
n1 (Y1 + . . . + Yn ) < 1,
donc
Y1 + . . . + Yn n ,
quand n , ce qui contredit le fait que Xn 0, et la chane est ncessairement rcurrente. Prenons lesprance dans la formule de rcurrence cidessus.
Puisque Xn 0,
0 < 1 n1 IEX0 + n1 IEZn 1/m0
quand n , o m0 est lesprance du temps de retour en 0, daprs le
thorme ergodique. Donc
m0
1
< .
1
Notons la probabilit invariante de {Xn }, et G sa fonction gnratrice.

zG(z) = IE z Xn+1 +1

= IE z Xn +Yn+1 +1Xn =0
= A(z)(0 z + G(z) 0 ),
donc
Quand z 1,
() (A(z) z)G(z) = 0 A(z)(1 z).

A(z) z
1 A0 (1) = 1 ,
1z
8.8. FILE DATTENTE M/G/1

donc 0 = 1 et
251
(1 z)A(z)
.
A(z) z
Calculons la longueur moyenne de la file. Diffrentiant (), on obtient
G(z) = (1 )
(A(z) z)G0 (z) + (A0 (z) 1)G(z) = (1 )[A0 (z)(1 z) A(z)],
do en remplaant G(z) par sa valeur,

G0 (z) = (1 )A0 (z)
Or, quand z 1,
Donc
(A0 (z) 1)(1 z) + A(z) z

1z
(1 )A(z)
.
A(z) z
(A(z) z)2
A(z) 1 A0 (z)(z 1)
(A0 (z) 1)(1 z) + A(z) z
=
(A(z) z)2
(A(z) z)2
1 00
(1 z)2
' A (z)
2
(A(z) z)2
00
A (1)
.
2(1 )2
IE (Xn ) = G0 (1)
A00 (1)
=+
2(1 )
2 L00 (0+)
=+
2(1 )
2 IES 2
=+
,
2(1 )
o S dsigne le temps de service (i. e. une v. a. de loi ).

On va maintenant calculer le temps moyen pass par un client
attendre pour se faire servir. Considrons la file lquilibre. Un client
qui part a pass un temps Q attendre, et un temps S se faire servir.
Conditionnellement au fait que Q + S = t, le nombre de clients quil laisse
derrire lui suit la loi de Poisson de paramtre t. Donc, si M (u) = IE(euQ )
dsigne la transforme de Laplace de la loi de Q,

G(z) = IE e(Q+S)(1z)
= M ((1 z))L((1 z)).
252
Donc
M (u) =
Do lon tire
(1 )u
.
u (1 L(u))
IEQ = M 0 (0+) =
IE(S 2 )
.
2(1 )
Intressons nous finalement la longueur moyenne des priodes

dactivit O, pendant laquelle le serveur est occup. Notons
B(u) = IE(euO )
sa transforme de Laplace. Soit S la dur du service du premier client de la
priode dactivit. Conditionnellement en S = t,
O = t + O 1 + . . . + ON ,
o N est le nombre de clients qui arrivent pendant le service du premier
client, dont la loi conditionnelle sachant que S = t est la loi de Poisson de
paramtre t, et O1 , O2 , . . . sont i. i. d., de mme loi que celle de O. Donc
Z
IE(euO|S=t )(dt)
B(u) =
Z0
=
eut et(1B(u)) (dt)
0
= L(u + (1 B(u))).
On en dduit lesprance de O :
IE(O) = (1 + IE(O))
=
.
1
8.9
Rseau de Jackson ouvert
On considre un rseau constitu de N stations interconnectes. Chaque

station p (1 p N ) doit traiter les clients qui arrivent de lextrieur, ainsi
que ceux qui lui sont envoys par les autres stations.
Dans le modle de Jackson, les arrives exognes la station p forment
un processus de Poisson dintensit 0p . Chaque station est une file dattente.
8.9. RSEAU DE JACKSON OUVERT
253
Le taux avec lequel les clients quittent la station p est p (n), si n clients sont
la station p. Par exemple
(
p 1{n>0} , dans le cas dun serveur M/M/1 ;
p (n) =
n sp p , dans le cas de s guichets : file M/M/s.
Un client quittant la station p se dirige vers la station q avec la probabilit
rpq (1 q N ), et quitte le rseau avec la probabilit rp0 . On suppose pour
simplifier que rpp = 0, 1 p N ; cette hypothse peut tre leve sans
difficult.
Le processus Xt = (Xt1 , . . . , XtN ) des nombres de clients prsents aux
stations 1, . . . , N linstant t est un processus markovien de sauts valeurs
dans lespace E = INN
+.
On note ep = (0, . . . , 0, 1, 0, . . . , 0) le vecteur dont seule la pime coordonne est non nulle et vaut 1.
Les seuls termes hors diagonaux non nuls du gnrateur infinitsimal du
processus {Xt } sont donns par
Qx,x+ep = p , x E, 1 p N ;
Qx+ep ,x = p (xp + 1)rp0 , x E 1 p N ;
Qx+ep ,x+eq = p (xp + 1)rpq , 1 p 6= q N, x E.
On dit que le rseau est sans capture si pour tout p {1, . . . , N }, n 0,

p1 , . . . , pn {1, . . . , N } tels que
rpp1 rp1 p2 rpn1 pn rpn 0 > 0
(8.1)
On considre lquation
0p +
X
q6=p
q rqp = p , 1 p N ;
(8.2)
dinconnues p , 1 p N .
Lemme 8.9.1. Sous lhypothse (8.1), lquation (8.2) a une unique solution
positive et finie.
Preuve Soit R la matrice N N , de coordonnes Rpq = rpq . Lquation
(8.2) scrit sous forme vectorielle
(I R) = 0 ,
254
qui a la solution unique finie

0 = K,
avec K =
Rn , condition que cette srie converge dans IRN N .
Considrons la matrice markovienne
r10
r20
R
P =
r N 0
1 00
Lhypothse (8.1) entrane que les tats 1, 2, . . . , N sont transitoires pour la

chane valeurs dans {0, 1, 2, . . . , N } de matrice de transition P , donc daprs
lexercice 2.9.6.
X
(P n )xy < , 1 x, y N.
n=0
Mais (P )xy = (R )xy , 1 x, y N , do le rsultat.

On peut maintenant tablir le :
n
Thorme 8.9.2. Sous lhypothse (8.1), si en outre pour tout 1 p N ,

Y
n
X
p
< ,
(r)
n=1 r=1 p
alors le processus markovien de saut {Xt } valeurs dans E admet lunique

probabilit invariante
N
Y
x =
xpp ,
p=1
o pour 1 p N , la probabilit sur IN est dfinie par

np
,
r=1 p (r)
np = bp Qn
avec bp =
Y
n
X
p
1+
(r)
n=1 r=1 p
!1
Avant de dmontrer ce thorme, prcisons ce rsultat dans deux cas

particuliers.
8.9. RSEAU DE JACKSON OUVERT
255
Corollaire 8.9.3. Cas p (n) = p 1{n>0} (Rseau de files M/M/1). Si (8.1)

est satisfaite et p < p , alors le processus {Xt } admet la probabilit invaN
Y
p
riante x =
xp
, o
p=1
np
p
1
p

p
p
n
, 1 p N, n IN.
Corollaire 8.9.4. Cas p (n) = p (n sp ) (Rseau de files M/M/sp ). Si

(8.1) est satisfaite et p < p sp , alors le processus {Xt } admet la probabilit
Q
p
invariante x = N
p1 xp , avec
n
p
p
n b p
/(n sp )!,
p
avec
bp =
"sp 1
X (p /p )r
r=0
r!
(p /p )
sp !
sp
1
1 p /p sp
#1
Preuve du thorme 8.9.2 : Si une probabilit invariante existe, et

dsigne le gnrateur infinitsimal du processus retourn, alors on a :
si Q
x+ep ,x
x Qx,x+ep = x+ep Q
x,x+ep
x+ep Qx+ep ,x = x Q
x+ep ,x+eq .
x+eq Qx+ep ,x+ep = x+ep Q
Si existe et est donne par la formule de lnonc, alors
x+ep ,x =
Q
0p
p (xp + 1)
p
x,x+ep = p rp0
Q
x+ep ,x+eq = q rpq p (xp + 1)
Q
p
La formule pour est alors correcte pourvu que pour tout x E (cf. Remarque 7.7.3) :
X
X
xy =
Q
Qxy
y6=x
y6=x
256
Or
Qxy =
p=1
y6=x
et
X
xy =
Q
N
X
N
X

0 + p (xp ) ,
X
0p
p (xp )
p rp0 + p (xp ) +
q rqp
p
p
p=1
y6=x
N
X
q6=p
(p rp0 + p (xp )) ,
p=1
o on a utilis lgalit (8.2). Mais en sommant lgalit (8.2) sur p, on obtient

X
X
X
0p =
p (1
rpq )
p
p rp0
do lgalit dsire.
Il rsulte de la preuve du Thorme les formules pour le gnrateur infinitsimal du processus retourn, do lon dduit le
Corollaire 8.9.5. Si les conditions du Thorme 8.9.2 sont satisfaites, et
{Xt } est initialise avec la probabilit invariante, alors le processus retourn
t = XT t , 0 t T , est un processus markovien de saut, qui
en temps X
sinterprte comme un rseau de Jackson avec N files interconnectes, de
paramtres :
Intensit des arrives exognes la station p :
0 = p rp0 ;
p
Probabilit de routage de p vers q :
rpq =
q
rqp
p
Probabilit de sortie du systme au moment de quitter la station p :

rp0 =
0p
p
8.10. RSEAU DE JACKSON FERM
257
Taux de service la station p :
p (xp ) = p (xp ).
En outre, les processus de sortie du systme pour le processus initial
partir des stations {1, . . . , N } sont des processus de Poisson indpendantes
dintensits respectives p rp0 .
8.10
Rseau de Jackson ferm
On reprend le modle de la section prcdente, en supposant cette fois

quil ny a pas darrive exogne 0p = 0, p, ni de sortie du systme
rp0 = 0, p, soit
N
X
rpp = 0,
rpq = 1.
q=1
La matrice R = (rpq )1p,qN est donc markovienne. On la supposera irrductible dans toute la suite.
Sous ces hypothses, il y a clairement conservation du nombre de clients
dans le rseau. On notera I(> 0) ce nombre.
Ici le processus {Xt } est un processus markovien de saut valeurs dans
E(I) = {x INN
+ , x1 + + xp = I}.
Le gnrateur infinitsimal de {Xt } est donn par
Qx+ep ,x+eq = p (xp + 1)rpq , p 6= q, x E(I).
Soit {p , 1 p N } la probabilit sur {1, . . . , N } invariante par R. On

montre alors, par exemple par la mme mthode qu la section prcdente,
le
Thorme 8.10.1. Si R est irrductible, alors le processus {Xt } admet
lunique probabilit invariante
x = G(I)
N
Y
p=1
avec
G(I) =
N
Y
xE(I) p=1
p p
Q xp
,
r=1 p (r)
x
p p
Q xp
.
r=1 p (r)
258
La principale difficult est de calculer la constante de normalisation (aussi

appele fonction de partition) G(I). Ds que les valeurs de I et de N ne
N 1
sont pas petites, le cardinal de E(I) (qui vaut CI+N
1 ) rend le calcul de G(I)
par sommation directe impossible.
Supposons maintenant pour toute la suite de cette section que p (r) =
p 1{r>0} . Notons p = p /p .
Nombre moyen de clients Soit 1 k < I. Pour tout y E(I k),
notons que
I
y+ke
G(I) = yIk kp G(I k),
p
si lon note I la probabilit invariante sur E(I).
Donc si {Xt } est initialise avec la probabilit invariante I , et si 1 k <
I,
X
I
y+ke
IP(Xtp k) =
p
yE(Ik)
=
=
G(I k) k
p
G(I)
G(I k) k
p .
G(I)
yIk
yE(Ik)
Donc
IEXtp
I
X
kp
k=1
o G(0) = 1.
G(I k)
,
G(I)
Intensit des arrives A lquilibre, lintensit des dparts de la station

p vers la station q vaut :
X
dpq =
x Qx,xep +eq
xE(I),xp >0
De la bijection entre {x E(I), xp > 0} et E(I 1), et de lidentit

I1
G(I 1) p ,
xI G(I) = xe
p
8.11. RSEAU TLPHONIQUE

on dduit la formule
dpq =
259
p rpq G(I 1)
.
G(I)
On obtient alors, par un argument de retournement du temps, la formule

suivante pour lintensit des arrives la station p
ap =
p G(I 1)
.
G(I)
Calcul de la fonction de partition Considrons les fonctions gnratrices
X
1
, 1 p N, |z| 1.
p (z) =
(p z)n
1 p z
n=0
En comparant les coefficients des z J dans les deux membres, on obtient lgalit
N
X
Y
n
G(n)z =
p (z)
n=0
Soit
p (z) =
p
Y
q=1
On a
p=1
q (z), 1 p N, |z| 1.
p (z)(1 p z) = p1 (z), p > 1.
Notons T (k, p) le coefficient de z k dans p (z). On a
T (k, p) p T (k 1, p) = T (k, p 1), k 1, p > 1,

avec T (0, p) = 1, p 1 et T (k, 1) = k1 , n 0.
On en dduit un algorithme de calcul de G(I) = T (I, N ), de complexit
O(I N ), qui consiste calculer les T (k, p) ligne par ligne pour 1 p N
(i.e. pour des valeurs croissantes de k).
8.11
Rseau tlphonique
On considre un rseau tlphonique constitu de N canaux interconnects. Ltablissement dune communication requiert lusage exclusif des n
260
canaux demands pour la communication. Si un ou plusieurs des canaux demands est occup, lappel est rejet. Sinon, la communication est tablie,
et dure un temps alatoire, de loi exponentielle de paramtre n . Les appels
demandant n canaux arrivent suivant un processus de Poisson dintensit n .
Les flux darrives de type diffrent et les dures des communications sont
mutuellement indpendants.
Soit Xt = (Xt1 , . . . , XtP ) o Xtn reprsente le nombre de communications
tablies linstant t, qui utilisent n canaux. Xt est un processus markovien
de saut valeurs dans
E = {x = (x1 , . . . , xP ) INP |
x N },
o x = x1 + 2x2 + + P xP , de gnrateur infinitsimal Q, dont les seuls
termes hors diagonaux non nuls sont donns par :
Qx+en ,x = n (xn + 1),
Cn
Qx,x+en = n Nnx ,
CN
o en = (0, . . . , 0, 1, 0, . . . , 0) i.e. le vecteur de E dont toutes les coordonnes
sont nulles, sauf la nime qui vaut 1. Notons que CNn x /CNn est la probabilit
de nonrejet si Xt = x. Posons n = (CNn )1 n .
Probabilit invariante
Thorme 8.11.1. Le processus markovien de saut {Xt } dcrit cidessus
est rversible par rapport sa probabilit invariante
xn

P
Y
N!
n
1
x = 0
(N x)! n=1
n n!
xn !
Preuve Cherchons une solution lquation dquilibre local
x n
(N x)!
= x+en n (xn + 1), x E, 1 n P, x + en E;
n!(N x n)!
Soit
x+en =
n
1
(N x)!
x .
n xn + 1 n!(N x n)!
8.11. RSEAU TLPHONIQUE

Donc si xn 1,
x =
Ainsi
x = xx1 e1
1
1
x = xx1 e1 x2 e2
261
n 1 (N x + n)!
xen .
n n! xn
(N x)!
x1
1 (N x + x1 )!
x1 !
(N x)!

x1

x2
1
1
2
1 (N x + x1 + 2x2 )!
1 1!
x1 !
2 2!
x2 !
(N x)!
La formule de lnonc sobtient en poursuivant ce calcul.
Il reste calculer 0 . Posons

yn =
n
, y = (y1 , . . . , yP ),
n n!
G(N, x) =
X
xE
P
Y
N!
ynxn
.
(N x)! n=1 xn !
Alors 0 = G(N, y)1 . On verra cidessous un algorithme de calcul de la

fonction de partition G(N, y).
Probabilit de rejet En rgime stationnaire, lintensit des fins de communication mettant en jeu n canaux vaut
X
n xn x = IE(Xtn )n .
xE
La rversibilit entrane que cette quantit est gale lintensit des communications mettent en jeu n canaux qui sont accepts. Donc le rapport
taux dacceptation/taux de demande pour les communications mettant en
jeu n canaux, qui reprsente la probabilit dacceptation, vaut IE(Xtn )n /n .
Il reste donc calculer le
Nombre moyen de communications mettant en jeu n canaux.
X
xE
xn x = G(N, y)
X
xE
P
xn
Y
N!
ym
xn
(N x)! m=1 xm !
262
Or
X
Y y xm
N!
ynxn 1
m
G(N, y) =
yn
(N
)!
(x
1)!
x
n
m!
xE
m6=n
Donc
xn x = yn G(N, y)1
xE
G(N, y).
yn
Avec la convention n! = si n < 0, on a
xn
X
X
N!
ynxn 1 Y ym
G(N, y) =
yn
(N x)! (xn 1)! m6=n xm !
x =0
x =0
1
soit encore
xn
X
X
N!
(N n)! Y ym
G(N, y) =
,
yn
(N n)! x =0
(N
)!
x
!
m
m
x =0
1
donc
et
N!
G(N, y) =
G(N n, y),
yn
(N n)!
IEXtn =
n G(N n, y)
.
n
G(N, y)
Probabilit de rejet (suite) La probabilit de rejet dune communication

mettant en jeu n canaux vaut donc
pn = 1
G(N n, y)
.
G(N, y)
Calcul de la fonction de partition On peut tablir des quations de

rcurrence pour des G(N, y), analogues celles que nous avons obtenues
dans le cas des rseaux de Jackson ferms.
Considrons, pour z C, la fonction gnratrice :
X
zN
G(N, y),
g(z, y) =
N!
N =0
8.12. RSEAU DE KELLY
263
avec G(0, x) = 1. On peut montrer que

"
g(z, y) = exp z +
P
X
n=1
yn z n ,
do lon dduit les formules de rcurrence

G(0, y) = 1
G(N, y) = G(N 1, y) +
G(N, y) = G(N 1, y) +
8.12
N
X
nyn
(N 1)!
G(N n, y), N = 1, 2, . . . , P ;
(N n)!
nyn
(N 1)!
G(N n, y), N P.
(N n)!
n=1
P
X
n=1
Rseau de Kelly
On va maintenant considrer les rseaux multiclasse, aussi appels rseaux de Kelly. La principale diffrence avec les rseaux de Jackson est que
le trajet suivi par un client donn nest pas le rsultat de tirages alatoires
qui sont les mmes pour tous, mais cest un trajet dterministe qui dpend
de la classe dont fait partie ce client.
Plus prcisment, on considre des clients de classe j = 1, 2, . . . , J, o
J IN.
Puisque les clients sont maintenant diffrents les uns des autres, pour tudier lvolution des flux dans le rseau il convient de prciser le systme de
priorit dans chaque file, qui jusqu prsent navait pas rellement dimportance (dans la mesure o lon sintresse aux flux globaux, et non ce quil
advient dun client particulier).
Afin de fixer les notations, considrons tout dabord le cas de :
8.12.1
Une seule file dattente
Les arrives sont constitues de J flots de Poisson dintensit respective

1 , . . . , J , j dsignant lintensit des arrives de clients de classe j.
Quelle que soit sa classe, un client qui arrive dans la file alors que n
clients y sont dj prsents, sera plac en position ` (= 1, . . . , n + 1), avec
n+1
X
probabilit (`, n) [avec
(`, n) = 1].
`=1
264
Si n clients sont prsents dans la file, le client en position ` reoit un service

n
X
exponentiel de paramtre (n)(`, n), avec
(`, n) = 1. Globalement, le
`=1
serveur travaille donc avec une intenstit (n) > 0, ds que n > 0.
Ltat de la file est dcrit par un processus de Markov valeurs dans
E=
n=1
{1, . . . , J}n
Un point c E est une suite de longueur n = |c|

c = (c1 , . . . , cn ),
avec ci {1, . . . , J}, 1 i n.
Prcisons les transitions possibles de la chane Xt valeurs dans E, qui
dcrit ltat de la file dattente linstant t. Deux transitions sont possibles
partir de ltat c :
1. ajout dun client de la classe j, insr entre le i 1me et le ime
client (1 j J, 1 i n + 1, n 0) : soit transition de ltat c
ltat
Aji (c) = (c1 , . . . , ci1 , j, ci+1 . . . , cn );
2. dpart du client qui tait au rang i dans la file, soit transition de ltat
c ltat
Si (c) = (c1 , . . . , ci1 , ci+1 , . . . , cn )
La matrice de transition Q est entirement caractrise par ses termes hors
diagonaux, donns par :
Qc,Aj (c) = j (i)|c|), 1 i |c| + 1, 1 j J;
i
Qc,Si (c) = (|c|)(i, |c|), 1 i |c|.
Notons que la classe dun client ninflue ni sur la faon dont il est plac dans
la file, ni sur son service.
Exemple 8.12.1. File M/M/K/P AP S(F IF O) (comme premier arriv
265
premier servi, en anglais first in first out)

(n) = n K
(
1/n K, si 1 ` n K,
(`, n) =
0
si ` > n K,.
(
0, si ` = 1, . . . , n
(`, n) =
1, si ` = n + 1
Exemple 8.12.2. File M/M/K/DAP S(LIF O) (comme dernier arriv
premier servi, last in first out)
et gamma sont comme dans lexemple prcdent, et cette fois
(
1/n K, si (n K)+ ` n, , n 6= 0
(`, n) =
0,
si ` (n K)+
Exemple 8.12.3. File M/M/1/service partag (process sharing)
(n) = > 0, le choix de est sans importance, et
(`, n) =
1
, 1 ` n.
n
La chane de Markov {Xt } de gnrateur Q ainsi prcis est clairement

irrductible.
On a en outre le
Thorme 8.12.4. La file dattente plusieurs classes de clients est rcurrente positive ssi
|c|
XY
c `
< ,
Z=
(`)
cE `=1
et dans ce cas la probabilit invariante est

c = Z
|c|
Y
c `
, c E.
(`)
`=1
En outre lquilibre, pour 1 j J, le processus des dparts des clients

de la classe j est un processus de Poisson dintensit j .
266
Preuve On va utiliser le thorme 7.7.4. On pose donc

j =
Q
c,A (c)
i
Aj (c)
i
QAj (c),c
i
j
(|c| + 1)(i, |c| + 1)
(|c| + 1)
= j (i, |c| + 1)
(|c|)
QSi (c),c
=
i
(|c|)
=
i (i, |c| 1)
i
= (|c|)(i, |c| 1)
=
c,S (c)
Q
i
On remarque que
|c|+1
j = j =
Q
c,A (c)
i
Qc,Aj (c)
i
i=1
i=1
|c|
X
|c|+1
et
c,S (c) = (|c|) =

Q
i
i=1
|c|
X
Qc,Si (c) ,
i=1
donc il rsulte du Thorme 7.7.4 que sous lhypothse du prsent thorme,

le gnrateur du processus retourn, et les
est la probabilit invariante, et Q
arrives de clients de la classe j forment un processus de Poisson dintensit
|c|+1
X
j .
j =
Q

c,A (c)
i
i=1
Remarquons que le nombre total de clients dans la file est un processus

de Markov de naissance et de mort de gnrateur infinitsimal Q caractris
par
J
X
Qi,i+1 =
j ; Qi,i1 = (i).
j=1
Mais la description dtaille cidessus va tre indispensable dans ce qui suit.
8.12.2
267
Rseau multiclasse
On considre maintenant un rseau constitu de N noeuds, chacun tant

une file dattente du type cidessus. Pour chaque 1 j J, les clients de la
classe j arrivent dans le rseau suivant un processus de Poisson dintensit
j . Chaque client de la classe j se prsente dabord la file f1j {1, . . . , N },
puis lorsquil quitte cette file il rejoint la file f2j , et ainsi de suite jusqu la
file fnj j , do il quitte dfinitivement le rseau. Cest dire que le jme flot
suit la route f1j , f2j , . . . , fnj j dans le rseau. Pour chaque noeud i, 1 i N ,
les fonctions , , associes au noeud i sont notes i , i , i .
0
Il ny a pas de raison dinterdire certains des circuits f1j , . . . , fnj j de
repasser plusieurs fois en un mme noeud du rseau. Pour cette raison, et
afin de rendre le systme markovien, il faut associer chaque client prsent
dans cette file, outre sa classe, le nombre de files dj visites.
Ltat de la ime file dattente (1 i N ) est donc dcrit par le vecteur
xi = ((ci1 , si1 ), . . . , (cimi , simi ))
o cik dsigne la classe du client la kime position, et sik le nombre de
files quil a dj visites (y compris celle en cours). Donc 1 cik J et
1 sik ncik . Lespace dtats dcrivant la file au noeud i est
Ei =
n=1
{1, . . . , J}n
Xt = (Xt1 , . . . , XtN ), o
Xti Ei est ltat de la file au noeud i linstant t. Le processus markovien de
N
Y
sauts {Xt } prend ses valeurs dans E =
Ei . Cest un processus irrductible.
i=1
Les transitions possibles partir de ltat x = (x1 , . . . , xN ) sont les suivantes :

1. Un client de classe j arrive, suivant un processus de Poisson dintensit
j , dans le rseau au noeud f1j . Le couple (j, 1) est insr en `ime
position dans cette file avec probabilit f j (`, |cf j |). Ceci se produit
1
1
avec lintensit
j f j (`, |cf j |)
1
268
2. Un client de classe j ltape s < nj de sa route, la place ` de la

j
file au noeud fsj , quitte celleci pour la place m de la file fs+1
, avec
lintensit
fsj (|cfsj |)fsj (`, |cfsj |)f j (m, |cf j |).
s+1
s+1
A lissue de cette transition, le couple (j, s + 1) est la place m dans

j
la file au noeud fs+1
.
3. Un client de classe j ltape nj de sa route, la place ` de la file au
j
noeud fnj
, quitte le rseau. Ceci se produit avec lintensit
fnj (|cfnj |)fnj (`, |cfnj |).
j
On pose
Z=
|xi |
N
Y
X Y
i=1
xE
k=1
cik
i (k)
On a le rsultat suivant, qui se dmontre comme le thorme prcdent.

Thorme 8.12.5. Si Z < , alors {x , x E} dfini par
x = Z
N
Y
xi i ,
i=1
avec
xi i
|xi |
Y
k=1
cik
,
i (k)
est la probabilit invariante du processus {Xt } qui dcrit les clients prsents
dans le rseau de files dattente multiclasses. En outre, lquilibre, le processus de sortie des clients de classe j est un processus de Poisson dintensit
j , 1 j J.
8.13
Exercices
Exercice 8.13.1. On tudie le processus de Markov {Xt } sur IN qui modlise

la file dattente M/M/1, i.e. le processus markovien de sauts de gnrateur
8.13. EXERCICES
269
infinitsimal
0
0
0
( + )
0
0
Q= 0
(
+
)
..
..
..
.. ..
.
.
.
.
.
..
.
a Montrer que la chane incluse de ce processus est la marche alatoire

rflchie en 0 de lexercice 2.9.10, avec p = /( + ).
b En dduire que le processus {Xt } est transitoire dans le cas > ,
rcurrent dans le cas .
c Montrer que {Xt } est rcurrent nul dans le cas = , rcurrent
positif dans le cas < (on montrera que dans le premier (resp. le
second) cas, la mesure (1, 1, 1, 1, . . .) (resp. la mesure gomtrique de
paramtre /) est invariante).
Exercice 8.13.2. On considre la file M/M/1 {Xt , t 0}, et on dfinit la
suite alatoire {Yn = XTn , n 1}, o {T1 , T2 , . . .} dsignent les instants
darrives successives de clients partir de linstant 0, et XTn 0 est donc
le nombre de clients que le nime arrivant trouve devant lui dans la file.
1 Montrer que {Yn , n 1} est une chane de Markov valeurs dans IN.
Prciser sa matrice de transition. Montrer que cette chane est irrductible et apriodique.
2 On se place dans le cas < . Montrer que la probabilit gomtrique de
paramtre / (qui est la probabilit invariante du processus markovien
de sauts {Xt , t 0}), est la probabilit invariante de la chane {Yn , n
1}, et que la loi de Yn converge vers quand n .
3 Montrer que la formule de Little dans le cas particulier de la file M/M/1

est une consquence du rsultat de la question prcdente.
4 On suppose maintenant que la file est initialise avec sa probabilit invariante (i.e. loi de X0 = ). Calculer la loi de XT1 . Montrer que pour
P
toute fonction f croissante de IN dans IR, IEf (XT1 )
x=0 x f (x), et
que lon a lingalit stricte pour certaines fonctions croissantes f . Ce
rsultat vous paratil conforme lintuition ? Pourquoi la loi de X T1
diffretelle de la loi ? Comparer avec le rsultat de lexercice 6.5.3.
270
Chapitre 9
Introduction aux Mathmatiques
Financires
Introduction
Le but de ce chapitre est de prsenter les modles mathmatiques permettant de rsoudre le problme de la fixation des prix (pricing) des options
europennes et amricaines, ainsi que de prciser les stratgies de couverture associes. On prsentera en particulier la clbre formule de Black et
Scholes, obtenue par leurs auteurs en 1972, et qui a t un des arguments pour
lattribution rcente du prix Nobel dconomie Black et Merton (Scholes
tant dcd).
On va prsenter en parallle le modle discret de Cox, Ross et Rubinstein,
et le modle continu de Black et Scholes.
Lintrt du modle discret est de permettre de dmontrer les rsultats
de faon lmentaire ; celui du modle continu est daboutir aux formules
qui sont celles utilises couramment par les professionnels de la finance. On
introduira les outils du calcul stochastique ncessaires, qui nous permettront
de dcrire les processus de diffusion, qui sont des processus de Markov en
temps continu valeurs dans IRd .
Ce chapitre se termine par une introduction aux modles de taux dintrt
et dobligations.
Nous nous sommes beaucoup inspirs de louvrage de Lamberton, Lapeyre
[27], et aussi de [2] et [32] pour la rdaction de ce chapitre.
271
CHAPITRE 9. MATHMATIQUES FINANCIRES
272
Notation Dans ce chapitre, nous utiliserons toujours t pour dsigner le

temps, que celuici soit discret (t = 0, 1, 2, . . . , T ou t IN) ou continu
(0 t T ou t 0).
9.1
Les concepts de fondamentaux
Dans tout ce chapitre, on considre un investisseur qui peut rpartir ses

avoirs entre deux types de placement : un placement sur un compte rmunr, avec un rendement fixe et garanti (taux dintrt constant), et un placement risqu en achetant des actions en bourse. Nous considrerons surtout
le cas dun seul actif risqu (except la section 9.3.10). Le prix linstant
t de cet actif sera not St . Nous prsenterons deux modles probabilistes,
lun en temps discret et lautre en temps continu, pour les fluctuations de
{St }. Dans notre modle, lagent conomique est seulement un investisseur,
il ne consomme pas. En outre, il sagit dun petit investisseur, au sens o
ses choix dinvestissement nont pas deffet sur lvolution du prix de lactif
risqu. Par ailleurs, notre investisseur pourra acheter une option sur lactif
riqu.
9.1.1
Option
Une option est un contrat aux termes duquel son dtenteur a le droit (et
non lobligation) dacheter (sil sagit dune option dachat, call en anglais)
ou de vendre (sil sagit dune option de vente, put en anglais) une quantit
fixe dun actif donn (qui peut tre une action, une obligation, une devise,
une matire premire, . . .) un prix fix lavance (appel prix dexercice),
une date (lchance) fixe lavance dans le cas dune option europenne ;
une option amricaine peut au contraire tre exerce nimporte quelle date
entre celle de la signature du contrat et la date dchance.
Dans le cas dun call europen dchance T , sur une action dont le cours
linstant t est St , de prix dexercice K, le dtenteur de loption gagne
linstant T (ST K)+ . En effet, il gagne ST K par action en exerant
son option si ST > K (en achetant au prix K et en revendant au prix du
march ST ), et il ne gagne ni ne perd rien en nexerant paqs son option
si ST K. Par un raisonnement analogue, dans le cas dun put, le gain du
dtenteur de loption linstant T est (K ST )+ . Le gain du dtenteur (donc
de lacheteur) de loption est la perte du vendeur de loption. La prime est
9.1. LES CONCEPTS DE FONDAMENTAUX
273
cense compenser cette perte.

La thorie mathmatique des options traite deux problmes :
a) fixation du prix de loption (en anglais pricing), autrement dit du montant
de la prime que lacheteur de loption devra rgler son vendeur au
moment de la signature du contrat ;
b) couverture : comment le vendeur de laction va pouvoir grer la prime
quil encaisse au moment de la signature du contrat, pour compenser,
dans le cas dune option europenne une perte de (ST K)+ (resp.
(K ST )+ ).
9.1.2
Arbitrage
Une des hypothses que lon est amen faire dans ltude mathmatique
des options est labsence dopportunit darbitrage, i.e. limpossibilit de gagner de largent sans risque. Cette hypothse entrane une relation dite de
parit entre call et put europens :
Proposition 9.1.1. Si le modle ne prsente pas dopportunit darbitrage,
alors les prix Ct et Pt linstant t dune option dachat et dune option de
vente dchance T et de prix dexercice K vrifient la relation
Ct Pt = St Ker(T t) ,
o r est le taux dintrt du compte rmunr.
Remarque 9.1.2. Ici et dans tout ce qui va suivre, on suppose que les taux
demprunt et de dpt la banque sont identiques, cest la constante r. Cette
hypothse nest bien sr pas raliste. Elle est essentielle pour que notre modle
soit linaire, et que lon obtienne la formule explicite de BlackScholes. Le
modle gnralis de BlackScholes, qui saffranchit de cette hypothse, sera
prsent la section 9.3.6.
Preuve Supposons la relation de parit non satisfaite, i.e. supposons qu
linstant t on ait par exemple :
Ct Pt > St Ker(T t) .
(un raisonnement analogue peut tre fait dans le cas <). On va montrer quil
existe alors une opportunit darbitrage. A linstant t, on achte une action
274
(ou obligation, ou . . . ) et un put, et on vend un call. Cette opration dgage

un profit net gal :
Xt = C t P t S t .
Si Xt > 0, on place Xt aux taux r jusqu la date T ; sinon on emprunte Xt
au mme taux jusqu la date T .
A la date T , deux cas peuvent se prsenter :
1. ST > K : le call est alors exerc (et on nexerce pas le put) : on encaisse
K, et on solde le prt (ou lemprunt), donc on se retrouve avec une
richesse gale :
K + er(T t) (Ct Pt St ) > 0.
2. ST K : on exerce le put (le call nest pas exerc), et on solde comme
cidessus, donc on se retouve avec la mme richesse que cidessus.
Dans les deux cas, on ralise linstant T un gain > 0, avec une mise de
fonds nulle linstant t : cest un exemple darbitrage.
9.1.3
Marchs viables et complets
Un march est dit viable sil nexiste pas dopportunit darbitrage.

Un march est dit complet si tout actif conditionnel linstant T (i.e. toute
fonction de {St , 0 t T }, en particulier de ST , en particulier (ST K)+
ou (K St )+ ) est simulable, i.e. sil existe une stratgie admissible dont la
valeur linstant T est gale (ST K)+ (resp.(K ST )+ ).
La notion de stratgie admissible sera prcise cidessous, dans les deux
modles discret et continu. Il sagit dun faon de faire fructifier une certaine
richesse initiale, les dcisions de modification de la rpartition du portefeuille
entre la caisse dpargne et le(s) support(s) risqu(s) se faisant sur la base
des informations passes, la stratgie tant autofinance, cest dire sans
apport ni retrait dargent. Le juste prix du call (resp. put) europen sera
alors la valeur initiale dune stratgie admissible de valeur finale (ST K)+
(resp.(K ST )+ ). Une telle stratgie ralise la couverture de loption, on
lappelle stratgie de rplication. Elle permet au vendeur de loption de se
protger (se couvrir) et de ne pas perdre dargent (donc de ne pas non plus
en gagner), quelque soient les fluctuations du march.
9.2. OPTIONS EUROPENNES DANS LE MODLE DISCRET
9.2
9.2.1
275
Options europennes dans le modle discret

Le modle
On va considrer un modle en temps discret avec un seul actif risqu,

dont le cours linstant t sera not St , t = 0, 1, . . . , T ; et un actif sans risque
dont le cours linstant t sera not Rt .
On suppose quil existe r > 0 tel que
Rt+1 = Rt (1 + r),
On supposera pour simplifier que R0 = 1, donc
Rt = (1 + r)t , 0 t T.
On suppose que S0 est une constante, et quil existe des v.a. i.i.d. t ,
1 t T , prenant leurs valeurs dans lensemble {a, b}, avec 0 < a < b,
telles que
St+1 = St t+1 , t = 0, 1, . . . , T 1.
Notre espace de probabilit est (, F , IP), avec = {a, b}T , F = P(), et IP
est tel que sous IP les t , 1 t T sont i.i.d et IP(1 = a) > 0, IP(1 = b) > 0.
Nous dfinissons le prix actualis linstant t de lactif risqu comme la
quantit
St
Set =
, t = 0, 1, . . . , T.
Rt
9.2.2
Stratgie admissible
Une stratgie de gestion est une suite alatoire {(Xt , Yt ), t = 0, 1, . . . , T }

valeurs dans IR2 , telle que si
F1 = F0 = {, }
Ft = {1 , . . . , t }, t 1,
(Xt , Yt ) est Ft1 mesurable, pour tout 0 t T . On dit que la suite
{(Xt , Yt )} est prvisible.
La valeur du portefeuille linstant t est donn par :
Vt (X, Y ) = Xt Rt + Yt St ,
276
et sa valeur actualise est la quantit

Vt (X, Y )
= Xt + Yt Set .
Vet (X, Y ) =
Rt
La stratgie est dite autofinance (cest dire sans apport ni retrait dargent)
si
Xt Rt + Yt St = Xt+1 Rt + Yt+1 St
ou de faon quivalente
Vt+1 (X, Y ) Vt (X, Y ) = Xt+1 (Rt+1 Rt ) + Yt+1 (St+1 St )
ou encore
Xt + Yt Set = Xt+1 + Yt+1 Set .
i.e.
Vet+1 (X, Y ) Vet (X, Y ) = Yt+1 (Set+1 Set ).
Autrement dit, avec les notations St = St St1 , Set = Set Set1 , on a la

Proposition 9.2.1. Les conditions suivantes sont quivalentes :
(i) La stratgie {(Xt , Yt ); 0 t T } est autofinance.
(ii) Pour tout 1 t T ,
Vt (X, Y ) = V0 (X, Y ) +
t
X
(Xs Rs + Ys Ss ).
s=1
(iii) Pour tout 1 t T ,
On a en outre la
Vet (X, Y ) = Ve0 (X, Y ) +
t
X
s=1
Ys Ses
Proposition 9.2.2. Pour tout processus prvisible {Yt , 0 t T } et toute

valeur initiale V0 (dterministe !) du portefeuille, il existe un unique processus
prvisible {Xt , 0 t T } tel que la stratgie {(Xt , Yt ), 0 t T } soit
autofinance, et corresponde un portefeuille de valeur initiale V 0 .
277
Preuve La condition dautofinancement impose que, pour tout 0 t T ,

Vet (X, Y ) = Xt + Yt Set
= V0 +
t
X
s=1
Ys Ses ,
ce qui dfinit Xt . La prvisibilit est facile vrifier.

Dfinition 9.2.3. Une stratgie (X, Y ) est dite admissible si elle est autofinance et vrifie Vt (X, Y ) 0, 0 t T , i. e. si lagent qui utilise cette
stratgie reste solvable chaque instant.
Dfinition 9.2.4. Une stratgie darbitrage (X, Y ) est une stratgie admissible telle que V0 (X, Y ) = 0 et VT (X, Y ) 6 0, ou quivalemment V0 (X, Y ) = 0
et VeT (X, Y ) 6 0.
9.2.3
Martingales
Dfinition 9.2.5. Une suite {Mt , 0 t T } est adapte si Mt est Ft

mesurable, 0 t T ; est une martingale si elle est adapte et pour 1 t
T,
IE[Mt |Ft1 ] = Mt1 .
Proposition 9.2.6. Soit {Mt , 0 t T } une martingale, et {Yt , 0 t T }
une suite prvisible. Alors la suite {M (Y )t , 0 t T } dfinie par :
M (Y )0 = Y0 M0
M (Y )t = Y0 M0 +
1st
Ys Ms , t 1
est une martingale.

Preuve Il suffit de remarquer que
IE[Yt Mt |Ft1 ] = Yt IE[Mt |Ft1 ] = 0,
o lon a utilis successivement le caractre prvisible de Y , et la proprit
de martingale de M .
278
Corollaire 9.2.7. Thorme darrt Soit {Mt , 0 t T } une martingale, et

un temps darrt born par T , i. e. une v. a. valeurs dans {0, 1, 2, . . . , T }
telle que pour tout 0 t T , { = t} Ft . Alors
IEM = IEM0 .
Preuve Il suffit de remarquer que M = M (Y )T , si Y est dfini par
Yt = 1{ >t1} ,
0 t T,
et que pour toute martingale, IEMt est une constante indpendante de t.

Remarque 9.2.8. La notion de martingale, bien que centrale en thorie des
processus stochastiques, apparat seulement pour la seconde fois dans ce manuel (la premire apparition remonte lexercice 7.11.5). Comme on le voit
dans cet exercice, il y a en fait un lien trs fort entre la notion de processus
de Markov et celle de martingale. Construire la loi dun processus de Markov
revient rsoudre un problme de martingales, cest dire trouver une loi
de probabilit qui fasse dune classe importante de processus des martingales.
Cependant, lintrt de lintroduction des martingales, qui interviennent par
ailleurs trs naturellement dans la description de jeux assez simples, commence rellement lorsque lon veut dmontrer des rsultats difficiles, ce que
lon ne fait pas dans ce livre. Les martingales ont de nombreuses proprits
mathmatiques importantes, notamment on sait estimer leurs fluctuations.
Un rsultat simple et profond sur les martingales est le thorme darrt que
nous venons de voir. Au niveau relativement lmentaire auquel nous nous
plaons dans ce chapitre, lintervention des martingales est essentiellement
motive par le fait que le calcul de lesprance dune martingale un instant
t > 0 se ramne celui de quantits linstant 0, qui sont connues.
9.2.4
Le march est viable et complet
Thorme 9.2.9. Le march dfini cidessus est viable (i.e. il nexiste pas
de stratgie darbitrage) ssi a < 1 + r < b.
Preuve Il nest pas difficile de montrer que si 1 + r 6]a, b[, il existe une
stratgie darbitrage (exercice).
Rciproquement, si a < 1 + r < b, la probabilit IP sur (, F ) telle que
sous IP les t sont i.i.d tels que
IE (t ) = 1 + r.
279
(appele probabilit risque neutre) est quivalente IP (car IP (1 = a) > 0

et IP (1 = b) > 0). Mais, sous IP , {Set } est une martingale, donc daprs la
proposition 9.2.6, Ve (X, Y ) est une martingale pour toute stratgie (X, Y ).
Donc si V0 (X, Y ) = 0, IE VeT (X, Y ) = 0. La condition dadmissibilit impose
VeT (X, Y ) 0 p.s., donc VeT (X, Y ) 0.

Pour allger les notations, on posera c = 1 + r. Il est facile de vrifier que
lon a :
ca
bc
, IP (1 = b) =
IP (1 = a) =
ba
ba
Thorme 9.2.10. Si a < 1 + r < b, le march dfini cidessus est complet,

i.e. pour toute v.a. FT mesurable H 0, il existe une stratgie admissible
(X, Y ) telle que VT (X, Y ) = H. En outre pour tout 0 t < T ,
Vt (X, Y ) =
Rt
IE (H|Ft ).
RT
Preuve Sil existe une stratgie admissible telle que VT (X, Y ) = H, alors
daprs la proposition 9.2.1 (iii), pour tout 0 t < T ,
T
X
H
e
= Vt (X, Y ) +
Ys Ses .
RT
s=t+1
Par le mme calcul qu la Proposition 9.2.6, pour s t+1, IE (Ys Ses |Ft ) =
0, donc

H
e
Vt (X, Y ) = IE
|Ft ,
RT
soit encore
Vt (X, Y ) =
Rt
IE (H|Ft ).
RT
Notons en particulier que H 0 entrane alors Vt (X, Y ) 0, donc sil existe

une stratgie autofinance qui produit la suite {Vt (X, Y ); 0 t T } ci
dessus, elle est admissible. Au vu de la proposition 9.2.2, il reste montrer
quil existe une suite prvisible {Yt ; 0 t T } telle que
T
X
H
IE
Ys Ses =
R
T
s=1
H
RT
280
En prenant successivement IE (|Ft ) et IE (|Ft1 ) dans cette formule, puis

ladiffrence entre les deux expressions ainsi obtenues, on note que Yt doit
vrifier (rappelons que Set = Set1 t /c)

t
e t ) IE (H|F
e t1 ),
e
1 = IE (H|F
Yt St1
c
e := H/RT , soit
o H
Yt =
e t ) IE (H|F
e t1 ))
c(IE (H|F
.
Set1 (t c)
Il reste donc montrer que Yt est Ft1 mesurable (i.e. ne dpend pas de t !).
e t)
IE (H|F
t1
Notons
:= (1 , . . . , t1 ). Alors la v.a.
est une fonction du
Set1
couple ( t1 , t ).
Posons
e t)
IE (H|F
.
gt ( t1 , t ) := c
Set1
On a
Notons que
donc
gt ( t1 , t ) IE (gt ( t1 , t )|Ft1 )
.
Yt =
t c

ca
bc
IE gt ( t1 , t )|Ft1 = gt ( t1 , a)
+ gt ( t1 , b)
,
ba
ba
Yt =
bc
+ (gt ( t1 , t ) gt ( t1 , b)) ca
(gt ( t1 , t ) gt ( t1 , a)) ba
ba
,
t c
donc dans les deux cas t = a et t = b, on a :
gt ( t1 , b) gt ( t1 , a)
.
ba
Remarque 9.2.11. La dernire formule donne la fraction de la richesse
investir dans lactif risqu, chaque instant t, pour raliser une stratgie de
couverture. Notons la forme particulire du membre de droite, qui sapparente une drive approche. Dans le cas du modle continu du chapitre
suivant, on aura une drive, do la terminologie produit driv utilise
pour dsigner les options.
Yt =
9.2.5
281
Prix du call et du put
Nous allons maintenant prciser la formule pour Vt (X, Y ) dans les deux
cas du call et du put. Notons
p=
bc
= IP (1 = a),
ba
donc
1 p = IP (1 = b).
Dans le cas du call europen,
"
Vt (X, Y ) = c(T t) IE (St
T
Y
s=t+1
s K)+ |Ft .
Mais pour tout 0 k T t, avec la notation Cnk =

IP
T
Y
s = ak bT tk
s=t+1
Donc
Vt (X, Y ) = c
(T t)
T t
X
k=0
n!
,
k!(nk)!
= CTk t pk (1 p)T tk .
CTk t pk (1 p)T tk (St k K)+ ,
et dans le cas du put europen,

Vt (X, Y ) = c
(T t)
T t
X
k=0
9.2.6
CTk t pk(1p)
T tk
(K St k)+ .
La formule de BlackScholes
Nous allons maintenant tablir les formules du modle continu qui sera
prsent b la section 9.3, savoir la formule de BlackScholes, par passage
la limite sur le modle discret, avant de la robtenir plus loin directement
partir du modle continu.
On suppose maintenant que, T tant un rel positif arbitraire, t prend les
valeurs
1
[N T ]
0, , . . . ,
,
N
N
282
et que
[N t]
St = S 0
k=1
kN
St = S0 exp
avec
kN = log kN
[N t]
X
k=1
kN ,
r
.
N
On suppose que les kN prennent leus valeurs dans lensemble { N , N }.

Cela signifie, par rapport aux notations cidessus, que (les indices suprieurs
N ne sont pas des exposants !) :
cN = exp(r/N ),
aN = exp(r/N / N ),
bN = exp(r/N + / N ).
La formule pour le prix du call (resp. du put) devient donc, si ZtN :=

P[N t] N
k=1 k ,
IE
S0 exp(ZTN ) KerT
i
IE
KerT S0 exp(ZTN )
i
(resp.
).
Il reste trouver la loi limite de ZTN quand N sous IP . On a le
P[N t]
Thorme 9.2.12. Si ZtN := k=1 kN et pour chaque N les {kN , k 0}
sont i.i.d. valeurs dans { N , N }, avec IEkN = N , et N N quand
N , alors sous IP, quand N ,
ZtN t + Bt ,
t 0,
o {Bt , t 0} est un mouvement brownien, cf. la dfinition 9.3.1 cidessous.
283
Preuve On sait (cf. par exemple [6] page 180) que si une v.a.r. X admet un
moment dordre 3, pour tout r IR,
r3
r2
2
IE(exp(irX)) = 1 + irIE(X) IE(X ) i (IE(X 3 ) + (X, r)),
2
6
avec |(X, r)| 3IE(|X|3 ). Donc
IE(exp(irkN )) = 1 + irN
r2 2
+ O(N 3/2 ),
2N
donc
IE(exp(irZtN ))
r2 2
= 1 + irN
+ O(N 3/2 )
2N

r2 2 t
.
exp irt
2
[N t]
quand N . On reconnat la fonction caractristique au point r de la loi

normale N (t, 2 t), qui est la loi de t + Bt , puisque la loi de Bt est la loi
N (0, t).

Pour pouvoir appliquer ce thorme, il nous reste calculer lesprance
de kN sous IP . Cette dernire probabilit est caractrise par lidentit
IE exp(kN ) = 1,
soit, avec pa := IP (kN = N ),
exp( )pa + exp( )pb = 1,

N
N
do
pa =
et
e
e
pb =
1e
1
2
+ ( ).
2N
N
Il rsulte alors du thorme 9.2.12 que sous IP ,
IE kN =
ZtN
2
t + Bt .
2
284
On en dduit la formule limite pour le prix du call :

Z +

2
2
2T + T y
1/2
rT
S0 e
C0 = (2)
Ke
ey /2 dy,
+
et celle du put
P0 = (2)
1/2
KerT S0 e
2 T
2

+ T y
ey
2 /2
dy.
Ces formules se rcrivent comme suit en fonction de la fonction de rpartition

F de la loi normale centre rduite.
C0 = S0 F (d1 ) KerT F (d2 ),
P0 = KerT F (d2 ) S0 F (d1 ),
avec

S0
1
+
d1 = log
K
T

1
S0
d2 = log
+
K
T
T
r T
+
,
r T
T
Notons que lon retrouve bien la parit callput, en remarquant que F (di ) +
F (di ) = 1, i = 1, 2.
9.3
Le modle et la formule de BlackScholes
On va maintenant considrer un modle o le cours du sousjacent St

varie en temps continu, t IR+ , et le cours St prend ses valeurs lui aussi
dans IR+ .
9.3.1
Introduction au calcul stochastique
Toutes les v.a. et les processus qui suivent seront dfinis sur un espace de
probabilit (, F , IP).
Le modle de BlackScholes stipule que
St = S0 exp(t + Bt ),
9.3. LE MODLE ET LA FORMULE DE BLACKSCHOLES
285
ce qui daprs la formule dIt du Thorme 9.3.4 cidessous rsulte de

dSt = St dt + St dBt ,
avec = 2 /2, o IR est le coefficient de drive et IR est appele
la volatilit. {Bt , t 0} est un mouvement brownien (standard).
Dfinition 9.3.1. Un processus stochastique {Bt , t 0} est appel mouvement brownien si ses trajectoires sont continues, B0 = 0 et
(i) pour tout n IN, 0 = t0 < t1 < < tn , la suite Bt1 , Bt2 Bt1 , . . . , Btn
Btn1 est une suite de v.a. indpendantes ;
(ii) pour tout 0 s < t, la loi de Bt Bs est la loi N (0, t s).

St
On en dduit que le processus {log
, t 0} est accroissements
S0
indpendants (i.e. possde lui aussi la proprit (i) de la dfinition), et que
St
est la loi N ((t s), 2 (t s)). Le processus
pour 0 s < t, la loi de log
Ss
{St } est appel mouvement brownien gomtrique.
Une proprit fondamentale du mouvement brownien est donne par la
Proposition 9.3.2. Soit t > 0, et 0 = tn0 < tn1 < < tnn = t une suite de
subdivisions de lintervalle [0, t] telle que sup(tnk tnk1 ) , quand n 0.
kn
Alors
n
X
k=1
(Btnk Btnk1 )2 t,
en moyenne quadratique , quand n .

Preuve On a
IE
n
X
k=1
Or
Btnk Btnk1
n
X
Var
(Btnk Btnk1 )2
k=1
n
X
2
= t.
h
V ar (Btnk Btnk1 )
k=1
n
X
=2
k=1
(tnk tnk1 )2
2t sup(tnk tnk1 )
kn
0,
286
quand n .
Ce rsultat indique que les trajectoires du mouvement brownien sont trs

irrgulires. Si elles taient drivables (avec une drive intgrable), la limite
cidessus ne serait pas t mais 0 (exercice). Malgr cela, on va dfinir une
intgrale stochastique du type
Z
Z
s dBs , t 0,
0
t
dBs
dBs
ds, parce que la drive
nexiste
ds
ds
0
pas). On distinguera deux types dintgrale stochastique
(que lon ne peut pas crire
1. Lintgrale de Wiener, dans le cas o lintgrand est dterministe ;

2. Lintgrale dIt, dans le cas o lintgrand est un processus stochastique.
Commenons par construire lintgrale de Wiener. On consid une fonction {f (s); 0 s T } dterministe, telle que
Z
T
0
f 2 (s)ds < .
On dfinit alors lintgrale de Wiener

Z
t
0
f (s)dBs , pour 0 t T.
Supposons tout dabord que f est en escalier, cest dire

f (s) =
n
X
fk 1]tk tk+1 ]
k=1
avec 0 t0 < t1 < . . . < tn T . Alors une dfinition naturelle de lintgrale

de Wiener est
Z t
n
X
f (s)dBs =
fk (Bttk+1 Bttk )
0
k=1
287
On dduit aisment des proprits du mouvement brownien que :

Z t
f (s)dBs = 0
IE
0
2
n
" Z
2 #

X
t

fk Bttk+1 Bttk
= IE
IE
f (s)dBs

0
=
k=1
n
X
fk2 (t
k=1
Z t
2
tk+1 t tk )
f (s)ds.
La formule disomtrie
IE
" Z
f (s)dBs
0
2 #
f 2 (s)ds
0
permet dtendre la dfinition de lintgrale de Wiener, des fonctions en escalier toutes les fonctions de carr intgrable. On vrifie aisment que le
processus
Z
t
f (s)dBs , 0 t T }
est un processus gaussien, accroissements indpendants, de moyenne nulle,

et quil vrifie
" Z
2 # Z t
t
IE
f (s)dBs
=
f 2 (s)ds, 0 t T.
0
Nous allons maintenant prsenter la construction de lintgrale dIt. Pour

cela, il nous faut introduire la filtration du mouvement brownien :
4
Ft = FtB = {Bs ; 0 s t} N ,
i.e. Ft est la plus petite tribu qui rend mesurables toutes les v.a. Bs , pour
0 s t, et qui contient en outre les ensembles de IPmesure nulle de la
tribu F .
Notons M 2 (0, T ) le sousespace de Hilbert de
L2 ( [0, T ], F B([0, T ]), dIP dt)
288
des classes dquivalence des processus {t (), , 0 t T } de carr

intgrable, qui sont tels que pour tout 0 t T , la v.a. t est Ft mesurable.
On dit quun tel processus {t } est adapt.
La construction que nous avons faite de lintgrale de Wiener stend
lintgrale dIt comme suit. On considre tout dabord des processus de la
forme
n
X
s () =
k ()1]tk ,tk+1 ] (s),
k=1
o k est suppose Ftk mesurable et de carr intgrable, 1 k n. Pour un

tel ,
Z t
n
X

4
s dBs =
k Bttk+1 Bttk .
0
k=1
On va utiliser de faon rpte le fait suivant qui rsulte de la proprit (i)

du mouvement brownien et de la dfinition de Ft (exercice) : 0 s < t, Fs
et Bt Bs sont indpendants. Alors
IE
s dBs =
0
n
X
k=1
IEk IE(Bttk+1 Bttk )
=0
et
IE
" Z
s dBs
0
2 #
X
k
+2
h
2 i
IE 2k Bttk+1 Bttk
X
`<k
X
k
= IE

IE ` Btt`+1 Btt` k Bttk+1 Bttk
IE(2k )(t tk+1 t tk )

t
2s ds.
A nouveau, la proprit disomtrie que nous venons dtablir permet dtendre lintgrale dIt tout M 2 [0, T ].
On a le
289
Thorme 9.3.3. Pour tout M 2 [0, T ], 0 t T , lintgrale dIt

vrifie
Z t
s dBs = 0,
IE
0
" Z
2 #
Z
t
IE
s dBs
= IE
En outre le processus {
0 < s < t,
Rt
0
IE
2s ds.
s dBs , 0 t T } est une martingale, puisque si
Z
t
0
r dBr |Fs =
r dBr .
0
Nous admettrons que lon peut tendre lintgrale dIt des {t } adapts
qui vrifient seulement
Z
T
2t dt < p. s.
Cependant, pour un tel {t } on ne sait pas a priori si la v.a.
s dBs est
0
intgrable, et les trois formules du thorme 9.3.3 nont plus de raison dtre
vraies. On a cependant toujours lingalit (exercice)
" Z
2 #
Z t
t
IE
s dBs
IE
2s ds
0
Nous pouvons maintenant tablir la formule dIt :

Thorme 9.3.4. Si C 1,2 (IR+ IR), alors pour tout t > 0,
Z t
0
(t, Bt ) = (0, B0 ) +
s (s, Bs )ds
0
Z
Z t
1 t 00
0
(s, Bs )ds.
+
x (s, Bs )dBs +
2 0 xx
0
Remarque 9.3.5. Le terme 12 00xx est nouveau par rapport aux formule du
calcul diffrentiel usuel. Sa prsence est lie au caractre trs irrgulier des
trajectoires du mouvement brownien, plus prcisment au rsultat de la Proposition 9.3.2.
290
Preuve Pour simplifier, on va considrer seulement le cas dune fonction

Cb2 (IR) et on va montrer qualors
Z t
Z
1 t 00
0
(Bt ) = (0) +
(Bs )dBs +
(Bs )ds.
2 0
0
Posons tnk =
k
t, n IN, 0 k n. Alors
n
n
X

(Bt ) (0) =
(Btnk (Btnk1 )
k=1
=
+
n
X
k=1
n
X
1
2
(Btnk1 )(Btnk Btnk1 )
k=1
00
(nk )(Btnk Btnk1 )2
par la formule de Taylor lordre 2, avec nk appartenant lintervalle

[Btnk1 , Btnk ]. Il rsulte de la formule disomtrie de lintgrale dIt que

2
n

Z t
X 0
0

(Btnk1 )(Btnk Btnk1 )
IE (Bs )dBs

0
k=1
= IE
n Z tn
X
k
k=1
tn
k1
| (Bs ) (Btnk1 )|2 ds
0 par convergence domine.
On remarque ensuite que

n

X

00
00

(Btnk1 ) (nk ) (Btnk Btnk1 )2

k=1
n

X
00
00 n
n
(Btnk Btnk1 )2
sup (Btk1 ) (k )
k
k=1
en probabilit, quand n , puisque

n

X
00
00 n
n
(Btnk Btnk1 )2
sup (Btk1 ) (k ) 0, et
k
k=1
t.
291
Enfin une variante de largument de la preuve de la Proposition 9.3.2 permet

de montrer que
Z t
n
X
00
00
2
n
n
n
(Btk1 )(Btk Btk1 )
(Bs )ds,
0
k=1
quand n . Plus prcisment, on montre dune part que
!2
n
h
i
X
00
0,
(Btnk1 ) (Btnk Btnk1 )2 (tnk tnk1 )
IE
k=1
et dautre part que
n
X
00
(Btnk1 )(tnk
k=1
tnk1 )
00
(Bs )ds.
0
La formule dIt se gnralise comme suit.

On appelle processus dIt un processus {Xt , 0 t T } de la forme
Z t
Z t
s dBs ,
(9.1)
s ds +
Xt = x +
0
o x IR, et sont des processus adapts tels que

Z T
(|t | + |t |2 )dt < p.s.
0
On a alors le rsultat suivant, dont la preuve est analogue celle du Thorme

9.3.4 :
Thorme 9.3.6. Si {Xt , 0 t T } est un processus dIt de la forme
(9.1), et C 1,2 (IR+ IR), alors pour tout t > 0,
Z
s (s, Xs )ds
(t, Xt ) = (0, x) +
0
Z t
Z t
0
0
+
x (s, Xs )s ds +
x (s, Xs )s dBs
0
0
Z
1 t 00
+
(s, Xs )2s ds.
2 0 xx
292
On aura besoin de la formule dIt multidimensionnelle : on considre un

mouvement brownien {Bt , t 0} valeurs dans IRk (dont les coordonnes
sont k mouvements browniens rels mutuellement indpendants), t adapt
valeurs dans IRd , t adapt valeurs dans IRdk . Alors si x IRd , le processus
Z t
Z t
s dBs , 0 t T
s ds +
Xt = x +
0
est un processus dIt valeurs dans IRd .

Si maintenant C 1,2 ([0, T ] IRd ), on a la formule dIt :
Z t
Z t
0
0
(t, Xt ) = (0, x) +
s (s, Xs )ds +
< x (s, Xs ), s > ds
0
0
Z
Z t
1 t
00
0
T r[xx (s, Xs )s s ]ds
+
< x (s, Xs ), s dBs > +
2 0
0
9.3.2
quations diffrentielles stochastiques
Soit f, g : [0, T ] IR IR telles que

sup (|f (t, 0)| + |g(t, 0)|) <
0tT
et en outre il existe K tel que

|f (t, x) f (t, y)| + |g(t, x) g(t, y)| K|x y|, x, y IR, t [0, T ] (9.2)
La condition (9.2) est appele condition de Lipschitz. On a le
Thorme 9.3.7. Sous les conditions cidessus, en particulier (9.2), pour
tout x IR, lEDS
Z t
Z t
Xt = x +
f (s, Xs )ds +
g(s, Xs )dBs , 0 t T,
0
admet une unique solution X M 2 (0, T ).

Preuve Notons F lapplication de lespace M 2 (0, T ) dans luimme dfinie
par
Z t
Z t
F (X)t = x +
f (s, Xs )ds +
g(s, Xs )dBs , 0 t T.
0
293
Une solution de lEDS est un point fixe de F . Or pour que F admette un

unique point fixe, il suffit quelle soit une contraction stricte pour une norme
bien choisie sur M 2 (0, T ).
Appliquons la formule dIt au processus dIt F (X)t F (Y )t et la
fonction (t, x) = et |x|2 ( > 0 qui sera choisi plus loin). On obtient
Z T
T
2
e
|F (X)T F (Y )T | +
et |F (X)t F (Y )t |2 dt
0
Z T
et (F (X)t F (Y )t )(f (t, Xt ) f (t, Yt ))dt
=2
0
Z T
+2
et (F (X)t F (Y )t )(g(t, Xt ) g(t, Yt ))dBt
0
Z T
et |g(t, Xt ) g(t, Yt )|2 dt.
+
0
Nous allons prendre lesprance dans cette identit ; nous admettrons que lintgrale stochastique est intgrable et desprance nulle. Il vient, en utilisant
en outre la condition de Lipschitz :
Z T
T
2
e
IE|F (X)T F (Y )T | + IE
et |F (X)t F (Y )t |2 dt
0
Z T
= IE
et [2(F (X)t F (Y )t )(f (t, Xt ) f (t, Yt ))
0

+|g(t, Xt ) g(t, Yt )|2 dt
Z T

IE
et 2K|F (X)t F (Y )t | |Xt Yt | + K 2 |Xt Yt |2 dt.
0
Il rsulte de lingalit de CauchySchwartz que

Z T
2KIE
et |F (X)t F (Y )t | |Xt Yt |dt
0
Z T
Z T
t
2
2
IE
e |F (X)t F (Y )t | dt + K IE
et |Xt Yt |2 dt.
0
Donc
( 1)IE
e
0
|F (X)t F (Y )t | dt 2K IE
T
0
et |Xt Yt |2 dt
294
On choisit alors = 2K 2 + 2, do :
Z T
2
IE
e(2K +2)t |F (X)t F (Y )t |2 dt
0
9.3.3
2K 2
IE
2K 2 + 1
e(2K
0
2 +2)t
|Xt Yt |2 dt.
Formule de FeynmanKac
On considre lquation aux drives partielles parabolique rtrograde :
u
1
2u
u
(t, x) + f (x) (t, x) + g 2 (x) 2 (t, x) = c(x)u(t, x),
(9.3)
t
x
2
x
0 t T, x IR;
u(T, x) = h(x), x IR.
On suppose que f , g satisfont la condition (9.2), que c et sont continues et

bornes sur IR. Pour chaque 0 < t < T , x IR, on note {Xst,x , t s T }
la solution de lEDS :
Z s
Z s
t,x
t,x
Xs = x +
f (Xr )dr +
g(Xrt,x )dBr , t s T.
t
On a alors le
Thorme 9.3.8. Supposons que u Cb1,2 ((0, T ) IR) est solution de lEDP
(9.3). Alors u est donn par la formule de FeynmanKac :
Z T

t,x
t,x
u(t, x) = IE h(XT ) exp
c(Xs )ds
t
Preuve
On applique la formule dIt au processus (Xst,x , Ys ), avec Ys =
Z s
c(Xrt,x )dr, et la fonction (s, x, y) = u(s, x) exp(y). Il vient
u(T, XTt,x ) exp
Z T

t,x
c(Xs )ds = u(t, x)

t
Z s

Z T
u
t,x
(s, Xst,x )dBs
+
exp
c(Xr )dr g Xst,x
x
t
t
Z T
u
+
(
+ Lu cu)(s, Xst,x ) exp(Ys )ds,
s
t
u
1 2 2u
o Lu(s, x) = f (x) (s, x) + g (x) 2 (s, x). Il reste prendre lesprance,
x
2
x
et exploiter le fait que u est solution de (9.3) pour conclure.
9.3.4
295
LEDP de BlackScholes
On va prsenter une premire faon de rsoudre le problme du pricing et

de la couverture dune option europenne, en passant par la drivation dune
EDP.
On sintresse une option europenne, qui rapporte son dtenteur
H = h(S(T )) lchance T . Encore une fois nous pensons aux deux cas
h(x) = (x K)+ et h(x) = (K x)+ .
Le prix de cette option linstant t est Et , 0 t T . Bien sr on a
ET = h(S(T )). On va supposer - on le dmontrera cidessous la section
9.3.9 - quil existe une application
u : [0, T ] IR+ IR+
telle que pour tout 0 t T ,
Et = u(t, St ).
Nous allons en outre supposer - l encore on peut le dmontrer, mais cest
un petit peu plus difficile - que
u C 1,2 ((0, T ) IR+ ),
si bien que lon peut appliquer la formule dIt.
Notons que lon a
Et = u(t, S0 exp(t + Bt )),
donc une application de la formule dIt du thorme 9.3.4 nous donne

u
2 2 2 u
u
(t, St ) + St (t, St ) + St 2 (t, St ) dt
dEt =
t
x
2
x
u
+ St (t, St )dBt
x
Labsence dopportunit darbitrage nous impose que sil existe une stratgie
admissible {(Xt , Yt ), 0 t T } telle que la richesse associe linstant final
soit
VT (X, Y ) = h(ST ),
alors ncessairement
Vt (X, Y ) = Et , 0 t T.
296
Par ailleurs,
Vt (X, Y ) = Xt Rt + Yt St ,
et la condition dautofinancement scrit en temps continu
dVt (X, Y ) = Xt dRt + Yt dSt .
Mais
dRt = rRt dt
et en utilisant une fois de plus la formule dIt, on obtient
dSt = St dt + St dBt .
On dduit des dernires identits une seconde formule pour la diffrentielle
de Et , savoir
dEt = (rXt Rt + Yt St ) dt + Yt St dBt
On va maintenant utiliser un rsultat bien connu des aficionados du calcul
stochastique, savoir que lorsque deux processus dIt sont identiques, on a
ncessairement identit des coefficients de dBt , et identit des coefficients de
dt.
Do dune part :
u
Yt St = St (t, St ),
x
soit encore
u
(t, St )
Yt =
x
(on vient didentifier la stratgie de couverture, sur laquelle nous reviendrons
cidessous), et en outre
u
u
(t, St ) + St (t, St )
t
x
2
2
u
+ St2 2 (t, St )
2
u
rXt Rt + Yt St =
Mais on sait dj que

Yt =
u
(t, St ),
x
do lon tire, grce

Xt Rt + Yt St = u(t, St ),
u
Xt = Rt1 (u(t, St ) St (t, St )).
x
297
Donc la relation cidessus devient
u
2 2 u
u
(t, St ) + rSt (t, St ) + St2 2 (t, St ) = ru(t, St )
t
x
2 x
u(T, ST ) = h(ST )
Une C.N.S. pour que ces relations soient satisfaites p.s. est que u soit solution
de lEDP parabolique
u
2 x2 2 u
u
(t, x) + rx (t, x) +
(t, x) = ru(t, x),
(9.4)
t
x
2 x2
0 < t < T, x IR+ ;

u(T, x) = h(x), x IR+ .
9.3.5
La formule de BlackScholes (2)
Rappelons que
St = S 0 +
Ss ds +
0
Posons
Bt := Bt +
Alors
St = S 0 + r
Ss dBs .
0
r
t.
Ss ds +
0
t
0
Ss dBs .
Soit maintenant IP une probabilit sur (, F ) telle que sous IP , {Bt , t 0}

soit un mouvement brownien. Non seulement une telle probabilit existe, mais
on verra cidessous quelle est quivalente la probabilit IP (sous laquelle
cest {Bt } qui est un brownien).
Notons que
d(Rt1 St ) = Rt1 St dBt ,
donc le prix actualis St = Rt1 St est une martingale sous IP , qui a nouveau
sinterprte comme la probabilit risque neutre.
Il rsulte alors de la formule de FeynmanKac (thorme 9.3.8) et de
lquation (9.4) que

u(t, x) = IE er(T t) h(ST )|St = x ,
298
soit
et en particulier

Et = u(t, St ) = IE er(T t) h(ST )|St ,

E0 = u(0, S0 ) = IE erT h(ST ) .
Sachant que sous IP , la loi de log(ST /S0 ) est la loi N ((r 2 )T, 2 T ), on
en dduit en particulier les formules pour C0 et P0 que lon avait obtenues
une premire fois la section 9.2.6.
9.3.6
Gnralisation du modle de BlackScholes
Dans le cas du call, on remarque que h0 (x) 0, et on sattend ce que
u
(t, x) 0 : toutes choses gales par ailleurs, si le cours du sousjacent
x
monte, le prix de loption monte ; donc on sattend ce que Yt 0. Notons
que ces ingalits sont renverses dans le cas du put !
Par contre rien nindique si la somme dargent Xt mise sur lactif non
risqu est positive ou ngative (i.e. sil sagit dun dpt ou dun prt), et
lhypothse que le taux dintrt est le mme pour les deux cas est tout fait
irraliste.
Supposons donc que les dpts bnficient dun taux r + , alors que les
prts se font aux taux r . En posant
+
Rt+ = er t , Rt = er t ,
on a, dans le cas dune stratgie autofinance, si Xt+ = max(0, Xt ), Xt =
max(0, Xt ),
dVt = (Xt+ r + Rt+ Xt r Rt )dt + Yt dSt .
Si lon reprend la dmarche qui a conduit la section 9.3.4 lEDP de
BlackScholes, on voit que lon obtient nouveau
Yt =
u
(t, St ),
x
et cette fois
u
(t, St ))+
x
u
Xt Rt = (u(t, St ) St (t, St )) ,
x
Xt+ Rt+ = (u(t, St ) St
299
do lon tire lEDP non linaire.
2 x2 2 u
u
u
(t, x) +
= H(r + , r , x, u(t, x), (t, x));
2
t
2 x
x
u(T, x) = h(x),
avec H(a, b, x, y, p) = a(y xp)+ b(y rp) .
9.3.7
La formule de BlackScholes (3)
Nous allons nous poser une question un peu plus gnrale que la question
prcdente.
Etant donne une option qui rapporte son dtenteur la somme H( 0)
linstant T , quel est le juste prix de cette option ? On suppose que la v.a.
H est FT mesurable, o nouveau, aux ensembles de mesure nulle prs,
Ft = {Bs , 0 s t} = {Ss ; 0 s t}.
Un exemple particulier est le cas o
H = h(ST ),
notamment pour le call et le put europens, mais on verra plus loin dautres
types doptions, qui ne sont pas de cette forme particulire.
Nous allons nous laisser guider par ce que nous avons fait dans le cas du
modle discret, et dans les sections prcdentes.
On pose la question sous la forme suivante : trouver V0 et une stratgie
autofinance {(Xt , Yt ); 0 t T }, tels que
VT (X, Y ) = V0 +
= H.
Xt dRt +
0
Yt dSt
0
A nouveau Rt = ert , et on dfinit la valeur actualise du portefeuille linstant t :

Vet (X, Y ) = Rt1 Vt (X, Y )
= Xt + Yet ,
300
4
en posant Yet = Rt1 Yt St ; cest la valeur actualise de la partie du portefeuille
investie sur lactif risqu. Alors
Yet = Vet Xt .
En outre
dVet (X, Y ) = r Vet dt + Rt1 dVt

= r Vet dt + rXt dt + Rt1 Yt dSt
= r Yet dt + Rt1 Yt dSt .
Mais
dSt = St dt + St dBt ,
donc
dVet = ( r)Yet dt + Yet dBt .
Posons finalement
Bt =
Alors
r
t + Bt .
dVet = Yet dBt ,
soit
Vet = erT H
Yes dBs
Soit maintenant IP la probabilit sur (, FT ) telle que

{Bt ; 0 t T }
soit un IP mouvement brownien. On suppose que
IE (H 2 ) < .
Sous cette hypothse, on montre aisment que
Z T
IE
|Yet |2 dt < ,
0
donc en particulier
Vet = erT IE (H|Ft ),
301
soit
Vt = er(T t) IE (H|Ft ),
ce qui redonne encore une fois la formule de BlackScholes pour les prix du
call et du put europen.
Quen estil de la stratgie de couverture ? Sous IP , {Vet } est une mar
tingale de carr intgrable adapte la filtration FtB . Un thorme gnral
dIt nous dit alors que
Vet = V0 +
t
0
Zs dBs , 0 t T,
avec un unique Z M 2 (0, T ). On retrouve

Yt =
R t Zt
.
St
Dans le cas o H = h(ST ), on a lEDP de BlackScholes et Yt se calcule en

fonction de la drive de sa solution. Dans des cas plus gnraux, le calcul
peut se faire (mais de faon pas trs explicite !) avec dautres outils de calcul
stochastique, par exemple le calcul de Malliavin.
Terminons cette section par deux exemples classiques doptions qui ne
sont pas de la forme H = h(ST ).
Exemple 3.1 Option barrire dachat
Cest une option qui rapporte lchance :
H = 1{ sup S < } (ST K)+ ,
t
0tT
autrement dit on a le mme gain quavec une option dachat europenne,

mais on na le droit dexercer cette option que si le cours du sousjacent na
jamais atteint la barrire .
Exemple 3.2 Option dachat asiatique
Il sagit dune option qui rapporte son dtenteur lchance
H=
1
T
T
0
St dt K
302
9.3.8
Le thorme de Girsanov
La probabilit IP peut paratre mystrieuse. En fait elle apparat naturellement dans le thorme de Girsanov, dont nous allons en fait donner une
version simplifie de Cameron et Martin.
Etablissons tout dabord le
Lemme 9.3.9. Un processus continu {Bt , 0 t T } est un mouvement
brownien ssi pour tout n, tous 0 = t0 < t1 < < tn T , u1 , , un IR,
" n
#
#
" n
X

1X 2
IE exp
uk Btk Btk1 = exp
u (tk tk1 )
2 1 k
1
Preuve La CN rsulte de ce que si {Bt } est un mouvement brownien, la loi
du v.a. (Bt1 , Bt2 Bt1 , , Btn Btn1 ) est la loi N (0, n ), avec n matrice
diagonale n n, dont le kime terme diagonal vaut tk tk1 .
La CS rsulte de ce que si la formule est vraie, la loi de (Bt1 , Bt2
Bt1 , , Btn Btn1 ) est la loi N (0, n ), pour tous n, 0 < t1 < < tn1
tn , donc (i) et (ii) de la Dfinition 9.3.1 sont satisfaits.

On a alors le
Thorme 9.3.10. Soit {Bt , 0 t T } un mouvement brownien dfini sur
lespace de probabilit (, F , IP).
Si f L2 (0, T ),
Z t
Bt = B t
f (s)ds, 0 t T ;
0
Z t

Z
1 t 2
Zt = exp
f (s)ds
f (s)dBs
2 0
0
et IP est la probabilit sur (, FT ) telle que
dIP
= ZT ,
dIP
alors {Bt , 0 t T } est un mouvement brownien sous IP .
Preuve Au vu du lemme prcdent, il suffit de montrer que pour tout

g L2 (0, T ),

Z T

Z T
1
2
IE exp
g(t)dBt
g (t)dt
= exp
2 0
0
303
Mais
IE
exp
Z
T
0
g(t)dBt
Z

1
= IE exp
[f (t) + g(t)]dBt
2
0
Z T

1
= exp
g 2 (t)dt
2 0
9.3.9
T
2
[2f (t)g(t) + f (t)]dt

0
Proprit de Markov et EDP
Pour obtenir lEDP de Black-Scholes la section 9.3.4, nous avons admis

qu chaque instant t, le prix Et de loption est une fonction du cours du
sousjacent St , i.e. que Et scrit
Et = u(t, St )
On a vu la section 9.3.7 que
Et =
Rt
IE (H|Ft ).
RT
Pourquoi et quelle condition cette esprance conditionnelle estelle une

fonction de St ?
Dfinition 9.3.11. Soit {Xt , t 0} un processus stochastique. {Xt } est
appel processus de Markov si pour tout 0 < s < t, toute f C b (IR),
IE[f (Xt )|FsX ] = IE[f (Xt )|Xs ],
4
o FsX = {Xr ; 0 r s} ( des ensembles de mesure nulle prs).

Remarquons que ( des ensembles de mesure nulle prs) Ft = {Ss ; 0
s t}. On a la
Proposition 9.3.12. Sous IP , {St ; 0 t T } est un processus de Markov.
Preuve Si 0 < s < t,

2
St = Ss exp (r )(t s) + (Bt Bs )

2
304
Donc

Z
1
2
2
IE [f (St )|Fs ] =
f Ss exp (r )(t s) + x t s ex /2 dx
2
2 IR
= IE [f (St )|Ss ],
puisque Ss et Fs mesurable, et Bt Bs est indpendante de Fs sous IP .

On peut donc en fait utiliser la formule de FeynmanKac lenvers, i.e.
dduire lEDP satisfaite par la fonction u(t, x) de la formule

Et = IE er(T t) h(ST )|St .
Nous pouvons maintenant nous demander si dans les cas de loption barrire
et de loption asiatique, le calcul du prix de loption peut encore se ramener
la rsolution dune EDP.
EDP associe loption barrire
Reprenons loption barrire dachat de lexemple 3.1. Posons
St = St ,
o = inf{t T ; St }, et
0, si x K;
h(x) = x K, si K x < ;
0, si x .
Alors, dans le cas de loption barrire dachat, la v.a. H se rcrit

H = h(St ).
Par un argument analogue celui de la proposition 9.3.12, on montre que

{St , 0 t T } est un processus de Markov. Sous la probabilit risque
1
neutre, on a la fois que Rt1 St et Rt
St sont des martingales, et les
arguments de la section 9.3.7 conduisent nouveau la formule

Rt
h(ST )|St
Et = IE
RT
305
Notons que pour t , Et = 0. Soit, si Et = u(t, St ), u(t, ) = 0. LEDP

devient
u
2 x2 2 u
u
(t, x) + rx (t, x) +
(t, x) = ru(t, x), 0 < t < T, 0 < x < ;
t
x
2 x2
u(t, ) = 0; 0 < t < T ; u(T, x) = h(x), 0 < x < .
EDP associe loption asiatique

Z t
Posons Ut =
Ss ds. Alors, dans le cas de loption asiatique,
0
H = h(UT ),
avec cette fois h(x) = (T 1 x K)+ . Il nest pas trop difficile de vrifier que
{Ut , 0 t T } nest pas un processus de Markov ; par contre {(St , Ut ); 0
t T } est un processus de Markov, do

Rt
H|Ft
Et = IE
RT

Rt
H|St , Ut
= IE
RT
= u(t, St , Ut ),
o {u(t, x, y); 0 t T, x > 0, y > 0} est solution de lEDP
2 2 2

x u
u
u
u
+ rx
+x
ru (t, x, y) = 0,
t (t, x, y) +
2 x2
x
y
0 t T, x, y > 0;
u(T, x, y) = h(y),
x > 0, y > 0.
9.3.10
Option portant sur plusieurs sousjacent
Jusquici nous nous sommes contents dtudier des options portant sur
un seul actif risqu. Mme si cest le cas dun grand nombre doptions, il en
existe qui portent sur plusieurs actifs risqus la fois. Un premier exemple
typique de ce second type est le cas des options spread, qui portent sur
lcart entre les prix de deux actifs, i.e. H = (ST1 ST2 )+ , o S 1 et S 2 sont les
prix de deux actifs risqus. Un second exemple est constitu par les options
306
sur portefeuille appeles aussi options panier (basket option en Anglais). Les
options sur indice (type CAC 40) en sont un exemple. Une option de vente
(put) sur portefeuille est un moyen dassurer son portefeuille. tant donn
un portefeuille composPde ai actions de prix Sti linstant t, i = 1, . . . , d,
un put qui paye (K ni=1 ai STi )+ garantit que le portefeuille pourra tre
revendu au moins au prix K lchance.
Suposons que, outre lactif non risqu, qui cote Rt = ert linstant t le
march est compos de d actifs risqus, dont les prix Sti , i = 1, . . . , d, fluctuent
suivant le modle
dSti
i Sti dt
Sti
d
X
j=1
ij dBtj , 1 i d, t 0,
o Bt1 , . . . , Btd sont d mouvements brownien mutuellement indpendants. Une

application de la formule dIt permet de vrifier que cette EDS multidimensionnelle admet comme unique solution
#
"
d
X
Sti = S0i exp i t +
ij Btj , 1 i d, t 0,
j=1
Pd
1
avec i = i 2 j=1 ij2 .

La question naturelle se poser, pour gnraliser la thorie de Black
Scholes, est celle de lexistence dune probabilit risque neutre IP quivalente
la probabilit IP, sous laquelle le processus des prix actualiss ert St =
ert (St1 , . . . , Std ), t 0} soit une martingale vectorielle, ce qui sera une consquence de lexistence dun IP mouvement brownien ddimensionel {Bt , t
0} tel que
d
X
dSti = rSti dt + Sti
ij dBt,j , 1 i d, t 0.
j=1
Notons r le vecteur de IR dont toutes les coordonnes sont gales r, et

1
11 . . 1d
.
, = . . . . .
=
.
. . . .
d
d1 . . dd
La seconde criture des Sti est quivalente
(r )t = (Bt Bt ), t 0.
307
On est donc conduit formuler lhypothse cruciale suivante :

est inversible.
(9.5)
Sous cette hypothse, on dduit de la relation prcdente entre Bt et B la

formule
Bt = 1 (r )t + Bt , t 0.
(9.6)
Il rsulte dune gnralisation naturelle (exercice) du thorme de Girsanov
9.3.10 que si

1 1
dIP
1
2
= exp < ( r), BT > k ( r)k T ,
dIP
2
alors {Bt , 0 t T } et un mouvement brownien ddimensionnel (i.e.

{Bt1 }, . . . , {Btd } sont des mouvements brownien scalaires mutuellement indpendants) sous IP .
En reprenant les arguments de la section 9.3.7, on a que le prix Et de
loption linstant t est donn par la formule (formellement la mme que
dans le cas unidimensionnel)
Et = er(T t) IE (H|Ft ),
do en particulier
E0 = erT IE H.
(9.7)
Si H = h(ST ), on a donc E0 = erT IE h(ST ). Notons pour t 0 log St le

vecteur (log St1 , . . . , log Std ). Sous IP , la loi de log(ST ) est la loi de Gauss
vectorielle N (log(S0 ) + (r 12 s2 )T, T ), o s2 = (s21 , . . . , s2d ), avec s2i =
Pd
2
j=1 ij .
Le processus {St , t 0} valeurs dans IRd est un processus de Markov,
donc dans le cas o H = h(ST ), il existe une fonction u : [0, T ] IRd IR+
telle que
Et = u(t, St ), 0 t T.
On montre par un raisonnement analogue celui de la section 9.3.4 que u
est solution de lEDP parabolique dans IRd+ , avec a = ,
d
d
X
2u
u
1X
u (t, x) + r
xi xj aij
xi
(t, x) +
(t, x) = ru(t, x),
t
xi
2 i,j=1
xi xj
i=1
0 t T, x IRd+ ;
u(T, x) = h(x), x IRd+ .
308
En outre, le portefeuille de couverture est dtermin par la relation

Yti =
u
(t, St ), 1 i d, 0 t T,
xi
au sens o Yti est le nombre dactifs numro i que doit contenir ce portefeuille. La richesse associ est donc
Vt (X, Y ) = Xt Rt +
d
X
i=1
9.3.11
Yti Sti , 0 t T.
Viabilit et Compltude
Les notions de march viable et complet se dfinissent comme dans le cas

du modle discret, au petit point prs quun march complet est maintenant
un march tel que toute v.a. H 0 FT mesurable et de carr intgrable,
on peut associer une richesse initiale V0 et une stratgie admissible (X, Y )
telles que
Z T
d
X
H = V0 +
Xt dRt +
Yti dSti .
0
i=1
La restriction H de carr intgrable est inutile dans le cas du modle discret,

puisque dans ce modle est fini, donc toute v.a. est borne.
On a le rsultat fondamental
Thorme 9.3.13. Le march est viable ssi il existe au moins une probabilit risque neutre IP quivalente IP. Le march est complet sil existe
exactement une probabilit risque neutre IP quivalente IP.
Le fait que lexistence dune probabilit risque neutre entrane le caractre
viable du march se dmontre comme dans le cas du modle discret. Nous
admettrons les autres affirmations de ce thorme.
9.3.12
Remarques sur le calcul effectif
Nous avons associ toutes les options rencontres jusquici une EDP (au
prix cependant dun doublement de la dimension de la variable spatiale pour
loption asiatique, ce qui alourdit singulirement la rsolution numrique).
Peuton donner une formule probabiliste pour le prix de loption dans le cas
309
du modle considr la section 9.3.6 ? La rponse est oui, en faisant appel

la thorie des EDS rtrogrades ; mais la formule en question nest pas du
tout explicite.
Discutons maintenant du calcul effectif de la prime.
Formules explicites
Une premire approche, qui nest utilisable que dans les cas les plus
simples (qui incluent cependant presque tous les cas examins jusquici)
consiste utiliser la connaissance de la loi des v.a. considres, cest dire
que dans le cas du call europen on utilise la formule
C0 = S0 F (d1 ) KerT F (d2 )
(cf. fin de la section 9.2.6), avec F fonction de rpartition de la loi N (0, 1),
laquelle est accessible avec une bonne prcision dans Matlab, ou dont le calcul
numrique peut tre programm. En ce qui concerne loption barrire, on peut
utiliser la connaissance de la loi jointe du vecteur alatoire ( sup St , ST ),
0tT
et en ce qui concerne loption asiatique des mathmaticiens ont rcemment

progress pour expliciter la loi de la variable alatoire UT .
Mthode de Monte Carlo
Une seconde mthode, dont le domaine dapplication est beaucoup plus
vaste, est la mthode de Monte Carlo, qui a t prsente au chapitre 1.
Rappelons que pour rduire la variance (et donc acclrer la convergence) on
a intrt, dans la mesure o lon dispose dune formule de parit callput,
calculer le prix du put par Monte Carlo, plutt que directement celui du call.
Notons quune variante de la mthode de Monte Carlo consiste simuler
un arbre binomial (ventuellement avec un N - cf. section 9.2.6 - grand)
Rsolution numrique de lEDP
Une dernire mthode consiste rsoudre lEDP par une mthode numrique de type diffrences finies. Notons que cela suppose de discrtiser le temps
et lespace (et de borner lespace infini IR+ ). Ces mthodes numriques ont t
dveloppes par les spcialistes du calcul scientifique pour beaucoup dautres
applications. Leur principale limitation est la dimension de la variable spatiale, lorsque lon considre un modle avec un grand nombre dactifs risqus.
310
9.3.13
Volatilit historique - Volatilit implicite
Lutilisation des modles cidessus pour le calcul de la prime suppose la

connaissance de trs peu de paramtres (il est remarquable que le paramtre
dans le modle initial des fluctuations de St a disparu). Le taux dintrt
r peut tre considr comme connu.
Par contre la paramtre - la volatilit - nest pas donn directement. On
peut tenter de lestimer partir des donnes des fluctuations passes, cest
la volatilit historique.
Mais comme il existe un march des options, o les prix sont rgis par la
loi de loffre et de la demande, on peut inverser la formule de BlackScholes,
pour en dduire une valeur de , appele volatilit implicite. Il est noter
que linversion de la formule pour diffrentes options de mme chance T ,
mais correspondant des prix dexercice diffrents, donne des volatilits implicites diffrentes - effet smile. Ce fait contredit le modle de BlackScholes,
qui est trop simpliste pour traduire la complexit des marchs. Pourtant, sa
simplicit conduit des formules explicites et intuitives qui sont trs utilises
par les praticiens.
9.4
Options amricaines dans le modle discret
Contrairement aux options dites europennes, une option dite amricaine peut tre exerce tout instant entre la date de signature du contrat
(linstant 0) et lchance (linstant T ). Notons h(St ) ce que rapporte loption,
lorsquelle est exerce linstant t. Dans le cas dun call amricain, h(x) =
(x K)+ , dans le cas dun put amricain, h(x) = (K x)+ . On notera
Zt = h(St ), 0 t T , et At le prix de loption amricaine linstant
t, 0 t T . En particulier, A0 est la prime dont lacheteur de loption
amricaine doit sacquitter au moment de la signature du contrat (linstant
0).
On suppose nouveau que
Rt = (1 + r)t ,
0 t T,
et on dfinit les valeurs actualises

Zt =
Zt
,
(1 + r)t
At =
At
.
(1 + r)t
9.4. OPTIONS AMRICAINES
311
Cherchons prciser la valeur de At par rcurrence rtrograde. Tout

dabord, il est clair que
AT = Z T .
A linstant T 1, le dtenteur de loption a le choix entre lexercer immdiatement, ou bien la conserver pour esprer en tirer un meilleur profit linstant
T . Donc on a
1
IE (ZT |ST 1 ).
AT 1 = ZT 1
1+r
Par le mme raisonnement, on a pour tout 0 < t T ,
1
At1 = Zt1
IE (At |St1 ).
1+r
En terme des valeurs actualises, on obtient
(
AT = ZT
(9.8)
At1 = Zt1 IE (At |St1 ), 0 < t T.
On pose la
Dfinition 9.4.1. On appelle surmartingale (resp. sousmartingale) une

suite adapte
{Mt ; 0 t T } telle que pour 0 < t T ,
On a la
IE[Mt |Ft1 ] (resp. )Mt1 .
Proposition 9.4.2. La suite {At , 0 t T } est une IP surmartingale.

Cest la plus petite IP surmartingale qui majore la suite {Zt , 0 t T }.
Preuve La proprit de surmartingale, et le fait que la suite {At } majore
la suite {Zt } dcoulent immdiatement de la relation (9.8). Soit maintenant
{Mt } une autre IP surmartingale qui majore {Zt }. Alors MT ZT = AT ,
et si Mt At ,
Mt1 IE (Mt |Ft1 ) IE (At |Ft1 ),
et aussi Mt1 Zt1 , donc
Mt1 Zt1 IE (At |Ft1 ) = At1 .

Pour poursuivre notre tude des options amricaines, nous allons prciser
ce quest la plus petite surmartingale majorant une suite adapte donne.
312
9.4.1
Enveloppe de Snell
Commenons par la :
Dfinition 9.4.3. Une v.a. valeurs dans lensemble {0, 1, . . . , T } est
appele un temps darrt si pour tout 0 t T ,
{ = t} Ft .
Etant donne une suite alatoire adapte {Xt , 0 t T } et un temps
darrt, la suite arrte {Xt , 0 t T } est encore adapte. Ceci rsulte
de ce que est un temps darrt ssi { t} Ft pour tout 0 t T . On
a en outre le thorme darrt
Thorme 9.4.4. Si {Mt , 0 t T } est une martingale (resp. une surmartingale), alors {Mt , 0 t T } est aussi une martingale (resp. une
surmartingale).
Preuve Il suffit de remarquer (avec la notation de la proposition 9.2.6) que
Mt = M (Y )t , 0 t T,
si Yt = 1{t} . Puisque {t } = { t 1}c , la suite Y est prvisible, et le
rsultat pour les martingales est la proposition 9.2.6. Le mme raisonnement,
en exploitant la positivit de Y donne le rsultat pour les surmartingales.
Etant donne une suite adapte {Zt , 0 t T }, on veut tudier son
enveloppe de Snell, autrement dit la plus petite surmartingale qui la majore.
Celleci est la suite {Ut , 0 t T } dfinie par
(
UT = Z T ,
Ut = Zt IE(Ut+1 |Ft ), 0 t < T.
Notons que tant que Ut > Zt , Ut = IE(Ut+1 |Ft ). Cette remarque se formalise
en la
Proposition 9.4.5. La v.a. dfinie par
= inf{0 t T |Ut = Zt }
est un temps darrt, et la suite arrte {Ut , 0 t T } est une martingale.
313
Preuve Notons tout dabord que

{ = t} = {U0 > Z0 } {Ut1 > Zt1 } {Ut = Zt } Ft .
On pose nouveau Yt = 1{t} , Ut = U (Y )t .
U (Y )t+1 U (Y )t = 1{t+1} (Ut+1 Ut ),
et sur {t + 1 }, Ut = IE(Ut+1 |Ft ), donc IE(U (Y )t+1 U (Y )t |Ft ) = 0.
Notons Tt lensemble des temps darrt qui prennent leurs valeurs dans
lensemble {t, t + 1, . . . , T }.
Corollaire 9.4.6. On a
U0 = IE(Z |F0 ) = sup IE(Z |F0 ).
T0
Preuve Daprs la proposition 9.4.5, {U } est une martingale, donc

U0 = IE(UT |F0 )
= IE(Z |F0 ).
Si T0 , daprs le thorme 9.4.4, {U } est une surmartingale, donc
U0 IE(UN |F0 )
IE(Z |F0 ).

Le corollaire se gnralise en
Ut = sup IE(Z |Ft )
Tt
= IE(Zt |Ft ),
si t = inf{s t|Us = Zs }. On appelle temps darrt optimal un temps
darrt qui vrifie la proprite doptimalit du temps darrt tablie au
corollaire 9.4.6. Le thorme qui suit dit que ce est le plus petit des temps
darrt optimaux.
314
Thorme 9.4.7. Le temps darrt est optimal ssi les deux conditions
suivantes sont vrifies
(i)
(ii)
Z = U
{Ut , 0 t T } est une martingale.
Preuve (i)+(ii) implique U0 = IE(Z |F0 ), donc loptimalit de daprs le

corollaire 9.4.6.
Rciproquement, supposons optimal. Alors
U0 = IE(Z |F0 ) IE(U |F0 ),
et puisque {U } est un surmartingale, IE(U |F0 ) U0 , donc IE(U |F0 ) =
IE(Z |F0 ) = U0 , do comme U domineZ, U = Z , soit (i). Encore une fois
{U } est une surmartingale, donc
U0 IE(Ut |F0 ) IE(U |F0 ),
mais comme les deux termes extrmes concident, on a
IE(Ut |F0 ) = IE(U |F0 ) = IE(IE(U |Ft )|F0 ).
Comme dun autre cot Ut IE(U |Ft ), on a lgalit Ut = IE(U |Ft ),
soit (ii).
9.4.2
Dcomposition de Doob
On a la
Proposition 9.4.8. Toute surmartingale {Ut , 0 t T } scrit de faon
unique sous la forme
Ut = M t C t ,
o {Mt , 0 t T } est une martingale, et {Ct , 0 t T } est une suite

croissante, prvisible t.q. C0 = 0.
Preuve Ncessairement, M0 = U0 et C0 = 0. En outre
Ut+1 Ut = Mt+1 Mt Ct+1 + Ct ,
do en conditionnant par Ft ,
IE(Ut+1 |Ft ) Ut = Ct+1 + Ct ,
315
et
Mt+1 Mt = Ut+1 IE(Ut+1 |Ft ).

En outre
Proposition 9.4.9. Soit {Zt , 0 t T } une suite adapte, denvelope de
Snell Ut = Mt Ct . Alors le plus grand temps darrt optimal est donn par
max = inf{t T, Ct+1 6= 0}.
Preuve Le fait que max est un temps darrt rsulte de ce que {C } est
prvisible. De Ct = 0 pour t max , on dduit que
Umax = Mmax ,
donc {Umax } est une martingale. Daprs le thorme 9.4.7, il suffit pour
montrer que max est optimal, de montrer lgalit Umax = Zmax . Posons
Yt = 1{max =t} .
Umax =
=
=
T 1
X
t=0
T
1
X
t=0
T
1
X
Yt U t + Y T U T
Yt max(Zt , IE(Ut+1 |Ft )) + YT ZT
Yt Z t + Y T Z T
t=0
= Zmax ,
o on a utilis les faits suivants : IE(Ut+1 |Ft ) = Mt Ct+1 , et sur {Yt = 1},
Ct = 0 et Ct+1 > 0, soit IE(Ut+1 |Ft ) = Mt Ct+1 < Ut , do ncessairement
Ut = Z t .
Il reste montrer quil nexiste pas de temps darrt optimal tel que
max et IP( > max ) > 0. En effet on aurait
IE(U ) = IE(M ) IE(C ) = IE(U0 ) IE(C ) < IE(U0 ),
donc {U } nest pas une martingale.
316
9.4.3
Enveloppe de Snell et chanes de Markov
Prcisons maintenant la forme de lenveloppe de Snell dans une situation

markovienne. Soit {Xt , 0 t T } une chane de Markov homogne valeurs
dans un ensemble fini E, de matrice de transition P = {Pxy , x, y E}. On
suppose alors que pour 0 t T , Ft = {X0 , . . . , Xt }.
Proposition 9.4.10. Soit {Zt } une suite dfinie par Zt = (t, Xt ), avec
: {0, 1, . . . , T } E IR. Alors lenveloppe de Snell {Ut } de la suite {Zt }
est donne par la formule Ut = u(t, Xt ), o la fonction u est dfinie par
u(T, x) = (T, x),
x E;
X
Pxy u(t + 1, y),
u(t, x) = (t, x)
y
x E, 0 t < T.
En pratique, pour dterminer le temps darrt

= inf{t, Ut = Zt },
on calcule la solution u du systme rtrograde de la proposition 9.4.10, et on
arrte linstant = inf{t T, u(t, Xt ) = (t, Xt )}.
9.4.4
Retour aux options amricaines
Daprs la proposition 9.4.2, le prix actualis {At } de loption amricaine

est la IP envelope de Snell de la suite {Zt = (1 + r)t h(St ) = Rt1 h(St )}.
On sait (gnralisation du corollaire 9.4.6) que
At = sup IE (R1 h(S )|Ft ),
Tt
soit
At = Rt sup IE (R1 h(S )|Ft ).
Tt
t Ct , avec {M
t } une IP
Daprs la dcomposition de Doob, At = M
martingale et Ct croissant prvisible et nul en 0.
Puisque le march est complet, il existe une richesse initiale V0 et une
T , soit VT (X, Y ) =
stratgie autofinance {(Xt , Yt )} t.q. VT (X, Y ) = RT M
T , et comme on a deux IP martingales, 0 t T , Vt (X, Y ) = M

t , soit
M
At = Vt (X, Y ) Ct , et At = Vt (X, Y )Ct , o Ct = Rt Ct . Une date dexercice
317
optimale vrifie A = h(S ). Elle doit vrifier max = inf{t, Ct+1 6= 0},
car en exerant loption la date max , son propritaire se constitue le capital
Amax = Vmax (X, Y ), et grce la stratgie {(X, Y )}, son portefeuille vaut
strictement plus que loption aux instants max + 1, max + 2, . . . , N .
On vrifie galement que si lacheteur de loption exerce celleci un
instant non optimal, le vendeur ralise un profit strictement positif.
9.4.5
Options amricaines et options europennes
Proposition 9.4.11. Soit At le prix linstant t dune option amricaine

qui rapporte son dtenteur Zt si elle est exerce linstant t, et Et le
prix linstant t dune option europenne qui rapporte son dtenteur Z T
lchance. Alors At Et , 0 t T .
Si de plus Et Zt t, alors Et = At t.
Preuve La premire galit est vidente, et elle rsulte des proprits de
martingale (resp. surmartingale) de {Et } (resp. {At }) sous IP . Si Et Zt ,
{Et } est une IP martingale (donc aussi surmartingale) qui majore {Zt },
donc elle majore aussi {At }, daprs la proposition 9.4.2.
Corollaire 9.4.12. Dans le cas des call(s) europen et amricain de mme
chance T et de mme prix dexercice K, portant sur un mme unique actif
risqu de prix St linstant t, At = Et , 0 t T .
Preuve On a Zt = (St K)+ , et
Et = RT1 IE ((ST K)+ |Ft )
IE (ST R1 K|Ft )
T
= St RT1 K, donc
Rt
K
Et S t
RT
St K,
mais on a aussi Et 0, donc Et Zt . Il reste appliquer la proposition.

Cette proprit nest pas vrifie pour un put, ni pour un call sur une
action distribuant un dividende.
318
9.4.6
Options amricaines et modle markovien
Reprenons une option amricaine qui rapporte son dtenteur Zt = h(St )

si elle est exerce linstant t, et supposons maintenant que {St , 0 t T }
est une chane de Markov. Alors le prix At se met sous la forme At = u(t, St ).
x) = Rt1 h(x). Il rsulte de la proposition
Posons u
(t, x) = Rt1 u(t, x) et h(t,
9.4.10
X
x)
u
(t, x) = h(t,
Pxy u
(t + 1, y),
y
do lon dduit la formule de rcurrence

X
u(t + 1, y)
u(t, x) = h(x)
Pxy
.
1+r
y
(9.9)
Et un temps dexercice optimal est dfini par
= inf{t T, u(t, St ) = h(St )}.
9.5
Options amricaines dans le modle de

BlackScholes
Ltude des options amricaines dans le modle de BlackScholes exige

des outils mathmatiques complexes. Nous allons prsenter lEDP associe,
par passage la limite sur les formules de la soussection 9.4.6.
Rcrivons la formule (9.9) dans le cadre de la soussection 9.2.6, avec les
changements de variable :
g(x) = h(ex ),
v(t, x) = u(t, ex ).
On obtient

1
r
r
r/N
N
N
v(t , x) = g(x)e
p+ v(t, x +
+ ) + p v(t, x +
) ,
N
N
N
N
N
(9.10)
avec
1
N
pN
+ 0(N 3/2 ),
+ = IP(k = ) =
2 4 N
N
N
+ + 0(N 3/2 ).
pN
= IP(k = ) =
2 4 N
N
9.6. TAUX DINTRT ET OBLIGATIONS

Posons
(AN v)(t, x)e
r/N
pN
+ v(t, x
Alors (9.10) se rcrit
319
r
r
N
+ ) + p v(t, x +
) .
+
N
N
N
N
1
, x) g(x),
N
1
(AN v)(t, x) v(t , x) 0,
N
1
1
(v(t , x) g(x))((AN v)(t, x) v(t , x)) = 0.
N
N
En admettant que v est suffisamment rgulire, on obtient, aprs multiplication par N , laide dun dveloppement limit, que quand N ,
v(t
1
, x)]
N
2 v
2 2 v
v
(t, x) + (r ) (t, x) +
(t, x) rv(t, x).
Av(t, x) :=
t
2 x
2 x2
Donc le prix le loption amricaine est
N [(AN v)(t, x) v(t
At = v(t, log St ),
o v est la solution de linquation variationnelle
v(t, x) g(x),
Av(t, x) 0,
(v(t, x) g(x))Av(t, x) = 0,
et un temps optimal dexercice de loption est donn par le temps darrt

= inf{t T, v(t, log St ) = g(log St ) = h(St )}.
9.6
Taux dintrt et obligations
Jusquici nous avons suppos que le taux dintrt est une constante (ne
dpendant ni de lala ni du temps). Une telle hypothse est acceptable
lorsque lon traite des actions et des options sur actions, mais ce nest plus
le cas lorsquil sagit des obligations et des options sur obligations.
On appelle obligation zro coupon un titre donnant droit un Euro
lchance T . On notera Ot,T la valeur de ce titre linstant t.
320
9.6.1
Courbe de taux en avenir certain
Le taux dintrt dun prt dpend la fois de sa date dmission t, et

de la date dchance T . Une personne empruntant un Euro linstant t
devra rembourser une somme RTt la date T . Dans le cas du taux dintrt
constant du modle de BlackScholes, on aurait
RTt = exp[(T t)r].
Plus gnralement, dans un cadre dterministe, i.e. o toutes les quantits
{RTt , 0 t T } sont connues, labsence dopportunit darbitrage impose
que la fonction R vrifie
RTt = Rut RTu , 0 t < u < T.
De cette relation, jointe Rtt = 1, et la continuit de R, on dduit quil
existe une fonction t r(t) telle que

Z T
t
r(s)ds , 0 t T.
RT = exp
t
Dans ce cas, on doit avoir clairement

Z
Ot,T = exp
9.6.2
r(s)ds .
t
Taux en avenir incertain et obligations
On suppose maintenant que (on note Rt pour Rt0 )

Z t

Rt = exp
rs ds ,
0
o {rt , t 0} est un processus stochastique adapt la filtration naturelle

{Ft , t 0} dun mouvement brownien {Wt , t 0} (i. e. des ensembles de
mesure nulle prs, Ft = {Ws , 0 s t}). rt est appel le taux instantan.
On fait lhypothse suivante :
Il existe une probabilit IP quivalente IP sous laquelle

t,u := (Rt )1 Ot,u , 0 t u
(H)
O
est une martingale, 0 < u T,
321
u,u = (Ru )1 , et donc (H) implique que

Puisque Ou,u = 1, O

Z u

Ot,u = IE exp
rs ds |Ft , donc aussi
0

Z u
Ot,u = IE exp
rs ds |Ft .
t
Pour tenter dexpliciter plus avant la quantit Ot,u , il convient de prciser la

drive de RadonNikodym de la probabilit IP par rapport IP. Notons
LT cette densit. Elle est telle que pour toute v.a. borne X,
IE (X) = IE(XLT ).
Si de plus X est Ft mesurable, alors en posant Lt = IE(LT |Ft ), on a
IE (X) = IE(XLt ).
Lt est la densit de la restriction Ft de IP par rapport IP. Il rsulte du

thorme de Girsanov (dont une partie a t dmontre cidessus la section
9.3.8) la
Proposition 9.6.1. Il existe un processus adapt {qt , 0 t T } vrifiant
Z T
qt2 dt < p. s.,
0
tel que pour tout 0 t T , p. s.

Z t
Z
1 t 2
q ds .
Lt = exp
qs dWs
2 0 s
0
Corollaire 9.6.2. Le prix linstant t de lobligation zrocoupon dchance

u t peut scrire

Z u
Z u
qs2
qs dWs |Ft .
(rs + )ds +
Ot,u = IE exp
2
t
t
Ru
Preuve Posons X = exp( t rs ds). Il faut calculer IE (X|Ft ). Soit Y une
v.a. Ft mesurable et borne. On a
IE (XY ) = IE(XY LT )
= IE(IE[XLT |Ft ]Y )

IE[XLT |Ft ]
= IE
Y ,
Lt
322
donc daprs la caractrisation de IE (X|Ft ),

IE (X|Ft ) =
IE[XLT |Ft ]
,
Lt
do le rsultat.
Proposition 9.6.3. Pour chaque chance u, il existe un processus adapt
{tu , 0 t u} tel que sur [0, u]
dOt,u = (rt tu qt )Ot,u dt + Ot,u tu dWt .
Preuve Utilisant dabord la formule tablie dans la dernire preuve, puis la
t,u , 0 t u} sous IP , on obtient que pour
proprit de martingale de {O
0 s t u,
t,u Lt |Fs ) = IE (O
t,u |Fs )Ls
IE(O
s,u Ls .
=O
t,u Lt , 0 t u} est une martingale sous IP, qui est strictement
Donc {O
positive, donc son log est une semimartingale, dont la partie martingale est
de la forme
Z t
0
su dWs ,
t,u Lt , 0 t u} est une IPmartingale,

et nouveau puisque {O

Z t
Z t
1
u
2
u
t,u Lt = O
0,u exp
( ) ds .
O
s dWs
2 0 s
0
En multipliant par Rt (Lt )1 , on obtient

Z t

Z t
u 2
2
u
Ot,u = O0,u exp
(rs [(s ) qs ]/2)ds +
(s qs )dWs .
0
Le rsultat sen dduit en utilisant la formule dIt, et condition de poser

tu = tu qt .

Si lon rapproche la formule de la proposition de celle concernant le taux
dintrt, savoir
dRt = rt Rt dt,
323
on voit que lobligation est plus risque quun dpt la banque. Le terme
rt tu qt est une sorte de rendement moyen relatif par unit de temps de
lobligation. Le terme tu qt est la diffrence entre ce rendement et le taux
sans risque. Do linterprtation de qt comme une prime
R t de risque. Notons
que sous la probabilit risque neutre IP , Wt = Wt 0 qs ds est un brownien

standard, et
dOt,u = rt Ot,u dt + Ot,u tu dWt .
9.6.3
Option sur obligation
Considrons pour fixer les ides une option europenne dchance T sur
une obligation zro coupon dchance T 0 , avec bien sr T T 0 . Sil sagit
dun call de prix dexercice K, la valeur de loption linstant T est videmment (OT,T 0 K)+ , et on va voir que lon peut appliquer ici la mme
mthodologie qu la section 9.3.7.
Lvolution du portefeuille de couverture est donne dans le cas dune
stratgie autofinance par la formule
dVt (X, Y ) = Xt dRt + Yt dOt,T 0 .
Dfinition 9.6.4. Une stratgie {(Xt , Yt ), 0 t T } est admissible si elle
est autofinance et si la valeur actualise
t,T 0
Vt (X, Y ) = Xt + Yt O
du portefeuille correspondant est, pour tout t, positive et de carr intgrable
sous IP .
Sous des hypothses raisonnables, on peut couvrir une option europenne
dchance T < T 0 .
0
Proposition 9.6.5. Supposons que sup0tT |rt | < p. s., inf 0tT |tT | >
RT
0, et T < T 0 . Soit H une v. a. FT mesurable, telle que He 0 rs ds soit de IP
carr intgrable.
Alors il existe V0 et une stratgie admissible {(X, Y )} tels que VT (X, Y ) =
H. En outre
RT

Vt (X, Y ) = IE e t rs ds H|Ft .
324
Preuve On a
t,T 0
dVt (X, Y ) = Yt dO
t,T 0 tT 0 dWt .
= Yt O
On en dduit que {Vt , 0 t T } est une IP martingale, donc
RT

Rt
Vt (X, Y ) = e 0 rs ds IE e 0 rs ds H|Ft .
Il reste exhiber une stratgie correspondante. Il rsulte du thorme de

reprsentation dIt que
Z T

R
R
0T rs ds
0T rs ds
+
Jt dWt ,
He
= IE He
0
RT
avec un certain processus {Jt , 0 t T } tel que 0 Jt2 dt < p. s. Il suffit

alors de choisir

R
Jt
Jt
0T rs ds
|F
,
X
=
IE
He
Yt =
t
t
0.
0
t,T 0 tT
tT
O
9.6.4
Un modle de taux dintrt
On va examiner le modle de Vasicek, qui est le plus simple (mais peut

tre pas le plus satisfaisant). Dans ce modle, le processus {rt , 0 t T }
est solution de lEDS
drt = a(b rt )dt + dWt ,
o a, b et sont des constantes positives, et q est luiaussi constant, qt = .
Alors si Wt = Wt + t, et b = b /a, on a quivalemment
drt = a(b rt )dt + dWt .
On montre aisment que rt scrit
rt = r 0 e
at
+ b(1 e
at
) + e
at
eas dWs ,
0
et que rt suit sous IP la loi

2at
at
at
21 e
N r0 e + b(1 e ),
,
2a
325
et sous IP la mme loi, avec b remplac par b . Donc rt prend une valeur
ngative avec probabilit non nulle, mme si elle est ventuellement proche
de 0.
Voyons maintenant le prix de lobligation zrocoupon.
RT

Ot,T = IE e t rs ds |Ft
RT

b (T t)
t Xs ds
=e
IE e
|Ft ,
avec {Xs = rs b } solution de lEDS
dXs = aXs ds + dWs .

Alors
IE
o F est dfinie par
RT
t
Xs ds
(9.11)
|Ft = F (T t, rt b ),
F (s, x) = IE
Rs
0
Xtx dt
x
t } dsignant la solution de lEDS (9.11) qui vrifie X0 = x. Comme
R{X
s
Xtx dt est une v. a. r. gaussienne,
0

Z s

Z s
1
x
x
F (s, x) = exp IE
Xt dt + Var
Xt dt .
2
0
0
Or
IE
et
Var
mais
Z
s
0
s
0
Cov(Xtx , Xrx )
Xtx dt
Xtx dt = x
=
Z sZ
0
2 a(t+r)
= e
= 2 ea(t+r)
do
Var
Z
s
0
Xtx dt
IE
e
1 eas
,
a
s
0
Cov(Xtx , Xrx )dtdr,
Z
0
2a(tr)
2a
as
dWs
e
0
as
dWs
2
2s 2
as
(1
e
)
(1 eas )2 .
2
3
3
a
a
2a
326
Finalement
Ot,T = exp ((T t)R(T t, rt )) ,
o R(T t, rt ), le taux dintrt moyen sur la priode [t, T ], est donn par la
formule

2
as 2
1
as
R(s, r) = R (as)
(R r)(1 e ) 2 (1 e ) ,
4a
avec R = b 2 /2a2 . R sinterprte comme un taux long terme, qui est
ici indpendant du taux instantan spot r. Cette dernire proprit est un
dfaut du modle.
9.7
Exercices
Exercice 9.7.1. A partir des mmes ingalits linstant T , montrer que si

Ct dsigne le prix linstant t dun call europen dchance T et de prix
dexercice K, sur un sousjacent de prix {St } dans le modle de Black
Scholes,
St Ker(T t) Ct St .
Montrer que le prix du put europen Pt vrifie quant lui
Pt Ker(T t) .
Exercice 9.7.2. Soit {St , 0 t T } le prix dun sousjacent qui suit
le modle de BlackScholes. On pose Ut = log St . Dduire de la formule
dIt la forme de la diffrentielle de Ut , en fonction de dt et dBt . On pose
v(t, y) = u(t, ey ), o {u(t, x)} est la solution de lEDP de BlackScholes.
Ecrire une EDP parabolique satisfaite par {v(t, y); 0 t T, y IR}.
Exercice 9.7.3. (Option chooser) On considre une option sur une action
{St , 0 t T } (laquelle suit le modle de BlackScholes) qui fonctionne
de la faon suivante : tant donns 0 t T et K > 0, linstant 0,
lacheteur de loption sacquitte de la prime X0 ; linstant t il choisit entre
call et put ; linstant T il a le droit dexercer loption choisie linstant t,
au prix dexercice K.
1 On note comme dans le cours Ct (resp. Pt ) le prix du call (resp. du put)
linstant t. Montrer que lintrt de lacheteur est de choisir le call (resp.
le put) si Ct > Pt (resp. Pt > Ct ). Vrifier laide de la formule de parit
callput que Ct 6= Pt p.s., sous IP comme sous IP .
9.7. EXERCICES
327
2 En dduire que loption rapporte p.s. son acheteur linstant T

H = (ST K)+ 1{Ct Pt } + (K ST )+ 1{Ct <Pt }
= (ST K)+ + (K ST )1{Ct <Pt }
= (K ST )+ + (ST K)1{Ct >Pt }
3 On rappelle que la thorie gnrale des options nous indique que X 0 =
erT IE (H). Ecrire les vnements Ft = {Ct < Pt } et Gt = {Ct > Pt } en
fonction de St , K et r(T t). Montrer que erT IE (ST 1Ft ) = ert IE (St 1Ft ),
et de mme pour Gt .
4 En dduire des formules pour les quantits X0 C0 et X0 P0 , que lon
explicitera sous une forme analogue celle des formules pour C 0 et P0 la
fin de la section 9.2.
5 Montrer que loption chooser a la valeur max(Ct , Pt ) linstant t. On
note {u(s, x)} la solution de lEDP de BlackScholes pour le call, {v(s, x)}
la solution de la mme EDP pour le put (ces EDP ne diffrent que par leur
condition finale linstant T ). On note enfin {w(s, x), 0 s t, x > 0}
la solution de la mme EDP avec la condition finale sup(u(t, x), v(t, x))
linstant t. Dcrire un portefeuille de couverture pour loption chooser,
laide de ces trois quantits.
Exercice 9.7.4. Programmation On considre une option dachat (call)
europenne portant sur un sousjaant dont le cours linstant 0 est de 105
Euros, au prix dexercice K = 110 Euros, chance dun an,
avec un taux
bancaire 5% (i.e. rT = 0, 05), et une volatilit telle que T = 0, 3.
1 Calculer le prix du call en appliquant la mthode de MonteCarlo la
formule
h
i
C0 = IE ST KerT + ,
avec 1 000 tirages. On prendra soin dvaluer (de faon approche) la variance
de la v.a. dont on cherche estimer lesprance, et on donnera un intervalle
de confiance pour la quantit cherche.
2 Faire le mme calcul (y compris lintervalle de confiance) en combinant la
mme mthode applique la formule pour le prix du put :
h
i
P0 = IE KerT ST + ,
avec le mme nombre de tirages, et la formule de parit callput.
328
3 Calculer une troisime fois le prix de la mme option dachat, en utilisant

cette fois la formule
C0 = S0 F (d1 ) KerT F (d2 ),
avec

1
r T
S0
+
d1 = log
+
K

1
r T
S0
d2 = log
+
T
,
2
T
,
2
et la fonction de rpartition F de la N (0, 1) fournie par Matlab.

4 Comparer les rsultats avec ceux donns par un pricer trouver sur Internet.
5 Le prix du march pour loption cidessus tant de 15 Euros, en dduire la
volatilit implicite (i.e. inverser la formule de Black Scholes) en utilisant la
mthode de Newton.
Exercice 9.7.5. Programmation Dans le modle avec plusieurs sous
jacents de la section 9.3.10, on note C le prix du call de maturit T , de
prix dexercice K, portant sur un panier comportant ai actions numro i,
1 i d, et P le prix du put correspondant, i. e. C = E0 avec
!
d
X
a i xi K
,
h(x) =
i=1
et P = E0 avec
h(x) =
d
X
i=1
a i xi
,
+
avec E0 la quantit dfinie par la formule (9.7). On demande dappliquer la

mthode de Monte Carlo au calcul du call dans le cas de cette option avec
d = 5,

80
5
95
3

a=
8 , S0 = 105 , K = 2000, rT = 0, 05,
75
2
35
4
9.7. EXERCICES
329
0, 3 0
0
0
0
0 0, 5 0
0
0
0 0, 4 0
0
T = 0
.
0
0
0 0, 7 0
0
0
0
0 0, 4
1. Calculer le prix du call en appliquant la mthode de MonteCarlo la

formule pour C0 avec 1 000 tirages. On prendra soin dvaluer (de faon
approche) la variance de la v.a. dont on cherche estimer lesprance,
et on donnera un intervalle de confiance pour la quantit cherche.
2. Prciser la formule de parit callput dans ce cas. Faire le mme calcul
(y compris lintervalle de confiance) en combinant la mme mthode
applique la formule pour le prix du put P0 avec le mme nombre de
tirages, et la formule de parit callput. Comment les deux approches
se comparent-elles ?
3. Quelles mthodes de variables antithtiques peuton combiner avec la
mthode de la question prcdente ?
330
Bibliographie
[1] S. Audic, J. M. Claverie : Selfidentification of proteincoding regions in
microbial genomes, Proc. Natl. Acad. Sci. USA 95, 1002610031, 1998.
[2] F. E. Benth : Option theory with stochastic analysis, Universitext, Springer, 2004.
[3] N. Bouleau : Probabilits de lIngnieur, Hermann, 1986.
[4] N. Bouleau : Processus Stochastiques et Applications, Hermann, 1988.
[5] P. Bratley, B.L. Fox, E.L. Schrage : A Guide to Simulation, New York,
Springer Verlag.
[6] L. Breiman : Probability, AddisonWesley, 1968. Rdition SIAM 1992.
[7] P. Brmaud : Point Processes and Queues, Springer 1981.
[8] E. Cinlar : Introduction to Stochastic Processes, Prentice Hall 1975.
[9] W.G. Cochran : Sampling Techniques, John Wiley and Sons, 1977.
[10] C . CocozzaThivent : Processus stochastiques et fiabilit des systmes
Mathmatiques et Applications, 28, Springer, 1997.
[11] L. Devroye : Non Uniform Random Variate Generation, New York,
Springer Verlag, 1986.
[12] P. Diaconis, The Cut-off Phenomena in Finite Markov Chains, Proc.
Nat. Acad. Sci., vol. 93, 1659-1664, 1996.
[13] P. Diaconis, K. Khare, L. SaloffCoste, Gibbs-Sampling, Exponential
Families, and Orthogonal Polynomials, Preprint.
[14] C. B. Do, M. S. P. Mahabhashyam, M. Brudno, S. Batzoglou, ProbCons :
Probabilistic consistencybased multiple sequence alignment, Genome
Research 15, 330340, 2005.
[15] R. Durbin, S. Eddy, A. Krogh, G. Mitchison, Biological sequence analysis. Probabilistic models of proteins and nucleic acids, Cambridge Univerfsity Press, 1998.
331
332
BIBLIOGRAPHIE
[16] W. Ewens, G. Grant, Statistical methods in Bioinformatics, Springer

2001.
[17] J. Felsenstein, Infering phylogenies, Sinauer 2004.
[18] P. Ferrari, A. Galves : Construction of stochastic Processes, Coupling
and Regeneration, paratre, http ://www.ime.usp.br/ pablo
[19] W.R. Gilks, S. Richardson, D.I. Spiegelhalter : Markov Chains Monte
Carlo in Practice, Chapman & Hall, 1996.
[20] D. Goldberg : Genetic Algorithms in Search, Optimization and Machine
Learning, AddisonWesley, 1989.
[21] J.M. Hammersley and D.C. Handscomb : Monte Carlo Methods, Chapman and Hall, 1964 .
[22] J. H. Holland : Adaptation in Natural and Artificial Systems, MIT Press,
1992.
[23] F. Jelinek : Statistical methods for speech recognition, The MIT Press,
1997.
[24] M. H. Kalos, P. A. Whitlock : Monte Carlo Methods, volume I : Basics,
John Wiley and Sons, 1986.
[25] S. Karlin, H. Taylor : A second Course in Stochastic Processes, Acad.
Press 1981.
[26] D.E. Knuth : The Art of Computer programming, Vol. 2 Seminumerical
Algorithms, Addison-Wesley.
[27] D. Lamberton, B. Lapeyre : Introduction au calcul stochastique appliqu
la finance, Mathmatiques et Applications 9, Ellipses, 1991.
[28] B. Lapeyre, . Pardoux, R. Sentis : Mthodes de MonteCarlo pour les
quations de la physique, Mathmatiques et Applications 29, Springer
1998.
[29] M. Matsumoto, T. Nishimura : Mersenne Twister : A 623dimensionally
equidistributed uniform pseduorandom number generator, ACM Transactions on Modeling and Computer Simulation 8, 330, 1998.
[30] N. Metropolis, A. Rosenbluth, M. Rosenbluth, A. Teller, E. Teller :
Equations of state calculations by fast computing machines, J. Chem.
Phys. 21, 10871092, 1953.
[31] F. MuriMajoube, B. Prum, Une approche statistique de lanalyse des
gnomes, Gazette des Mathmaticiens 89, 6398, 2001.
BIBLIOGRAPHIE
333
[32] M. Musiela, M. Rutkowski, Martingale Methods in Financial Modeling :

Theory and Applications, Springer 1997.
[33] R. Nielsen ed., Statistical methods in Molecular Evolution, Springer 2005.
[34] J.R. Norris : Markov chains, Cambridge University Press, 1997.
[35] W.H. Press, S.A. Teukolsky, B.P. Flannery, W.T. Vetterling : Numerical
Recepies, Cambridge University Press, 1992.
[36] J.G. Propp, D.B. Wilson : Exact sampling with coupled Markov chains
and applications to statistical mechanics, in Proc. of the Seventh Int.
Conf. on Random Structures and Algorithms, Atlanta 1995, Vol 9, 223
252, 1996.
[37] B.D. Ripley : Stochastic simulation, Wiley 1987.
[38] C. Robert : Mthodes de Monte Carlo par chanes de Markov, Economica
1996.
[39] P. Robert : Rseaux et files dattente : mthodes probabilistes, Mathmatiques et Applications 35, Springer 2000.
[40] S. Robin, F. Rodolphe, S. Schbath, ADN, mots, modles, Belin 2003.
[41] S. Ross : Stochastic processes, 2nd edition, John Wiley, 1996.
[42] S. Ross : Simulation, 2nd edition, Acad. Press, 1997.
[43] S. Ross : Introduction to probability models, Acad. Press, 2003.
[44] R. Y. Rubinstein : Simulation and the Monte Carlo Method, John Wiley
and Sons, 1981.
[45] L. SaloffCoste : Lectures on finite Markov chains, in cole de Probabilit
de SaintFlour XXVI, Lecture Notes in Mathematics 1665 301413,
Springer 1997.
[46] R. Sedgewick : Algorithms, AddisonWesley, 1987.
Index
Burke, thorme de , 244
volatilit, 285
Dirichlet, forme de , 221

Doeblin, condition de , 55
tat apriodique, 53
tat rcurrent, 41, 195
nul, 47, 197
positif, 47, 197
tat transitoire, 41, 195
Erlang, formule d, 245, 246

Gibbs, chantilloneur de , 87
Hastings, algorithme d, 87
homogne
chane de Markov , 35
processus markovien , 183
irrductible
chane de Markov , 43
processus markovien , 195
It, formule d, 289
It, intgrale d, 287
loi des grands nombres, 14
matrice markovienne, 35
Metropolis, algorithme de , 87
mouvement brownien, 285
mthode de rejet, 20
programmation dynamique, 123,
145, 150, 152
temps darrt, 40, 171
thorme de la limite centrale, 14
trou spectral, 222
334

Livre N PDF

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Livre N PDF

Загружено:

Авторское право:

Доступные форматы

Processus de Markov et applications

Algorithmes, Rseaux, Gnome et Finance

Table des matires

TABLE DES MATIRES

3.1.3 Analyse baysienne dimages . .

4 Chanes de Markov et gnome

TABLE DES MATIRES

7 Processus markoviens de saut

TABLE DES MATIRES

TABLE DES MATIRES

9.3.7 La formule de BlackScholes (3) . . . . . . .

TABLE DES MATIRES

TABLE DES MATIRES

CHAPITRE 1. MONTE CARLO

points voisins de discrtisation. Mais si lon utilise n points de discrtisation

1.2. THORMES DE CONVERGENCE

On pose, X = f (U1 , . . . , Ud ), o les U1 , . . . , Ud sont des variables alatoires

f (u1 , . . . , ud )du1 . . . dud ,

par dfinition de la loi du nuplet, (U1 , . . . , Ud ). On vient de raliser la

CHAPITRE 1. MONTE CARLO

Loi forte des grands nombres et mthode de Monte Carlo

Ce thorme impose une limite thorique aux mthodes de Monte Carlo :

Cela signifie que pour tout a < b,

1.2. THORMES DE CONVERGENCE

Remarque 1.2.3. Ce rsultat est extrmement positif, puisquil donne

CHAPITRE 1. MONTE CARLO

choisit, n = 2500, lintervalle de confiance 95% pour p est alors, en utilisant

Si lon applique dans ce cas une mthode de Monte Carlo, on pose X = eZ .

1.2. THORMES DE CONVERGENCE

Z tant une gaussienne centre rduite et x+ = max(0, x). Ces quantits

Il est assez clair que

et puisque lon a la formule de parit callput

il vaut mieux calculer P par Monte Carlo, et utiliser la formule de parit

CHAPITRE 1. MONTE CARLO

Simulation de variables alatoires

1.3. SIMULATION DE VARIABLES ALATOIRES

Si U ' U [0, 1], il en est de mme de 1 U , et

Simulation de variables gaussiennes (Algorithme de BoxMller) Une

Pour simuler une gaussienne de moyenne et de variance 2 , il suffit de

CHAPITRE 1. MONTE CARLO

On verra au chapitre 6 que si {Ti , i 1} est une suite de variables alatoiresX

Cela donne un algorithme pour simuler une variable alatoire de Poisson.

Proposition 1.3.2. Soit (X1 , U1 ) un couple de v.a. indpendantes telles que

1. La probabilit dacceptation linstant 1 de la v.a.

P(U1 (x))PX1 (dx) =

1.3. SIMULATION DE VARIABLES ALATOIRES

Si on ne veut pas trop de rejets lors de la simulation de X, il faut que

Remarquons de plus que les rejets seront limits si

2. Lalgorithme cidessus est encore valable si la v.a. X simuler a une

kg(x)(dx) = kIP(Y A).

Si la v.a. X a une loi porte par un ensemble discret E, on peut choisir

Preuve de la proposition 1.3.2 Remarquons tout dabord quau bout

IP(p IN X 6= Xp ) = lim IP(

= lim IP(U1 > (X1 ))N

CHAPITRE 1. MONTE CARLO

{Up > (Xp )}

(1 p1 )n1 IP[{U1 (X1 )}

La loi de X est donc la loi de X1 conditionne par lensemble dacceptation

IP(U1 (x))PX1 (dx) = k

Mthodes de rduction de variance

Nous avons vu que

1.4. MTHODES DE RDUCTION DE VARIANCE

f(x)dx = 1, il est clair