Ciencias Ambientales

Matem
aticas II
Curso 2001-2002
Prof. Jos
e Ram
on Berrendero

NOTAS SOBRE CADENAS DE MARKOV

Definici
on y ejemplos

Las cadenas de Markov se utilizan para estudiar las propiedades de un sistema que evoluciona de forma aleatoria. Constituyen, por lo tanto, un ejemplo relativamente sencillo de
proceso estocastico. Muchos sistemas (en biologa, economa o fsica) tienen caractersticas
tales que permiten su modelizacion mediante cadenas de Markov.
Supongamos que un sistema, en cada etapa (da, a
no o periodo de tiempo en general)
se encuentra en uno de los k posibles estados del conjunto S = {1, 2, . . . , k}. Sea Xn la
variable aleatoria que representa el estado del sistema en la etapa n. Se dice que Xn es
una cadena de Markov si
P{Xn+1 = i|Xn = j, Xn1 = in1 , . . . , X0 = i0 } = P{Xn+1 = j|Xn = i} pij .
Es decir, el estado del sistema en el futuro (etapa n + 1) depende u
nicamente de su estado
presente (etapa n) independientemente de la evolucion en el pasado que ha conducido a
este estado presente. Las probabilidades pij se suelen llamar probabilidades de transici
on,
y resulta u
til disponerlas en forma de matriz:

p11 p1k

. .
..
. . ...
T =

pk1 pkk
1

Las columnas de la matriz T deben sumar uno, ya que el sistema, a partir de un estado
cualquiera j S, evoluciona con probabilidad uno a alguno de los estados del conjunto
S.
Si cuando el sistema llega a un estado ya no lo abandona nunca, se dice que el estado
es absorbente. Si i es un estado absorbente, entonces pii = 1 y, en la matriz T , la columna
i esta formada por ceros en todos los lugares salvo un uno en la fila i.
Veamos un ejemplo sencillo de cadena de Markov:
Ejemplo: Meteorologa. Sea Xn la cadena de Markov que representa el tiempo meteorologico el da n. Supongamos que los estados 1, 2 y 3 corresponden a un da lluvioso,
nublado y soleado respectivamente y que la matriz de probabilidades de transicion es

.4 .2 .1

.6 .5 .7 .

0 .3 .2
(a) Es realista suponer que Xn es una cadena de Markov?
(b) Si hoy llueve, cual es la probabilidad de que ma
nana este nublado? Cual es la
probabilidad de que ma
nana este nublado y pasado ma
nana vuelva a llover? Cual es la
probabilidad de que pasado ma
nana vuelva a llover independientemente del tiempo que
haga ma
nana?

(a) En realidad, se trata de una simplificacion ya que parece mas razonable que si, por
ejemplo, ha llovido durante dos das, la probabilidad de que siga lloviendo sea mayor que
si solo ha llovido un da. Si esto ocurriera no se cumplira la propiedad de Markov.
(b) Supongamos que el estado del sistema hoy viene dado por X0 , entonces X0 = 1. Las
probabilidades que nos piden son:
P{X1 = 2|X0 = 1} = p21 = 0.6.
P{X2 = 1, X1 = 2|X0 = 1} = P{X2 = 1|X1 = 2, X0 = 1}P{X1 = 2|X0 = 1} =
P{X2 = 1|X1 = 2}P{X1 = 2|X0 = 1} = p21 p12 = 0.12
2

 P{X2 = 1|X0 = 1} =

P3

i=1

P{X2 = 1, X1 = i|X0 = 1} =

P3

i=1

pi1 p1i = 0.28.

La u
ltima expresion en el ejemplo anterior es un caso particular de las llamadas ecuaciones de Chapman-Kolmogorov: si pij (n) representa la probabilidad de pasar del estado
j al estado i en n etapas, entonces se verifica
pij (n + m) =

pik (n)pkj (m).

kS

Como consecuencia, pij (2) =

kS

pik pkj , lo que significa que la matriz de probabilidades

de transicion en dos etapas es T 2 . En general, la matriz de probabilidades de transicion

en n etapas, pij (n), viene dada por T n .
Sea xi (n) = P{Xn = i}, la probabilidad de que en la etapa n el sistema se encuentre en
el estado i y sea X(n) = (x1 (n), . . . , xk (n))t , el vector formado por estas probabilidades.
Entonces para cualquier estado j, aplicando la formula de la probabilidad total,
xj (n + 1) =

P{Xn+1 = j|Xn = i}xi (n) =

iS

pji xi (n).

iS

En forma matricial, X(n + 1) = T X(n). Como consecuencia, X(1) = T X(0), X(2) =

T X(1) = T 2 X(0) y, en general,
X(n) = T n X(0),
que es otra forma de expresar que la matriz de probabilidades de transicion en n etapas
viene dada por T n , como hemos dicho mas arriba.
Ejemplo: Meteorologa (continuacion). Supongamos que, en el ejemplo anterior sobre meteorologa, estamos interesados en calcular la probabilidad a largo plazo de que un da sea
lluvioso, nublado o soleado. Es decir, queremos calcular,
lim X(n) = lim T n X(0) = LX(0),

donde L = limn T n . Con la ayuda de un ordenador, se puede calcular T n para valores

3

de n cada vez mayores. Los resultados cada

.22

L
.56
.21

vez son mas proximos a la matriz

.22 .22

.56 .56
.
.21 .21

(1)

En este ejemplo, parece ser que L = limn T n tiene todas sus columnas iguales.
Por lo tanto, sea cual sea el vector de probabilidades iniciales X(0), a largo plazo, la
probabilidad de que llueva es 0.22, la probabilidad de que este nublado es 0.56 y la
probabilidad de que haga sol es 0.21. Por lo tanto, aproximadamente el 22% de los das
llueve, el 56% esta nublado y el 21% hace sol.

El resultado de que la sucesion de matrices T n converja a una matriz L con todas sus
columnas iguales no es un hecho aislado, sino que, como veremos mas adelante, hay todo
un conjunto importante de cadenas de Markov, llamadas cadenas regulares, para las que
siempre se va a cumplir ese resultado. Sin embargo, como demuestra el ejemplo siguiente,
no siempre existe L = limn T n .
Ejemplo: Modelo de difusion de Ehrenfest. En dos compartimentos de un recipiente separados por una membrana se reparten N moleculas. En cada etapa, una de las moleculas
atraviesa la membrana y cambia de compartimento. Si Xn representa el n
umero de
moleculas en uno de los compartimentos, entonces Xn es una cadena de Markov.
(a) Calcula el valor de las probabilidades de transicion pi1,i y pi+1,i .
(b) Si N = 3, escribe la matriz de probabilidades de transicion T .
(c) Calcula con el ordenador T n para distintos valores de n. Existe en este caso limn T n ?
(a) Como hay i moleculas en el compartimento, una de estas ha de atravesar la membrana
para que en la siguiente etapa solo haya i 1, esto ocurre con probabilidad pi1,i = i/N ,
para 0 i N . Analogamente, pi+1,i = N i/N , para 0 i N .

(b) En el caso N = 3, S = {0, 1, 2, 3} y

0 1/3

1 0 2/3 0

T =

0 2/3 0 1

0 0 1/3 0

(c) Al calcular T n se observa que aparecen ceros en la matriz que alternan sus posiciones
en funcion de si n es par o impar. Por ejemplo, si X0 = 1, entonces solo es posible
Xn = 1 si n es par. Esta alternancia en las posiciones ocupadas por los ceros hace que no
exista L = limn T n . El problema es la existencia de un periodo de dos etapas en la
posibilidad de que la cadena vuelva a cada uno de los estados de los que ha partido.

Veamos mas ejemplos importantes de cadenas de Markov con aplicaciones en finanzas,

dinamica de poblaciones y genetica:
Ejemplo: Ruina del jugador. Al inicio de un juego, un jugador dispone de x0 C, donde
x0 {1, . . . , N }. En cada etapa del juego gana 1 C con probabilidad p y lo pierde con
probabilidad 1 p. El juego termina si el jugador se arruina o si alcanza la cifra de N
C. Si Xn representa la fortuna del jugador tras haber jugado n veces, entonces Xn es una
cadena de Markov. Cual es la matriz de transicion correspondiente?
En este modelo, una cuestion de interes consiste en calcular la probabilidad de que el
juego termine con el jugador arruinado (en funcion de N y x0 ).

Ejemplo: Procesos de ramificacion. Consideremos una poblacion tal que cada individuo de
la generacion n tiene k hijos (que ya pertenecen a la generacion n+1) con probabilidad pk .
El n
umero de individuos de la generacion n, Xn , es una cadena de Markov con espacio de
estados {0, 1, 2, . . . }. Si Y1 , Y2 , . . . son v.a.i.i.d. tales que P{Ym = k} = pk , es decir, Ym
representa el n
umero de hijos del individuo m, entonces las probabilidades de transicion
son
pij = P{Y1 + + Yj = i},
5

para i 0 y j 0. En este modelo, un problema interesante es calcular la probabilidad

de que la poblacion no se extinga. Este modelo es un ejemplo de cadena de Markov en el
que el espacio de estados S no es finito.

Ejemplo: Modelo de Wright-Fisher. Este es un modelo para estudiar la evolucion de un gen

con dos alelos, A y a. La poblacion esta formada por N individuos haploides (o, equivalentemente, N/2 diploides). Cuando un individuo nace hereda aleatoriamente alguno de
los dos alelos del gen. Se supone que la poblacion en la etapa n + 1 se obtiene sorteando
aleatoriamente con reemplazaminto de la poblacion en la etapa n. Sea Xn el n
umero de
alelos A en la etapa n. Entonces Xn es una cadena de Markov con probabilidades de
transicion:
pji =

N
j



i
N

j 
N j
i
1
.
N

En este modelo, los estados 0 y N son absorbentes ya que corresponden a la desaparicion

de cada uno de los dos alelos. Una pregunta natural es calcular la probabilidad de llegar
a cada uno de los estados absorbentes a partir de una situacion inicial de i alelos A y
N i alelos a.
Este modelo se puede complicar introduciendo la posibilidad de mutaciones. Sea u
la probabilidad de que un alelo A se transforme en a en la etapa siguiente y sea v la
probabilidad de que un alelo a se transforme en A. Entonces la probabilidad de obtener
un alelo A en cada extraccion es (formula de la probabilidad total)
i =

i
N i
(1 u) +
v,
N
N

y las probabilidades de transicion son



N
pji =
(i )j (1 i )N j .
j
En este caso ya no hay estados absorbentes y tiene sentido preguntar si la distribucion
genetica se estabiliza a largo plazo y, si esto es as, cual es la proporcion final de cada
alelo.


6

Comportamiento a largo plazo de una cadena regular

Hemos introducido la notacion X(n) = (x1 (n), . . . , xk (n))t para representar las probabilidades de que una cadena se encuentre en cada uno de los estados en la etapa n. En esta
seccion estamos interesados en analizar la existencia de Xe = limn X(n) = LX(0),
donde L = limn T n . El vector Xe caracteriza el comportamiento a largo plazo de la
cadena, ya que nos informa de la probabilidad de que la cadena se encuentre en cada uno
de los estados cuando ha transcurrido un n
umero grande de etapas. Al vector Xe se le
llama distribuci
on estacionaria de la cadena. Sin embargo, como muestra el ejemplo de
la cadena de Ehrenfest, el lmite no siempre existe debido a la existencia de periodos. El
siguiente teorema da condiciones que aseguran la existencia de la distribucion estacionaria
y, ademas, da un metodo para calcularla. Antes de dar el resultado principal necesitamos
una definicion previa:
Definici
on. Se dice que una cadena de Markov con matriz de probabilidades de transicion
T es regular si todos los elementos de la matriz T n son estrictamente positivos para alg
un
valor de n.
Es decir, una cadena de Markov es regular si existe un n
umero de etapas n tal que la
probabilidad de la transicion en n etapas entre cualquier par de estados es estrictamente
positiva.
Resultado. Si el conjunto de estados de una cadena de Markov, S, es finito, entonces
existe una u
nica distribucion de probabilidad Xe tal que T Xe = Xe . Si, ademas, la cadena
es regular, entonces Xe = limn X(n). Es decir, Xe es la distribucion estacionaria de la
cadena.
Notese que T Xe = Xe implica que = 1 es un autovalor de T y que Xe es un autovector
correspondiente a este autovalor, convenientemente normalizado para que sus coordenadas
sumen 1. De hecho, D = 1 tiene que ser necesariamente el autovalor dominante de T
7

ya que, si D > 1, limn X(n) sera infinito para todas las coordenadas y si D < 1,
entonces limn X(n) sera cero para todas las coordenadas. En ninguno de los dos
u
ltimos casos Xe es una distribucion de probabilidad.
Por otra parte, si se cumple la segunda parte del resultado,
Xe = lim T n X(0) = LX(0),
n

para cualquier distribucion inicial X(0). Por lo tanto, la matriz del estado estacionario,
L, debe tener todas sus columnas iguales a Xe .
La distribucion estacionaria tambien se puede interpretar como la proporcion de
tiempo a largo plazo que el sistema pasa en cada estado.
Ejemplo: Meteorologa (continuacion). Vamos a aplicar el resultado anterior al modelo de
meteorologa. Aunque T no tiene todos sus elementos estrictamente positivos (p13 = 0 en
este caso), la cadena es regular ya que

.28 .21 .20

,
T2 =
.54
.58
.55

.18 .21 .25

s tiene todos sus elementos estrictamente positivos. Si Xe = (x1 , x2 , x3 ), para calcular la
distribucion del estado estacionario tenemos que resolver el sistema de ecuaciones
x1 = 0.4x1 + 0.2x2 + 0.1x3
x2 = 0.6x1 + 0.5x2 + 0.7x3
x3 = 0.3x2 + 0.2x3
Ademas 1 = x1 +x2 +x3 ya que Xe es una distribucion de probabilidad. Es facil comprobar
que los valores Xe = (0.22, 0.56, 0.21) cumplen las condiciones anteriores. Habamos
alcanzado este resultado numericamente en la seccion anterior.

Cadenas de Markov con estados absorbentes

Ya hemos definido un estado absorbente como aquel tal que, cuando el sistema lo alcanza,
ya nunca lo abandona. Ejemplos de cadenas con estados absorbentes son el modelo de la
ruina del jugador (si el jugador se arruina el sistema se queda para siempre en el estado
0) o los procesos de ramificacion (si la poblacion se extingue el sistema tambien se queda
para siempre en el estado 0).
Las cadenas con estados absorbentes no pueden ser regulares, por lo que no es posible
aplicar el resultado de la seccion anterior para estudiar su comportamiento a largo plazo.
No obstante, a
un es posible calcular limn T n . En particular, tiene interes el calculo
de las llamadas probabilidades de absorci
on, es decir, las probabilidades de que el sistema
termine en cada uno de los estados absorbentes en funcion de cual es su estado (no
absorbente) inicial.
Ejemplo: Modelo de aprendizaje. Un alumno que sigue un curso de matematica aplicada
se encuentra en uno de los dos estados siguientes: ha aprendido el concepto de cadena de
Markov (estado 1) o no lo ha aprendido (estado 2). Si un alumno no ha aprendido lo que
es una cadena de Markov, seguira sin aprenderlo en la siguiente clase con probabilidad a y
lo aprendera con probabilidad b = 1 a. Si un alumno ha aprendido por fin lo que es una
cadena de Markov, no lo olvidara nunca. Como consecuencia, el estado 2 es absorbente
en este modelo. La matriz de probabilidades de transicion es

a 0
.
T =
b 1
No es difcil comprobar que

Tn =

0
n

b(1 + + a ) 1

Por lo tanto, usando la formula para la suma los infinitos terminos de una progresion

geometrica de razon a,

lim T n =

0 0

b/(1 a) 1

1 1

Por lo tanto, la u
nica probabilidad de absorcion en este caso es b/(1 a) = 1. Todos los
alumnos acabaran entendiendo el concepto de cadena de Markov (a largo plazo, es decir,
si asisten a un n
umero suficientemente grande de clases.)

Cuando hay estados absorbentes, se puede escribir la matriz de transicion, reordenando

los estados si es necesario, de la forma

T =

A 0
B I

donde A es la submatriz de probabilidades de transicion entre estados no absorbentes,

B es la submatriz de probabilidades de transicion desde estados no absorbentes hasta
estados absorbentes, I es una submatriz identidad de dimension igual al n
umero de estados
absorbentes y 0 es una submatriz de ceros. El modelo de aprendizaje que acabamos de
ver es un caso particular correspondiente a un u
nico estado no absorbente y un u
nico
estado absorbente. Operando con las matrices A, B, 0 e I, igual que hemos hecho con los
n
umeros a, b, 0 y 1 en el ejemplo anterior, se obtiene

lim T n = lim

A 0
B I

B(I A)1 I

(2)

Las probabilidades de absorcion vienen dadas por la submatriz B(I A)1 . Veamos
en un ejemplo como aplicar este resultado:
Ejemplo: Ruina del jugador (continuacion). Consideremos el modelo de la ruina del jugador, en el que N = 3 C. Reordenamos los posibles estados de forma que los estados

10

absorbentes sean los u

ltimos: S = {1, 2, 0, 3}. Con este orden de estados, la matriz de
transicion es

1p 0 0

T =
1p

0
0
p

0 0

1 0

0 1

Por lo tanto, las matrices A y B en este caso son

0 1p
1p 0
,
.
A=
B=
p
0
0
p
Si aplicamos la formula (2), obtenemos

n
lim T =
n

0 0

1p
1p(1p)
(1p)2
1p(1p)

(1p)2
1p(1p)
p
1p(1p)

0 0

1 0

0 1

Supongamos que la probabilidad de ganar en cada partida es p = 1/2. Entonces,

0
0 0 0

0
0
0

lim T n =
.
n
2/3 1/3 1 0

1/3 2/3 0 1
En este caso, si la fortuna inicial del jugador es de 1 C, la probabilidad de que se arruine
es 2/3 y la de que acabe con 3 C es 1/3. Sin embargo, si la fortuna inicial del jugador
es de 2 C, la probabilidad de que se arruine es 1/3 y la de que acabe con 3 C es 2/3.
Analogamente, se pueden calcular las probabilidades de ruina para cualquier valor de p.

11