Cadenas de Markov

Los procesos de paseo aleatorio en realidad son un caso particular de procesos m�s
generales que son las cadenas de Markov. En esencia, una cadena es un proceso en
tiempo
discreto en el que una variable aleatoria Xn va cambiando con el paso del tiempo.
Las
cadenas de Markov tienen la propiedad de que la probabilidad de que Xn = j s�lo
depende
del estado inmediatamente anterior del sistema: Xn-1. Cuando en una cadena dichas
probabilidades no dependen del tiempo en que se considere, n,
P (Xn = j | Xn-1 = i)
se denomina cadena homog�nea, esto es, las probabilidades son las mismas en cada
paso.
Probabilidades de Transici�n
En una cadena homog�nea finita con m posibles estados E1, E2,...,Em se puede
introducir
la notaci�n
pij = P (Xn = j | Xn-1 = i),
donde i, j = 1, 2, . . . , m. Si pij > 0 entonces se dice que el estado Ei puede
comunicar con
Ej . La comunicaci�n puede ser mutua si tambi�n pji > 0.
Para cada i fijo, la serie de valores {pij} es una distribuci�n de probabilidad, ya
que
en cualquier paso puede ocurrir alguno de los sucesos E1, E2,...,Em y son
mutuamente
excluyentes. Los valores pij se denominan probabilidades de transici�n que
satisfacen la
1
condici�n
pij > 0,
Xm
j=1
pij = 1,
para cada i = 1, 2, . . . , m. Todos est
Se observa que n
p
(0)
i
o
es la probabilidad de que el sistema ocupe inicialmente el estado
Ei, de modo que
Xm
i=1
p
(0)
i = 1.
Si se denomina p
(1)
j a la probabilidad de alcanzar Ej en un solo paso, entonces, por el
teorema de probabilidad total
p
(1)
j = Xm
i=1
p
(0)
i pij .
Esto se puede expresar de forma vectorial: sean p(0) y p(1) los vectores fila de
probabilidad
dados por
p(0) =
�
p
(0)
1 ,...,p(0)
m
�
y
p(1) =
�
p
(1)
1 ,...,p(1)
m
�
,
donde p(0) es la distribuci�n de probabilidad inicial y p(1) es la probabilidad de
que se
alcance cada uno de los estados E1,...,Em despu�s de un paso. Con esta notaci�n, se
puede expresar
p(1) =
h
p
(1)
j
i
=
"
Xm
i=1
p
(0)
i pij#
= p(0)T
donde T es la matriz de transici�n.
Del mismo modo,
p(2) = p(1)T = p(0)T2
y en n pasos,
p(n) = p(n-1)T = p(0)T n
donde
p(n) =
�
p
(n)
1 ,...,p(n) m
�
y de manera general,
p(n+r) = p(r)
T n
3
NOTA: p
(n)
j es la probabilidad incondicional de estar en el estado Ej en el n-�simo paso,
dado que la probabilidad inicial es p(0), esto es,
P (Xn = j) = p
(n)
j ,
que es tal que
Xm
j=1
p
(n)
j = 1.
Probabilidad de transici�n en n pasos p
(n)
ij
Se define p
(n)
ij como la probabilidad de que la cadena est� en el estado Ej despu�s de
n pasos, dado que la cadena empez� en el estado Ei. Se tiene que
p
(n)
ij = P (Xn = j | X0 = i)
por la propiedad markoviana se tiene que
p
(n)
ij = Xm
k=1
P (Xn = j, Xn-1 = k | X0 = i),
para n = 2, ya que la cadena debe haber pasado por uno de los m posibles estados en
la
etapa n - 1.
NOTA: Se tiene la siguiente igualdad, para tres posibles sucesos A, B y C :
P (A n B | C) = P (A | B n C) � P (B | C)
Si se sustituye
A ? (Xn = j)
B ? (Xn-1 = k)
C ? (X0 = i)
4
entonces
p
(n)
ij = Xm
k=1
P (Xn = j, Xn-1 = k | X0 = i) =
= Xm
k=1
P (Xn = j | Xn-1 = k, X0 = i) P (Xn-1 = k | X0 = i) =
= Xm
k=1
P (Xn = j | Xn-1 = k) P (Xn-1 = k | X0 = i) =
= Xm
k=1
p
(1)
kj p
(n-1)
ik = Xm
k=1
p
(n-1)
ik p
(1)
kj
usando la propiedad markoviana nuevamente. La ecuaci�n anterior se denomina de
Chapman-Kolmogorov.
Haciendo n igual a 2, 3,... se obtiene que las matrices con esos elementos son
h
p
(2)
ij i
=
h
p
(1)
ik p
(1)
kj i
= T2
h
p
(3)
ij i
=
h
p
(2)
ik p
(1)
kj i
= T3
ya que p
(2)
ik son los elementos de T2 y as� sucesivamente. As�,
h
p
(n)
ij i
= T n.
Ejemplo.
En una cierta regi�n el tiempo atmosf�rico sigue la siguiente secuencia: Un d�a se
denomina soleado (S) si el sol luce m�s de la mitad del d�a, y se denomina nublado
(N),
si lo hace menos. Por experiencia, se sabe que si hay un d�a nublado, es igual de
probable
que el d�a siguiente sea tambi�n nublado. Si el d�a es soleado hay una probabilidad
de 2/3
de que sea tambi�n soleado.
1. Construye la matriz de transici�n T de este proceso.
2. Si hoy est� nublado, �cu�l es la probabilidad de que dentro de tres d�as est�
tambi�n
nublado? �y de que est� soleado?
5
3. Calcula T5 y T10. �Cu�l es el comportamiento de T n cuando n ? 8? �C�mo se
comporta p(n) cuando n ? 8? �Depende el l�mite de p(0)?
(1) Asumimos que el proceso es markoviamo y que el tiempo s�lo depende del d�a
anterior.
Se tiene una cadena de Markov con dos estados: E1 = D�a nublado N, E2 = D�a soleado
S. La matriz de transici�n es:
N S
N 1
2
1
2
S 1
3
2
3
es decir,
T =
� 1
2
1
2
1
3
2
3
�
.
(2) Empezando los pasos a partir del d�a actual, se tiene que
p(0) =
�
p
(0)
1 p
(0)
2
�
= � 1 0 �
De este modo, si hoy est� nublado, dentro de tres d�as, se tiene que
p(3) = p(0)T3 = � 1 0 � � 1
2
1
2
1
3
2
3
�3
=
= � 1 0 � � 29
72
43
72
43
108
65
108 �
= � 29
72
43
72 �
= � 0,403 0,597 �
As�, la probabilidad de que haya un d�a nublado en el tercer d�a es p
(3)
1 = 29
72 y que sea
soleado es p
(3)
2 = 43
72 .
(3)
T5 =
� 1
2
1
2
1
3
2
3
�5
=
� 0,40008 0,59992
0,39995 0,60005 �
T10 =
� 1
2
1
2
1
3
2
3
�10
=
� 0,4 0,60000
0,40000 0,6
�
.
6
C�lculos as� se facilitan bastante usando programas tipo MatLab, de modo que
T n ?
� 0,4 0,6
0,4 0,6
�
= Q
de este modo,
p(n) = p(0)T n =
�
p
(0)
1 p
(0)
2
� � 0,4 0,6
0,4 0,6
�
=
=
� �p
(0)
1 + p
(0)
2
�
0,4
�
p
(0)
1 + p
(0)
2
�
0,6
�
=
= � 0,4 0,6 �
,
ya que p
(0)
1 + p
(0)
2 = 1.
Se observa que cuando n ? 8 p(n) no depende de d�nde se parte: p(0).
Potencias de una matriz de transici�n
Es obvio que resulta necesario definir un m�todo para calcular potencias de una
matriz.
Esto se hace en t�rminos de diagonalizaci�n de matrices en t�rminos de autovalores
y
autovectores.
Sea T una matriz de transici�n de orden m � m, los autovalores de T se encuentran a
partir de la ecuaci�n caracter�stica
|T - ?Im| = 0,
donde Im es la matriz identidad de orden m � m. Supongamos que los autovalores son
distintos y los denotamos por ?1,..., ?m. Los correspondientes autovectores cumplen
las
siguientes ecuaciones
(T - ?iIm) ri = 0
para i = 1, . . . , m.
Construyo la matriz
C = � r1 r2 ��� rm
�
,
7
donde los autovectores est�n colocados por columnas. Multiplicando las matrices,
T C = T � r1 r2 ��� rm
�
=
� T r1 T r2 ��� T rm
� = � ?1r1 ?2r2 ��� ?mrm
�
=
� r1 r2 ��� rm
�
?
????
?1 0 ��� 0
0 ?2 ��� 0 .
.
. .
.
. ... .
.
.
0 0 ��� ?m
?
???? = CD
donde D es la matriz diagonal con los autovalores situados en la diagonal
principal.
Como se deduce que
T C = CD =?
T = CDC-1
Se puede calcular
T2 = �
CDC-1
� �CDC-1
�
= CD2
C-1
y del mismo modo, en general,
T n = CDnC-1
,
donde
Dn =
?
????
?n
1 0 ��� 0
0 ?n
2 ��� 0 .
.
. .
.
. ... .
.
.
0 0 ��� ?n
m
?
???? .
Aunque este m�todo es bastante �til resulta un poco pesado a la hora de hacer los
c�lculos,
incluso para cadenas a partir de m = 4 � 5.
En MatLab la sentencia para calcular autovectores y autovalores es
[C,D]=eig(T);
Ejemplo.
Calcular los autovectores y autovalores de la matriz estoc�stica
T =
?
?
1
4
1
2
1
4
1
2
1
4
1
4
1
4
1
4
1
2
?
?
8
y determinar T n y el l�mite l�imn?8 T n.
si se calcula
|T - ?Im| = 0,
se obtiene
�
�
�
�
�
�
1
4 - ? 1
2
1
4
1
2
1
4 - ? 1
4
1
4
1
4
1
2 - ?
�
�
�
�
�
�
= 0=?
(1 - ?)
�1
4 - ?
� �-1
4 - ?
�
= 0
luego los autovalores son
?1 = 1, ?2 = 1
4 ?3 = -1
4
Del mismo modo, los autovectores se calculan a partir de
(T - ?iIm) ri = 0
y se obtiene
r1 =
?
?
1
1
1
?
? r1 =
?
?
-1
-1
2
?
? r1 =
?
?
1
-1
0
?
?
y de este modo
C = � r1 r2 r2
�
=
?
?
1 -1 1
1 -1 -1
120
?
? .
T n = CDnC-1
? =
?
1 -1 1
1 -1 -1
120
?
?
?
?
10 0
0 � 1
4
�n 0
0 0 �
-1
4
�n
?
?
?
?
1
3
1
3
1
3
-1
6 -1
6
1
3
1
2 -1
2 0
?
? .
Cuando n ? 8, se tiene que
T n ?
?
?
1 -1 1
1 -1 -1
120
?
?
?
?
100
000
000
?
?
?
?
1
3
1
3
1
3
-1
6 -1
6
1
3
1
2 -1
2 0
?
? =
=
?
?
1
3
1
3
1
3
1
3
1
3
1
3
1
3
1
3
1
3
?
? = Q.
9
Supongamos que T es la matriz de transici�n de una cadena de Markov con 3 estados
y que la probabilidad inicial es p(0), entonces, despu�s de n etapas