Академический Документы
Профессиональный Документы
Культура Документы
Cadenas de Markov
el presente, el comportamiento
probabilstico del futuro
inmediato slo depende del
estado presente
Propiedad Markoviana
Sea {Xn: n 0} un proceso estocstico
discreto (es decir, cada Xn es una variable
aleatoria discreta). Diremos que tiene la
propiedad de markoviana si se cumple:
Probabilidades de Transicin
pi,j(n) = la probabilidad de que el proceso,
estando en el estado i en el tiempo n,
pase al estado j en el instante
siguiente
Cuando pi,j(n) = pi,j (esto es, no depende de
n) se
dice que las probabilidades de transicin son
estacionarias. Lo supondremos de ahora
en
adelante.
Matriz de Transicin
Las probabilidades de transicin
definen la matriz P = [pij] que
satisface
1) pij 0 para todo i, j
p ij 1
2)
para todo i
Matriz de Transicin:
ejemplo
Tiempo
n+1
0,20
0,65
0,15
0,60
0,40
Estado 2
0,15
0,15
0,30
0,40
Estado 3
Estado 0
Tiempo Etado 1
n
Tiempo
Continuo
Tiempo
Discreto
documento
se describir en
profundidad este tipo
de cadenas.
Espacio
Discreto
Proceso de Markov
de tiempo continuo
Cadena de Markov
de tiempo continuo
Proceso de Markov
de tiempo discreto
Cadena de Markov
de tiempo discreto
10
11
P11
P10
P00
1
P01
P21
P12
P20
P02
P22
12
PP00
ij
P10
P
K0
P01 P0 K
P11
PKK
13
Representacin Matricial
P=
2
3
4
5
14
1 Pij 0 ;
i, j 0 ,1, 2 , ....
15
2.
P
j 0
ij
1 ;
Ejemplo:
Como se representa una Cadena
de Markov?
Existen dos formas de representar una cadena de
Markov; en forma GRFICA y en forma MATRICIAL
1/4
3/4
3/4
1/4
1/4
1/4
2
1/2
0 3 / 4 1/ 4
P 1 / 4 0 3 / 4
1 / 4 1 / 4 1 / 2
17
1. Representacin Grfica
0.97
0.
03
1
1
P=
2
0.9
7
0.03
2
3
4
5
j
18
1. Representacin Grfica
0.97
0.95
0.05
0.93
0.
03
4
5
1
P=
1 0
0.97 0
0.03
2 0
0.9
5
0.05 0
3 0
0.07 0.9
3
4 0
019
Pij P{ X n j | X 0 i}; n 0
Adems i,j pertenecen al espacio de estados
20
Pij P { X n m j | X m i }; n 0
Adems i,j pertenecen al espacio de estados
Ejemplo 1 (cont)
- Xn : mi capital inmediatamente despus del
juego n
- Estados del proceso = {0,1,2,3,4}
- Matriz de transicin:
1
0
0
1 p 0
p
0 1 p 0
0
0 1 p
0
0
p
0
0
0
0 1
Cadenas de Markov:
ejemplo 2
Tendremos la siguiente matriz de
transicin
Urb.
Surb.
Rur.
Cadenas de Markov
0,05
0,90
0,8
0,15
Urb
Sur
b.
0,06
0,04
0,04
0,90
Rural
0,06
Probabilidades de transicin en
n etapas
Pregunta: si en el tiempo t el proceso de
Markov se encuentra en el estado i, cul es
la probabilidad de que n pasos despus se
encuentre en el estado j ?
Resp:
= p(n)i,j (notacin)
= elemento (i,j) de la
matriz Pn
Aplicacin de resultados
anteriores
Consideremos el ejemplo 2, y supongamos que al
inicio de la investigacin, el 35% de la poblacin
viva en reas urbanas, el 45% en rea suburbana,
y el resto en rea rural.
a)
b)
Aplicacin de resultados
anteriores
0 ,5399
3
P 0 ,1352
0 ,0967
0 ,3353 0 ,1248
0 ,7593 0 ,1055
0 ,1622 0 ,7411
a t (0 , 35 0 ,45 0 , 20 )
a) 0,0967
b) 0,2691
P P
n 1
ik
kf
n
if
n, k 0
i, k , f
31
n-1 pasos
i
n-1 pasos
n-1
p
aso
s
E1
E2
E3
1 pa
so
1 paso
f
1 paso
so
a
p
El
32
Pif
( a ,b )
P X b f | X a i
33
Pif
a ,b
P Xb f Xq k | Xa i
k
34
E3
El
Pif
a ,b
P Xb f Xq k | Xa i
k
35
Pif
a ,b
P Xq k | Xa i P Xb f | Xa i Xq k
k
36
Pif
( a ,b )
P Xq k | Xa i P Xb f | Xq k
k
Pif
( a ,b )
Pik
a ,q
Pkf
q ,b
37
k , m, n 0
i, k , f
E3
El
q
m
b
n
39
40
Pi f
m 1
Pik Pkf
1
Pi f Pik Pkf
2
41
Pi f Pie2 Pe2 f
2
e2 1
pM 1
... ...
p22
..
... ...
p1M
.
.
pMM
Matriz de
transiciones de un
paso del sistema
42
pi f pi1 .. .. piM
..
p
Mf
( 2)
p11
.
..
p22
p1M
..
..
..
..
p p1M p11
. .
. .
pMM p1M
..
..
p22
..
..
..
p p1M
.
P2
.
pMM
P ( 2 ) { p ( 2 ) if }
P
( 2)
Pi f Pie2 Pe2 f
3
e2 1
Pi f Pie2 Pe2 f
3
e2 1
45
Pi f pie2 pe2 1 .. ..
3
e2 1
pe2 M
p1 f
..
..
p
Mf
Pi f pi1 p11 .. ..
3
p1 f
..
... p p
p1M
.. ..
iM
M1
..
pMf
p1 f
..
pMM
..
pMf
46
p11 .. .. ..
..
P pi1 .. .. ..
..
pM 1 .. .. ..
p1M
..
piM
P ( 2)
..
pMM
p(3)if =
p ( 2)11 ..
..
..
..
..
p ( 2) M 1 ..
p ( 2 )1 f ..
..
..
..
..
p ( 2) M 1 ..
p ( 2 )1 M
..
..
..
p ( 2) MM
47
P ( 3) P P ( 2 ) P P 2
( 3)
{ p if }
( 3)
( 3)
48
(n)
49
(n)
e
P[ X n e], e
( n ) 1( n )
......
E( n )
50
( 0 ) 1( 0 )
......
E( 0 )
51
( n ) ( n 1) P
( n ) (0) P ( n )
52
53
54
lim e( n ) e
55
lim ( n )
j i i Pij ;
para
j 0,1,2...., E
56
Ejemplo (desplazamiento
poblacional: ejemplo 2)
Dado que la matriz del ejemplo 3 es
ergdica, podemos hacer:
0,80 0,15 0,05
1 2 3 1
continuacin
Una opcin es:
continuacin
Cuya solucin es
(1, 2, 3) = (0.2077 , 0.4918 , 0.3005)
Es decir, si con el paso del tiempo se
mantiene el comportamiento descrito por el
modelo (lo cual es muy poco probable)
despus de muchos aos,aproximadamente,
el 21% de la poblacin ocupar las zonas
urbanas, el 49% las suburbanas y el 30% la
rural.
1
jj
j
ij 1 pin nj
n j
Ejemplo
En el ejemplo anterior
1/1 = 1/0,2077 = 4,8146 = 11
Es decir, el nmero promedio de aos
para que, partiendo de vivir en una zona
urbana, una familia regrese a vivir en una
zona urbana por primera vez es 4,8 aos.
continuacin
Cul es el nmero promedio de aos para que,
partiendo de vivir en zona urbana, una familia
llegue a vivir en zona suburbana, por primera
vez?. Hacemos primero
12 1 p 11 12 p 12 22 p 13 32
22 1 p 21 12 p 22 22 p 23 32
32 1 p 31 12 p 32 22 p 33 32
continuacin
Luego, ignoramos todas las filas y columnas que
tengan 22 y queda el sistema
12 1 p 11 12 p 13 32
32 1 p 31 12 p 33 32
se sustituye y agrupa
1 0 , 20 12 0 ,05 32
1
0 ,04 12 0 ,10 32
continuacin
Entonces, en promedio transcurren
8,33 aos para que una familia que
inicialmente vive en una zona urbana
llegue a vivir en zona suburbana, por
primera vez.
Central
Telefnica
G1 G2 G3 G4
66
Interesa conocer:
Cul es la probabilidad de
que cada mdulo est en
uso?.
Es decir, se desea conocer,
con que probabilidad se utiliza
cada mdulo, en cualquier
instante de tiempo.
Central
Telefnica
G1 G2 G3 G4
67
Central
Telefnica
G1 G2 G3 G4
68
Desde el 2 al 1: 0.4
Desde el 2 al 2: 0.2
Desde el 2 al 3: 0.4
Desde el 2 al 4: 0
Desde el 3 al 1: 0
Desde el 3 al 2: 0.3
Desde el 3 al 3: 0.1
Desee el 3 al 4: 0.6
Desde el 4 al 1: 0
Desde el 4 al 2: 0
Desde el 4 al 3: 0.5
Desee el 4 al 4: 0.5
69
0.7
0.1
0.4
2
0.4
0.6
3
0.3
0.5
4
0.5
70
P
0 0.3 0.1 0.6
0
0
0
.
5
0
.
5
1 2 3 4
71
Ejemplo:
(1)
En estado estacionario la
probabilidad de estar en
estado i en el paso n, es igual
a la probabilidad de estar en
estado i en el paso n+1
1
2
3
4
0.3 1 0.7 2 0 3 0 4
(2)
1 1 2 3 3 4
72
0.027
0.189
0.351
0.433
73
Ejemplo 3:
Alumno de Enseanza Media
Se desea estudiar el nmero de alumnos que estn
estudiando en la enseanza media de un colegio en
particular.
Se considerar que un alumno en un ao en particular puede
pasar de curso, repetir el curso cuantas veces sea
necesario o retirarse del establecimiento sin posibilidades
de regresar.
75
Ejemplo 3:
Alumno de Enseanza Media
Repetir 3 ao: 4%
Repetir 2 ao: 3%
Repetir 4 ao: 1%
Egresar: 96%
76
Ejemplo 3:
Alumno de Enseanza Media
Definicin de estados:
Estado 1: Estar en primer ao.
Estado 2: Estar en segundo ao.
Estado 3: Estar en tercer ao.
Estado 4: Estar en cuarto ao.
Estado 5: Egresar del establecimiento.
Estado 6: Retirarse del establecimiento.
77
Ejemplo 3:
Alumno de Enseanza Media
78
Ejemplo 3:
Alumno de Enseanza Media
0.97
0.02
0.01
Ejemplo 3:
Alumno de Enseanza Media
El diagrama de estados completo es:
0.04
0.03
0.02
0.97
0.95
0.94
0.02
0.02
0.01
0.01
6
1
0.96
0.03
5
1
80
0.04
0.03
0.02
0.97
0.01
2
0.02
0.95
0.01
0.94
0.02
6
1
0.96
0.03
0
0
0.02 0.97 0
0
0 0.03 0.95 0
0
0 0.04 0.94 0
P
0
0 0.01 0.96
0
0
0
0
0
1
0
0
0
0
0
0.01
0.02
0.02
0.03
0
81
82
0
2
Pasos
6
7
C2
C3
C4
C5
C6
Espacio de Estados
C1
83
84
Grficamente:
1
1
0
1
1
1
85
0.7 0.3
P
0
.
4
0
.
6
86
0.2 P00 08
. P10
0 1
0
0 1
1
1
0 1
(1 ) 0 (1 ) 1
1 0 1
88
4/7
3/ 7
es decir:
0 1
4 / 7
3 / 7
89
Clasificacin de estados en
Cadenas de Markov
Estado Alcanzable:
El estado j es alcanzable desde el
estado i si existe n > 0 tal que p(n)i,j
Clasificacin de estados en
Cadenas de Markov
Estados que se comunican:
Los estados i, j se comunican si ij.
Atencin: la relacin es una relacin
de equivalencia (reflexiva, simtrica y
transitiva). Me permite dividir el conjunto
de estados en clases de equivalencia
Clasificacin de estados en
Cadenas de Markov: ejemplo
Ejemplo 4: consideremos una cadena de
Markov con matriz de transicin
a
0,2 0,8 0 0
0 0,9 0,1
0
P
0,4 0,5 0,1 0
0
0 1
0
Clasificacin de estados en
Cadenas de Markov: ejemplo
Los estados {a,b,c} se comunican y
forman una clase de equivalencia. El
estado {d} es otra clase de
equivalencia.
Atencin: cuando una cadena de
Markov tiene slo una clase de
equivalencia, se dice que es
irreducible
Clasificacin de estados en
Cadenas de Markov
f(n)jk = probabilidad de que, partiendo
del estado j , la cadena
llegue al
estado k por primera vez
en el
tiempo n
Clasificacin de estados en
Cadenas de Markov
Probabilidad de llegar a k (en un
tiempo finito), partiendo de j
f jk f
n 1
(n)
jk
Clasificacin de estados en
Cadenas de Markov
Estado Recurrente.
Se dice que el estado i es recurrente
si fii = 1.
Esto significa lo siguiente: siempre
que parta del estado i, podr
regresar a el (en un tiempo finito)
Clasificacin de estados en
Cadenas de Markov
Estado Transitorio (no recurrente)
Se dice que el estado i es transitorio si f ii < 1.
(Esto significa lo siguiente: hay manera de abandonar
el estado i, de tal modo que nunca regrese a el)
Estado Absorbente:
Se dice que el estado i es absorbente si p ii =
1.
En el ejemplo 4, a,b y c son transitorios, d es
recurrente y tambin absorbente
Clasificacin de estados en
Cadenas de Markov: ejemplo
Estado Peridico
Un estado recurrente i es peridico,
con periodo k > 1, si k es el menor
nmero tal que todas las trayectoria
que parte de i y regresan a i, tienen
longitud mltiplo de k.
Si no es periodico se le dice
aperidico
Clasificacin de estados en
Cadenas de Markov
Cadena Ergdica
Si todos los estados de una
Cadena de Markov son
recurrentes, aperidicos y se
comunican entre si, se dice que
la cadena es Ergdica.
1
jj
j
ij 1 pin nj
n j
Ejemplos
Ejemplo: Hallar, si existe, la
distribucin estacionaria para esta
CM con S={1, 2,
0,33}:0,5 0,2
Q 0,6 0 0,4
0 0,4 0,6
Ejemplos
1 Dibujamos el DTE y as
comprobamos ms fcilmente que la
CM es finita y ergdica:
1
Ejemplos
2 y 3 Planteamos las ecuaciones:
p1 0,3 0,6 0 p1
p2 0,5 0 0,4 p2
p 0,2 0,4 0,6 p
3
3
p1 p2 p3 1
Ejemplos
0,7
0,6
0,7
0,7 0,3 1
0,5 0,4 p3 p3
0,6
0,6 0,4 0,6
1 0,3 0,6 p2 p2
0'6
0'6
2'3
T
6
7
10
, ,
23 23 23
0.8
0.1
0.1
0.03
0.95
0.02
0.2
0.05
0.75
IP(X 0 1) 0.45
f 0 IP(X 0 2) 0.25
IP(X 0 3) 0.30
0.1
0.1
0 .8
P 0.03 0.95 0.02
IP(X 1 1) 0.4275
f 1 P T f 0 IP(X 1 2) 0.2975
IP(X 1 3) 0.2750
Y dos meses despus:
IP(X 2 1) 0.4059
f 2 P T f 1 IP(X 2 2) 0.3391
IP(X 2 3) 0.2550
i = 1,2,3.
3=
Concepto de cadena
absorbente
Q' R
Q
0 I
Ejemplo de CM absorbente
En un juego participan dos jugadores, A y B.
En cada turno, se lanza una moneda al aire.
Si sale cara, A le da 1 a B. Si sale cruz, B le
da 1 a A. Al principio, A tiene 3 y B tiene 2
. El juego contina hasta que alguno de los
dos se arruine o alcance a tener 5. Calcular:
La probabilidad de que A termine arruinndose.
La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar el
juego.
Ejemplo de CM absorbente
Tendremos una CM con un estado por
cada posible estado de cuentas de A:
S={1, 2, 3, 4, 5, 0}. Descomponemos
1
2 Q:3
1
2
3
Q
4
5
0
0 0,5 0
0
0 0,5
0,5 0 0,5 0
0
0
0 0,5 0 0,5 0
0
0
0 0,5 0 0,5 0
0
0
0
0
1
0
0
0
0
0
0
1
2
Q'
3
0 0,5 0
0
0,5 0 0,5 0
0 0,5 0 0,5
0
0 0,5 0
5
1 0 0,5
2 0
0
R
3 0
0
4 0,5 0
Ejemplo de CM absorbente
Realizamos los clculos necesarios:
1
1 1
0,5
0
0
2 0,5
1
0,5
0
1
I Q '
3 0
0,5
1
0,5
4 0
0
0,5
1
5
1 0,2
2 0,4
I Q' 1 R
3 0,6
4 0,8
2
3
4
0
0,8
0,6
0,4
0,2
1,6
1,2
0,8
0,4
1,2
2,4
1,6
0,8
0,8
1,6
2,4
1,2
0,4
0,8
1,2
1,6
Ejemplo de CM absorbente
Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0,
que es el 2 estado absorbente. Como empezamos
en el 3er estado transitorio (A empieza con 3 ),
debemos consultar la 3 fila, 2 columna de (IQ)
1R, que nos da una probabilidad de 0,4 de que A
empiece con 3 y termine en la ruina.
Ejemplo de CM absorbente
Nmero medio de tiradas que tarda en acabar
el juego
Sumamos los nmeros medios de etapas que se
estar en cualquier estado transitorio antes de la
absorcin, suponiendo que empezamos en el 3 er
estado transitorio. Dichos nmeros medios son los
que forman la 3 fila de la matriz (IQ)1. El promedio
es: 0,8+1,6+2,4+1,2=6 tiradas.
cn
a1m
a 2m
Q
a3m
pag
incob
0 0,6 0
0
0 0 0,5 0
0 0
0 0,4
0 0
0
0
0 0
0
0
0 0
0
0
0,4 0
0,5 0
0,6 0
0,7 0,3
1
0
0
1
0
0 0,6 0
0 0 0,5 0
Q'
0 0
0 0,4
0 0
0
0
0,4
0,5
0,6
0
0
0,7 0,3
a1m
1
I Q '
a 2m
a3m
a1m a2m
a3m
1 0,6
0
0
0
1
0,5
0
0
0
1
0,4
0
0
0
1
pag
a1m
a 2m
a3m
0 1
0,5 0,20
0 0
1
0,40
0 0
0
1
incob
cn 0,964 0,036
Ejemplo Planificacin de
personal
Ejemplo Planificacin de
personal
Surgen muchas preguntas interesantes
que la empresa podra contestar. Por
ejemplo, cual es probabilidad que un
abogado principiante recin contratado
se vaya antes de ser socio? En promedio
Cunto tiempo permanece un abogado
principiante recin contratado en la
empresa?
El
modelamiento
como
cadena
absorbente de markov a continuacin:
(el orden esta de acuerdo al listado)
Ejemplo Planificacin de
personal
princ exp
asoc
s/s
prin 0,80
exp 0
asoc 0
ss / s 0
sc / s 0
0
0,80 0,15
Q' 0
0,70 0,20
0
0
0
,
95
sale sale
0,15
0,05
0,70
0
0,20
0,95
0,10
0
c/s
0
0
0,05
0
1
0
0,05
R 0,10
0
0
0,05
Ejemplo Planificacin de
personal
Realizamos los clculos necesarios:
princ
exper
asoci
1
I Q' exp 0 0,30 0,20
asoc 0
0
0,05
prin exp
1
asoc
prin 5 2,5
10
exp 0 10 / 3 40 / 3
asoc 0
0
20
sale sale
s/soc c/soc
prin 0,50 0,50
I Q' 1 R exp 1 / 3 2 / 3
asoc 0
1
Ejemplo Planificacin de
personal
Cual es la duracin promedio de un
abogado joven recin contratado en
la empresa
Cual es la probabilidad que un
abogado joven llegue a ser socio.
Cual es la duracin promedio que
pasa un socio en el bufete.