Академический Документы
Профессиональный Документы
Культура Документы
1.
Nociones b
asicas
Definici
on: El proceso {Xn }nN con espacio de estados S N es una Cadena de Markov
si n, m N y i0 , . . . in , j S se cumple la propiedad:
P (Xn+m = j/X0 = i0 , X1 = i1 , . . . , Xn = in ) = P (Xn+m = j/Xn = in )
Definici
on: La probabilidad condicionada pn,n+1
= P (Xn+1 = j/Xn = i) se denomina probij
abilidad de transici
on del estado i en la etapa n, al estado j en la etapa n + 1.
Definici
on. Si la probabilidad de transicion verifica que:
pn,n+1
= pm,m+1
ij
i,j
n, m N
i, j S
Observaci
on La matriz de transicion de una Cadena de Markov es estoc
astica, esto es:
1. pij 0
i, j S.
P
2.
pij = 1
i S.
j
Comentario.
- Si A es matriz estocastica An es estocastica n 2.
- Si las matrices A y B son estocasticas, entonces la matriz A.B es estocastica.
1.1.
Ejemplos
1p p
0
.....
1p p
0
.....
P =
....
..... ..... .....
b) La sucesion aleatoria {Sn }nN variables aleatorias Bernoulli(p) independientes, es
Cadena de Markov con:
1p p
0
0 .......
0
1p p
0 .......
P =
0
0
1 p p .......
...
...
...
..........
c) La sucesion aleatoria {Tk }kN{0} definida por:
{Tk = n} = {Sn1 = k 1, Xn = 1}
esto es, el suceso {k-esimo exito aparece en el n-esimo intento de juegos Bernoulli(p)
independientes}, es Cadena de Markov con:
pij = P {Tk+1 = j/Tk = i}
= P {Tk+1 Tk = j 1}
ji1
pq
si j i + 1
=
0 otro caso
0
p pq pq 2 pq 3
0
0
p pq pq 2
P =
0
0
0
p pq
2. El Paseo Aleatorio {Sn }nN con Sn =
n
P
k=0
1 con probabilidad p
1 con probabilidad 1 p
pi,i+1 = p
independientes, es Cadena de Markov con
i S
pi,i1 = q
0
1
0
0
0
q
0
p
0
0
q
0
p
0
P = 0
0
0
q
0
p
Xk =
0 con probabilidad a0
1 con probabilidad a1
Xn =
....
P
siendo
ai = 1, ai 0 i, es Cadena de Markov con:
i
a0
a0
P =
...
...
a1
a1
...
...
a2
a2
...
...
...
...
...
...
0
1
0
1
1
0
1
a
2
2
0
P = 0
2
0 1 1a
2
0
2.
a1
2a
a+1
2a
si j = i + 1
si j = i 1
a
0
0
a + 1
....
1
0
2
0
....
1
0 2a a 1
0
1
0
a
2.1.
Probabilidades de transici
on en n etapas
Definici
on: Las probabilidades
pnij = P (Xm+n = j/Xm = i) m, n 0,
i, j S
i, j S
Proposici
on: Ecuaciones de Chapman-Kolmogorov
X
pn+m
=
pnik pm
n, m 0, i, j S
kj
ij
kS
Demostraci
on
Se tiene
pn+m
= p(Xn+m = j/X0 = i)
ij
X
=
P (Xn+m = j, Xn = k/X0 = i)
kS
kS
kS
pnik pm
kj
kS
Observaci
on en forma matricial, la proposicion anterior establece
P (n) = P.P (n1) = P.P.P (n2) = . . . . . . = P n
lo cual indica que la n-esima potencia de la matriz de transicion es la matriz de transicion en
n etapas.
(Ver metodos para calcular P n en el Apendice del final del captulo).
Ejemplo de C
alculo de P n
Sea P la matriz de transicion de una Cadena de Markov con S = {1, 2}
P =
11 12 ...estados
2
1
4
2
3
4
a) Calcular P n
Descomposicion espectral: P = D1
|P I| = 0
(se observa ya que P ,1 = 1)
x1
(P I)
=0
x2
1
2
1
4
1
2
3
4
x1
x2
1 = 1 2 =
1
2
3
4
1
2
1
4
x1
x2
1
4
=
x1
x2
1 = 1
1
x
4 1
=
2x2 = x1
1
x
4 2
2 =
4
1
4
x1 = x2
entonces
=
1 2
1 1
de donde
=
1
3
1
3
2
3
13
se deduce que:
P =
1 2
1 1
1
1
4
2
3
1
3
1
3
13
entonces
p =
1 2
1 1
1
( 41 )n
1
3
1
3
2
3
13
=
1
3
1
3
+ 23 ( 14 )n
13 ( 14 )n
2
3
2
3
23 ( 14 )n
+ 13 ( 14 )n
1 1 1 n
( )
3 3 4
(n)
(n)
Definici
on: El vector p(n) = (. . . pi . . .), i S de probabilidades pi = P (Xn = i), se
denomina distribucion en la n-esima etapa. El vector p(0) se denomina distribucion inicial.
Proposici
on:
p(n) = p(0) .P n
n 0
Demostraci
on
A partir de las Ecuaciones de Chapman-Kolmogorov
(n)
pi
X (0) n
pj pjk
i S,
n 0
jS
matricialmente
p(n) = p(0) .P n
2.2.
Distribuci
on conjunta de r variables del proceso
Proposici
on Para toda Cadena de Markov (homogenea) la distribucion del proceso esta caracterizada por p(0) y P .
Demostraci
on
Sean i0 , i1 , . . . , in S, bastara probar que
P (X0 = i0 , X1 = i1 , . . . , Xn = in )
esta determinado a partir de p(0) y P .
Se tiene que:
P (X0 =
=
=
=
i0 , X1 = i1 , . . . , Xn = in ) =
P (Xn = in /X0 = i0 , X1 = i1 , . . . , Xn1 = in1 ).P (X0 = i0 , . . . , Xn1 = in1 )
P (Xn = in /Xn1 = in1 ).P (X0 = i0 , . . . , Xn1 = in1 )
P (Xn = in /Xn1 = in1 ).P (Xn1 = in1 /Xn2 = in2 ).P (X1 = i1 /X0 = i0 )
.P (X0 = i0 ) = pin1 , pin .pin2 , pin1 . . . pi0
(0)
(0)
pi1 .pi0
(0)
siendo pi0 elemento del vector inicial y el resto elementos de la matriz de transicion P .
Ejercicio
A partir de la matriz de transicion
P =
1
2
1
4
1
2
3
4
Hallar:
a) Probabilidad de que tras n transiciones despues de un 2 se den 1, 2 y 2 consecutivamente.
b) Teniendo p(0) = ( 21 , 12 ), hallar la probabilidad de encontrar la cadena en 2 tras 2 transiciones.
Soluci
on. teniendo en cuenta el calculo anterior de P n
b).p(2) =
p
(2)
(2) (2)
p1 p2
1 1
= ( , ).
2 2
= p(0) P 2
1
3
1
3
1
+ 23 . 16
1
13 . 16
2
3
2
3
1
23 . 16
1
+ 13 . 16
= (0, 350, 65)
(2)
de donde p2 = 0, 65.
2.3.
Distribuci
on lmite de la Cadena de Markov
3.
Clasificaci
on de estados
Definici
on
a). El estado j es accesible desde i si para alg
un n 0 se tiene que pnij > 0 (i j).
b). Los estados i y j son estados comunicados si i es accesible desde j y j es accesible desde
i (i j).
Observaci
on Si i , j no estan comunicados, entonces n 0 se verifica pnij =0 o pnji =0
o ambos.
6
Proposici
on La relacion () de comunicacion entre estados es de equivalencia.
Demostraci
on
1. reflexiva. Es inmediata por definicion.
2. simetrica. Es inmediata por definicion
3. transitiva.
Si i j entonces m 0 tal que pm
ij > 0
Si j k entonces n 0 tal que pnjk > 0
P m n
n
entonces pm+n
=
pil plk > pm
ij pjk > 0
ik
ik
lS
1
0
q
0
P =
0
0
0
1
p
0 0 2
.....
q
0
p
1
s
0
q
P =
...
...
...
pnii > 0)
Demostraci
on
Sean d = d(i), = d(j). Si i j se deduce que existe s 0, psij > 0.
y si j i analogamente existe r 0, con prji > 0
Entonces
psij prji = > 0
ps+r
i,i
1 0 0 0
0 1 1 0
2
2
P =
0 1 2 0
3
3
1
4
1
4
1
4
1
4
Los estados {1} y {2, 3} son recurrentes (se permanece en ellos una vez que se alcanzan), y
el estado {4} es transitorio (no se retorna a ellos una vez que se abandonan).
Definici
on. El estado i S se llama recurrente si
P (Xn = i
para alg
un n 1/X0 = 1) = 1
Definici
on El estado i S es transitorio si es no recurrente.
3.1.
Caracterizaci
on en t
erminos de las probabilidades de transici
on
Proposici
on El estado i es recurrente
pnii =
n=1
Demostraci
on
Vamos a relacionar las probabilidades de transicion con las probabilidades llamadas de
primera pasada para i, j S, con n 1.
fijn = P (Xn = j, Xk 6= j,
k = 1, 2, . . . , n 1/X0 = i)
con fij0 = 0.
Entonces fij =
n=1
Fii (s) =
n=0
Pii (s) =
fiin sn
pnii sn
n=0
entonces se verifica
Fii (s).Pii (s) =
=
n
X
X
n=0
k=0
n
X
n=1
k=0
!
fiin pnk
ii
sn
!
fiik pnk
ii
sn
= Pii (s) 1
1
de donde Pii (s) =
1 Fii (s)
0
ya que fii = 0 y p0ii = 1
n
X
n
ademas para n 1
pii =
fiik pnk
ii
k=0
n=1
lm Fii (s) = 1
s1
lm Pii (s) = lm
s1
pnii =
s1
pnii sn =
n=0
c.q.d.
n=1
P
P
fiin < 1 entonces por el Lema de Abel
Sea
pnii = . Si
n=1
n=1
s1
de donde
lm Pii (s) <
s1
fii < 1)
Piin <
n=1
Lema de Abel
P
i). Si
n <
n=0
ii) Si n 0 y
lm
s1
lm
s1
n s =
n=0
n=0
n sn =
n=0
n =
n=0
Observaciones
P n
1). Dado que fii =
fii es la probabilidad de que comenzando en i, el estado i sea eventualn=1
n=1
como Ni () el n
umero de veces que el estado i aparece en la realizacion (X1 (w), X2 (w), . . .), en
terminos de la funcion indicadora sera
Ni (w) =
n=1
De donde
"
E(Ni /X0 = i) = E
#
1{i} Xn (w)/X0 = i
n=1
P (Xn = i/X0 = i)
n=1
pnii
n=1
pn+m+k
jj
n
pm
ji pij
k=0
pm
ji > 0
k n
pm
ji pii pij
X
k=0
10
pkii
ya que
k=0
pkjj = j es recurrente.
k=0
Observaci
on
En cada clase de equivalencia (clases de estados comunicados) todos los estados tienen el
mismo caracter de recurrencia o transitoriedad. Se van a clasificar ahora los estados recurrentes.
Definici
on Para un estado i S recurrente, su tiempo medio de recurrencia i , es el
n
umero medio de transiciones requeridas para retornar al estado i. Esto es
i =
nfiin
n=1
Definici
on. Sea j S recurrente, sera
a). recurrente positivo si j <
b). recurrente nulo si j = si i, j pnij
c) ergodico si es recurrente positivo y aperiodico.
n 0
lm P (Xn = j) = j
Observaci
on: Ya que:
P (Xn = j) = p(n) (j) =
p(0) (i)pnij
iS
donde p(0) (i) es la i-esima coordenada del vector inicial p(0) , se observa que la existencia de la
distribucion lmite no depende de p(0) y s depende del
lm pnij
y ademas (j) 0 j
(j) = 1
jS
es
Observaci
on La distribucion lmite es invariante, esto es:
X
(j) =
(i).pij
jS
iS
lm P (Xn+1 = j)
X
lm
P (Xn = i).pij
iS
X
iS
lm P (Xn = i) .pij
(i)pij
iS
1
j
i, j S
1
j
Ejercicio: C
alculo de las probabilidades de primera pasada.
Para n = 1 se tiene fij = pij
P
Para n 2 se tiene fijn =
pib fbjn1
b6=j
Ejemplo:
S = {1, 2, 3}
P =
1 0
1
2
1
3
1
3
1
15
1
6
3
5
f2j
fn =
......
......
el vector de probabilidad
deprimera pasada con n 1
0
1
1
ahora
obviamente f =
3
1
15
fn
entonces f 2
1 0 0
0
n1
2
1
1
1
0
= Qf , luego f =
2
6
3
1
3
1
0
3
5
5
0
0
0
4
3
1
1
1
......
,f =
=
,f =
648
108
18
1
30
1
5
de donde
n
f13
= 0 n 1
1 1 n1
n
=
f23
( )
n 1
3 6
1
n=1
n
15
f33
=
3 1 n2 1
( ) (3) n 2
5 6
13
1
180
4.
APENDICE.
CAPITULO 3.
METODOS
PARA CALCULAR P n
1). Z- transformada.
p(0) = vector inicial en la cadena de Markov.
p(n) = p(n1) .p
P
P
G(z) = pn z n = p0 + pn z n
0
G(z) p(0)
P
= z( pn1 .z n1 ).P
1
(0)
1
2
3
3
1
2
1
4
1 z/2 z/2
3/4z 1 z/4
z
z
det(I zP ) = (1 )(1 )
2
4
1
1 ( z4 )
(I zP )1 =
3z/4
(1 z)(1 + z/4)
3 2
z
z = (1 z)(1 + )
8
4
A
B
1/2z
=
+
z
1 (2)
1 z 1 + z/4
X 1 n 2 2
5
5
+
zn
35 35
4
3
5
3
5
2
5
2
5
3
5
3
5
2
5
2
5
3
5
3
5
2
5
2
5
P =
1
+
4
n
n
1
+
4
14
2
5
25
2
5
25
35
35
3
5
3
5
Anexo:
Calculo de la Distribucion estacionaria
(1 2 ) = (1 2 )
1 =
1
2
3
4
1
2
1
4
1 + 2 = 1
1
3
3
3
2
+ 2 1 = 2 1 2 = 2 2 =
2
4
2
2
5
1 =
=
1
n
=
0 j 6= k
1 j=k
se definen las matrices Bk obtenidas seg
un
.....
k (1).k (1)........k (1)k (n)
Bk = k .(...k ...) = .............................................
......
k (n)k (1)..........k (n)k (n)
donde:
1 . = I
j k =
entonces
Bj Bk = j
k =
0 j 6= k
Bj j = k
entonces
P = D1
P = 1 B1 + . . . + n Bn
ya que
P (i, j) =
XX
k
(i, k)D(k, k 0 )1 (k 0 , j)
k1
k (i)k k (j) =
luego
P k = k1 B1 + . . . + kn Bn
Ejemplo
P =
0, 8 0, 2
0, 3 0, 7
15
k Bk (i, j)
3
5
0, 8 + 0, 7 = 1 + 2
2 = 0, 5 autovalor
P 0 = B1 + B2
0, 6 0, 4
0, 4 0, 4
B1 =
, B2 =
0, 6 0, 4
0, 6 0, 6
0, 6 0, 4
0, 4 0, 4
k
k
p =
+ (0, 5)
para k = 0, 1, . . .
0, 6 0, 4
0, 6 0, 6
16