CADENAS DE MARKOV

1. Introduccin.
2. Definicin de proceso estocstico.
3. Realizacin de un proceso
estocstico.
4. Clasificacin de los procesos
estocsticos.
5. Ejercicios
Objetivos
3. Conocer los tipos de Procesos
Estocsticos.
1. Definir matemticamente que es un
Proceso Estocstico.
2. Conocer que es una realizacin de un
Proceso Estocstico.
4. Aplicar los conceptos aprendidos en
clase.
Procesos de Markov Finitos
1. Introduccin.
2. Cadena de Markov.
3. Probabilidad de Transicin de un Paso.
4. Probabilidad de Transicin Estacionarias.
5. Matriz de Probabilidades de Transiciones de un
Paso.
6. Probabilidades de Estado Inicial del Proceso.
7. Proposiciones.
8. Diagrama de Transiciones.
II. Procesos de Markov Finitos. Intro.
Las cadenas de Markov
fueron inventadas por el
matemtico ruso Andrei
Andreevitch Markov alrededor
de 1905 que las introdujo en
1917. Su intencin era crear
un modelo probabilstico para
analizar la aparicin de
vocales en poemas y textos
literarios.
II. Procesos de Markov Finitos. Intro.
Las cadenas de
Markov pueden aplicarse
a una amplia gama de
fenmenos cientficos y
sociales, y se cuenta con
una teora matemtica
extensa al respecto.
II. Cadenas de Markov de Tiempo
Discreto
Definicin 2. Un proceso estocstico {X
n
, nT}
es una cadena de Markov de tiempo discreto
si:

i) Tiene un espacio de estados S discreto,
esto es S={0,1,2,3,}
ii) Tiene un espacio paramtrico de tiempo T
discreto, es decir T={0,1,2,3,} y
iii) Cumple la propiedad markoviana
Un proceso estocstico tiene la propiedad markoviana si las
probabilidades de transicin en un paso slo dependen del
estado del sistema en el perodo anterior (memoria limitada)
Propiedad Markoviana
Si consideramos el tiempo (n+1) como el
tiempo futuro, el tiempo n como el presente y
los tiempos 0, 1, , n-1 como el tiempo
pasado, entonces (1) establece que la
distribucin de probabilidad del estado del
proceso en el tiempo futuro (n+1) depende
nicamente del estado del proceso en el tiempo
presente n, y no depende de los estados del
proceso en los tiempos pasados 0, 1, . . . , n1.
II. Cadenas de Markov de Tiempo
Discreto
Proposicin 1. Para una cadena de Markov
{X
n
, nT} se cumple que


Demostracin
Aplicando la distribucin conjunta al lado
izquierdo de la igualdad (2) y aplicando (1)
tenemos
II. Cadenas de Markov de Tiempo
Discreto
(2)
P(X
0
=i
o
, X
1
=i
1
, ,X
n
=i)=
A la probabilidad P(X
n+1
=j/X
n
=i) se le denota
como P
ij
(n,n+1)
,es decir P(X
n+1
=j/X
n
=i)=P
ij
(n,n+1)
y
representa la probabilidad de transicin de ir
del estado presente i al estado futuro j en un
paso o periodo. Cuando las P
ij
(n,n+1)
no
dependen de n se dice que las probabilidades
de transicin son estacionarias u homogneas
en el tiempo y P
ij
(n,n+1)
se representa por P
ij
, es
decir P
ij
(n,n+1)
=P
ij

2.1. Probabilidades de transicin de
un paso
P
(n)
es la matriz de transicin en n pasos, de orden (M+1)x(M+1)
Propiedad Markoviana
Las probabilidades de transicin P
ij
de un
paso estn representadas en una matiz en una
matriz P=[P
ij
] i,jS con S={0,1,2,,n}discreto y
finito, llamada matriz de probabilidades de
transicin de un paso o matriz de Marvok
Continuacin:
Hallar la matriz de transicin:
Ejemplo: Ruina del Jugador
4
3
2
1
0
4 3 2 1 0
P
Suponga que se producen 2 colas (1 y 2). Si un cliente
compra la cola 1, hay 90% que la siguiente compra sea cola
1. Si compra cola 2, hay una probabilidad de 80% que la
prxima compra sea cola 2.

a) Si actualmente una persona es comprador de cola 2.
Cul es la prob. que compre cola 1 pasadas 2 compras
a partir de hoy?
b) Si actualmente una persona es comprador de cola 1.
Cul es la prob. que compre cola 1 pasadas 3 compras
a partir de ahora?
c) Supongamos que el 60% de toda la gente toma hoy cola
1 y el 40% cola 2. A tres compras a partir de ahora. Qu
fraccin de los compradores estar tomando cola 1?
Ejemplo: Produccin de bebidas
Tipos de modelos de Markov:
Procesos de Markov (Modelos semi-
markovianos): Las probabilidades de transicin
entre estados pueden variar a medida que
transcurren ms ciclos
Ejemplo: para modelizar la esperanza de vida, el riesgo
de muerte aumenta con la edad
Cadenas de Markov: Las probabilidades de
transicin se suponen constantes a lo largo del
tiempo


Las Cadenas de Markov
Ejemplo 1. Sea una cadena de Markov X
n
,
nT con S= 0, 1,2 y con la siguiente matriz
de probabilidades de transicin.






Determinar
Ejemplo 2.
Supongamos que un insecto se desplaza a
travs de los puntos que han sido marcados en
un crculo (ver Figura 1). La forma en que se
desplaza el insecto sobre el crculo es a travs
de saltos que da en cada punto marcado en un
momento del tiempo medido en minutos.

Figura 1. Posibles puntos de
ubicacin del insecto sobre el
circulo.
El insecto, tiene la probabilidad p de moverse a
la derecha y 1-p de moverse a la izquierda.
Supongamos, adems, que el insecto inicialmente
se encuentra en el punto 1 y que al desplazarse
mira al centro del circulo.

a) Determinar X
n
b) El espacio de estados S
c) El espacio parametrico T
d) La Matriz de probabilidades de transicin
En general puede considerarse que una
cadena de Markov inicia su evolucin
partiendo de un estado inicial i
cualquiera, o bajo una distribucin de
probabilidad inicial sobre el espacio de
estados S.
Una distribucin inicial para una cadena
de Markov con espacio de estados

S= 0, 1,2,, n


2.3. Distribucin de probabilidad del
estado inicial del proceso


S= 0, 1,2,, n

es simplemente una distribucin de
probabilidad sobre este conjunto, es
decir, una coleccin de probabilidades
que se denota por [P(X
0
=i
0
)]=[
0
(i
0
)]
iS que satisface las siguientes
condiciones:


2.3. Distribucin de probabilidad del
estado inicial del proceso


Entonces (2) es equivalente a



Esta igualdad establece que la cadena de
Markov se encuentra completamente
definida mediante la distribucin
inicial [
0
(i
0
)] y la matriz de
probabilidades de transicin P.


2.3. Distribucin de probabilidad del
estado inicial del proceso


Proposicin 3. Una cadena de Markov
X
n
,nT queda completamente definida si
son conocidas la matriz de
probabilidades P=[P
ij
] y la distribucin
de probabilidad inicial del proceso
[
0
(i
0
)] iS


2.3. Distribucin de probabilidad del
estado inicial del proceso


Ejemplo 3.
Sea una cadena de Markov X
n
,nT, con
S= 0,1,3 y con la siguiente matriz de
probabilidades P.
Es la representacin
mediante un grafo
dirigido de las
transiciones que se
dan entre los estados
i,jS de una cadena
de Markov. Una
transicin de i a j
se denota por ij o
de j a i se denota por
ji
2.4. Diagrama de transiciones
Figura 2. Transiciones
entre estados.
Ejemplo 4.
Elaborar el diagrama de transicin
entre estados de la siguiente matriz
Propiedad Markoviana
GRACIAS
Si Cuidamos el Medio
Ambiente, cuidamos a todos
nuestros seres queridos