Cadenas de MARKOV en Tiempo

SEMANA 3
DISCRETO

[ PROGRAMACIN ESTOCSTICA ]


LECTURA UNO: CADENAS DE MARKOV EN TIEMPO DISCRETO

Como una clase especial de procesos estocsticos, las Cadenas de Markov, nos permiten
describir una gran variedad de sistemas de la realidad. En esta seccin del mdulo,
empezaremos por explicar las Cadenas de Markov en Tiempo Discreto:

Considere un sistema que es observado a iguales intervalos de tiempo en 0, 1, 2, y denotemos

a !! como el estado del sistema en dichos instantes de tiempo ! para ! = 0, 1, 2, La cuestin
es: si nos encontrramos en el instante de tiempo ! = 10, podramos predecir, de forma
probabilstica, !!! ?. De forma general, se puede decir que !!! depende de !! , !! , , !!" ,
estados que ya han sido observados, dado que nos encontramos en ! = 10. Sin embargo, una
importante simplificacin sera poder predecir !!! , conociendo nicamente !!" , es decir, sin
tener ninguna informacin acerca de !! , !! , , !! . Si el sistema en estudio tiene esta propiedad
para todos los instantes de tiempo !, se dice que tiene una Propiedad Markoviana.

Formalmente definido, un proceso estocstico !! , ! 0 con espacio de estados ! , es

considerado una Cadena de Markov en Tiempo Discreto (CMTD) si, para todo ! y ! en !, se
cumple lo siguiente:

! !!!! = ! !! = !, !!!! , , !! = !(!!!! = !|!! = !)

La cantidad !(!!!! = !|!! = !) ser llamada la probabilidad de transicin de un paso de una

CMTD en el instante de tiempo!.

Por otro lado, una CMTD !! , ! 0 es consideradahomognea si, para todo ! = 0,1, , se
cumple que:

! !!!! = ! !! = ! = !(!! = !|!! = !)

Esta ltima definicin implica que para una CMTD homognea, la probabilidad de transicin de
un paso depende de ! y !, y adems esta probabilidad es la misma para todos los instantes de
tiempo !.

Todas las CMTD de esta seccin del curso sern asumidas homogneas y con un espacio de
estados finito ! = {1,2, , !}.

Dado que todas las probabilidades de transicin de un paso para ! , ! determinados, son las
mismas sin importar !, introduciremos una notacin reducida de esta probabilidad:

!!" = ! !!!! = ! ! = ! , !, ! = !, !, , !

Note que una CMTD tiene ! ! probabilidades de transicin de un paso, razn por la cual resulta
conveniente utilizar una matriz de N x Npara ubicarlas:

2 [ POLITCNICO GRANCOLOMBIANO ]


!!,! !!,! !!,!

!!,! !!,! !!,!
=
!!,! !!,! !!,!

es llamada la matriz de probabilidades de transicin de un paso de una CMTD, donde las filas
corresponden a los estados de inicio y las columnas corresponden a los estados finales de la
transicin. Es decir, la probabilidad de ir del estado uno al estado dos se encuentra en la fila uno,
columna dos.

La matriz de probabilidades de transicin de un paso tambin puede ser representada

grficamente mediante un diagrama o grafo de transicin.

Ejemplo Uno:

Sea !! , ! 0 una CMTD con espacio de estados ! = 1, 2, 3 y con matriz de probabilidades

de transicin de un paso:
0.20 0.30 0.50
= 0.10 0 0.90
0.55 0 0.45

Si la CMTD est en el estado tres en el instante de tiempo diez y siete, Cul es la probabilidad
de que se encuentre en el estado uno en el instante de tiempo 18?

Del tiempo 17 al 18 hay nicamente un paso, luego la probabilidad que estamos

buscando es !!,! . Es decir, el valor que se encuentra en la fila tres, columna uno.
!!,! = 0.55.

Si la CMTD est en el estado dos en el instante de tiempo nueve, Cul es la probabilidad de que
se encuentre en el estado tres en el instante de tiempo diez?

Del nueve al diez hay nicamente un paso, luego la probabilidad que estamos buscando
es !!,! . Es decir, el valor que se encuentra en la fila dos, columna tres. !!,! = 0.90.

El grafo o diagrama de transicin para el ejemplo uno queda representado de la siente manera:

Grfico 1: Grafo de probabilidades de transicin del ejemplo uno

[ PROGRAMACIN ESTOCSTICA ] 3


Fuente: KULKARNI, V.G. Introduction to Modeling and Analysis of Stochastic Systems. Segunda
Edicin. Oxford: Springer. Captulo 2. 7. Ao?

Teorema Uno

Sea = [!!" ] una matriz N x N de probabilidades de transicin de una CMTD con espacio de
estados ! = {1,2, , !}, entonces:

1. !!" !, ! !, ! !
!
2. !!! !!" = !, ! ! !

Ejemplo Dos:

Una compaa manufacturera tienen una mquina que puede estar buena o daada. Si la
mquina est buena al comienzo del da, la mquina estar buena al comienzo del otro da con
probabilidad de 0,98. Si la mquina est mala al comienzo del da, la mquina estar mala al
comienzo del otro da con probabilidad de 0,03. Hay un operario que se encarga de reparar la
mquina cuando se daa. Cuando la mquina es arreglada queda como nueva.

a. Modele el sistema como una Cadena de Markov en Tiempo Discreto CMTD

b. Encuentre la matriz de transicin de probabilidades de un paso y realice la grfica de

transicin de probabilidades.

Sea !! el estado de la mquina al comienzo del da n.

0 !" !" !!"#$% !"# !"!"! !" !"#$%&'" !"# !! !
!! =
1 !" !" !!"#$% !"# !"#$% !" !"#$%&'" !"# !! !
!! , ! 0 es entonces una CMTD con ! = {0, 1} y matriz de probabilidades de transicin
!!,! !!,! 0.03 0.97
= !
!,! !!,! = 0.02 0.98

4 [ POLITCNICO GRANCOLOMBIANO ]


El grafo de probabilidades de transicin para esta CMTD sera:

Grfico 2: Grafo de probabilidades de transicin del ejemplo dos

0.97
0.03
0 1 0.98

0.02

Fuente: Elaboracin Propia

Ahora suponga que la compaa tiene dos mquinas que son idnticas. El comportamiento de
cada mquina es independiente y cada una cuenta con un operario para su reparacin.

a. Modele el sistema con una Cadena de Markov en Tiempo Discreto CMTD

b. Encuentre la matriz de transicin de probabilidades de un paso y realice la grfica de

transicin de probabilidades.

Sea !! el nmero de mquinas buenas al inicio del da n.

0 !"#$ !!"#$%& !"#$%& !" !"!#!$ !"# !! !
!! = 1 !"# ! !"#$ !"#$% !" !"!#!$ !"# !! !
2 !"# !!"#$%& !"#$%& !" !"!#!$ !"# !! !

!! , ! 0 es entonces una CMTD con ! = {0, 1, 2}. Sus probabilidades de transicin deben
ser calculadas de la siguiente manera:

!!,! = !(!"#1: ! !) !(!"#2: ! !)

Donde d significa daada. Esta probabilidad es:

!!,! = ! !! = ! !! = ! ! !! = ! !! = ! = !. ! !. ! = !. !!!"

Ahora,

!!,! = ! !"#1: ! ! ! !"#2: ! ! + ! !"#1: ! ! ! !"#2: ! !

Donde b significa buena. Es decir,

!!,! = ! !! = 0 !! = 0 ! !! = 1 !! = 0 + !! = 1 !! = 0 !! = 0 !! = 0

= !. ! !. !" + !. !" !. ! = !. !"#$

As para el resto de las probabilidades de transicin:

[ PROGRAMACIN ESTOCSTICA ] 5


!!,! = !(!"#1: ! !) !(!"#2: ! !)

!!,! = !. !" !. !" = !. !"#!

!!,! = !(!"#1: ! !) !(!"#2: ! !)

!!,! = !. !" !. !" = !. !!!"

!!,! = ! !"#1: ! ! ! !"#2: ! ! + ! !"#1: ! ! ! !"#2: ! !

!!,! = !. !" !. !" + !. !" !. !" = !. !"##

!!,! = ! !"#1: ! ! ! !"#2: ! !

!!,! = !. !" !. !" = !. !"#$.

!!,! = ! !"#1: ! ! ! !"#2: ! !

!!,! = !. !" !. !" = !. !!!"

!!,! = ! !"#1: ! ! ! !"#2: ! ! + ! !"#1: ! ! ! !"#2: ! !

!!,! = !. !" !. !" + !. !" !. !" = !. !"#$

!!,! = ! !"#1: ! ! !"#2: ! !

!!,! = !. !" !. !" = !. !"#$

De esta manera, ya podemos construir la matriz de probabilidades de transicin:

!!,! !!,! !!,! 0.0009 0.0582 0.9409
= !!,! !!,! !!,! = 0.0006 0.0488 0.9506
!!,! !!,! !!,! 0.0004 0.0392 0.9604

Finalmente, el grafo para esta CMTD es:

6 [ POLITCNICO GRANCOLOMBIANO ]


Grfico 3: Grafo de probabilidades de transicin del ejemplo dos

0.9409

0.0582 0.9506

0.0009 0.9604
0.0006 0.0392

0.0488
0.0004
Fuente: ElaboracinPropia

Ejemplo 3 :

El clima de una ciudad puede ser clasificado como soleado, nublado y lluvioso. Suponga que el
clima de maana depende solo del clima de hoy de la siguiente manera:

- Si hoy el clima es soleado, ser nublado maana con probabilidad de 0,3 y lluvioso con
probabilidad de 0,2

- Si hoy el clima es nublado, ser soleado maana con probabilidad de 0,5 y lluvioso con
probabilidad de 0,3

- Si hoy el clima es lluvioso, ser soleado maana con probabilidad de 0,4 y nublado con
probabilidad de 0,5.

Modele el clima de la ciudad como una CMTD. Encuentre la matriz de probabilidades de

transicin de un paso y realice el diagrama de transicin.

Sea !! la condicin del clima en el da n.

1 !" !" !"#$% !" !" !"#$%$ !" !"#$%&" !" !" !! !
!! = 2 !" !" !"#$% !" !! !"#$%$ !" !"#$%&' !" !" !! !
3 !" !" !"#$% !" !" !"#$%$ !" !!"#$%&% !" !" !! !
!! , ! 0 es entonces una CMTD con ! = {1, 2, 3} y matriz de probabilidades de
transicin.
!!,! !!,! !!,! 0.5 0.3 0.2
= !!,! !!,! !!,! = 0.5 0.2 0.3
!!,! !!,! !!,! 0.4 0.5 0.1

El grafo de probabilidades de transicin para esta CMTD sera:

[ PROGRAMACIN ESTOCSTICA ] 7


Grfico 4: Grafo de probabilidades de transicin del ejemplo tres

0.2

0.3 0.3

0.5 1 2 3 0.4

0.5 0.5

0.2
0.1
Fuente: ElaboracinPropia

Ejemplo 4:

Tenemos dos mquinas idnticas que trabajan de forma independiente. Cada una de ellas
produce un componente por da y con probabilidad p = cada uno de los componentes cumple
las especificaciones de calidad (de lo contrario el componente es desechado). Los componentes
que pasan la prueba de calidad son transferidos inmediatamente a un buffer en espera de ser
ensamblados. En cuanto hay tres componentes en el buffer, estos son ensamblados de
inmediato y el ensamble formado es retirado del buffer. Inicialmente el buffer est vaco.

Modele el sistema como una CMTD. Encuentre la matriz de probabilidades de transicin de un

paso y realice el diagrama de transicin.

!! : Nmero de componentes que hay en el buffer al final del da n.

! = {1, 2, 3}
!!,! !!,! !!,! 0.25 0.50 0.25
= !!,! !!,! !!,! = 0.25 0.25 0.50
!!,! !!,! !!,! 0.50 0.25 0.25

El grafo de probabilidades de transicin para esta CMTD sera:

8 [ POLITCNICO GRANCOLOMBIANO ]


Grfico 5: Grafo de probabilidades de transicin del ejemplo cuatro

0.25

0.5 0.5

0.25 0.25

0.25 0.25

0.25
0.5
Fuente: Elaboracin Propia

Ejemplo 5:

Tenemos dos urnas numeradas junto con una balota blanca y una negra. Inicialmente las dos
balotas estn en la urna uno. En el instante n se lanza un dado y si cae en nmero par, entonces
la balota blanca es cambiada de urna. De lo contrario, le corresponde a la balota negra el
cambio de urna.

Modele el sistema como una CMTD. Encuentre la matriz de probabilidades de transicin de un

paso y realice el diagrama de transicin.

!! : Nmero de balotas que hay en la urna despus del n-simo lanzamiento.

! = {0, 1, 2}
!!,! !!,! !!,! 0 1 0
= !!,! !!,! !!,! = 0.5 0 0.5
!!,! !!,! !!,! 0 1 0

Observe como resulta conveniente formular la CMTD a partir del comportamiento de una
sola urna. Esto gracias a que podemos inferir transiciones con la misma probabilidad sin
importarnos de que balota se trate.

El grafo de probabilidades de transicin para esta CMTD sera:

[ PROGRAMACIN ESTOCSTICA ] 9


Grfica 6: Grafo de probabilidades de transicin del ejemplo cinco

1 0.5

0.5 1

Fuente: ElaboracinPropia

Ahora suponga que inicialmente la balota blanca se encuentra en la urna 1uno y que la balota
negra est en la urna dos. Adems, la condicin de los dados cambia: si cae 1 2 en el
lanzamiento del dado, entonces la balota blanca es cambiada de urna, de lo contrario, el cambio
le corresponde a la balota negra. Cmo cambia el modelamiento de la CMTD y la matriz de
transiciones para estas nuevas condiciones?

Tenga en cuenta que las condiciones de los dados cambiaron y por lo tanto, las probabilidades
de transicin. Si modelramos la CMTD como lo hicimos anteriormente, tendramos problemas
con la asignacin de algunas probabilidades en la matriz y el grafo. Por ejemplo, dado que hay
una balota en la urna uno cul es la probabilidad de que en el siguiente paso no haya ninguna
balota? Como es imposible saber cul balota es la que est en la urna uno, no sabramos si
asignar la probabilidad de la negra o la probabilidad de la blanca. Dicho esto, debemos formular
esta nueva CMTD como:

!! : Nmero de balotas que hay en la urna despus del n-simo lanzamiento.

0 !" !" !"#$%" ! !"# !" !" !1 ! !" !"#$%" ! !"# !" !" !2
1 !" !" !"#$%" ! !"# !" !" !2 ! !" !"#$%" ! !"# !" !" !1
!! =
2 !" !" !"#$%" ! !"# !" !" !1 ! !" !"#$%" ! !"# !" !" !1
3 !" !" !"#$%" ! !"# !" !" !2 ! ! !"#$%" ! !"# !" !" !2
! = {0, 1, 2, 3}

De esta manera, la nueva matriz de probabilidades de transicin queda:

0 26 46 0
!!,! !!,! !!,! !!,!
!!,! !!,! !!,! !!,! 2 0 0 46
= ! 6
!,! !!,! !!,! !!,! = 4 0 0 2
!!,! !!,! !!,! !!,! 6 6
0 46 26 0

10 [ POLITCNICO GRANCOLOMBIANO ]


[ PROGRAMACIN ESTOCSTICA ] 11