Elementos de Cadenas de

Markov
Probabilidad y Estadstica Aplicadas a las
Operaciones
Especialidad en Direccin
de Operaciones
MCE Paul Ramrez De la Cruz
feb 2009
feb 201016 feb 2009
Elementos de Cadenas de
Markov 2
Contenido
Introduccin
Definiciones sobre Cadenas de Markov de
tiempo discreto
Ejemplos
Estados absorbentes
Procesos Poisson
Ejemplo
feb 201016 feb 2009
Elementos de Cadenas de
Markov 3
Introduccin
Consideremos un cajero que
atiende a las personas que
llegan a una sucursal bancaria
Pensemos que en la fila nunca
hay ms de tres personas
(incluyendo la que se atiende)
Supongamos que los clientes
no llegan en grupos
Entonces el nmero de
personas en la fila (incluyendo
la que se atiende) puede
tomar los valores 0, 1, 2, 3
feb 201016 feb 2009
Elementos de Cadenas de
Markov 4
Introduccin
Pensemos que el cajero tarda
al menos un minuto en atender
a un cliente y que en un
minuto dado no puede llegar
ms de un cliente al banco
Si observamos el nmero de
personas en la fila cada
minuto, esta cantidad puede:
Aumentar en 1, si llega otro
cliente antes de que atiendan
al que est en servicio
Disminuir en 1, si se termina
de atender al cliente y nadie
ms llega
Esto se repite a lo largo del da
Minuto 5
Minuto 6
Minuto 7
Minuto 8
feb 201016 feb 2009
Elementos de Cadenas de
Markov 5
Introduccin
Si podemos considerar que la cantidad de clientes en el prximo
minuto depende solamente de la cantidad de clientes en el minuto
actual, entonces podramos determinar la probabilidad de tener una
cierta cantidad de clientes en la fila en el prximo minuto
Para ello requeriramos solamente probabilidades condicionales del
tipo:
P(en el siguiente minuto haya i clientes | en este minuto hay j clientes)
A fin de poder calcular tales probabilidades, debemos contar con:
Informacin acerca de la velocidad con que atiende el cajero a los
clientes
Informacin sobre la cantidad de clientes que llega al banco por unidad
de tiempo
feb 201016 feb 2009
Elementos de Cadenas de
Markov 6
Introduccin
Una forma adecuada de
organizar dicha
informacin es mediante
una tabla o matriz
En los renglones
colocamos el nmero
actual de clientes
En las columnas, el
nmero de clientes en el
siguiente minuto
Llamemos X
n
al nmero
de clientes en el minuto n
0 1 2 3
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6 C
l
i
e
n
t
e
s

e
n

e
l

m
i
n
u
t
o

n
Clientes en el minuto n+1
( )
12 1
2| 1 0.25
n n
p P X X
+
= = = =
feb 201016 feb 2009
Elementos de Cadenas de
Markov 7
Introduccin
Notemos que el primer rengln de la matriz
anterior indica las probabilidades de pasar a 0,
1, 2 o 3 clientes en la fila dado que ahora hay
cero clientes
Como estos valores representan todos los posibles
resultados, deben sumar 1
Lo mismo ocurre con los otros renglones
A una matriz que cumple con esta condicin se
le llama matriz estocstica (probabilstica)
feb 201016 feb 2009
Elementos de Cadenas de
Markov 8
Definiciones sobre Cadenas de
Markov de Tiempo Discreto
Proceso estocstico
Es una funcin aleatoria que vara en el tiempo
Sus valores no pueden ser predichos con exactitud, sino con
cierta probabilidad
Proceso o Cadena de Markov
Es un tipo importante de proceso estocstico que cumple con la
Propiedad Markoviana
Dicha propiedad implica que el comportamiento futuro del
proceso, dada la trayectoria que ha seguido en el pasado y
hasta el momento actual, depende nicamente de su situacin
presente
Esto implica que un proceso de Markov no tiene memoria
En el ejemplo, el proceso o cadena de Markov, X
n
, es el nmero
de clientes en la fila en el minuto n
feb 201016 feb 2009
Elementos de Cadenas de
Markov 9
Definiciones sobre Cadenas de
Markov de Tiempo Discreto
Si se observa el valor de la cadena de Markov en una
cantidad a lo ms numerable de momentos: 0, 1, ..., n,
... entonces se dice que es de tiempo discreto
Estados de una cadena de Markov
Son los valores que puede asumir el proceso
En el ejemplo visto, los estados son 0, 1, 2 y 3
Probabilidades de transicin
Son las probabilidades de que la cadena pase al estado j dado
que est en el estado i
Se representan por p
ij
Por ejemplo, si i = 1 y j = 2, entonces
( )
12 1
2| 1 0.25
n n
p P X X
+
= = = =
feb 201016 feb 2009
Elementos de Cadenas de
Markov 10
Definiciones sobre Cadenas de
Markov de Tiempo Discreto
Si las probabilidades de transicin son constantes con
respecto al tiempo, entonces se dice que la cadena de
Markov es homognea o estacionaria
Matriz de transicin o matriz estocstica
Es la matriz que resume las probabilidades de transicin
Si la matriz da las probabilidades de pasar:
Del estado i en el tiempo n al estado j en el tiempo n+1,
entonces se le llama de un paso
Del estado i en el tiempo n al estado j en el tiempo n+2, se le
llama de dos pasos, etc
Si P es la matriz de un paso de una cadena de Markov,
entonces P
2
es la matriz de dos pasos; P
3
la de tres
pasos, etc
feb 201016 feb 2009
Elementos de Cadenas de
Markov 11
Definiciones sobre Cadenas de
Markov de Tiempo Discreto
La distribucin inicial de una cadena de Markov son las
probabilidades de que inicie en cada estado
En nuestro ejemplo, siempre se empieza sin clientes,
as que siempre tenemos X
0
= 0, lo cual es equivalente a
decir que P(X
0
= 0) = 1
En general podramos tener una probabilidad de
empezar con 0 clientes, una probabilidad de empezar
con 1 cliente, etctera
Esto podramos expresarlo mediante un vector:
(P(X
0
= 0), P(X
0
= 1), P(X
0
= 2), P(X
0
= 3)) = (1,0,0,0)
feb 201016 feb 2009
Elementos de Cadenas de
Markov 12
Ejemplo 1
Dada la matriz de transicin del cajero bancario,
calcule
Solucin
Hay que observar que

Pero por la definicin de probabilidad condicional
( )
0 1
0, 1 P X X = =
( ) ( )
0 1 0 1
0, 1 0 1 P X X P X X = = = =
( ) ( ) ( )
( )
0 1 1 0 0
01
0 1 1| 0 0
1 0.5
P X X P X X P X
p
= = = = = =
= =
feb 201016 feb 2009
Elementos de Cadenas de
Markov 13
Ejemplo 2
Dada la matriz de transicin del cajero bancario, calcule

Solucin
Hay que observar que
Por la definicin de probabilidad condicional


Luego

Pero por el ejemplo anterior y por la propiedad markoviana
( )
0 1 2
0, 1, 2 P X X X = = =
( ) ( )
0 1 2 0 1 2
0, 1, 2 0 1 2 P X X X P X X X = = = = = =
( ) ( ) ( )
0 1 2 2 0 1 0 1
0 1 2 2| 0, 1 0, 1 P X X X P X X X P X X = = = = = = = = =
( )
( )
( )
0 1 2
2 0 1
0 1
0 1 2
2| 0, 1
0, 1
P X X X
P X X X
P X X
= = =
= = = =
= =
( ) ( ) ( ) ( )
( ) ( ) ( )
( ) ( )
0 1 2 2 0 1 1 0 0
2 1 1 0 0
12 01
0 1 2 2| 0, 1 1| 0 0
2| 1 1| 0 0
1 0.25 0.5 0.125
P X X X P X X X P X X P X
P X X P X X P X
p p
= = = = = = = = = =
= = = = = =
= = =
feb 201016 feb 2009
Elementos de Cadenas de
Markov 14
Ejemplo 3
Considere el problema de enviar un mensaje binario a
travs de un canal de seal que consta de tres etapas
La transmisin en cada etapa est sujeta a una
probabilidad de error fija de 0.01
Suponga que se enva X
0
= 0 y que X
n
es la seal que
se recibe en la n-sima etapa. Asuma que X
n
es una
cadena de Markov
Obtenga:
La matriz de transicin de X
n
La probabilidad de que el mensaje llegue sin errores hasta la
segunda etapa: P(X
0
= 0, X
1
= 0, X
2
= 0)
Sugerencia: Sea P la matriz de transicin de X
n
. Calcule P
2
feb 201016 feb 2009
Elementos de Cadenas de
Markov 15
Clasificacin de estados de
una cadena de Markov
Los estados de una cadena de Markov se
clasifican dependiendo de la fraccin de tiempo
que la cadena pasa en cada uno de ellos
Los estados de una cadena de Markov pueden
ser:
Transitorios
Recurrentes
Absorbentes
feb 201016 feb 2009
Elementos de Cadenas de
Markov 16
Estado Absorbente
Es un estado de una
cadena de Markov tal
que cuando el proceso
llega a l, ya no puede
pasar a otro estado
Un estado es absorbente
si la probabilidad de que
el proceso siga en l es
igual a 1
En la siguiente matriz de
transicin, note que el
estado 2 es absorbente,
ms no as el estado 0
0 1 2 3
0 0 1 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
feb 201016 feb 2009
Elementos de Cadenas de
Markov 17
Estados transitorios y recurrentes
Un estado i est comunicado con un estado j si
existe una ruta que lleva de i a j
Definimos como la probabilidad de que la
cadena de Markov regrese al estado j en n pasos
Se define como la probabilidad de que la cadena
regrese eventualmente al estado j y se calcula
como

Un estado es transitorio si
Un estado es recurrente si
( ) n
jj
f
jj
f
1
jj
f <
1
jj
f =
( ) ( ) ( ) ( ) 1 2
1
n n
jj jj jj jj jj
n
f f f f f

=
= = + + + +

feb 201016 feb 2009

Elementos de Cadenas de
Markov 18
Cadenas de Markov
irreducibles
Cadena de Markov irreducible, es aquella
en la que todos los estados estn
comunicados entre s
Se puede saber si una cadena de Markov
es irreducible verificando que P
k
tiene
todas sus entradas positivas para algn k
natural
feb 201016 feb 2009
Elementos de Cadenas de
Markov 19
Ejemplo
Verifique si las siguientes matrices de
transicin pertenecen a una cadena de
Markov irreducible
0 1 2 3
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
(
(
(
(
(

0 1 2 3
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3
(
(
(
(
(

feb 201016 feb 2009
Elementos de Cadenas de
Markov 20
Distribucin lmite de una
cadena de Markov
Si una cadena de Markov es irreducible, entonces tiene
distribucin lmite nica
Si es reducible, puede que tambin tenga distribucin lmite
nica
La distribucin lmite de una cadena de Markov
irreducible es un vector de probabilidades que puede
interpretarse como:
La probabilidad de que en cualquier momento dado, la cadena
se encuentre en el estado j, j = 1,2,,n; o bien
La fraccin del tiempo que, en el largo plazo, la cadena pasa en
el estado j, j = 1,2,,n
feb 201016 feb 2009
Elementos de Cadenas de
Markov 21
Distribucin lmite de una
cadena de Markov
Sea P la matriz de transicin de una cadena de Markov
irreducible con n estados y sea t = (t
1
, t
2
,, t
n
)
t
un
vector
La distribucin lmite de la cadena de Markov es la
solucin de



Note que una de las ecuaciones en Pt = t es
redundante
1 2
.
1
n
P
s a
t = t
t + t + + t =
feb 201016 feb 2009
Elementos de Cadenas de
Markov 22
Ejemplo
Calcule la distribucin lmite de la cadena
de Markov cuya matriz de transicin es
0 1 2 3
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
(
(
(
(
(

feb 201016 feb 2009
Elementos de Cadenas de
Markov 23
Procesos Poisson
Es uno de los tipos ms importantes de procesos estocsticos
Ejemplos de sus aplicaciones son
Llegada de consumidores a una estacin de servicio
Solicitudes de archivos a un servidor de red
Ocurrencia de accidentes en un crucero en particular
Defectos en un producto manufacturado
Comenzamos definiendo un contador que cuenta el nmero de
ocurrencias de un fenmeno a partir de un punto de referencia y
definimos
X(t) = Nmero de ocurrencias en el intervalo (0,t]
El contador X(t) se incrementa en una unidad cada vez que hay una
ocurrencia
feb 201016 feb 2009
Elementos de Cadenas de
Markov 24
Procesos Poisson
En un proceso Poisson, el nmero de ocurrencias hasta
el tiempo t sigue una distribucin Poisson con media t:


X(t) toma slo valores enteros y X(0) = 0
Los incrementos de X(t) son independientes entre s y
estacionarios (todos tienen la misma tasa de ocurrencia,
t)
Lo anterior implica que, por ejemplo, en el caso del banco, los
clientes no llegan en grupos y a lo largo de todo el da llegan
con la misma intensidad
Si estas condiciones no se cumplen, no es un proceso Poisson
( ) ( ) ( )
( )
; 0,1, 2,...
!
x
t
e t
p x P X t x x
x

= = = =
feb 201016 feb 2009
Elementos de Cadenas de
Markov 25
Ejemplo
Suponga que las solicitudes a un servidor
de red siguen la distribucin Poisson con
tasa =5 por minuto. Encuentre la
probabilidad de que haya al menos 8
solicitudes en un periodo de 2 minutos
feb 201016 feb 2009
Elementos de Cadenas de
Markov 26
Ejemplo
Los defectos en cierto tipo de cable
siguen la distribucin Poisson con tasa 1.5
por metro. Encuentre la probabilidad de
que haya no ms de 4 defectos en una
pieza de 2 metros de cable
feb 201016 feb 2009
Elementos de Cadenas de
Markov 27
Ejemplo
Una central telefnica recibe llamadas con
una intensidad de 3 llamadas por minuto
Calcule la probabilidad de que se reciban
3 llamadas en un periodo de 40 segundos
feb 201016 feb 2009
Elementos de Cadenas de
Markov 28
Suma de Procesos Poisson
Si X
1
(t) es un proceso Poisson con tasa
1
t y X
2
(t)
es otro proceso Poisson con tasa
2
t, entonces X
3
(t) =
X
1
(t) + X
2
(t) es un proceso Poisson con intensidad (
1
+

2
)t
Ejemplo
Cierto tipo de cacerolas presenta defectos no graves en 10 de
cada 1000 unidades y presenta defectos graves en 1 de cada
10000 unidades
Encuentre la probabilidad de que en las prximas 100 unidades
haya por lo menos 2 con algn defecto, grave o no grave