Modelos Probabilsticos Ingeniera en Sistemas Computacionales Paul Ramrez De la Cruz 27 mar 2007 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 2 Contenido Distribucin inicial de una cadena de Markov Matrices de probabilidad de transicin regulares Distribucin lmite de una cadena de Markov regular 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 3 Distribucin inicial de una cadena de Markov Es una distribucin de probabilidad que indica las posibilidades de que la cadena inicie en cada uno de los estados existentes
Ejemplo Consideremos una cadena con estados 0, 1, 2 Supongamos que, P(X 0 = 0) = 0.5625, P(X 1 = 1) = 0.3750 y P(X 2 = 2) = 0.0625 Entonces el vector p = (0.5625,0.3750,0.0625) proporciona la distribucin de probabilidad para el estado inicial de la cadena Un caso particular es que inicialmente siempre ocurra que X 0 = i, donde i es uno de los estados de la cadena Por ejemplo, si se trata de una lnea de espera, al inicio est vaca Suponiendo que hubiera tambin tres estados: 0, 1 y 2, en este caso tendramos p = (1,0,0) Cuando el estado inicial siempre es el mismo, no se acostumbra dar la distribucin inicial, sino simplemente decir que el estado inicial es X 0 = 0 (en este caso) ( ) ( ) ( ) ( ) ( ) 0 0 0 0 1 0 , 1 ,..., , ,..., N p P X P X P X N p p p p = = = = = 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 4 Matrices de probabilidad de transicin regulares Supongamos que tenemos una matriz P de probabilidades de transicin de una cadena de Markov que tiene un nmero finito de estados etiquetados 0,1,, N Supongamos adems que dicha matriz tiene la propiedad de que al elevarla a cierta potencia k, la matriz P k tiene todos sus elementos estrictamente positivos Entonces decimos que tal matriz de transicin, o bien la cadena de Markov correspondiente, es regular 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 5 Distribucin lmite de una cadena de Markov regular La principal caracterstica de una cadena de Markov regular es la existencia de una distribucin de probabilidad lmite
que cumple
y adems es independiente del estado inicial ( ) 0 1 , ,..., N t t t t = 0 0, 0,1,..., 1 j N j j j N t t = > = =
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov 6 Ejemplo La siguiente matriz es regular: Si calculamos las primeras potencias de P, tenemos:
De lo anterior, notamos que para P 7 , las entradas por renglones coinciden a dos decimales Las probabilidades lmite son 0.5282 y 0.4718 0.33 0.67 0.75 0.25 P
=
2 0.6114 0.3886 0.4350 0.5650 P
=
3 0.4932 0.5068 0.5673 0.4327 P
=
4 0.5428 0.4572 0.5117 0.4883 P
=
5 0.5220 0.4780 0.5350 0.4650 P
=
6 0.5307 0.4693 0.5253 0.4747 P
=
7 0.5271 0.4729 0.5294 0.4706 P
=
27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 7 Distribucin lmite para una cadena de Markov regular Si se tiene una cadena de Markov regular con matriz de probabilidades de transicin P y estados 0,1,, N, entonces la distribucin lmite de dicha cadena satisface las condiciones:
Estas ecuaciones proporcionan un sistema que tiene solucin, pero tiene una ecuacin redundante Para obtener la solucin, arbitrariamente se desecha una de las ecuaciones de la primera parte (la que establece la relacin entre las t j y las P kj ) y se resuelve el sistema resultante 0 0 , 0,1,..., 1 N j k kj k N j j P j N t t t = = = = =
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov 8 Ejercicio Determine la distribucin de probabilidad lmite para la matriz de transicin del ejercicio anterior 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 9 Interpretacin de la distribucin lmite La distribucin lmite de una cadena de Markov tiene dos interpretaciones: La primera interpretacin se refiere, precisamente, a que se trata de la distribucin lmite Cuando el proceso ha estado en operacin por un tiempo largo, la probabilidad de encontrar al proceso en el estado j es t j , sin importar en qu estado se haya comenzado 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 10 Interpretacin de la distribucin lmite La segunda interpretacin dice que t j proporciona la fraccin de tiempo que, en el largo plazo, el sistema pasar en el estado j Una consecuencia de lo anterior es que si el sistema incurre en un costo c j por cada visita al estado j, entonces a la larga el costo promedio por unidad de tiempo asociado con la cadena de Markov, C, es 0 N j j j C c t = =
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov 11 Ejercicios Determine la distribucin lmite de una cadena de Markov X 0 , X 1 , X 2 , que asume los estados 0, 1 y 2 y tiene la matriz de probabilidades de transicin
Suponga que las clases sociales de generaciones sucesivas en una familia siguen una cadena de Markov con la matriz de probabilidades de transicin que se da ms abajo. En el largo plazo, qu fraccin de las familias est en la clase alta? 0.7 0.2 0.1 0 0.6 0.4 0.5 0 0.5 P
=
0.7 0.2 0.1 0.2 0.6 0.2 0.1 0.4 0.5 Clase del Hijo Baja Media Alta Baja Clase P Media Paterna Alta
=
27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 12 Ejercicios Un autobs en un sistema masivo de transporte opera en una ruta continua con paradas intermedias Se clasifica la llegada del autobs en uno de tres estados, a saber: 1. Llegada temprana 2. Llegada a tiempo 3. Llegada tarda Suponga que los estados sucesivos forman una cadena de Markov con la matriz de probabilidad de transicin que se da ms abajo. En un periodo largo de tiempo, qu fraccin de las llegadas se puede considerar tarda? 0.5 0.4 0.1 0.2 0.5 0.3 0.1 0.2 0.7 P
=
27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 13 Ejercicios Los cuatro pueblos A, B, C y D estn conectados por lneas de ferrocarril como se muestra en la figura (todas son en ambos sentidos) Cada da, sin importar en qu pueblo se encuentre, en conductor de un tren elige una de las lneas que salen del pueblo y la recorre hasta el pueblo siguiente, donde el proceso se repite al da siguiente A la larga, cul es la probabilidad de encontrar al tren en el pueblo D? A D C B 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 14 Ejemplo prototipo: Inventarios Considrese una tienda de fotografa con un problema de inventarios Sea D i la demanda de cmaras de tipo K que tiene la tienda durante la semana i, i = 1,2, Se supone que las D i son variables aleatorias independientes e idnticamente distribuidas que siguen la distribucin Poisson con media = 1 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 15 Ejemplo prototipo: Inventarios Sea X t el nmero de cmaras con que la tienda cuenta al final de la semana t, para t = 0,1, y supongamos que X 0 = 3, de modo que al principio se cuenta con 3 cmaras en inventario Entonces {X t } = {X 0 , X 1 , X 2 ,} es un proceso estocstico que representa el nmero de cmaras con que se cuenta al final de la semana t 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 16 Ejemplo prototipo: Inventarios El dueo de la tienda sigue la poltica de pedidos que se describe a continuacin: Al final de cada semana t, se revisa el inventario y: Si X t = 0, entonces se hace un pedido por tres cmaras Si X t > 0, entonces no se hace pedido alguno 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 17 Ejemplo prototipo: Inventarios Suponga que el sistema de inventarios descrito tiene la matriz de transicin
Suponga adems que la tienda incurre en un costo por almacenaje de acuerdo con la siguiente relacin:
Obtenga la distribucin lmite de la cadena de Markov y calcule el costo esperado por almacenaje 0.080 0.184 0.368 0.368 0.632 0.368 0 0 0.264 0.368 0.368 0 0.080 0.184 0.368 0.368 P
=
( ) 0, 0 2, 1 8, 2 18, 3 t t t t t si X si X C X si X si X =
=
=
27 mar 2007 S4A - Comportamiento a largo plazo
de Cadenas de Markov 18 Ejemplo prototipo: Inventarios Resolviendo el sistema, tenemos que la distribucin lmite es p = (0.286, 0.285, 0.263, 0.166) El costo esperado por almacenaje es: ( ) ( ) ( ) ( ) ( ) ( ) 0.286 0 0.285 2 0.263 8 0.166 18 5.662 t E C X = + + + = 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 19 Seudocdigo para la simulacin de una cadena de Markov Dadas la matriz de probabilidades de transicin P, la distribucin inicial p y el nmero de unidades de tiempo a simular t Genere t nmeros aleatorios uniformes entre 0 y 1 y almacnelos en a N = longitud(p) estado = buscaAleat(p,a[1]) X = estado // Lista de estados visitados Para (i = 2,,t) estado = buscaAleat(P[estado,:],a[i]) Agregue el ltimo estado a la cadena X Grafique X vs 1,,i FinPara Calcule la distribucin lmite donde t i = (Nmero de componentes de X que son iguales a i) / t Reporte la distribucin lmite Regresa (X, t) ( ) 0 1 , ,..., N t t t t = 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 20 Seudocdigo para la simulacin de una cadena de Markov Funcin buscaAleat(distrib, x) // distrib es un vector que contiene una distribucin de probabilidad // x es una probabilidad N = longitud(distrib) acumula = distrib[1] donde = 1 Mientras ((x > acumulada) y (donde < N)) donde = donde + 1 acumulada = acumulada + p[donde] FinMientras Regresa (donde) 27 mar 2007 S4A - Comportamiento a largo plazo de Cadenas de Markov 21 Referencias Hillier, Frederick S. & Lieberman, Gerald. Introduccin a la investigacin de operaciones. McGraw-Hill Interamericana. Mxico 2006 Karlin, Samuel & Taylor, Howard M. A First Course in Stochastic Processes. Segunda edicin. Academic Press. EUA, 1975