MATER

DEPARTAMENTO: INGENIERIA INDUSTRIAL MATERIA: SISTEMAS DE MANUFACTURA DOCENTE: ING. ARIADNA BERNAL MAR TRABAJO: CADENA DE MARKOV INTEGRANTES: ADELA AGUSTIN SANTIAGO HIPOLITA CASTILLO DEL ANGEL JULIAN REYES HERNANDEZ JUAN PABLO HERNANDEZ AGUILAR JULIO CESAR ROBLES DEL ANGEL OMAR HERNANDEZ QUINTANA GRUPO: I / 71 FECHA: VIERNES 21 DE OCTUBRE DE 2011

INDICE 1-introduccion a la cadena de markov

1.1-finitas cadenas de markov 1.1.1 tipos de cadena 1.1.2 cadenas de markov con descuento 1.1.3 clasificacin de los estados en las cadenas de markov

2. formulacion de la cadena de markov 3. procesos estadsticos 4. propiedad marcoviana de primer orden 5. propiedad de transicin estacionaria de un solo paso
5.1 ejemplo de probabilidad de transicin de un solo paso 5.2 probabilidad de transicin estacionaria de N pasos 5.2.1ejemplo de probabilidad de transicin de N pasos 5.3 probabilidad de transicin estacionaria de estados estables

1- INTRODUCCION A LA CADENA DE MARKOV

El anlisis de Markov tuvo su origen en los estudios de A.A.Markov (1906-1907) sobre la secuencia de los experimentos conectados en cadena y los intentos de descubrir matemticamente los fenmenos fsicos conocidos como movimiento browiano. La teora general de los procesos de Markov se desarrollo en las dcadas de 1930 y 1940 por A.N.Kolmagoron, W.Feller, W.Doeblin, P.Levy, J.L.Doob y otros. El anlisis de Markov es una forma de analizar el movimiento actual de alguna variable, a fin de pronosticar un movimiento futuro de la misma. Definicin:
-Una cadena de markov o tambin llamado proceso de markov es un sistema estocstico en el que la ocurrencia de un estado futuro depende del estado inmediatamente precedente y solo de l.

-Las cadenas de markov son modelos probabilsticos que se usan para predecir la evolucin y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinmica de las averas de mquinas para decidir poltica de mantenimiento; evolucin de una enfermedad, - Una cadena de Markov es una secuencia X1, X2, X3, de variables aleatorias. El rango de estas variables, es llamado espacio estado y el valor de Xn es el estado del proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en estados pasados es una funcin de Xn por s sola, entonces: Donde xi es el estado del proceso en el instante i.

Las cadenas de Markov estn constituidas por un conjunto de valores {Xn , n :0,1,2...} que cumplen la probabilidad de alcanzar cualquier estado j de la variable depende exclusivamente del estado i alcanzado en el instante de tiempo anterior. P[Xn+1= j / Xn = i, Xn-1 = i1,..., X0=in]=P[Xn+1=j / Xn=i] i,j Se define para cada par de estados (i, j) que se alcanzan en dos pasos consecutivos de n y n+1 una probabilidad condicional denominada probabilidad de transicin pij. P[X+1=j / Xn=i] = pij Las probabilidades de transicin de un paso son estacionarias, es decir, que no cambian con el tiempo. Si pij no depende del instante n se dice que la cadena de Markov es homognea. Las probabilidades de transicin estructuradas en forma matricial da lugar a lo que se denomina matriz de transicin. Dicha matriz relaciona los estados de la variable en dos pasos consecutivos y n+1 a travs de sus probabilidades de transicin.

Periodo n+1
Estado ... 1 Estado p11 1 P*1 Periodo n .... Estado pM 1 M p1* p** pM* Estado M p1M p*M pMM

En los negocios, estas cadenas se han utilizado para analizar los patrones de compra de los deudores morosos (tardados, lentos), para planear las

necesidades de personal y para analizar el reemplazo de equipo, as como tambin se han aplicado en reas como educacin, comercializacin, servicios de salud, finanzas, contabilidad y produccin. El anlisis de Markov, es llamado as en honor de un matemtico ruso que desarrollo el mtodo en 1907, el cual permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo ms importante an, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo. Sin embargo la tarea ms difcil es reconocer cundo puede aplicarse y la caracterstica ms importante es que hay que buscar en la memoria de un evento a otro. Elementos de la cadena de markov: -Un conjunto finito de M estados, exhaustivos y mutuamente excluyentes (ejemplo: estados de la enfermedad) -Ciclo de markov (paso): periodo de tiempo que sirve de base para examinar las transiciones entre estados (ejemplo, un mes) -Probabilidades de transicin entre estados, en un ciclo (matriz P) -Distribucin inicial del sistema entre los M estados posibles TIPOS DE CADENAS

Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre s): 1. Desde cualquier estado de E se puede acceder a cualquier otro. 2. Todos los estados se comunican entre s. 3. C(x)=E para algn xE. 4. C(x)=E para todo xE.

5. El nico conjunto cerrado es el total. La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de cadenas de Markov irreducibles. Cadenas positivo-recurrentes Una cadena de Markov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si la cadena es adems irreducible es posible demostrar que existe un nico vector de probabilidad invariante y est dado por:

Cadenas regulares Una cadena de Markov se dice regular (tambin primitiva o ergdica) si existe alguna potencia positiva de la matriz de transicin cuyas entradas sean todas estrictamente mayores que cero. Cuando el espacio de estados E es finito, si P denota la matriz de transicin de la cadena se tiene que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, ste vector invariante es nico. Cadenas absorbentes Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes: 1. La cadena tiene al menos un estado absorbente. 2. De cualquier estado no absorbente se accede a algn estado absorbente. Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados: Su matriz de transicin siempre se puede llevar a una de la forma

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.

 cadena , esto es, no importa en donde se encuentre la, eventualmente terminar en un estado absorbente.

Finitas cadenas de markov Un proceso markovianos Un proceso markoviano est formado por un conjunto de objetos y un conjunto de estados tales que: i) En cualquier momento dado cada objeto deber encontrarse en uno de los estados diferentes (diferentes objetos no necesariamente debern estar en diferentes estados). ii) La probabilidad de que un objeto cambie de un estado a otro( el cual puede ser el mismo que el primer estado) durante un periodo, depende solo de estos dos estados El nmero entero de periodos transcurridos desde el momento o en que el proceso se inicia, representa las etapas del proceso, las cuales pueden ser finitas o infinitas. Si el numero de estados es finito o infinito contable, el proceso markoviano es una cadena de markov. Una cadena finita de markov es aquella que tiene un nmero finito de estados. Se denota con Pij a la probabilidad de cambiar del estado i al j en un periodo. Para una cadena de markov de N (donde la N es un

numero entero positivo dado), la matriz de N NP= Pij es la

matriz estocstica de transicin

asociada

al

proceso.

Necesariamente, los elementos de cada rengln de P tienen

suma unitaria. Adems cada matriz estocstica tiene a 1 como un eigenvalor (posible mltiplo) y ninguno de los eigenvalores excede a uno en valor absoluto

Cadenas de markov con descuento Las cadenas de markov pueden ser el modelo para algunos procesos de decisin, una vez que se ha establecido una poltica. En tales casos, las probabilidades de transicin generalmente depende tanto de los estados como una poltica. di= una decisin cuando el proceso se encuentra en el estado i( i=1,2,, N) C (i,di)= costo o ganancia(esperado) de realizar la decisin di cuando est en el proceso i. Pij (di)= de transicin de pasar del estado i al estado j si se realiza la decisin di en el estado i. Cadenas de Markov en tiempo continuo. En las cadenas de Markov en tiempo discreto, utilizbamos como ndice un tiempo de cadenas de Markov se puede extender a un tiempo continuo t 0.En tiempo continuo es complicado denir la distribucin condicionada, dados todos los valores Xr para r s, por lo que decimos en su lugar que Xt , t 0, es una cadena de Markov si para cualquier 0 s0 < s1 < . . . < sn < s y posibles estados i0, . . . , in, i, j se tiene que P (Xt+s = j | Xs = i, Xsn= in,. . . , Xs0= i0) = P (Xt = j | X0 = i) es decir, dado el estado actual, el resto del pasado es irrelevante para predecir el futuro. En la denicin se observa que la probabilidad de ir desde i en el tiempo s hasta j en el tiempo s + t solo depende de t, esto es, de las diferencias de tiempos. Ejemplo. Sea N(t), t 0, un proceso de Poisson con tasa , y sea Yn una cadena de Markov discreta con probabilidad de transicin, digamos, u(i, j).

Entonces el proceso denido como Xt = YN(t) es una cadena de Markov en tiempo continuo, es decir, Xt realiza un salto de acuerdo a u(i, j) en cada llegada de N(t). 1Esto se sigue de manera intuitiva de la falta de memoria de la distribucin exponencial. Si Xn = i, entonces, independientemente de lo que ocurriese en el pasado, el tiempo hasta el siguiente salto se distribuye de manera exponencial con tasa , de modo que la cadena ir al estado j con probabilidad u(i, j). En las cadenas discretas, se tena la matriz de transicin y de modo paralelo, aqu, se tiene la probabilidad de transicin para t > 0 denida como pt (i, j) = P (Xt = j | X0 = i). Clasificacin de los estados en las cadenas de markov Estado 1- Dados dos estados i y j , una trayectoria de i a j es una secuencia de transiciones que comienza en i y termina en j, tal que cada transicin en la secuencia tiene una probabilidad positiva de ocurrir. Un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca de i a j. Estado 2-Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable desde j. Estado 3-Un conjunto de estado s en una cadena de markov es un conjunto cerrado sin ningn estado fuera de s es alcanzable desde algn estado en s. Estado 4-Un estado i es un estado absorbente si pij es igual a 1. Estado 5-Un estado i es un estado transitorio si existe un estado j que es alcanzable desde i , pero el estado i no es alcanzable desde el estado j. Estado 6-Si un estado no es transitorio, se llama estado recurrente. Estado 7-Si un estado no es transitorio, se llama estado recurrente. Estado 8-Un estado i es peridico con periodo k>1 si k es el numero ms pequeo tal que las trayectorias que conducen del estado i de regreso al

estado i tienen una longitud que es un mltiplo de k .Si un estado recurrente no es peridico, se conoce como aperidico. Estado 9- Si los estados en una cadena son recurrentes, aperidicos y se comunican entre s , se dice que la cadena es ergorica.

2- FORMULACION DE LA CADENA DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. El proceso para formular una cadena de Markov se muestra en la siguiente figura:

El generador de markov produce uno de n eventos posibles, Ej , donde j = 1, 2, . n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos dependen del estado del generador. Este estado se describe por el ltimo evento generado. En la figura 4.1.1, el ltimo evento generado fue Ej , de manera que el generador se encuentra en el estado Mj . La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional: P ( Ek / Mj ). Esto se llama probabilidad de transicin del estado Mj al estado Ek. Para describir completamente una cadena de

markov es necesario saber el estado actual y todas las probabilidades de transicin.

3- PROCESOS ESTOCASTICOS

Un proceso estocstico se define sencillamente como una coleccin indexada de variables aleatorias {X1}, donde el subndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y X, representa una caracterstica de inters medible en el tiempo t. Por ejemplo, el proceso estocstico, X1 , X2 , X3, .., Puede representar la coleccin de niveles de inventario semanales (o mensuales) de un producto dado, o puede representar la coleccin de demandas semanales (o mensuales) de este producto. Un estudio del comportamiento de un sistema de operacin durante algn periodo suele llevar al anlisis de un proceso estocstico con la siguiente estructura. En puntos especficos del tiempo t , el sistema se encuentra exactamente en una de un nmero finito de estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1, . . , S. Los periodos en el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender del comportamiento general del sistema en el que se encuentra sumergido el proceso estocstico. Aunque los estados pueden constituir una caracterizacin tanto cualitativa como cuantitativa del sistema, no hay prdida de generalidad con las etiquetas numricas 0, 1, M, que se usarn en adelante para denotar los estados posibles del sistema. As la representacin matemtica del sistema fsico es la de un proceso estocstico {Xi}, en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1, .. , M. Estos enteros son una caracterizacin de los M + 1 estados del proceso. Ejemplos de procesos estocsticos: 1. Serie mensual de ventas de un producto 2. Estado de una mquina al final de cada semana (funciona/averiada) 3. N de clientes esperando en una cola cada 30 segundos 4. Marca de detergente que compra un consumidor cada vez que hace la compra. Se supone que existen 7 marcas diferentes N de unidades en almacn al finalizar la semana

4- PROPIEDAD MARCOVIANA DE PRIMER ORDEN

Propiedad markoviana de 1o. orden: Se dice que un proceso estocstico tiene la propiedad markoviana si P Xt+1 = j = P X t+1, para toda t = 0, 1, y toda Sucesin i, j , K0 , K1 , . . , Ki-1. Se puede demostrar que esta propiedad markoviana es equivalente a establecer una probabilidad condicional de cualquier evento futuro dados cualquier evento pasado y el estado actual Xi = i, es independiente del evento pasado y slo depende del estado actual del proceso. Las probabilidades condicionales PXt+1 = j se llaman probabilidades de transicin. Si para cada i y j, P Xt+1 = j = pX1 = j, para toda t = 0, 1,. Entonces se dice que las probabilidades de transicin (de un paso) son estacionarias y por lo general se denotan por pij . As, tener probabilidades de transicin estacionarias implica que las probabilidades de transicin no cambian con el tiempo. La existencia de probabilidades de transicin (de un paso) estacionarias tambin implica que, para cada i, j y n (n = 0, 1, 2,), P Xt+n = j = pXn = j , Para toda t = 0, 1, . . . Estas probabilidades condicionales casi siempre se denotan por y se llaman probabilidades de transicin de n pasos. As, es simplemente la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i, se encuentre en el estado j despus de n pasos (unidades de tiempo). Como las propiedades: son probabilidades condicionales, deben satisfacer las

Ejemplos:

Comportamiento (sube/baja) del precio de las acciones hoy depende de lo ocurrido ayer Problema de la ruina de un jugador de casino Eleccin de marca: Con qu lnea area volar a Madrid? 5- PROBABILIDAD DE TRANSICION ESTACIONARIO DE UN SOLO PASO En la teora de los procesos estocsticos y, en particular, en la teora de las cadenas de Markov, se denomina probabilidad de transicin, Py, a la probabilidad de que estando el sistema en el estado E en el momento n pase al estado E en el momento n + 1. Una forma de describir una cadena de markov es con un diagrama de estados, como el que se muestra en la figura 4.1.2. En sta se ilustra un sistema de markov con cuatro estados posibles: M1, M2 , M3 y M4 . La probabilidad condicional o de transicin de moverse de un estado a otro se indica en el diagrama

Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. . La matriz de transicin para el ejemplo del diagrama de estados se muestra en la tabla 4.1.1.

Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. . Para n = 0, 1, 2,....

El superndice n no se escribe cuando n = 1.

EJEMPLO DE PROBABILIDAD DE TRANSICIN DE UN SOLO PASO. Ejemplo: Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda, , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3. El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica (s, S)1 para ordenar: si el

nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. Observe que {Xi}, en donde Xi es el nmero de cmaras en el almacn al final de la semana t ( antes de recibir el pedido}), es una cadena de Markov. Se ver ahora cmo obtener las probabilidades de transicin (de un paso), es decir, los elementos de la matriz de transicin (de un paso). Suponiendo que cada Dt tiene una distribucin Poisson con parmetro. Para obtener es necesario evaluar. Por lo tanto, significa que la demanda durante la semana fue de tres o ms cmaras. As, , la probabilidad de que una variable aleatoria Poisson con parmetro tome el valor de 3 o ms; y se puede obtener de una manera parecida., Para obtener, la demanda durante la semana debe ser 1 o ms. Observe que entonces la demanda durante la semana tiene que ser exactamente 1, por ende los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de transicin (de un paso): PROBABILIDAD DE TRANSICIN ESTACIONARIA DE N PASOS. Las ecuaciones de Champn-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos. Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el proceso estar en algn estado k despus de exactamente m (menor que n) pasos. As, es solo la probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despus de m pasos y despus al estado j en n- m pasos. Los casos especiales de m=1 y m=n-1 conducen a las expresiones : Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva.

Note los elementos de la matriz P(2) , pero tambin debe de observarse que estos elementos, se obtienen multiplicando la matriz de transicin de un paso por s misma; esto es , P(2) = P * P = P2 . En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n pasos se puede obtener de la expresin: P(n) = P * P. P = Pn = PPn1 = Pn-1 P. Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando la n-sima potencia de la matriz de transicin de un paso. Para valores no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales clculos resultan tediosos y, ms an, los errores de redondeo pueden causar inexactitudes. EJEMPLO DE PROBABILIDAD DE TRANSICIN DE N PASOS Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda,, semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. As, dado que tiene una cmara al final de una semana, la probabilidad de que no haya cmaras en inventario dos semanas despus es 0.283; es decir, De igual manera, dado que se tienen dos cmaras al final de una semana, la

probabilidad de que haya tres cmaras en el almacn dos semanas despus es 0.097; esto es, La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente manera: P (4) = P4 = P (2) * P (2) As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no haya cmaras en inventario 4 semanas ms tarde; es decir,de igual manera, dado que quedan dos cmaras en el almacn final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn 4 semanas.

PROBABILIDADES DE TRANSICIN ESTACIONARIA DE ESTADOS ESTABLES. Teorema Sea P la matriz de transicin de una cadena de M estados. Existe entonces un vector tal que se establece que para cualquier estado inicial i, el vector a menudo se llama distribucin de estado estable, o tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la distribucin de probabilidades de estacionario para una cadena dada cuya matriz de transicin es P, segn el teorema, para n grande y para toda i ,como Pij (n + 1) = (rengln i de Pn) (columna j de P) Ejemplo de probabilidades de transicin estacionaria de estados estables. Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compr cola 2, hay un 80 % de probabilidades que su prxima compra sea de cola 2.

Entonces: Al reemplazar la segunda ecuacin por la condicin, obtenemos el sistema y al despejar resulta por lo tanto, despus de largo tiempo, que hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2. Tiempos de primer pas. Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades sobre el nmero de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez. Este lapso se llama tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el nmero de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i. Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente: Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda, , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3. El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica (s, S)1 para ordenar: si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. Es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. Donde Xt es el nmero de cmaras en inventario al final de la semana t y se comienza con , Suponga que ocurri lo siguiente:

En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas: Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transicin de un paso. En el ejemplo, la distribucin de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue: Para i y j fijos, las son nmeros no negativos tales que Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las pueden considerarse como una distribucin de probabilidad para la variable aleatoria, el tiempo de primer paso. Caso de Aplicacin. Aplicacin a la administracin: Planeacin de Personal. El anlisis de transicin puede ser til al planear satisfacer las necesidades de personal. Muchas firmas emplean trabajadores de diferentes niveles de clasificacin dentro de la misma categora de trabajo. Esto es comn para personal de confianza, oficinistas, obreros calificados, no calificados y personal profesional. La firma debe tener el nmero de empleados en cada nivel de clasificacin para proporcionar la oportunidad de promocin adecuada, cumplir con las habilidades necesarias para el trabajo y controlar la nmina. Una planeacin de personal a largo plazo apropiada requiere que se considere el movimiento de personas tanto hacia arriba en el escalafn de clasificacin como hacia afuera de la organizacin. El anlisis de Markov puede ayudar en este esfuerzo de planeacin. El movimiento de personal a otras clasificaciones puede considerarse como una cadena de Markov. Se supone que hay tres clasificaciones; el grado 1 es la ms baja. Adems, los descensos se consideran raros y se omiten. El estado

salen es absorbente, el cual incluye renuncias, ceses, despidos y muertes. Por supuesto, todos los empleados finalmente alcanzan este estado. Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan promociones. Como transiciones de probabilidad, estn controladas por la firma, puede establecerse el nivel que la firma determine que es necesario para cumplir sus objetivos. Como ejemplo, supngase que la firma tiene en este momento 30 empleados del 3, 90 empleados del grado 2 y 300 empleados del grado 1 y que desea mantener este nivel de empleados durante el prximo ao. Por experiencia, se espera que salgan el 30 % de los empleados de grado 1 al ao, el 20 % de los empleados de grado 2 y el 10 % de aquellos que estn en el grado 3. Si la poltica es contratar slo en los niveles de clasificacin ms bajos, cuntos se deben contratar y cuntos se deben promover el siguiente ao para mantener estables los niveles ?. Este problema puede resolverse sin el anlisis de Markov, pero el modelo es til para ayudar a conceptualizar el problema. Como se trata slo de un ciclo, se usa el anlisis de transicin. El anlisis comienza con el grado ms alto. No se hacen promociones pero el 10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por promociones del grado 2. En el nivel de clasificacin, el 20 % sale y se deben promover 3, con una prdida de 21. Esto se debe compensar por promocin del grado 1. Al pasar al grado 1, el 30 % sale y 21 deben promoverse, lo cual una prdida total de 111. Por tanto, el siguiente ao se deben contratar 111 empleados del nivel 1. En este ejemplo se derivan algunas tasas de transicin a partir de consideraciones externas.

CONCLUSIONES

EVIDENCIAS

BIBLIOGRAFIA
1-Investigacin de operaciones Aplicacin y algoritmos 4edicion Wayne L.wiston

2-Investigacion de operaciones 5 edicin Hamdy A. Taha 3-Investigacion de operaciones Richard Bronson