CADENAS DE MARKOV

Una cadena de Markov, que recibe su nombre del matemtico ruso Andrei Markov, es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo. En matemticas, se define como un proceso estocstico discreto que cumple con la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la informacin relevante para describir en probabilidad su estado futuro. Una cadena de Markov es una secuencia X1, X2, X3, de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de Xn es el estado del proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en estados pasados es una funcin de Xn por s sola, entonces: Donde xi es el estado del proceso en el instante i. La identidad mostrada es la Propiedad de Markov. Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo ms importante an, es que permite encontrar el promedio a la larga o las probabilidades de

estado estable para cada estado. Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo. La tarea ms difcil es reconocer cundo puede aplicarse. La caracterstica ms importante que hay que buscar en la memoria de un evento a otro. Formulacin de las cadenas de Markov. Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. Probabilidades de transicin. Una forma de describir una cadena de Markov es con un diagrama de estados. En sta se ilustra un sistema de Markov con cuatro estados posibles: M1, M2, M3 y M4. La probabilidad condicional o de transicin de moverse de un estado a otro se indica en el diagrama Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. Otro mtodo para exhibir las probabilidades de transicin es usar una matriz de transicin. . Para n = 0, 1, 2,. El superndice n no se escribe cuando n = 1. Procesos estocsticos. Un proceso estocstico se define sencillamente como una coleccin indexada de variables aleatorias {X1}, donde el subndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y X, representa una caracterstica de inters medible en el tiempo t. Por ejemplo, el proceso estocstico, X1, X2, X3,.., Puede representar la coleccin de niveles de

inventario semanales (o mensuales) de un producto dado, o puede representar la coleccin de demandas semanales (o mensuales) de este producto. Un estudio del comportamiento de un sistema de operacin durante algn periodo suele llevar al anlisis de un proceso estocstico con la siguiente estructura. En puntos especficos del tiempo t , el sistema se encuentra exactamente en una de un nmero finito de estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1 . . , S. Los periodos en el tiempo pueden encontrarse a intervalos iguales o su esparcimiento puede depender del comportamiento general del sistema en el que se encuentra sumergido el proceso estocstico. Aunque los estados pueden constituir una caracterizacin tanto cualitativa como cuantitativa del sistema, no hay prdida de generalidad con las etiquetas numricas 0, 1. . , M, que se usarn en adelante para denotar los estados posibles del sistema. As la representacin matemtica del sistema fsico es la de un proceso estocstico {Xi}, en donde las variables aleatorias se observan en t = 0, 1, 2,. . ., y en donde cada variable aleatoria puede tomar el valor de cualquiera de los M + 1 enteros 0, 1,.. , M. Estos enteros son una caracterizacin de los M + 1 estados del proceso. Propiedad Markoviana de 1o. orden. Se dice que un proceso estocstico tiene la propiedad Markoviana si P Xt+1 = j = P X t+1 , para toda t = 0, 1 . Y toda Sucesin i, j , K0 , K1 . . , Ki-1. Se puede demostrar que esta propiedad Markoviana es equivalente a establecer una probabilidad condicional de cualquier evento futuro dados cualquier evento pasado y el estado actual Xi = i, es independiente del evento pasado y slo depende del estado actual del proceso. Las probabilidades condicionales PXt+1 = j se llaman probabilidades de transicin. Si para cada i y j, P Xt+1 = j = pX1 = j, para toda t = 0, 1,. Entonces se dice que las probabilidades de transicin (de un paso) son estacionarias y por lo general se denotan por pij. As, tener probabilidades de transicin estacionarias implica que las probabilidades de transicin no cambian con el tiempo. La existencia de probabilidades de transicin (de un paso) estacionarias tambin implica que, para cada i, j y n (n = 0, 1, 2,),

P Xt+n = j = pXn = j, Para toda t = 0, 1,. . . Estas probabilidades condicionales casi siempre se denotan por y se llaman probabilidades de transicin de n pasos. As, es simplemente la probabilidad condicional de que la variable aleatoria X, comenzando en el estado i, se encuentre en el estado j despus de n pasos (unidades de tiempo). Como las son probabilidades condicionales, deben satisfacer las propiedades: Probabilidad de transicin de un solo paso. Ejemplo: Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda,, semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3 . El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. Es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. Observe que {Xi}, en donde Xi es el nmero de cmaras en el almacn al final de la semana t ( antes de recibir el pedido}), es una cadena de Markov. Se ver ahora cmo obtener las probabilidades de transicin (de un paso), es decir, los elementos de la matriz de transicin (de un paso). Suponiendo que cada Dt tiene una distribucin Poisson con parmetro.

Para obtener es necesario evaluar. Si, Entonces. Por lo tanto, significa que la demanda durante la semana fue de tres o ms cmaras. As, la probabilidad de que una variable aleatoria Poisson con parmetro tome el valor de 3 o ms; y se puede obtener de una manera parecida. Si, entonces. Para obtener, la demanda durante la semana debe ser 1 o ms. Por esto, Para encontrar, observe que si . En consecuencia, si, entonces la demanda durante la semana tiene que ser exactamente 1. Por ende, Los elementos restantes se obtienen en forma similar, lo que lleva a la siguiente a la siguiente matriz de transicin (de un paso): Probabilidad de transicin estacionaria de n pasos. Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas probabilidades de transicin de n pasos: Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n pasos, el proceso estar en algn estado k despus de exactamente m (menor que n) pasos. As, Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despus de m pasos y despus al estado j en n- m pasos. Los casos especiales de m=1 y m=n-1 conducen a las expresiones Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se pueden obtener a partir de las probabilidades de transicin de un paso de manera recursiva. Para n=2, estas expresiones se vuelven: Note que las son los elementos de la matriz P (2), pero tambin debe de observarse que estos elementos, se obtienen multiplicando la matriz de transicin de un paso por s misma; esto es, P (2) = P * P = P2. En trminos ms generales, se concluye que la matriz de probabilidades de transicin de n pasos se puede obtener de la expresin: P(n) = P * P . P = Pn = PPn1 = Pn-1 P. Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener calculando la n-sima potencia de la matriz de transicin de un paso. Para valores no muy grandes de n, la matriz de transicin de n pasos se puede calcular en la

forma que se acaba de describir, pero cuando n es grande, tales clculos resultan tediosos y, ms an, los errores de redondeo pueden causar inexactitudes. Ejemplo: Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda,, semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3. El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica (s, S)1 para ordenar: si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. Es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. As, dado que tiene una cmara al final de una semana, la probabilidad de que no haya cmaras en inventario dos semanas despus es 0.283; es decir, De igual manera, dado que se tienen dos cmaras al final de una semana, la probabilidad de que haya tres cmaras en el almacn dos semanas despus es 0.097; esto es, La matriz de transicin de cuatro pasos tambin se puede obtener de la siguiente manera: P (4) = P4 = P (2) * P (2) As, dado que queda una cmara al final de una semana, 0.282 es la probabilidad de que no haya cmaras en inventario 4 semanas ms tarde; es decir, De igual manera, dado que quedan dos cmaras en el almacn final de una semana, se tiene una probabilidad de 0.171 de que haya tres cmaras en el almacn 4 semanas despus; esto es,

Probabilidades de transicin estacionaria de estados estables. Teorema Sea P la matriz de transicin de una cadena de M estados. Existe entonces un vector tal que Se establece que para cualquier estado inicial i. El vector a menudo se llama distribucin de estado estable, o tambin distribucin de equilibrio para la cadena de Markov. Para encontrar la distribucin de probabilidades de estacionario para una cadena dada cuya matriz de transicin es P, segn el teorema, para n grande y para toda i, (1) Como Pij (n + 1) = (rengln i de Pn) (columna j de P), podemos escribir (2) Ejemplo: Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compr cola 2, hay un 80 % de probabilidades que su prxima compra sea de cola 2. Entonces: Al reemplazar la segunda ecuacin por la condicin, Obtenemos el sistema Al despejar resulta que Por lo tanto, despus de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2. Tiempos de primer paso. Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades sobre el nmero de transiciones que hace el proceso al ir de un

estado i a un estado j por primera vez. Este lapso se llama tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el nmero de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i. Para ilustrar estas definiciones, reconsidrese el ejemplo siguiente: Una tienda de cmaras tiene en almacn un modelo especial de cmara que se puede ordenar cada semana. Sean D1, D2, las demandas de esta cmara durante la primera, segunda, , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idnticamente distribuidas que tienen una distribucin de probabilidad conocida. Sea X0 el nmero de cmaras que se tiene en el momento de iniciar el proceso, X1 el nmero de cmaras que se tienen al final de la semana uno, X2 el nmero de cmaras al final de la semana dos, etc. Suponga que X0 = 3. El sbado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente poltica ( s, S)1 para ordenar : si el nmero de cmaras en inventario al final de la semana es menor que s =1 (no hay cmaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o ms cmaras en el almacn, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1,.. Es un proceso estocstico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el nmero posible de cmaras en inventario al final de la semana. Donde Xt es el nmero de cmaras en inventario al final de la semana t y se comienza con, Suponga que ocurri lo siguiente: En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es de 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribucin de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transicin del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al j

sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas: Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transicin de un paso. En el ejemplo, la distribucin de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue: Para i y j fijos, las son nmeros no negativos tales que Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j. Cuando la suma es igual a 1, las pueden considerarse como una distribucin de probabilidad para la variable aleatoria, el tiempo de primer paso. Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea, que se define como: Entonces satisface, de manera nica, la ecuacin: Cuando i=j, se llama tiempo esperado de recurrencia. Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cmaras en el almacn, suponiendo que el proceso inicia cuando se tienen tres cmaras; es decir, se puede obtener el tiempo esperado de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones La solucin simultnea de este sistema es De manera que el tiempo esperado hasta que la tienda se queda sin cmaras es de 3.50 semanas. Caso de Aplicacin. Aplicacin a la administracin: Planeacin de Personal. El anlisis de transicin puede ser til al planear satisfacer las necesidades de personal. Muchas firmas emplean trabajadores de diferentes niveles de

clasificacin dentro de la misma categora de trabajo. Esto es comn para personal de confianza, oficinistas, obreros calificados, no calificados y personal profesional. La firma debe tener el nmero de empleados en cada nivel de clasificacin para proporcionar la oportunidad de promocin adecuada, cumplir con las habilidades necesarias para el trabajo y controlar la nmina. Una planeacin de personal a largo plazo apropiada requiere que se considere el movimiento de personas tanto hacia arriba en el escalafn de clasificacin como hacia afuera de la organizacin. El anlisis de Markov puede ayudar en este esfuerzo de planeacin. El movimiento de personal a otras clasificaciones puede considerarse como una cadena de Markov. Se supone que hay tres clasificaciones; el grado 1 es la ms baja. Adems, los descensos se consideran raros y se omiten. El estado salen es absorbente, el cual incluye renuncias, ceses, despidos y muertes. Por supuesto, todos los empleados finalmente alcanzan este estado. Las transiciones del grado 1 al grado 2 y del grado 2 al grado 3 representan promociones. Como transiciones de probabilidad, estn controladas por la firma, puede establecerse el nivel que la firma determine que es necesario para cumplir sus objetivos. Como ejemplo, supngase que la firma tiene en este momento 30 empleados del 3, 90 empleados del grado 2 y 300 empleados del grado 1 y que desea mantener este nivel de empleados durante el prximo ao. Por experiencia, se espera que salgan el 30 % de los empleados de grado 1 al ao, el 20 % de los empleados de grado 2 y el 10 % de aquellos que estn en el grado 3. Si la poltica es contratar slo en los niveles de clasificacin ms bajos, cuntos se deben contratar y cuntos se deben promover el siguiente ao para mantener estables los niveles ?. Este problema puede resolverse sin el anlisis de Markov, pero el modelo es til para ayudar a conceptualizar el problema. Como se trata slo de un ciclo, se usa el anlisis de transicin. El anlisis comienza con el grado ms alto. No se hacen promociones pero el 10 %, o sea, 3, sale. Todos ellos deben de reemplazarse por promociones del grado 2. En el nivel de clasificacin, el 20 % sale y se deben promover 3, con una prdida de 21. Esto se debe compensar por promocin del grado 1. Al pasar al grado 1, el 30 % sale y 21 deben promoverse, lo cual una prdida total de 111. Por tanto, el siguiente ao se deben contratar 111 empleados del nivel 1.

En este ejemplo se derivan algunas tasas de transicin a partir de consideraciones externas.

EJERCICIOS TIPO EXAMEN

2012 - 1 Un estudio reciente realizado en nuestra la ciudad muestra que el 2% de los habitantes que viven en el rea metropolitana se mudan a los suburbios en un perodo de un ao, en tanto que el 1% de los que viven en los suburbios se mudan al rea metropolitana en el mismo perodo. Suponga que esta situacin queda modelada como un proceso de Markov con dos estados: Ciudad (los que viven en el rea metropolitana) y Suburbios. Siguiendo los pasos requeridos escriba la matriz de probabilidades de transicin Calcule las probabilidades de estado estable En un rea metropolitana especfica, 40% de la poblacin vive en la ciudad y 60% vive en los suburbios. Qu cambios en la poblacin resultan de las probabilidades de estado estable para esta rea metropolitana? Un cazador le dispara a un pato independientemente de cuantos patos vuelen juntos; la probabilidad de acertar (es decir disparar y cazar un pato) es de 0.2. La cacera termina cuando el cazador haya cazado 2 patos. Suponga que esta situacin queda modelada como un proceso de Markov. a. Siguiendo los pasos requeridos escriba la matriz de probabilidades de transicin b. Cuntos disparos debe hacer el cazador antes de lograr el lmite, si tiene cero patos y cundo tenga un pato. Un estudio demuestra que el nmero de clientes que estn en el momento ocupando la estacin afecta la probabilidad de una nueva llegada, ver tabla anexa. Si se supone que la probabilidad de servicio es 0.5 formular esta situacin como una cadena de Markov, describiendo una a una las probabilidades de la matriz de transicin, de lo contrario la cadena no tiene valor. Nmero de clientes en la estacin 0 1 2 3 Probabilidad de una nueva llegada 0.4 0.4 0.1 0.1 a. b. c.

. En una oficina de representaciones hay tres agentes viajeros para visitar a los clientes. Las correras empiezan los lunes pero antes deben sostener una reunin conjunta. Slo pueden salir de viaje dos de los agentes pues siempre debe permanecer uno en la oficina. Cuando un agente sale de correra puede demorarse en ella exactamente una o dos semanas con probabilidad 2/3 y 1/3 respectivamente. Al iniciar una correra siempre salen los dos agentes disponibles. Escriba la matriz de transicin correspondiente a la situacin planteada.
Un taxi puede estar en buen estado (1) o en reparacin (0). En el 95% de los casos el taxi permanece en buen estado de un da a otro y cuando est en reparacin en el 30% de las veces no se logra reparar en un da. Cuando el taxi est funcionado los gastos de operacin diario son de $1500 y cuando est en reparacin los costos son de $2000 por da.

a. b. c.

Siguiendo todos los pasos requeridos, elabore la matriz correspondiente. Halle los costos directos esperados por da. Cunto debera ganar el taxista durante un da para que su sueldo sea al menos el doble del salario mnimo. [Ayuda: considere el salario mnimo como $450000]

. Hace mucho tiempo en una galaxia lejana existi un planeta en el que el clima de cualquier da dependa slo del clima del da anterior. Por ejemplo, la probabilidad de que lloviera hoy dependera slo de lo sucedido ayer. Existen slo tres tipos de clima en ese planeta: despejado, lluvia y nieve. Enseguida se presenta la matriz de transicin diaria para estos tipos de clima: Despejado 0.5 0.4 0.3 Lluvia 0. 0.4 0.3 Nieve 0.2 0.2 0.4

Despejado Lluvia nieve a.

Calcule las probabilidades de estado para pasado maana siendo que hoy llovi. b. Cul es la probabilidad de que siga lloviendo un mes despus c. Cules son las probabilidades de equilibrio para cada tipo de clima Suponga que el estado del tiempo un da cualquiera depende de las condiciones del tiempo de los dos das anteriores. Esto es, si ayer llovi y hoy tambin, la probabilidad de que maana llueva es 0.7. Si hoy llovi, pero no ayer, maana llover con probabilidad 0.5. Si hoy no llovi, pero ayer si, maana llover con probabilidad 0.4. Si en los ltimos das no ha llovido, llover maana con probabilidad 0.2. Siguiendo todos los pasos requeridos a la elaboracin de la cadena correspondiente, elabore la matriz de transicin correspondiente. b. Si el lunes y el martes de esta semana llovi, cul es la probabilidad de que llueva el jueves c. Cul es la probabilidad de que llueva en los prximos cuatro das, si hoy est lloviendo
Se tiene un proceso de produccin donde cada artculo debe pasar por dos etapas. Al final de cada etapa los artculos se desechan con probabilidad 0.05 o regresan para rehacerlos con probabilidad 0.1 o pasan a la etapa siguiente. El tiempo de operacin en cada etapa es de 1 hora-hombre y 2 horas-hombre respectivamente con un costo promedio de $144/hora; los artculos desechados cuestan $1 cada uno.

a.

a. Siguiendo todos los pasos requeridos a la elaboracin de la cadena, elabore la matriz de transicin correspondiente b. Halle el nmero esperado de pasos para que el producto sea terminado; y para que el producto sea desechado. c. Halle el porcentaje de piezas buenas que terminan d. Luego de pasar la etapa 1,cul es el porcentaje de piezas terminadas? e. Halle el costo esperado de produccin de cada artculo f. Halle el costo esperado de produccin de cada artculo bueno

 .. Un consorcio ha ganado una licitacin para construir una carretera en cierta zona volcnica del pas. El constructor sabe que el polvo volcnico obstruir los filtros de las mquinas de las mquinas con mucha rapidez y provocar que los camiones dejen de funcionar. Los filtros se revisan todos los das y se clasifican como recin limpiados, parcialmente obstruidos o totalmente obstruidos. Experiencias anteriores han mostrado que un filtro que se acaba de limpiar tiene una probabilidad de 0.1 de permanecer limpio y una probabilidad de 0.8 de quedar parcialmente obstruido. Un filtro que ya est parcialmente obstruido tiene igual probabilidad de quedar parcialmente o totalmente obstruido. Para poder utilizar un camin que tiene un filtro totalmente obstruido ste se debe limpiar primero. a. Siguiendo todos los pasos requeridos a la elaboracin de la cadena correspondiente, elabore la matriz de transicin correspondiente. b. Si un camin deja de operar, esto le cuesta a la compaa $100 por el tiempo perdido de trabajo y $20 para poder limpiar el filtro. Cunto le costar a la compaa seguir una poltica de no limpiar los filtros sino hasta que se detengan los camiones? .
Suponga las elecciones que se efectan en cierto pas cada dos aos. Se ha observado en el estado de Cumarca que un electorado que es liberal (vota liberal) puede votar por los conservadores en una eleccin si y slo si en la eleccin anterior se abstuvo de votar (mayora silenciosa); igual cosa sucede con los conservadores. Suponga S 1 si el elector vota liberal, S2 si vota conservador y S3 si se abstiene. La experiencia en Cumarca muestra que un liberal se abstendr la mitad del tiempo en las prximas elecciones, un conservador se abstendr la cuarta parte del tiempo y un abstencionista de las elecciones pasadas tiene probabilidad de votar igual por cualquier partido en las prximas elecciones.

a. Siguiendo todos los pasos requeridos a la elaboracin de la cadena correspondiente, elabore la matriz de transicin correspondiente. b. Encuentre la probabilidad de que una persona que vota liberal ahora, se abstenga dentro de 2 elecciones. c. En una eleccin dada, la mitad de la poblacin vota liberal, la cuarta parte conservador y el resto se abstiene. Qu proporciones se pueden esperar en las prximas elecciones? .. Una fbrica tiene dos mquinas y una cuadrilla de reparacin. Suponga que la probabilidad de que una mquina se dae un da cualquiera es alfa. Suponga, adems, que si la cuadrilla de reparacin est trabajando en una de las mquinas, la probabilidad que la repare en un da es beta. Sea Xn el nmero de mquinas en operacin al final del n-simo da. Asuma que el comportamiento de {Xn} puede modelarse como una cadena de Markov. Escriba la matriz de transicin correspondiente a la situacin planteada. Este problema es un reto: Aplicando la teora de Cadenas de Markov encuentre la probabilidad de que D est diciendo la verdad en el siguiente problema: A, B, C y D dicen la verdad cada uno de ellos

con una probabilidad de 1/3 (independientemente), y A afirma que B niega que C declara que D es un embustero Adaptado de Parzen 1968 .
En una investigacin de mercados se comprob que el 90% de las personas que compraban la marca X de cierto producto volvan a comprar la misma marca en la prxima semana, mientras que el 20% de los que no la haban comprado lo hacan en la prxima oportunidad.

Siguiendo los pasos requeridos describa esta situacin como una cadena de Markov b. Cul ser el porcentaje de consumidores de la marca X un mes despus, si inicialmente la probabilidad de adquirir la marca Y era de 0.3? c. Cul es el vector de estado estable? Interpretarlo
En un determinado proceso de produccin, cada artculo pasa por dos etapas de fabricacin. Al final de cada etapa los artculos se inspeccionan y se desechan totalmente con probabilidad 0.3; se desechan parcialmente para regresarlos y rehacerlos con probabilidad 0.2 o pasan a la etapa siguiente con probabilidad 0.5. Realizando todo el proceso de formulacin de una resolver esta situacin C.M, Tres nios A, B y C juegan con una pelota de la siguiente manera: si A tiene la pelota, siempre se la pasa a B y B siempre se la pasa a C, pero este se la pasa a A o B con igual probabilidad. Encontrar:

a.

a. Siguiendo los pasos requeridos defina el proceso de Markov correspondiente. b. Qu pasara tres lanzamientos despus, sabiendo que inicialmente C tiene la pelota. c. Las probabilidades lmites.
Una maquina puede estar en buen estado (1) o en reparacin (0). En el 85% de los casos la mquina permanece en buen estado de un da a otro y cuando est en reparacin en el 20% de las veces no se logra reparar en un da. Cuando la mquina est funcionado los gastos de operacin diario son de $2500 y cuando est en reparacin los costos son de $1000 por da. a. Siguiendo todos los pasos requeridos, elabore la matriz correspondiente. b. Halle los costos directos esperados por da. c. Cunto utilidad debera proporcionar la mquina durante un da para que la ganancia mensual sea al menos el triple del salario mnimo. [Ayuda: considere el salario mnimo como $450.000]