UNIDAD IV CADENAS DE MARKOV

Integrantes: Mirielle Eunice Aragn Lpez Efrn Crdova Prez Soledad Ocaa Vergara Diana Gorrochotegui Barra Mara Guadalupe Juregui Santos Eduardo Lpez Garca Ernesto de Dios Hernndez

Materia: Investigacin de Operaciones II

Catedrtica : Zinath Javier Gernimo

Unidad IV Cadenas de Markov

Algunas veces nos interesa saber cmo cambia

una variable aleatoria a travs de tiempo .Por ejemplo, desearamos conocer como evoluciona el precio de las acciones de una empresa en el mercado a travs del tiempo. El estudio de cmo evoluciona una variable aleatoria incluye el concepto de procesos estocsticos y el proceso de las cadenas de Markov. Las cadenas de Markov se han aplicado en reas tales como educacin, mercadotecnia, servicios de salud, finanzas ,contabilidad y produccin.

Unidad IV Cadenas de Markov

Procesos que evolucionan de forma no deterministica a lo largo del tiempo en torno a un conjunto de estados.
Un proceso estocstico de tiempo discreto es simplemente una descripcin de la relacin entre las variables aleatorias X0, X1, X2... Un proceso estocstico de tiempo continuo es simplemente un proceso estocstico en el que el estado del tiempo se puede examinar en cualquier tiempo y no slo en instantes discretos.

Unidad IV Cadenas de Markov

Es una herramienta para analizar el comportamiento y el gobierno de determinados tipos de procesos estocsticos. Es un tipo especial de procesos estocsticos de tiempo discreto. Para simplificar nuestra presentacin supondremos que en cualquier tiempo , el proceso estocstico de Tiempo discreto puede estar en uno de un nmero finito de estados identificados por 1,2,,S.

Unidad IV Cadenas de Markov

Un proceso estocstico de tiempo discreto es una cadena de Markov si, para t= 0, 1, 2, y todos los estados.
Estado: Situacin en que se haya el sistema en un instante dado dicha caracterizacin es cuantitativa como cualitativa. En otras palabras el estado es como estn las cosas.

P (X1+ 1=it+1 I X.=itXt-1=it-1,,X1=i1,X0=i0) =P(Xt-1=it-1IXt=it)

Unidad IV Cadenas de Markov

En esencia la ecuacin anterior dice que la distribucin de probabilidad del estado de tiempo t-1 depende de la del estado en el tiempo t(i) y no depende de los estados por los cuales pas la cadena para llegar a t, en el tiempo t. Si el sistema pasa de una lado i durante un periodo al estado j durante el siguiente, se dice que ha ocupado una transicin de i a j. Con frecuencia se llaman probabilidades de transicin de las pij en una cadena de Markov. La Hiptesis de estabilidad, indica que la ley de probabilidad que relaciona el estado siguiente periodo con el estado actual no cambia, o que permanecer estacionaria un tiempo.

Unidad IV Cadenas de Markov

El estudio de las cadenas de Markov tambin necesita que definan como la probabilidad de que la cadena se encuentra en el estado i en el tiempo en otras palabras, P( X=i)=q0Al vector q=Iq1 q2 qsI se le llama distribucin inicial de probabilidad de la cadena de Markov. En la mayor de las aplicaciones, las probabilidades de transicin se presentan como una matriz P de probabilidad de transicin SxS. La matriz de probabilidad de transicin se puede escribir como: P0A P0B . P0 P1A P1B ... P1 P2A P2B . P3

Unidad IV Cadenas de Markov

Dado que el estado es i en el tiempo t, el proceso debe estar en algn lugar de tiempo t+1.Esto significa que para cada i,

P (XT+1= Ji P (Xt = i)) = 1

Pu= 1

Tambin sabemos que cada elemento de la matriz P debe ser no negativo. Por lo tanto, todos los elementos de la matriz de probabilidad de transicin son negativos; los elementos de cada rengln deben sumar 1.

Unidad IV Cadenas de Markov

Unidad IV Cadenas de Markov

La ruina del jugador. En el tiempo 0 tengo 2 dlares. En los tiempos 1,2,.participo en un juego en el que apuesto 1 dlar. Gano el juego con probabilidad y lo pierdo con probabilidad 1-p. Mi meta es aumentar mi capital a 4 dlares, tan pronto como lo logre se suspende el juego . El juego tambin se suspende si capital se reduce a 0 dlares. Si definimos que X es mi capital despus del juego X, son procesos estocsticos de tiempo discreto. Ntese X0=2 es una constante conocida pero que X1 y las dems X son aleatorias. Por ejemplo, X1=3 con probabilidad P y X1 =1 con probabilidad 1-p. Ntese que si Xt=4 entonces X y todas las dems X, tambin sern igual a 4. Igualmente si Xt=0 entonces Xt+1 todas las dems Xt sern O tambin. Por razones obvias, a estos casos se llama problema de la ruina del juego.

Unidad IV Cadenas de Markov

Como la cantidad de dinero que tengo despus de t+1 jugadas depende de antecedentes del juego solo hasta la cantidad de efectivo que tengo despus de t jugadas, no ah duda que se trata de una cadena de Markov. Como las reglas del juego no varan con el tiempo, tambin tenemos una cadena de Markov estacionaria. La matriz de transicin es la siguiente ( el estado i quiere decir que tenemos i dlares): Estado 0dlares 1dlares 2dlares 3dlares 4dlares 1 0 0 0 0 1 p 0 p 0 0 0 1-p 0 p 0 0 0 1-p 0 p 0 0 0 0 1

0 1 P=2 3 4

Unidad IV Cadenas de Markov

Si el estado es 0 dlares o 4 dlares no juego ms y, por lo tanto, el estado no puede cambiar; entonces p00=p44=1.Para los dems estados sabemos que, con probabilidad p, el estado del siguiente periodo ser mayor que el estado actual en 1, y con probabilidad 1-p, el estado del siguiente periodo ser menor en 1 que el estado actual.

1-p
0 1 1

1-p
2 3

1-p

Esta es una representacin grfica de la matriz de probabilidad de transicin para el ejemplo.

Unidad IV Cadenas de Markov

En una urna que contiene bolas hay dos sin pintar. Se selecciona una bola al azar y se lanza una moneda. Si la bola elegida no est pintada y la moneda produce cara, pintamos la bola de rojo; si la moneda produce cruz, la pintamos de negro. Si la bola ya est pintada, entonces cambiamos el color de la bola de rojo a negro o de negro a rojo, independientemente de si la moneda produce cara o cruz. Para modelar este caso como proceso estocstico, definimos a t como el tiempo despus que la moneda ha sido lanzada por tsima vez y se ha pintado la bola escogida. En cualquier tiempo se puede representar el estado mediante el vector (u r b ), donde u es el nmero de bolas sin pintar en la urna, r el nmero de bolas rojas y b el de bolas negras. Se nos dice que X0=(2 0 0).Despus del primer lanzamiento, una bola habr sido pintada ya sea de rojo o de negro y el estado ser ( 1 1 0) o ( 1 0 1). Por lo tanto, podemos asegurar que X1= (1 1 0) o X1= ( 1 0 1). Es claro que debe haber alguna relacin entre las Xt.

Unidad IV Cadenas de Markov

Como el estado de la urna despus del siguiente lanzamiento de la moneda depende solo del pasado del proceso hasta el estado de la urna despus del lanzamiento actual, se trata de una cadena de Markov. Como las reglas no varan a travs del tiempo, tenemos una cadena estacionaria de Markov. La matriz de transicin es la siguiente: Estado (0 1 1) (0 2 0) (0 0 2) (2 0 0) (1 1 0) (1 0 1) 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

(0 (0 P=(0 (2 (1 (1

1 1) 2 0) 0 2) 0 0) 1 0) 0 1)

Unidad IV Cadenas de Markov

Clculos de las probabilidades de transicin si el estado actual es ( 1 1 0 ):

EVENTO
Sacar cara en el lanzamiento y escoger una bola sin pintar

PROBABILIDAD

ESTADO NUEVO
( 0 2 0 )

Escoger bola roja

Sacar cruz en el lanzamiento y escoger una bola sin pintar

( 1 0 1 )
( 0 1 1 )

Unidad IV Cadenas de Markov

Para ver cmo se forma la matriz de transicin, determinamos el rengln ( 1 1 0 ) Si el estado actual ( 1 1 0 ), entonces debe suceder uno de los eventos que aparecen en la tabla anterior. As, el siguiente estado ser ( 1 0 1 ) con la probabilidad ; ( 0 2 0 ) con probabilidad y ( 0 1 1 ) con probabilidad .En la siguiente imagen se da la representacin grafica de esta matriz de transicin.

0,1,1 1 0,2,0 1 0,0,2

2,0,0

1,1,0 1,0,1