Unidad II: Procesos Estocsticos

Investigacin de Operaciones II
Ing. Paulina Gonzlez Martnez

Contacto: clasesdii@gmail.com

Unidad II: Procesos Estocsticos
Procesos Estocsticos.

Cadenas de Markov. Ecuaciones de Chapman-Kolmogorov.

Clasificacin de estados de una cadena de Markov.

Tiempos de primera pasada.

Propiedades de lago plazo de las cadenas de Markov.

Cadenas de Markov en tiempo continuo.

Recordemos
Sea Xt una V.A. que caracteriza el estado del sistema en puntos
discretos en el tiempo t=1, 2 La familia de V.A. {Xt} forma un
proceso estocstico con una cantidad finita o infinita de estados.

Proceso de Markov: Un proceso estocstico es un proceso de
Markov si un estado futuro depende slo del estado inmediatamente
anterior. Esto significa que dados los tiempo cronolgicos t0, t1, .,
tn, la familia de V.A. {Xtn} = {X1, X2, ., Xn} es un proceso de Markov
si P(Xn+1 = j | Xn = i), es decir, la cadena estar en el estado j en el
tiempo n + 1 si est en el estado i en el tiempo n. Esto se conoce
como probabilidad de transicin de un paso.

Recordemos
La Matriz P define una Cadena de Markov. Tiene la propiedad de que
todas sus probabilidades de transicin pij son estacionarias e
independientes a lo largo del tiempo. Aunque una cadena de Markov
puede incluir un nmero infinito de estados, en esta oportunidad nos
limitaremos a cadenas finitas.

(
(
(
(
(
(

= =

=
=
MM M M
M M M M
M
M
M j
M i ij
p p p
p p p
p p p
p p p
p P
2 1
) 1 ( 2 ) 1 ( 1 ) 1 (
2 22 21
1 12 11
... 1
... 1
) (
Probabilidades absolutas y de n
pasos
Por ejemplo, se tiene la siguiente matriz de transicin P:






Se solicita calcular las probabilidades absolutas de los tres
estados del sistema despus de 1, 8 y 16 temporadas.

Probabilidades absolutas y de n
pasos
Probabilidades absolutas y de n
pasos
Por lo tanto, las probabilidades absolutas requeridas se calculan como:








Las filas de P^(8) y el vector de probabilidades absolutas a^(8) son casi idnticos.
El resultado es ms evidente para P^(16). Ello demuestra que, a medida que la
cantidad de transiciones aumenta, las probabilidades absolutas se vuelven
independientes de a^(0) inicial. Las probabilidades resultantes se conocen como
probabilidades de estado estable.

Los estados de una Cadena de Markov se clasifican con base en la
probabilidad de transicin pij de P.

1. Un estado j es ABSORBENTE si est seguro de regresar a s mismo en
una transicin, es decir, pij=1

2. Un estado j es TRANSITORIO si puede llegar a otro estado pero no puede
regresar desde otro estado. Matemticamente, esto suceder si
para todas las i.

3. Un estado j es RECURRENTE si la probabilidad de ser revisitado desde
otros estados es 1. esto puede suceder si, y slo si, el estado no es
transitorio.


Clasificacin de los estados en una
Cadena de Markov

Con base en las definiciones dadas, una Cadena de Markov finita no puede constar de
todos los estados transitorios porque, por definicin, la propiedad transitoria requiere
entrar a otro estado de atrapamiento y nunca volver a visitar el estado transitorio. El
estado de atrapamiento no necesita ser un solo estado absorbente. Por ejemplo,
considere la siguiente cadena:





Los estados 1 y 2 son transitorios porque no se puede volver a entrar en ellos una vez
que el sistema queda atrapado en los estados 3 y 4. Un CONJUNTO CERRADO lo
constituyen los estados 3 y 4, que en cierta forma desempean el papel de un estado
absorbente. Por definicin, todos los estados de un conjunto cerrado DEBEN
COMUNICARSE, lo cual significa que es posible ir de cualquier estado a cualquier otro
del conjunto en una o ms transiciones, es decir, pij^(n)>o para todas las ij y n >=1.

Se dice que una Cadena de Markov es ERGDICA si todos los estados son
RECURRENTES. En este caso, las probabilidades absolutas despus de n
transiciones , siempre convergen de forma nica a una distribucin limitante (estado
estable) que es independiente de las probabilidades iniciales a^(0).
Clasificacin de los estados en una
Cadena de Markov


Por ejemplo, considere la siguiente Cadena de Markov:




-Los estados 1 y 2 son transitorios porque llegan al estado 3 pero nunca se puede
regresar a ellos.
-El estado 3 es absorbente porque p33=1, es decir, cuando el es
calculado:







El resultado demuestra que, a la larga, la probabilidad de volver a entrar al estado 1 o
2 es cero, y que la probabilidad de quedarse atrapado en el estado absorbente 3 es
segura.
Clasificacin de los estados en una
Cadena de Markov
4.- Suponga que la probabilidad de lluvia maana es 0,5 si hoy llueve y que
la probabilidad de un da claro (sin lluvia) maana es 0,9 si hoy est claro.
Suponga adems que estas probabilidades no cambian si tambin se
proporciona informacin sobre el clima de das anteriores a hoy. Formule la
evolucin del clima como una cadena de Markov definiendo sus estados y
dando su matriz de transicin.

5.- Suponga que una red de comunicaciones transmite dgitos binarios, 0 o
1, en donde cada dgito se transmite 10 veces sucesivas. Durante cada
transmisin, la probabilidad de que ese dgito se transmita correctamente es
0,99. en otras palabras, se tiene una probabilidad de 0,01 de que el dgito
transmitido se registre con el valor opuesto al final de la transmisin. Para
cada transmisin despus de la primera, el dgito transmitido es el
registrado al final de la transmisin anterior. Si Xo denota al dgito binario
que entra al sistema, X1 el dgito binario registrado despus de la primera
tranmisin, X2 el dgito binario registrado despus de la segunda
tranmisin, ., entonces Xn es una cadena de Markov. Determine la Cadena
de Markov.
Ejercicios
6.- Una partcula se mueve sobre un crculo por puntos marcados 0, 1, 2, 3, 4 (en el
sentido de las manecillas del reloj). La partcula comienza en el punto 0. en cada paso
tiene una probabilidad de 0,5 de moverse un punto en el sentido de las manecillas del
reloj (0 sigue a 4) y una probabilidad de 0,5 de moverse a un punto en el sentido
opuesto a las manecillas del reloj. Encuentre la matriz de transicin de un paso.

7.- La cervecera ms importante del pas (A) ha contratado un analista de IO para
analizar su posicin en el mercado. Estn preocupados en especial por su mayor
competidor (B). El analista piensa que el cambio de marca se puede modelar como
una Cadena de Markov incluyendo tres estados: los estados A y B representan a los
clientes que beben cerveza producida por las mencionadas cerveceras y el estado C
representa todas las dems marcas. Los datos se toman cada mes y el analista
construye la siguiente matriz de transicin de un paso con datos histricos. Cules
son los porcentajes de mercado en el estado estable para las dos cerveceras
grandes?
A B C
A 0,7 0,2 0,1
B 0,2 0,75 0,05
C 0,1 0,1 0,8
Ejercicios
1.- Considere el siguiente modelo para el valor de una accin. Al final de un
da dado se registra el precio. Si la accin subi, la probabilidad de que suba
maana es 0,7. si la accin baj, la probabilidad de que suba maana es slo
0,5.

2.- Suponga que el modelo del mercado de acciones se comporta de manera
que una accin suba o no maana depende si subi o no ayer.
En particular, si la accin subi los dos das, ayer y hoy, la probabilidad de
que suba maana es 0,9. si la accin de hoy subi pero ayer baj, maana
subir con probabilidad de 0,6. Si la accin baj hoy pero ayer subi,
entonces maana subir con probabilidad de 0,5. por ltimo, si baj durante
estos das, la probabilidad de que maana suba es de 0,3.

3.- Suponga que un jugador tiene $1 y que cada jugada gana $1 con
probabilidad p>0 o pierde $1 con probabilidad 1-p. El juego termina cuando
el jugador acumula $3 o bien cuando quiebra.


Cadenas de Markov
8.- Una fbrica de jabn se especializa en jabn de tocador de lujo. Las ventas
fluctan entre dos niveles, bajo y alto, y dependen de dos factores: 1)si hacen o
no publicidad y 2) si los competidores anuncian y comercializan sus nuevos
productos. El segundo factor est fuera del control de la compaa, pero les interesa
determinar cul debe ser la poltica de publicidad. Por ejemplo, el gerente de ventas
propone hacer publicidad cuando las ventas son bajas y no hacerlas si son altas. La
publicidad que se hace en un trimestre dado del ao tiene impacto en el siguiente
trimestre. Al principio de cada trimestre disponen de la informacin necesaria para
pronosticar si las ventas sern altas o bajas ese trimestre y decidir si hacer
publicidad.
El costo de la publicidad es de $1 milln cada trimestre el ao que se haga. Cuando se
hace publicidad en un trimestre, la probabilidad de tener ventas altas el siguiente
trimestre es o segn si el trimestre actual se tienen ventas bajas o altas. Las
probabilidades bajan y cuando no se hace publicidad en el trimestre actual. Las
ganancias trimestrales de la compaa (sin incluir los costos de publicidad) son $4
millones cuando las ventas son altas, pero $2 millones cuando son bajas.
a) Construya la matriz de transicin para cada una de las siguientes estrategias de
publicidad i) nunca hacer publicidad ii) siempre hacer publicidad iii) seguir
estrategia del gerente de ventas
b) Determine las probabilidades de estado estable para los tres casos presentados
en la pregunta a)

Ejercicios
9.- Un fabricante tiene una mquina que cuando est operando al comenzar el da tiene una
probabilidad de 0,1 de descomponerse en algn momento de ese da. Cuando esto ocurre, la
reparacin se hace al siguiente da y se termina al finalizar ese da.
a) Formule la evolucin del estado de la mquina como una cadena de Markov, identifique los
tres estados posibles al final del da y despus construya la matriz de transicin.
b) Determine el estado estable del sistema

10.-Un proceso de produccin incluye una mquina que deteriora con rapidez tanto en la calidad
como en la cantidad de produccin con el trabajo pesado, por lo que se inspecciona al final de
cada da. Despus de la inspeccin, se clasifica la condicin de la mquina en uno de cuatro
estados posibles:
Estado 0: Tan buena como nueva
Estado 1: Operable, deterioro mnimo
Estado 2: Operable, deterioro mayor
Estado 3: Inoperable y reemplazada por una tan buena como nueva

El proceso se puede modelar como una Cadena de Markov con matriz de transicin P dada por:

Ejercicios
Estado 0 1 2 3
0 0 7/8 1/16 1/16
1 0 3/4 1/8 1/8
2 0 0 1/2
3 1 0 0 0