UNIVERSIDAD DE LA SERENA

FACULTAD DE INGENIERIA
DEPARTAMENTO DE INGENIERIA INDUSTRIAL

INVESTIGACION DE
OPERACIONES II
Procesos Estocásticos

Ing. Boris M. Olguín Tapia

bolguin@userena.cl
@borisolguintapi
+56 9 93537789
Procesos Estocásticos

Un Proceso Estocástico se define como

secuencia de variables aleatorias {Xt} tT,
donde el conjunto de índices T puede ser
un conjunto discreto, por ejemplo
T = {0,1,2,3,...}, caso en el cual decimos
que el proceso es tiempo discreto o bien T
puede ser un intervalo, por ejemplo
T = [0,), caso en el cual decimos que el
proceso es en tiempo continuo.
Procesos Estocásticos

El proceso estocástico {Xt} tT puede

representar por ejemplo:
• El número de vehículos esperando en una
plaza de peaje en el instante t.
• El número total de llamadas recibidas
solicitando un determinado servicio hasta el
instante t.
• El número de máquinas descompuestas o en
reparación en un determinado taller en el
instante t.
Procesos Estocásticos

El nivel de inventario de cierto producto al final

del día t.
• El valor de una determinada acción en el
instante t.
Por ejemplo:
La evolución del número de compradores en
una tienda al ser abierta al público, entre las
8:00 y 9:40 de la mañana (100 minutos) puede
ser representada por un proceso estocástico y
una posible realización de éste se observa en la
siguiente gráfica:
Procesos Estocásticos

Número
de 4
compradores
en el 3
sistema
2

0
20 40 60 80 100
Tiempo (en minutos)
Cadenas de Markov

Si se considera un ejemplo simple relacionado con la

propagación de una enfermedad contagiosa. La
transmisión de la enfermedad se produce desde un
individuo infectado a uno susceptible de contagio.
Teniendo presente periodos semanales.

Sea p la probabilidad de que durante una semana

cualquiera un individuo infectado le transmita la
enfermedad a uno susceptible de contagio. Se considera
que cuando una persona ha sido infectada, ésta queda
inmune una vez que ha sido tratada.
Cadenas de Markov

Cadenas de Markov en tiempo discreto.

Sea Xn el número de individuos susceptibles de

contagio en la población al final de la semana n=1,2,...
Se define, como la probabilidad de que haya j individuos
susceptibles al final de la semana n+1 dado que hay
exactamente i individuos susceptibles de contagio al
final de la semana n (i  j ).

Entonces:  i  i j
pij    p (1  p) j
 j
Cadenas de Markov

Cadenas de Markov en tiempo discreto.

Un proceso estocástico en tiempo discreto

{Xn}n=1,2,.... se denomina una Cadena de
Markov en tiempo discreto si satisface las
siguientes propiedades:

i) Propiedad Markoviana:

Donde i0, i1, ..., in-1, i, j son los posibles

“estados” o valores que puede tomar dicho
proceso estocástico en las distintas etapas.
Cadenas de Markov

Cadenas de Markov en tiempo discreto.

ii) Propiedad estacionaria:

La probabilidad, no depende de la etapa n.

Las probabilidades pij son llamadas “probabilidades de

transición” en una etapa del estado i al estado j.

Suponiendo que en cada etapa n la v.a. Xn toma un número

finito de valores (estados), por ejemplo 1,2,... M; estas
probabilidades definen una matriz P de probabilidades de
transición en una etapa.
Cadenas de Markov

Cadenas de Markov en tiempo discreto.

Matriz P de Probabilidades de Transición en una Etapa

 p11 p12  p1M 

 p p22  p2 M 
 21
P  ( pij )i 1... M  
j 1... M  
 p( M 1)1 p( M 1) 2    p( M 1) M 
 pM 1 pM 2  pMM 
Cadenas de Markov

Cadenas de Markov en tiempo discreto.

Adicionalmente, se supone conocida la distribución de probabilidad de la

Cadena de Markov en la etapa inicial, que denotamos según f 0, donde :

 IP ( X 0  1) 
 IP ( X  2) 
f0  0 
 
 
 IP ( X 0  M )
Cadenas de Markov

El conocimiento del proceso estocástico {Xn}n=0,1,2,..., consiste en poder

determinar la distribución de probabilidad en cada etapa, es decir
calcular IP (Xn = j) para cada n1 y estado j= 1,2,.....,M.

Se debe tener presente que para cada j:

IP ( X n  j )   IP ( X n  j / X n 1  i ) IP (X n 1  i )
i

  pij IP ( X n 1  i )
i
 Cadenas de Markov

Matricialmente esto equivale a tener:

 IP ( X n  1)   p11 p21  pM 1   IP ( X n 1  1) 
 IP ( X  2)   p p22  pM 2   IP ( X n 1  2) 
 n   12
fn    
    
    
 IP ( X n  M )  p1M p2 M  pMM   IP ( X n 1  M )

De manera recursiva se tiene entonces:

f n = PT f n-1 = (PT)n f 0
Cadenas de Markov

También es posible obtener las probabilidades de transición de un estado a

otro al cabo de k etapas, que denotamos por :

Que resumidas en una matriz (para el caso de un número finito de

estados).
p (k )
ij  IP( Xn k  j / X  i)  IP( X  j / X  i)
n k 0

Estas satisfacen las ecuaciones de:

P ( k )  ( pij( k ) )
Chapman- Kolmogorov que implican: P(k) = Pk
Cadenas de Markov

Ejemplo a.-

Considere una tienda que mantiene un inventario de un producto dado

para satisfacer una demanda (aleatoria). La demanda diaria D, tiene la
siguiente distribución:

IP (D = 0) = 1/4, IP (D = 1) = 1/2,
IP (D = 2) = 1/4, IP (D >= 3) = 0

Sea Xn el nivel de inventario al inicio del día n y suponga que la tienda

tiene la política de mantención de inventario (s, S), que consiste en que
si al final del día se posee menos de s, se hace una orden de pedido que al
inicio del día siguiente eleva las existencias al nivel S y en caso contrario,
no se pide nada.
Cadenas de Markov

Asuma que la demanda no satisfecha es demanda perdida y que al inicio

del horizonte de planificación hay S unidades en inventario con s =1 y S
= 2.
Se tiene que:

Xn  {1, 2}; n = 0, 1, 2, ...

 IP ( x0  1)  0
f 
0
  
 IP ( x0  2) 1
pi , j  IP ( X n 1  j / X n  i ) ; i, j {1,2}
Cadenas de Markov

p11  IP ( D  0)  1 / 4
p12  IP ( D  1)  3 / 4

p21  IP ( D  1)  1 / 2
p22  IP ( D  0)  IP ( D  2)  1 / 2

Entonces la matriz de probabilidades de transición en una etapa

corresponde a:

1 / 4 3 / 4
P 
1 / 2 1 / 2 
Cadenas de Markov

Ejemplo b.-

Suponga que en el sistema de las AFP existen solo 2; las AFP A y las AFP
B.

Sea N el número de personas afiliadas al sistema; la superintendencia

está preocupada de que las cuentas individuales estén al día. Para ello ha
establecido un sistema de control basado en el siguiente procedimiento:
al final de cada mes escoge una persona al azar de los N existentes en el
sistema.
Cadenas de Markov

Si la AFP a la cual pertenece la persona no tiene su cuenta individual al día;

la persona es traspasada de inmediato a la otra AFP, en caso contrario la
deja en la AFP en la que estaba.

Suponga que la probabilidad de que un afiliado en la AFP A tenga su cuenta

al día es P1 y que esta probabilidad para la AFP B es P2.

Se desea estudiar la movilidad de los clientes en cada AFP en cada mes del
horizonte de planificación.
Cadenas de Markov

Se tiene:

Xn: el número de personas en la AFP A al final del mes n; con n = 0, 1,

2, ..., n
xn  {0, 1, 2, ..., N}
Calculemos las probabilidades de transición en una etapa (mes):
i
pi ,i 1  (1  P1 ) ; 1  i  N  1
N
i ( N  i)
pi ,i  P1  P2
N N
( N  i)
pi ,i 1  (1  P2 )
N
pij  0 ; j  i  1, i, i  1

p0,0  P2 p0,1  (1  P2 ) p0, j  0 j  0,1

pN , N 1  1  P1 pN , N  P1 pNj  0 j  N  1, N
Cadenas de Markov

Clasificación de los estados y distribución límite.

En esta sección se presentan algunos resultados que tienen relación con

la existencia y cálculo de una distribución para la Cadena de Markov en
el largo plazo. Previamente, se enumeran algunas definiciones que
clasifican los estados de una cadena:

i) Un estado j se dice accesible desde el estado i si para algún n

p ( n)
ij  IP( X n  j / X 0  i)  0
Cadenas de Markov

ii) Si tanto el estado i es accesible desde j como viceversa decimos que los
estados i y j se comunican.

iii) Dos estados que se comunican están en una misma clase de estados.

iv) Se dice que una cadena es irreducible si hay una sola clase de estados.
Cadenas de Markov

v) Un estado se dice que tiene periodo d, para el mayor valor del

entero d que cumple:

pii( n )  IP ( X n  i / X 0  i )  0

sólo para valores de n pertenecientes al conjunto

{d, 2d, 3d, ....}. Si d=1 decimos que el estado es aperiódico.
Cadenas de Markov

vi) Se define T(i,j) como el número de etapas requeridas por el proceso

para pasar de estado i al estado j por primera vez.
De igual modo se define:

es decir :
Fk (i, j )  IP(T (i, j )  k )
como la probabilidad de que comenzando en i, ocurra la primera transición
al estado j al cabo de exactamente k etapas.

Fk (i, j )  IP( X k  j, X k 1  j,..., X 1  j / X 0  i)

Cadenas de Markov

Puede probarse por inducción, la siguiente formula:

F1 (i, j )  pij
Fk  (i, j )   pim Fk 1 (m, j ), k 1
m j

vii) En particular, se denota por Fk(i,i) la probabilidad de que el proceso

retorne al estado i por primera vez al cabo de k etapas.

De modo que:

F (i, i )   Fk (i, i )
k 1
 Cadenas de Markov

que es la probabilidad que partiendo en i , el proceso regrese al estado i

alguna vez.

viii) Un estado se dice recurrente ssi F(i,i) = 1

ix) Un estado se dice transciente ssi F(i,i)< 1


x) Sea IE(T(i,i))  k 1k Fk (i,i) , el valor esperado de el número de etapas
que le toma al proceso volver al estado i por primera vez, partiendo del
estado i.
Cadenas de Markov

Un estado se dice recurrente positivo ssi:

F(i,i)  1 y IE(T(i,i))  
Un estado se dice recurrente nul ssi :

F(i,i)  1 y IE(T(i,i))  
Cadenas de Markov

Ejemplo

1/ 2 1/ 2 0  Define una cadena

p   0 1/ 3 2 / 3 de estados irreducible
  con estados recurrente
1/ 3 1/ 3 1/ 3  positivos periódicos

1 / 2 1 / 2 0  Posee dos clases

p  1 / 2 1 / 6 1 / 3
de estados y uno de
los estados es
1 / 5 3 / 5 1 / 5 transciente.
Cadenas de Markov

Es una cadena
irreducible, de
estados recurrentes
 0 1 0 0 positivos y todos
1/ 2 0 1/ 2 0 sus estados son
p  periódicos de
 0 0 0 1 periodo d=2.
 1 0 0 0

Cadenas de Markov

Si la distribución de probabilidad del proceso en el largo plazo

existe y es independiente de la distribución inicial (o del estado
inicial), decimos que el proceso tiene una distribución
estacionaria p = (p1, p2, ..., pM)T

 j  lim IP(X n  j)  lim pij(n)

n  n 
Cadenas de Markov

Proposición.
Sea {Xn}n=0,1,2 una cadena de Markov irreducible con estados recurrentes
positivos aperiódicos, entonces existe una distribución estacionaria ,
tal que >0 y que se obtiene como la solución única del sistema:

P  T

 j  1
j
j  0
Cadenas de Markov

Ejemplo. Se desea calcular las probabilidades estacionaria j, que

también representan la fracción del tiempo que el sistema esta en el
estado j en el largo plazo

1/2
1/2
1/ 2 1/ 2 0 
p   0 1/ 3 2 / 3 1
  1/3 2 1/3
1/ 3 1/ 3 1/ 3 
1/3
2/3
3
1/3
P  T

1   2   3  1
Cadenas de Markov

Sistema que corresponde a las siguientes ecuaciones:

1 1
(1) 1  1  3
2 3
1 1 1
(2) 2  1  2  3
2 3 3
2 1
(3) 3  2  3
3 3
( 4 ) 1   2   3  1
Cadenas de Markov

2
de (1) 1  3
3
de (2) 2  3
2
así 3  3  3  1
3
1 3
 Solución 1  2  3 
4 8
Cadenas de Markov

Ejemplo:
Una compañía esta considerando emplear cadenas de markov para
analizar los cambios en las preferencias de los usuarios por tres marcas
distintas de un determinado producto. El estudio ha arrojado la
siguiente estimación de la matriz de probabilidades de cambiarse de una
marca a otra cada mes:

1 2 3
1 0.8 0.1 0.1
2 0.03 0.95 0.02
3 0.2 0.05 0.75
Cadenas de Markov

En la actualidad los porcentajes de mercado son 45%, 25% y

30%, respectivamente.
¿Cuales serán los porcentajes de mercado de cada marca en dos
meses más?
xn{1,2,3}: marca que adquiere un cliente cualquiera en el mes
n=0,1,2,3,...

 IP(X 0  1)  0.45   0 .8 0 .1 0 .1 
f 0  IP(X 0  2)  0.25  P  0.03 0.95 0.02 
   
IP(X 0  3)  0.30  0.2 0.05 0.75 
 IO2 Parte 2: Procesos Estocásticos

Al término del mes siguiente:

 IP(X 1  1)  0.4275 
f 1  P T f 0  IP(X 1  2)  0.2975 
 
IP(X 1  3)  0.2750

Y dos meses después:

 IP(X 2  1)  0.4059 
f 2  P T f 1   IP(X 2  2)  0.3391
 
IP(X 2  3)  0.2550

b.- Cadenas de Markov

Cadenas de Markov

De aquí las cuotas de mercado en dos meses a cambiado de un

45% a un 40.59%; de un 25% a un 33.91% y de un 30% a un
25.50%, para las marcas 1,2 y 3 respectivamente.

¿Cuál es la cuota de mercado en el largo plazo para cada una de

las marcas?
La cadena resultante es irreducible con estados recurrentes
positivos y aperiódicos . Denotando por
=(1, 2, 3)T, las probabilidades estacionarias de largo plazo,
las cuales satisfacen:
Cadenas de Markov

Cadenas de Markov en tiempo continuo.

Se desea estudiar el comportamiento de sistemas que dependen en

forma continua del tiempo:

Xt: número de ambulancias disponibles en el instante t.

Xt: número de personas esperando ser atendidas en el banco o en el
supermercado en el instante t.
Xt: número de máquinas funcionando correctamente en un taller en el
instante t.
Cadenas de Markov

Propiedad Markoviana:

IP(X t  s  j / X u  X(u), 0  u  t, X t  i)
 IP(X t  s  j / X t  i)
Propiedad Estacionaria

IP(X t  s  j / X t  i) , no depende de t, sólo de s.

Cadenas de Markov

Una realización posible del proceso estocástico es:

4
Xt
3
2
1
t
Cadenas de Markov

¿Cómo representar el proceso?

- Se necesitan las probabilidades de que ocurra un “salto” de un estado
a otro.
- La distribución de los tiempos de permanencia en un estado.

Se necesita explicitar:
i) Probabilidades de transición pij (asumiendo pii=0)
ii) Tasas vi de los tiempos exponenciales Ti de permanencia en el estado
i.
Cadenas de Markov

Distribución de Xt :

pij (t )  IP(X t  j / X 0  i)
Estas probabilidades satisfacen:

d
pij (t )   pik (t )vkpkj  v jpij (t )
dt k j
Si existe una distribución estacionaria:

 j  lim pij (t )
t 
Cadenas de Markov

La ecuación diferencial anterior provee el siguiente sistema de

ecuaciones para las probabilidades estacionarias (de existir):

0   k vkpkj  v j j ; j  1,2,...  j  1
k j j
O equivalentemente el sistema:

v j j   k vkpkj ; j  1,2,...  j  1
k j j