UNIDAD 4: Cadenas de Markov de tiempo continuo

UNIDAD 4: Cadenas de Markov de tiempo continuo

1

UNIDAD 4: Cadenas de Markov de tiempo continuo

INTRODUCCION:
En la unidad anterior suponemos que el parmetro t del tiempo es discreto (es decir, t =0,1,2,...), lo cual es apropiado para muchos situaciones, sin embargo existen otros casos (como los modelos de lneas de espera) en los cuales se requiere un parmetro t de tiempo continuo, dado que la evolucin del proceso se observa de manera continua

UNIDAD 4: Cadenas de Markov de tiempo continuo

FORMULACION:
Al igual que antes, los estados posibles del sistema son: 0,1,2...M comenzando en el tiempo 0 y dejando que el parmetro tiempo t corra de manera continua para t>=0 La variable aleatoria X(t) representa el estado del sistema en el tiempo t y podr tomar uno de sus (M+1) los valores posibles en un intervalo o<=t<=t1, luego saltar a otro valor de estado en el intervalo t1<=t<=t2 y as sucesivamente, donde (t1,t2,..) son puntos aleatorios en el tiempo

UNIDAD 4: Cadenas de Markov de tiempo continuo

FORMULACION:
Consideremos tres puntos en el tiempo: t = r (donde r>=0) ; es un tiempo pasado t = s (donde s>r) ; es el tiempo actual t = s + t (donde t>0) ; es t unidades hacia el futuro

Por lo tanto los estados respectivos sern: X(r) = x(r) ; X(s) = i t= s+t, es decir nos interesa determinar: P X (s+t) = j / X (s)=i y X (r) = x(r) para j = 0,1,2,....M

y nos

interesar buscar la distribucin de probabilidades del estado del sistema en

UNIDAD 4: Cadenas de Markov de tiempo continuo

FORMULACION:
Un proceso estocstico de tiempo continuo X (t) ; t>=0 tiene la probabilidad markoviana si: P X (s+t) = j / X (s)=i y X (r) = x(r) = PX (s+t) = j / X (s)=i Para toda i,j = 0,1,...,M y para toda r>=0, s>r y t>0 Observe que : P X (s+t) = j / X (s)=i es una probabilidad de transicin, con la diferencia que t no es necesario que sea entero. Si las probabilidades de transicin son independientes de s; P X (s+t) = j / X (s)=i = P X (t) = j / X (0)=i Se llaman probabilidades de transicin estacionaria
5

UNIDAD 4: Cadenas de Markov de tiempo continuo

FORMULACION:
Para simplificar la notacin denotaremos estas probabilidades como: pij(t) = P X (t) = j / X (0)=i En la cual pij(t) ser la funcin de probabilidad de transicin de tiempo continuo. Se supone que: 1 si i=j 0 si ij

Lim pij (t) =

t0

Por lo tanto, un proceso estocstico de tiempo continuo X (t) ; t>=0 es una cadena de markov de tiempo continuo si tiene la propiedad markoviana. El estudio se restringir a un nmero finito de estados y probabilidades de transicin estacionarias.
6

UNIDAD 4: Cadenas de Markov de tiempo continuo

VARIABLES ALEATORIAS IMPORTANTES:

Cada vez que el proceso entra en el estado i, la cantidad de tiempo que pasa en ese estado antes de moverse a uno diferente es una variable aleatoria Ti, donde i=0,1,2,...,M. Como la variable aleatoria no tiene memoria, el proceso olvida su historia y la probabilidad del tiempo que falta para que haga una transicin es independiente de cuanto tiempo haya pasado el proceso en ese estado. Existe solo una distribucin de probabilidades continua que posee esta propiedad, la distribucin exponencial.

UNIDAD 4: Cadenas de Markov de tiempo continuo

VARIABLES ALEATORIAS IMPORTANTES:

la distribucin exponencial, tiene un solo parmetro, llamado q, donde la media es 1/q y la funcin de distribucin acumulada es:

P Ti <= t =

1- e-qt , para t>=0

Con lo anterior podemos decir que la variable aleatoria Ti tiene una distribucin exponencial de media 1/qi

UNIDAD 4: Cadenas de Markov de tiempo continuo

VARIABLES ALEATORIAS IMPORTANTES:

la distribucin exponencial, tiene un solo parmetro, llamado q, donde la media es 1/q y la funcin de distribucin acumulada es:

P Ti <= t =

1- e-qt , para t>=0

1. La variable aleatoria Ti tiene una distribucin exponencial de media 1/qi 2. Cuando sale de un estado i, el proceso se mueve a otro estado j, con probabilidad pij, que satisface las siguientes condiciones: pij = 0 , para toda i, yM

pij = 1
J=0

para toda i

3. Se definen las tasas de transicin qi como la tasa de transicin hacia fuera del estado i, en el sentido que qi es el nmero esperado de veces que el proceso deja el estado i por unidad de tiempo que pasa en el estado i. 9

UNIDAD 4: Cadenas de Markov de tiempo continuo

VARIABLES ALEATORIAS IMPORTANTES:

4. De manera similar qij es la taza de transicin del estado i al estado j en el sentido de que qij es el nmero esperado de veces que el proceso transita del estado i al estado j por unidad de tiempo que pasa en el estado i. As qi = qij
ji

10

UNIDAD 4: Cadenas de Markov de tiempo continuo

PROBABILIDADES DE ESTADO ESTABLE:

Tal como se menciono en las cadenas de Markov de tiempo discreto, existen las probabilidades a largo plazo que definen las probabilidades estacionarias. En las cadenas de Markov de tiempo continuo tenemos que: Lim pij (t) = j t Es un valor que existe y es independiente del estado inicial de la cadena de Markov, para j=0,1,2,...M. Estas probabilidades limitantes se conocen como las probabilidades de estado estable (o probabilidades estacionarias). Las j satisfacen las ecuaciones: j =

i pij (t)
i=0

para j = 0,1,2,....M para toda t >=0

11

UNIDAD 4: Cadenas de Markov de tiempo continuo

PROBABILIDADES DE ESTADO ESTABLE:

Sin embargo las siguientes ecuaciones de estado estable proporcionan un sistema de ecuaciones ms til, al incorporar las tasas de transicin

j qj = i qij
ji

para j = 0,1,2,....M

j = 1 i=0

12