Introduccin a los Procesos Estocsticos

ITESM 2010

Dra. Elva Daz Daz

Variables aleatorias y conjuntos relacionados

Una variable aleatoria X es una funcin cuyo dominio es el conjunto S de todos los eventos posibles (espacio muestral), y cuya imagen es se encuentra en el conjunto de los nmeros reales. Al conjunto de todos los valores de una variable aleatoria se le llama estados E={x}, donde X(A)=x. Una funcin de probabilidades es una funcin real con dominio en S que se utiliza para calcular la probabilidad P(X(A)=x), de ocurrencia de un evento A, que es un subconjunto del espacio muestral S.

Dra. Elva Daz Daz

Proceso Estocstico
Las variables aleatorias modelan un sistema particular en un instante de tiempo determinado. Esto significa que las variables aleatorias no permiten evaluar el comportamiento aleatorio de un sistema en funcin del tiempo (sistema dinmico), para esto necesitamos definir un proceso estocstico que es una variable aleatoria que depende de un parmetro que frecuentemente es el tiempo.

Dra. Elva Daz Daz

Proceso estocstico
S E
R 1

X(t) xi
Parmetro

P(X(t)=xi)

0 Recta real

t
Valores de la variable aleatoria (Estados)
Dra. Elva Daz Daz

Espacio Muestral

Variable aleatoria que depende de un parmetro t

Definicin de Proceso Estocstico

Un Proceso Estocstico es una familia de variables aleatorias X (t), que estn parametrizadas por una variable t que toma valores de un conjunto T. Esta variable es en muchos casos el tiempo. Los valores xt que toma la variable aleatoria se llaman estados.

X (t ) = xt t T xt E

Dra. Elva Daz Daz

Parmetro observado solo en puntos

Si observamos un proceso que depende del parmetro t (tiempo) solo en puntos de valores discretos: t1 , t2 , , tn-1 , tn de modo que: t1 t2 tn-1 tn las variables aleatorias observadas en esos tiempos toman valores en el espacio de estados: X(t1 ), X(t2 ), , X(tn-1 ), X(tn ) Si las variables fueran independientes su distribucin conjunta sera el producto de las distribuciones en los puntos de observacin. Pero pueden tener cierto tipo de dependencias. Dra. Elva Daz Daz

Dependencia de Markov
La forma mas simple de dependencia es la conocida como dependencia de Markov que vamos a definir a continuacin. Tenemos que para:

t1 , t2 , , tn-1 , tn de modo que: t1 t2 tn-1 tn X(t1 )=x1 , X(t2 )=x2 , , X(tn-1 )=xn-1 , X(tn )=xn La dependencia de Markov es: P(X(tn )=xn | X(t1 )=x1 , X(t2 )=x2 , , X(tn-1 )=xn-1)= P(X(tn )=xn | X(tn-1 )=xn-1)
Solo depende del valor de X en el instante anterior observado.
Dra. Elva Daz Daz

Si tenemos la variable aleatoria X(ti) y la anterior que fu X(tj), entonces:

P ( X (ti ) = xi X (t j ) = x j ) = P

ti t j xi x j

Sin perder generalidad podemos denotar los puntos de observacin t por nmeros 1, 2, 3, , T Si el espacio de los estados (valores de las variables aleatorias) es discreto, denotaremos: x1=1, x2=2,, xs=s Entonces igual al nmero de estados del proceso cuyos elementos miden la probabilidad de un paso de largo tj - ti un estado xj a xi .
Dra. Elva Daz Daz

Pijmn es una matriz cuadrada de rden

La frmula queda simplificada

P ( X ( n) = i X ( m) = j ) = Pijnm
Pijn m P
l ij

Cuando el valor de la probabilidad del proceso solo depende de n-m=l el proceso se llama

homogneo.
Donde l =n-m es el nmero de pasos desde m a n

Cuando l=1 la matriz es de paso 1, cuando l=2 es de paso 2, en general es de paso l.

Dra. Elva Daz Daz

Tipos de Procesos Estocsticos

De acuerdo al tipo de espacio de estados los procesos estocsticos se pueden clasificar en:

procesos estocsticos de espacio discreto, cuando el resultado de un determinado experimento puede tomar valores distinguibles (contables) dentro de un intervalo

procesos estocsticos de espacio continuo cuando puede tomar cualquier valor en el conjunto de los nmeros reales.

Procesos Estocsticos de espacio discreto

Procesos Estocsticos

Procesos Estocsticos de espacio continuo

Dra. Elva Daz Daz

Tipos de Procesos Estocsticos

Tambin

se puede utilizar el parmetro temporal para clasificarlos:

procesos

estocsticos de parmetro discreto, si estn definidos slo para un conjunto distinguible de instantes de tiempo (t=n, n entero) procesos estocsticos de parmetro continuo cuando estn definidos para cualquier instante.

Procesos Estocsticos de parmetro continuo

Procesos Estocsticos
Procesos Estocsticos de parmetro discreto

Dra. Elva Daz Daz

Tipos de Procesos Estocsticos

Considerando que tanto el tipo de espacio de estados como el tipo de parmetro temporal, existen 4 tipos de procesos estocsticos:

Proceso de espacio discreto y parmetro discreto. Proceso de espacio discreto y parmetro continuo. Proceso de espacio continuo y parmetro discreto. Proceso de espacio continuo y parmetro continuo.

Dra. Elva Daz Daz

Tipos de Procesos Estocsticos

S
Procesos Estocsticos de parmetro continuo y espacio discreto Procesos Estocsticos de parmetro continuo y espacio continuo

t
Procesos Estocsticos de parmetro discreto y espacio discreto

Procesos Estocsticos
Procesos Estocsticos de parmetro discreto y espacio continuo

Dra. Elva Daz Daz

Cadenas de Markov discretas

Representacin grfica:

Es posible representar una cadena de Markov por un grafo. Cada nodo representa a un elemento del espacio muestral. Cada arco dirigido representa a la probabilidad de transicin Pij ( desde i a j) asociada al par de estados que conecta (i , j)

P11 P10 P00 0 P01 P20 P02

Dra. Elva Daz Daz

1 P12

P21

P22

1. Definicin de Cadena de Markov

Una Cadena de Markov (CM) es: Un proceso estocstico Con un nmero finito de e estados (M) Con probabilidades de transicin estacionarias Que tiene la propiedad markoviana

Dra. Elva Daz Daz

Como se representa una Cadena de Markov?

Existen dos formas de representar una cadena de Markov; en forma GRFICA y en forma MATRICIAL

1/4 3/4 0

1 3/4 1/4 1/4

Dra. Elva Daz Daz

1/4 2 1/2

0 3 / 4 1 / 4 P = 1 / 4 0 3 / 4 1 / 4 1 / 4 1 / 2

Ecuaciones de Chapman-Kolmogorov

Cadenas de Markov discretas

La forma obtener la probabilidad de ir del estado i al estado f en n pasos, es la expresada en esta ecuacin:

P = P
n if k

n 1 ik kf

n, k 0

i, k , f

Las potencias de la matriz se pueden calcular porque las matrices son cuadradas.
Dra. Elva Daz Daz

Cadenas de Markov discretas

Ecuaciones de Chapman-Kolmogorov: Ejemplo Por lo tanto podemos obtener la matriz de transicin de 3 pasos, es decir:

( 3) 2

= PP

P = P.P
Calculando potencias sucesivamente.

Dra. Elva Daz Daz

Ejemplo de cadena de Markov Un modelo de clima muy simple

Las probabilidades de condiciones meteorolgicas, dado el clima en el da anterior, puede ser representada por una matriz de transicin:

La matriz P representa el modelo del tiempo en el que un da de sol es de 90% de probabilidades de ser seguido por otro da soleado y un da de lluvia es del 50% de probabilidades de ser seguido por otro da de lluvia. Las columnas pueden ser etiquetados "Sunny" y "lluvia", respectivamente, y las filas pueden ser etiquetados en el mismo orden. P ij es la probabilidad de que, si un da determinado es de tipo I, que ser seguido por un da de j tipo.
Dra. Elva Daz Daz

Observe que las filas de la suma P a 1: esto es debido a P es una matriz estocstica.

La prediccin del tiempo

El tiempo en el da 0 es hoy que sabemos que es soleado (probabilidad 1). Esto es representado por un vector en el que la "soleada" de entrada es de 1 y la "lluvia" de entrada es de 0: El tiempo en el da 1 se puede predecir por:

Por lo tanto, hay una posibilidad del 90% que el da 1 tambin ser soleado. El tiempo en el da 2 se puede predecir de la misma manera:

Dra. Elva Daz Daz

Dra. Elva Daz Daz

Proceso Estocsticos de parmetro discreto y espacio discreto Ejercicio del clima (continuacin)

Dra. Elva Daz Daz

Ejemplo: Supongamos que el estado del clima se pueda modelar de la forma siguiente:

Estados del clima:

Lluvioso (q1) Nublado (q2) Soleado (q3)

Probabilidades de transicin de un paso (un da): Ll Nub Sol Ll 0.4 0.3 0.3 Nub 0.2 0.6 0.2 Sol 0.1 0.1 0.8 cada fila suma 1 Probabilidades iniciales: Ll Nub Sol 0.3 0.5 0.2

Calcular la matriz de transicin para un paso de dos das.

Dra. Elva Daz Daz

Ejemplo diagrama de estados

0.3 0.6 0.8 0.2

q1
0.4

0.3

q2
0.2 0.1

q3

0.1

Dra. Elva Daz Daz

Dra. Elva Daz Daz