CADENAS DE MARKOV

Toma de decisiones

Incertidumbre

Si se presenta cierta regularidad en los fenmenos se puede

minimizar la incertidumbre mediante el desarrollo de
modelos probabilsticos.

Definiciones Bsicas

Espacio muestral: El conjunto de resultados de un

experimento.

Evento: Cualquier subconjunto del espacio muestral.

Variable aleatoria: Es una funcin que asigna valores reales

a los resultados de un experimento.

Proceso estocstico

Proceso que evoluciona en el tiempo

de una manera probabilstica

Es una coleccin indexada de variables aleatorias Xt

en donde el ndice t, toma valores de un conjunto T
dado

En puntos especficos del tiempo t el sistema se

encuentra en una de un nmero finito de categoras o
estados mutuamente excluyentes y exhaustivos,
etiquetados 0,1,...,M
Si T es contable o finito, el proceso se denomina discreto.
Si T es un subconjunto de los reales, el proceso se
denomina continuo.

Ejemplo
Existe una regin donde se da lo siguiente
P(llueva maana |llovi hoy) = a
P(llueva maana |no llovi hoy) = b

Estado 0 : Llover
Estado 1 : No llover

Cadenas de Markov
Las cadenas de Markov tienen la propiedad particular de
que las probabilidades que describen la forma en que el
proceso evolucionar en el futuro, dependen slo del
estado actual en que se encuentra el proceso, y por lo
tanto, son independientes de los eventos ocurridos en el
pasado.

Si Xt = i , se dice que el proceso estocstico

est en el estado i en el tiempo t.
Llamemos Pij la probabilidad de estar en el
estado j en el momento t+1, conocidos los
estados anteriores.

Una cadena de Markov (CM) es una sucesin de variables

aleatorias Xi, iN, tal que:

X t 1 j

P X t 1 j
X 0 , X 1 ,..., X t
X t

Probabilidades de transicin

Las CM estn completamente caracterizadas por

las probabilidades de transicin en una etapa,
P

X t 1 j

, i, j S , t T
X t i

Slo trabajaremos con CM homogneas en el

tiempo, que son aquellas en las que
i, j S t T , P

X t 1 j

q
ij
X t i

donde qij se llama probabilidad de transicin en

una etapa desde el estado i hasta el estado j

Matriz de transicin

Los qij se agrupan en la denominada matriz de

transicin de la CM:

q00

q10
Q
q20

...

q01 q02
q11 q12
q21 q22
... ...

...

...

q
ij
i , jS
...

...

Propiedades de la matriz de
transicin

Por ser los qij probabilidades,

i, j S , qij 0,1

Por ser 1 la probabilidad del suceso seguro,

cada fila ha de sumar 1, es decir,

i S ,

q
jS

ij

Una matriz que cumpla estas dos propiedades

se llama matriz estocstica

Diagrama de transicin de estados

El diagrama de transicin de estados (DTE) de una CM es

un grafo dirigido cuyos nodos son los estados de la CM y
cuyos arcos se etiquetan con la probabilidad de transicin
entre los estados que unen. Si dicha probabilidad es nula,
no se pone arco.

qij

Ejemplo: lnea telefnica

Sea una lnea telefnica de estados ocupado=1 y

desocupado=0. Si en el instante t est ocupada, en el
instante t+1 estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el instante t est
desocupada, en el t+1 estar ocupada con probabilidad
0,1 y desocupada con probabilidad 0,9.

Ejemplo: lnea telefnica

0,9 0,1

Q
0,3 0,7
0,1
0,9

1
0,3

0,7

Ecuaciones de Chapman-Kolmogorov

Teorema: Las probabilidades de transicin en n

etapas vienen dadas por la matriz Qn:

X t n j
(n)

i, j S , P
qij
X t i

Demostracin: Por induccin sobre n

Caso base (n=1). Se sigue de la definicin

de qij

Por este teorema sabemos que la probabilidad de

transitar de i hasta j en n pasos es el elemento (i,j) de Qn.
Para evitar computaciones de potencias elevadas de
matrices, se intenta averiguar el comportamiento del
sistema en el lmite cuando n, llamado tambin
comportamiento a largo plazo

Se sabe que Pij(n) es la probabilidad condicional

de que la variable aleatoria X, comenzando en el
estado i se encuentre en el estado j despus de n
pasos

Las ecuaciones de Chapman-Kolmogorov

proporcionan un mtodo para calcular estas
probabilidades de transicin de n pasos

Al ir del estado i al estado j en n pasos el proceso estar en algn

estado k despus de exactamente m pasos.

Es slo la probabilidad condicional de que, si se comienza en el estado

i el proceso vaya al estado k despus de m pasos y despus al estado j
en n-m pasos.

Por propiedades probabilsticas:

p(n+m) = p(n) p(m)

Para m=n=1,
P(2) = P(1)* P(1) = P2

Por induccin:
P(n-1) = Pn-1
Para m = 1 y n = r-1,
P(r-1+1) = P(r) = P(r-1) P(1) =Pr -1 P = Pr

Nota: El producto de 2 matrices de Markov siempre es una

matriz de Markov.

Observaciones:

La matriz de probabilidades de transicin de n pasos se

puede obtener calculando la n-sima potencia de la
matriz de transicin de un paso.

Cuando n no es muy grande la matriz de transicin de n

pasos se puede calcular fcilmente, pero si n es muy
grande los clculos resultan tediosos y los errores de
redondeo pueden causar inexactitudes.

Ejemplo

Sea la siguiente matriz de transicin de un paso:

La matriz de transicin de 2 pasos se obtiene:

La matriz de transicin de 4 pasos se obtiene:

Ejemplo:

Consideremos el estado del tiempo, donde el llover

maana , depende si llovi o no ayer y hoy.
Estado 0
Estado 1
Estado 2
Estado 3

Llovi ayer y hoy

No llovi ayer y llovi hoy
Llovi ayer y no llovi hoy
No llovi ni ayer ni hoy

La matriz de transicin de un paso es la siguiente:

Cul es la probabilidad de que llueva pasado maana, dado

que llovi ayer y hoy?

P(llueva pasado maana/ llovi ayer y hoy) =

P( llueva maana y pasado maana / llovi ayer y hoy) +
P(no llueva maana y llueva pasado maana/ llovi ayer y
hoy) =
0.49 + 0.12=0.61