TEORA CADENAS DE MARKOV ESTABLES

Procesos estocsticos.
Un proceso estocstico es una coleccin indexada de variables aleatorias Xt, t con
valores en algn conjunto T.

Cadenas de Markov.
Un proceso estocstico que cumple con la propiedad Markoviana.

Vectores de probabilidad y matrices estocsticas.

Si pij es la probabilidad de transicin del estado i al estado j, (0 i, j M).
Propiedad: Las filas de la matriz de transicin suman uno.

La propiedad Markoviana
La probabilidad condicional de un evento futuro dado el evento actual, es
independiente de los eventos pasados.

Probabilidad de transicin estacionaria.

Las probabilidades de transicin son estacionarias (de un paso) si cumplen la
propiedad de Markov. En tal caso se denotan pij.

Ecuaciones de Chapman Kolmogorov.

Mtodo para calcular estas probabilidades de transicin de n pasos.
Tiempos de primer pas.
Es el tiempo esperado ij hasta que el sistema llega al estado j, desde el estado i.
Estados de absorcin.
Un estado i es absorbente, si pii es 1.

Caminata aleatoria.
Si el estado i es recurrente, se dice recurrente nulo, si empezando en i el tiempo
(nmero de pasos) esperado para volver a i es infinito.