Propiedad Markoviana Para conocer la probabilidad actual P ( Xt = j ) slo se depende de lo que sucedi en el instante de tiempo inmediatamente anterior y no de los

resultados previos al anterior. P ( Xt = j / X0 = i0, X1 = i1,..., Xt-2 = it-2, Xt-1 = i ) = P ( Xt = j / Xt-1 = i ) Propiedad estacionaria Las probabilidades P ( Xt = j / Xt-1 = i ) de pasar del estado i al estado j , al cabo de una etapa de tiempo, dependen slo de los valores de i y de j , pero no de t. Pij = P ( Xt = j / Xt-1 = i ) Clasificacion de los estados 1. Estado Accesible Un estado es accesible desde el estado i, si para algn n se cumple: Pij(n) > 0 Probabilidad de pasar del estado i al estado j al cabo de n etapas Pij(n) = P ( Xn = j / Xt-1 = i ) 2. Todos los estados se comunican Si tanto el estado j es accesible desde el estado i como viceversa, entonces se dice que los estados se comunican CADENA IRREDUCTIBLE: Si todos los estados de una cadena de Markov se comunican entre s, hay una sola clase de estados y la cadena es irreductible TIEMPO DE PRIMER REGRESO O DE PRIMERA PASADA Se estudian las probabilidades sobre el nmero de transiciones que hace el proceso estocstico al ir desde un estado i al estado j por primera vez. Los tiempos de primer regreso son variables aleatorias. Por ende, tienen una distribucin de probabilidades asociada.  Es la probabilidad de que comenzando en el estado i, acontezca una primera transicin al estado j al cabo de n etapas Es la probabilidad de que el proceso regrese al estado j alguna vez, dado que parti desde el estado i   

PROBABILIDADES ESTACIONARIAS EN EL LARGO PLAZO Si la distribucin de obabilidades del proceso estocstico en el largo plazo existe y es independiente de la distribucin inicial (o estado inicial) entonces se dice que el proceso tiene una distribucin estacionaria

Proposicin: Existe una distribucin estacionaria tal que j > 0 para todo j, s y solo s la cadena de Markov es irreductible con estados recurrentes positivos aperidicos.    => Cadena de markov ergodica. es la

Proposicin: En una cadena de Markov ergdica con distribucin estacionaria , entonces solucin nica de:

 Con distribucin de probabilidades estacionaria f (n+1) = PT f (n) CLASIFICACIN DE LOS ESTADOS 3. Estado Recurrente Cuando la probabilidad fii es igual a 1 fii = 1 + fii(n) fii = fii(1) + fii(2) + fii(3) + 4. Estado trasiente Cuando la probabilidad fii es menor que 1 fii < 1 5. Estado Periodico Un estado es peridico de perodo t si un regreso es posible slo en t, 2t, 3t, .. t IN

6. Estado Aperiodico Si hay dos nmeros consecutivos, s y ( s + 1 ), tales que el proceso estocstico se encuentre en el estado i en los tiempos s y ( s + 1 ), se dice que el estado tiene perodo 1 y se llama estado aperidico. ESPERANZA DEL ESTADO DE PRIMERA PASADA

El valor esperado del nmero de etapas en que sucede una primera transicin desde el estado i al estado j

Siempre que

fij(n) = 1, entonces ij satisface, de manera nica, la siguiente ecuacin:

7. Estado Recurrente Positivo Si un estado es recurrente y, adems, hay un nmero finito de estados, entonces el estado es recurrente positivo Si fii = 1 y ij < + 8. Estado Recurrente Nulo Si un estado es recurrente y, adems, el tiempo esperado para que el proceso estocstico regrese al estado i es infinito, entonces el estado es recurrente nulo Si fii = 1 y ij = +

9. Estado Ergodico Los estados recurrentes positivos y aperidicos, se llaman estados ergdicos COSTO PROMEDIO ESPERADO POR UNIDAD DE TIEMPO C(xj) Considerando una cadena de Markov de M estados tal que: Es una funcin de costos asociada a cada estado de la cadena Entonces, el costo esperado del proceso estocstico es:

Costo promedio en que se incurrira, por unidad de tiempo, contemplando todos los estados que sean posibles de alcanzarse. Si la funcin de costos depende adems de otra variable aleatoria, idnticamente distribuida, para cada estado del sistema, entonces debe calcularse una funcin de costo esperado para cada estado del sistema

Donde h Indica la variable aleatoria de la cual depende la funcin de costos. La funcin de costos que antes era un valor determinstico, se reemplaza ahora por una funcin de costos ms compleja, que es un valor esperado de costos.