4/08/12

Pgina Principal Todo para Matemticas Finitas

Resumen: sistemas Markov

Todo para Clculo Aplicado Todo Resumen de Temas Webmaster Libro de Texto Tutoriales En Lnea Utilidades En Lnea

Tema anterior

Tema siguiente

Ejercicios de repaso

Take me to the English page

Matemticas finitas resumen del tema: sistemas markov

Herramientas: Herramienta de lgebra de matriz | Simulacin del procesos de Markov | Herramienta para procesos Markov Process Tpicos: Sistemas de Markov, Diagramas de transiciones de estados, matriz de transicin | Vectores de distribucin y potencias de la matriz de transicin | Comportamiento de largo plazo de sistemas de Markov | Sistemas absorbentes de Markov | Calcular el valor esperado del nmero de pasos hasta la
absorpcin

Sistemas de Markov, Diagramas de transiciones de estados, matriz de transicin

Ejemplo

Diagrama de transicin: Un sistema de Markov (o proceso de Markov o cadena de Markov) es un (Falta de flechas indican la probabilidad cero.) sistema que puede ser en uno de algunos estados (enumerados), y que puede pasar de un estado a otro durante cada instante de acuerdo a probabilidades determinadas. Si un sistema de Markov est en estado i, Hay una determinada probabilidad, p ij, de ir a estado j el prximo paso, y p ij es llamado la probabilidad de transicin. Un sistema de Markov puede ser ilustrado por significados de un diagrama de transicion de estados, que muestra todos los estados y las probabilidades de transicin. (Ver el ejemplo opuesto.) La matriz P cuya ijo entrada p ij se llama la matriz de transicin asociada con el sistema. Las entradas en cada renglon suman en total 1. Por lo tanto, para este caso, una a 2 matriz de transicin P podra ser representado en la siguiente figura. Matriz:

Inicio de la pgina Top of Page

Distriducon de vectores y de los poderes de la matriz de transicon

Un vector distribucon es un vector regln no negativa con una entrada para cada estado de la sistema. Las entradas pueden representar el nmero de individuos en cada estado del sistema. Una vector probabilidad es un vector en la que las entradas son no negativa y agregar hasta 1. Las entradas en un vector probabilidad pueden representar las probabilidades de encontrar un sistema de cada uno de los estados.

Ejemplo
Sea 0.2 0.8 0 P= 0.4 0 0.6 0.5 0.5 0

y sea v = [ 100 200 300 ] una distribucon inicial. A continuacin, la distrubucin despus de un paso se expresa por Si v es el vector distribucon inicial y P es la matriz de transicon de un sistema de Markov, entonces la distribucon de vectores a partir del paso 1 es 0.2 0.8 0 el producto mkatriz, vP. vP = [ 100 200 300 ] 0.4 0 0.6 Distribucin despus de 1 paso: vP La distribucin un paso ms adelante, obtenido de nuevo a travs de multiplicacon por P, es dado por (vP)P = vP2 . Distribucon despus del paso 2: vP2 Del mismo , la distribucon depus del paso n se puede obtener multiplicando v al derecho por P n veces, o multiplicando v por Pn . Distribucon despus de n pasos: vPn P2 es la matrtiz de transicon 2-etapas del sistema de Markov. Del mismo modo, P3 es la matriz de transicon 3-estapas, y Pn es la matriz n-etapas de
www.zweigmedia.com/MundoReal/Summary6b.html

0.5 0.5 0 = [ 250 230 120 ] La distribucin un paso ms adelante se expresa por vP2 = (vP)P 0.2 0.8 0 = [ 250 230 120 ] 0.4 0 0.6 0.5 0.5 0 = [ 202 260 138 ]. Para obtener la matriz 2-pasos de transicion, calculamos 0.2 0.8 0 0.2 0.8 0
1/4

4/08/12

Resumen: sistemas Markov

transicon. Esto significa que la ijo entrada de Pn es la probabilidad de que el sistema pasar de estado i a estado j en n pasos. Pruebe nuestra herramienta en-lnea para calcular la matriz de trasicon y las vectores istribucin asociadas. An mejor (y mucho mas flexible) es nuestra herramienta de lgebra de matriz con la que se puede calcular simultneamente varias expresiones algebricas con matrices.
Principio de pgina

0.4 0 0.6 P2 = 0.5 0.5 0 0.36 0.16 0.48 = 0.38 0.62 0 0.3 0.4 0.3

0.4 0 0.6 0.5 0.5 0

As, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dos pasos viene dada por la 3,1-entrada en P2 , es decir, 0.3.
Principio de la pgina

Comportamiento a largo plazo de los sistemas de Markov

Ejemplo

Si P es una matriz de transicin de un sistema de Markov, y si v es un vector La matriz de transicin de distribucin con la propiedad que vP = v, entonces nos referimos a v como un vector (distribucin) de estado de equilibrio. 0.2 0.8 0 Para encontrar un vector de estado de equilibrio para un sistema de Markov com matriz de transicin P, resolvemos el sistema de ecuaciones dados por: x+ y + z + . . . = 1 [x y z . . . ]P = [x y z . . .] donde su uso como muchas incgnitas, ya que hay estados en el sistema de Markov. Una costante vectorial de estado de probabilidades se da entonces por v = [x y z . . . ] Un sistema regular de Markov es un sistema cuya matriz de transicin tiene algun poder con ningunas entradas de cero. Un sistema regular de Markov siempre tiene un solo vector de estado de equilibrio. Comportamiento a largo plazo Si los poderes ms y ms altos de P se acercan a una matriz P , nos referimos a P como la matriz de equilibrio o como la matriz de transicin largo plazo. Si es regular el sistema de Markov, entonces la matriz de equilibrio se expresa por la matriz cuadrada cuyas reglones son iguales el uno a otro, y iguales al vector de estado de equilibrio [x y z . . .]. Calcular la matriz de estado de equilibrio numrico Por el uso de la tecnologa, es frecuentemente posible aproximar P con gran precisin por simplemente calcular un gran poder de P. Qu tan grande? Sabe es suficiente grande cuando las filas sean los mismos con la precisin que desee. Para matrices pequeas como en el libro de texto, P256 suele sea suficiente. (256 es una potencia de 2, por lo que el clculo de P256 es especialmente rpido en nuestras herramienta de lgrebra de matriz . Prubelo!) Advertencia: Si no se estabiliza la matriz con bastante rapidez, entonces se corre el riesgo de significados errores computacionales: lo ms grande el nmero de clculos, lo ms grande se vuelve el error.
Principio de pgina

P = 0.4 0 0.6 0.5 0.5 0 El ejemplo anterior es regular, ya que slo P3 tiene cada entrada distinto de cero. (Puede comporbarlo en su graficador o en nuestra utilidad en-lnea .) El vector estado de equilibrio se expresa por v = [35/99 40/99 24/99], de mode que 0.2 0.8 0 0.4 0 0.6 vP = [35/99 40/99 24/99] 0.5 0.5 0 = [35/99 40/99 24/99] = v. Por lo tanto, la matriz largo plazo de transicin es 35/99 40/99 24/99 P = 35/99 40/99 24/99 35/99 40/99 24/99 (Para comprobar esto, calcular P256 en la utilidad en lnea.) Usar la herramienta lgebra matiz Abra la herramienta lgebra matiz y ingrese P utilizando el siguiente formato (tenga en cuenta las comas entre cada par de entradas en cada fila.): (Si lo deseas, puede copiar el texto de la siguente figura en azul y pegarlo en la ventana de la herramienta.) P=[.,08 0 02 ., 04 0 06 ., , . 05 05 0 ., ., ] Luego, en la frmula, escriba la frmula P 2 6y pulse "Calcular". Si desea ^5 ver la respuesta en la forma de fracciones en vez de decimales, comprueba que "Fraction Mode" (ubicado debajo de los botones) est marcado.
Principio de pgina

Sistemas absorbentes de Markov

Unestado asorbente en un sistema de Markov es un estado a partir de la cual existe cero probabilidad de salir. Un sistema absorbente de Markov es un sistema de Markov que contiene al menos un estado asorbente, tal que es posible llegar a un estado absorbente despus de algun nmero de etapas comenzando en caulquier estado no absorbente.
www.zweigmedia.com/MundoReal/Summary6b.html

Ejemplo
Diagrama de transicin: (Estados 3 y 4 estn absorbiendo. Desapreciendo flechas indican la probabilidad cero.)

2/4

4/08/12

Resumen: sistemas Markov

En el anlisis de los sistemas absorbentes, enumeramos los estados en tal manera que los estados absorbentes son los ltimos. La matriz de transicin Pde un sistema absorbente entonces se ve como sigue: S P= 0 I Matriz: Aqu I est la matriz unidad m m (m = nmero de estados absorbentes), S es una matriz cuadrada (nm) (n- (n = nmero total de estados, de modo nm) m = el numero de estados absorbentes), 0 es un matriz cero y T es un matriz (n- m. m) La matriz S es la matriz de transicin para la circulacin entre los estados de absorcin. La matriz fundamental para el sistema absorbente es Q = (I- - . S) 1
Principio de pagina Principio de pgina

Calcular el valor esperado del nmero de pasos hasta la absorpcin Para obtener informacin sobre el tiempo de absorcin en un
sistema absorbente de Markov, en primer lugar se calcula la matriz fundamental Q. El numero de veces, a partir del estado i, que se espera visitar el estado j antes de absoprcin es la ijo entrada de Q. El nmero esperado total de pasos antes la absorcin es igual a la suma de los nmeros de visitas que se espera a hacer a todos los estados no absorbentes. Esta es la suma de todas las entradas del io regln de Q. El producto QT da las probabilidades de terminar en los distintos estados absorbentes. Por ejemplo, si el io regln de QT es [x y z t], entonces, a partir de estado i, hay una probabilidad de x en terminar en el primer estado de absorcin, y una probabilidad de y en terminar en el segundo estado de absorcin, y as sucesivamente.
Principio de pgina

Ejemplo
En el ejemplo anterior, Q = (I- - = S) 1 = 0.75 0 - 0.8 0.2 4/3 0 1/3 5/4 1

Asi, por ejemplo, el nmero de veces, a partir del estado 2, que se espera visita estado 1 antes de la absorcin es el entrada (2,1) de Q. Pues es igual a 1/3 aquel entrada, si se inicia en el estado 2, se puede esperar visitar estado1 1/3 veces antes de la absorcin. El producto QT es QT = 2/3 1/3 1/6 5/6

Pues la segunda fila es [1/6 5/6], significa que, a partir del estado 2, hay una probabilidad de 1/6 de llegar en el primero estado de absorcin (Estado 5), y en una probabilidad de 5/6 de llegar en el segundo estado de absorcin (Estado 6). Uso de la herramienta de lgebra de matriz Calcular Q: Abra la herramienta de lgebra de la matriz y ingrese la matriz S con el formato siguiente (tenga en cuenta las comas entre cada par de las entradas en cada fila), (si lo deseas, puedes copiar el texto azul de la figura siguente y pegarlo en la ventana.) S=[.5 0 02, 02 02 ., .] Entonces, en el campo de frmulas, introduzca la frmula ( - ) - y pulce IS^1 "Calcular". (La utilidad es lo suficientemente hbiles como para saber cual matriz identidad quieren decir como "I", de modo que no es necesario especificarlo.) Si desea ver la respuesta en fracciones en lugar de decimales, asegrese de que esta marcada "Fraction Mode". Computacin de QT: Abra la herramienta de lgebra de matriz y ingrese alli las matrices S y T usando el siguiente formato: (Si lo deseas, puedes copiar el texto de color azul de la figura siguente y pegarlo en la ventana.) S=[.5 0 02, 02 02 ., .] T=[.,02 05 .5
www.zweigmedia.com/MundoReal/Summary6b.html 3/4

4/08/12

Resumen: sistemas Markov

0 06 , .] Luego, en el campo de frmulas, escriba la formula ( - ) - * y pulse IS^1T "Calcular".

Principio de pgina

ltima actualizacin: Febrero 2009 Derechos de autor 2009 Stefan Waner

Principio de pgina

www.zweigmedia.com/MundoReal/Summary6b.html

4/4