Un sistema de Markov (o proceso de Markov o cadena de Markov) es un sistema que puede ser en uno de algunosestados (enumerados), y que puede

pasar de un estado a otro durante cada instante de acuerdo a probabilidades determinadas. Si un sistema de Markov est en estado i, Hay una determinada probabilidad, pij, de ir a estado j el prximo paso, y pijes llamado la probabilidad de transicin. Un sistema de Markov puede ser ilustrado por significados de un diagrama de transicion de estados, que muestra todos los estados y las probabilidades de transicin. (Ver el ejemplo opuesto.) La matriz P cuya ijo entrada pij se llama la matriz de transicin asociada con el sistema. Las entradas en cada renglon suman en total 1. Por lo tanto, para este caso, una a 2 matriz de transicin P podra ser representado en la siguiente figura.

Ejemplo Diagrama de (Falta de flechas indican la probabilidad cero.) transicin:

Matriz:

Distriducon de vectores y de los poderes de la matriz de transicon Un vector distribucon es un vector regln no negativa con una entrada para cada estado de la sistema. Las entradas pueden representar el nmero de individuos en cada estado del sistema. Una vector probabilidad es un vector en la que las entradas son no negativa y agregar hasta 1. Las entradas en un vector probabilidad pueden representar las probabilidades de encontrar un sistema de cada uno de los estados. Si v es el vector distribucon inicial y P es la matriz de transicon de un sistema de Markov, entonces la distribucon de vectores a partir del paso 1 es el producto mkatriz, vP. Distribucin despus de 1 paso: vP La distribucin un paso ms adelante, obtenido de nuevo a travs de multiplicacon por P, es dado por (vP)P = vP2. Distribucon despus del paso 2: vP2 Del mismo , la distribucon depus del paso n se puede obtener multiplicando v al derecho por P n veces, o multiplicando v por Pn. Distribucon despus de n pasos: vPn P2es la matrtiz de transicon 2-etapas del sistema de Markov. Del mismo modo, P3 es la matriz de transicon 3-estapas, yPn es la matriz n-etapas de transicon. Esto significa que la ijo entrada de Pn es la probabilidad de que el sistema pasar de estado i a estado j en n pasos. Pruebe nuestra herramienta en-lnea para calcular la matriz de trasicon y las vectores istribucin asociadas. An mejor (y mucho mas flexible) es nuestra herramienta de lgebra de matriz con la que se puede calcular simultneamente varias expresiones algebricas con matrices.

Ejemplo Sea 0.2 0.8 0 P = 0.4 0 0.6 0.5 0.5 0 y sea v = [ 100 200 300 ] una distribucon inicial. A continuacin, la distrubucin despus de un paso se expresa por

0.2 0.8 0 vP = [ 100 200 300 ] 0.4 0 0.6 0.5 0.5 0 = [ 250 230 120 ] La distribucin un paso ms adelante se expresa por vP2 = (vP)P 0.2 0.8 0 = [ 250 230 120 ] 0.4 0 0.6 0.5 0.5 0 = [ 202 260 138 ]. Para obtener la matriz 2-pasos de transicion, calculamos

0.2 0.8 0 P = 0.4 0 0.6 0.5 0.5 0

2

0.2 0.8 0 0.4 0 0.6 0.5 0.5 0

0.36 0.16 0.48 = 0.38 0.62 0 0.3 0.4 0.3 As, por ejemplo, la probabilidad de pasar del estado 3 al estado 1 en dos pasos viene dada por la 3,1-entrada en P2, es decir, 0.3. Comportamiento a largo plazo de los sistemas de Markov Si P es una matriz de transicin de un sistema de Markov, y si v es un vector de distribucin con la propiedad que vP =v, entonces nos referimos a v como un vector (distribucin) de estado de equilibrio. Para encontrar un vector de estado de equilibrio para un sistema de Markov com matriz de transicin P, resolvemos el sistema de ecuaciones dados por: x+y+z+...=1 [x y z . . . ]P = [x y z . . .] donde su uso como muchas incgnitas, ya que hay estados en el sistema de Markov. Una costante vectorial de estado de probabilidades se da entonces por v = [x y z . . . ]

Un sistema regular de Markov es un sistema cuya matriz de transicin tiene algun poder con ningunas entradas de cero. Un sistema regular de Markov siempre tiene un solo vector de estado de equilibrio. Comportamiento a largo plazo Si los poderes ms y ms altos de P se acercan a una matriz P , nos referimos a P como la matriz de equilibrio o como la matriz de transicin largo plazo. Si es regular el sistema de Markov, entonces la matriz de equilibrio se expresa por la matriz cuadrada cuyas reglones son iguales el uno a otro, y iguales al vector de estado de equilibrio [x y z . . .]. Calcular la matriz de estado de equilibrio numrico Por el uso de la tecnologa, es frecuentemente posible aproximar P con gran precisin por simplemente calcular un gran poder de P. Qu tan grande? Sabe es suficiente grande cuando las filas sean los mismos con la precisin que desee. Para matrices pequeas como en el libro de texto, P256 suele sea suficiente. (256 es una potencia de 2, por lo que el clculo de P256 es especialmente rpido en nuestras herramienta de lgrebra de matriz . Prubelo!) Advertencia: Si no se estabiliza la matriz con bastante rapidez, entonces se corre el riesgo de significados errores computacionales: lo ms grande el nmero de clculos, lo ms grande se vuelve el error. Ejemplo La matriz de transicin 0.2 0.8 0 P = 0.4 0 0.6 0.5 0.5 0 El ejemplo anterior es regular, ya que slo P3 tiene cada entrada distinto de cero. (Puede comporbarlo en su graficador o en nuestra utilidad en-lnea .) El vector estado de equilibrio se expresa por v = [35/99 40/99 24/99], de mode que 0.2 0.8 0 vP = [35/99 40/99 24/99] 0.4 0 0.6 0.5 0.5 0 = [35/99 40/99 24/99] = v.

Por lo tanto, la matriz largo plazo de transicin es 35/99 40/99 24/99 P = 35/99 40/99 24/99 35/99 40/99 24/99 (Para comprobar esto, calcular P256 en la utilidad en lnea.) Usar la herramienta lgebra matiz Abra la herramienta lgebra matiz y ingrese P utilizando el siguiente formato (tenga en cuenta las comas entre cada par de entradas en cada fila.): (Si lo deseas, puede copiar el texto de la siguente figura en azul y pegarlo en la ventana de la herramienta.) P= 0.4, 0.5, 0.5, 0] [0.2, 0, 0.8, 0 0.6

Luego, en la frmula, escriba la frmula P^256 y pulse "Calcular". Si desea ver la respuesta en la forma de fracciones en vez de decimales, comprueba que "Fraction Mode" (ubicado debajo de los botones) est marcado. Sistemas absorbentes de Markov Unestado asorbente en un sistema de Markov es un estado a partir de la cual existe cero probabilidad de salir. Unsistema absorbente de Markov es un sistema de Markov que contiene al menos un estado asorbente, tal que es posible llegar a un estado absorbente despus de algun nmero de etapas comenzando en caulquier estado no absorbente. En el anlisis de los sistemas absorbentes, enumeramos los estados en tal manera que los estados absorbentes son los ltimos. La matriz de transicin Pde un sistema absorbente entonces se ve como sigue:

S P= 0

T I

Aqu I est la matriz unidad m m (m = nmero de estados absorbentes), S es una matriz cuadrada (n-m) (n-m) (n = nmero total de estados, de modo n-m = el numero de estados absorbentes), 0 es un matriz cero y T es un matriz (n-m) m.

La matriz S es la matriz de transicin para la circulacin entre los estados de absorcin. La matriz fundamental para el sistema absorbente es Q = (I-S)-1. Ejemplo Diagrama de transicin: (Estados 3 y 4 estn absorbiendo. Desapreciendo flechas indican la probabilidad cero.)

Matriz:

Calcular el valor esperado del nmero de pasos hasta la absorpcin Para obtener informacin sobre el tiempo de absorcin en un sistema absorbente de Markov, en primer lugar se calcula la matriz fundamental Q. El numero de veces, a partir del estado i, que se espera visitar el estado j antes de absoprcin es la ijo entrada de Q. El nmero esperado total de pasos antes la absorcin es igual a la suma de los nmeros de visitas que se espera a hacer a todos los estados no absorbentes. Esta es la suma de todas las entradas del io regln de Q. El producto QT da las probabilidades de terminar en los distintos estados absorbentes. Por ejemplo, si el io regln deQT es [x y z t], entonces, a partir de estado i, hay una probabilidad de x en terminar en el primer estado de absorcin, y una probabilidad de y en terminar en el segundo estado de absorcin, y as sucesivamente. Ejemplo

En el ejemplo anterior, Q = (I-S)-1 = = 0.75 0 -1 -0.2 0.8 4/3 0 1/3 5/4

Asi, por ejemplo, el nmero de veces, a partir del estado 2, que se espera visita estado 1 antes de la absorcin es el entrada (2,1) de Q. Pues es igual a 1/3 aquel entrada, si se inicia en el estado 2, se puede esperar visitar estado1 1/3 veces antes de la absorcin. El producto QT es QT = 2/3 1/3 1/6 5/6

Pues la segunda fila es [1/6 5/6], significa que, a partir del estado 2, hay una probabilidad de 1/6 de llegar en el primero estado de absorcin (Estado 5), y en una probabilidad de 5/6 de llegar en el segundo estado de absorcin (Estado 6).