1

INTRODUCCION
CADENAS DE MARKOV
Un proceso o sucesin de eventos que se desarrolla en el tiempo en el cual el
resultado en cualquier etapa contiene algn elemento que depende del azar se
denomina proceso aleatorio o proceso estocstico. Por ejemplo, la sucesin
podra ser las condiciones del tiempo en Paran en una serie de das
consecutivos: el tiempo cambia da a da de una manera que en apariencia es algo
aleatoria. O bien, la sucesin podra consistir en los precios de las acciones que
cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad. Un
ejemplo simple de un proceso estocstico es una sucesin de ensayos de
Bernoulli, por ejemplo, una sucesin de lanzamientos de una moneda. En este
caso, el resultado en cualquier etapa es independiente de todos los resultados
previos (esta condicin de independencia es parte de la definicin de los ensayos
de Bernoulli). Sin embargo, en la mayora de los procesos estocsticos, cada
resultado depende de lo que sucedi en etapas anteriores del proceso. Por
ejemplo, el tiempo en un da determinado no es aleatorio por completo sino que es
afectado en cierto grado por el tiempo de das previos. El precio de una accin al
cierre de cualquier da depende en cierta medida del comportamiento de la bolsa
en das previos. El caso ms simple de un proceso estocstico en que los
resultados dependen de otros, ocurre cuando el resultado en cada etapa slo
depende del resultado de la etapa anterior y no de cualquiera de los resultados
previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una
cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su
nombre del matemtico ruso Andrei Andreevitch Markov (1856-1922). Como
mencionamos antes, estas cadenas tiene memoria, recuerdan el ltimo evento y
eso condiciona las posibilidades de los eventos futuros. Esto justamente las
distingue de una serie de eventos independientes como el hecho de tirar una
moneda. Este tipo de proceso presenta una forma de dependencia simple, pero
muy til en muchos modelos, entre las variables aleatorias que forman un proceso
estocstico. Se utilizan, por ejemplo, para analizar patrones de compra de
deudores morosos, para planear necesidades de personal, para analizar el
reemplazo de un equipo, entre otros.

CALCULO DE PROBABILIDADES DE LA MATRIZ DE TRANSICIN

Para hallar las probabilidades de los estados dentro de la matriz de transicin en
un periodo determinado procedemos de la siguiente manera como se muestra en
el siguiente ejemplo:
Las granjas de cierta regin se pueden clasificar con 3 tipos: agrcolas, pecuarias
o mixtas. Actualmente 30% son agrcolas, 40% pecuarias y 30% son mixtas. La
matriz de transicin de un ao al siguiente es:

De acuerdo a la informacin dada, el Po es:

Para hallar el valor de las probabilidades en el ao siguiente hacemos uso de la

multiplicacin de las matrices, como sigue
Para el estado A:

Por lo que el vector para el ao siguiente es:

De igual manera calculamos el porcentaje para cada tipo de granja para el periodo
2, 3, 4 y 5

Obsrvese que el valor de la probabilidad de un estado n esta dado por la

siguiente expresin:

MATRIZ DE TRANSICIN EN ESTADO ESTABLE

Un estado es estable cuando ya no hay cambios en el sistema, es decir que se
alcanza el equilibrio. Una manera posible de obtener las condiciones del sistema
para el estado estable es repetir iterativamente los clculos para cada periodo con
el fin de hallar el periodo con aquellas probabilidades que se mantienen
constantes o no cambian.
Sin embargo tambin es posible utilizar los mtodos para resolver sistemas de
ecuaciones que nos permiten encontrar directamente estas probabilidades de
estado estables.
Dado el ejemplo anterior acerca de los tipos de granjas, calcularemos los estados
estables a travs de los mtodos para sistemas de ecuaciones.
En primera medida lo que hacemos es hallar la traspuesta de la matriz de
transicin, es decir:

El sistema de ecuaciones quedara as:

Esta ultima ecuacin es agregada siguiendo la propiedad de que la sumatoria las

probabilidades de los estados debe ser igual a 1.

Utilizando el mtodo de eliminacin, restamos las ecuaciones (1) y (2) eliminando

z.

Ahora sumamos las ecuaciones (3) y (4), multiplicando la ecuacin 4 por 0.2 con
el fin de eliminar z

Despejando de la ecuacin (6) y y reemplazando en (5), tenemos:

Reemplazando x en (6)

APLICACIONES
Meteorologa
Si consideramos el tiempo atmosfrico de una regin a travs de distintos das, es
claro que el estado actual solo depende del ltimo estado y no de toda la historia
en s, de modo que se pueden usar cadenas de Mrkov para formular modelos
climatolgicos bsicos. Por ejemplo se han desarrollado modelos de recurrencia
de las lluvias basados en cadenas de Mrkov.3
Modelos epidemiolgicos
Una importante aplicacin de las cadenas de Mrkov se encuentra en el proceso
Galton-Watson. ste es un proceso de ramificacin que se puede usar, entre otras
cosas, para modelar el desarrollo de una epidemia (vase modelaje matemtico
de epidemias).
Internet
El pagerank de una pgina web (usado por Google en sus motores de bsqueda)
se define a travs de una cadena de Mrkov, donde la posicin que tendr una
pgina en el buscador ser determinada por su peso en la distribucin
estacionaria de la cadena.
Simulacin
Las cadenas de Mrkov son utilizadas para proveer una solucin analtica a
ciertos problemas de simulacin, por ejemplo en teora de colas el Modelo M/M/14
es de hecho un modelo de cadenas de Mrkov.
Juegos de azar
Son muchos los juegos de azar que se pueden modelar a travs de una cadena
de Mrkov. El modelo de la ruina del jugador, que establece la probabilidad de que
una persona que apuesta en un juego de azar finalmente termine sin dinero, es
una de las aplicaciones de las cadenas de Mrkov en este rubro.
Economa y finanzas
Las cadenas de Mrkov se pueden utilizar en modelos simples de valuacin de
opciones para determinar cundo existe oportunidad de arbitraje, as como en el
modelo de colapsos de una bolsa de valores o para determinar la volatilidad de los
precios. En los negocios, las cadenas de Mrkov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.

CONCLUCION.
Un proceso o sucesin de eventos que se desarrolla en el tiempo en el cual el
resultado en cualquier etapa contiene algn elemento que depende del azar se
denomina proceso aleatorio

PREGUNTAS
1.- En la matriz de probabilidades de transicin:
* La suma de cada columna y cada fila debe ser igual a 1
2.- Pregunta N2: Si la distribucin de probabilidad de la variable X_{n} no
cambia de una etapa a otra:
* Dicha distribucin coincide con la distribucin estacionaria
3.- Pregunta N3: Cul de las siguientes alternativas no es un supuesto de las
cadenas de Markov:
* Todas las anteriores no son supuestos del anlisis.

BIBLIOGRAFIA
A.A. Mrkov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". Izvestiya
Fiziko-matematicheskogo obschestva pri Kazanskom universitete, 2-ya seriya, tom 15, pp. 135156, 1906.
A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain".
reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley
and Sons, 1971.
Classical Text in Translation: A. A. Markov, An Example of Statistical Investigation of the Text Eugene Onegin
Concerning the Connection of Samples in Chains, trans. David Link. Science in Context 19.4 (2006): 591600.
Online: http://journals.cambridge.org/production/action/cjoGetFulltext?fulltextid=637500
Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968; reprinted by Society for
Industrial and Applied Mathematics, 1992. ISBN 0-89871-296-3. (See Chapter 7.)