Repblica Bolivariana de Venezuela

Universidad Noriental Privada "Gran Mariscal de Ayacucho"

Vice-rectorado Pto. Ordaz
Ing. En sistemas

Cadenas de
Markov
Profesor: Integrantes:
Guerrero Jairo Daniel Rojas C.I 23.500.863
Anderson Contreras C.I. 24.707.936
Slin Orta C.I. 25.393.322

Ciudad Guayana, 10 de mayo del 2017

 Introduccin.
Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria, "Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes,
como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov
se han utilizado para analizar los patrones de compra, los deudores morosos,
para planear las necesidades de personal y para analizar el reemplazo de
equipo. El anlisis de Markov, llamado as en honor de un matemtico ruso que
desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un
sistema se encuentre en un estado en particular en un momento dado. Algo ms
importante an, es que permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado. Con esta informacin se
puede predecir el comportamiento del sistema a travs del tiempo. La tarea ms
difcil es reconocer cundo puede aplicarse. La caracterstica ms importante
que hay que buscar en la memoria de un evento a otro.
 Definicin de un proceso estocstico.
Un proceso estocstico (P.E.) es una coleccin de variables aleatorias

, con .
t es el parmetro que se asocia al tiempo y X(t) representa el estado del proceso
en el instante t.
Ejemplo:

Si X(t) representa la distancia entre dos puntos que se mueven

aleatoriamente sobre una recta, entonces y .

Si X(t) representa el piso en el que est un ascensor despus de la t-sima

parada, entonces y .
Si X(t) es el nmero de llamadas a un nmero de telfono hasta el instante

de tiempo t, entonces y .
Definicin
Si T es un conjunto numerable, entonces el proceso estocstico se dice que es
en tiempo discreto.
Si T es un intervalo, entonces el proceso estocstico se dice que es en tiempo
continuo.
Definicin
Se llama camino muestral a una muestra de la variable aleatoria X(t) para cada
valor de t.
Definicin
Un proceso estocstico en tiempo continuo se dice que es de incrementos
independientes (i.i.) o de renovacin, si para valores

se tiene que

son variables aleatorias independientes. Por lo tanto, en un proceso de

renovacin, los cambios en intervalos de tiempo que no se solapan son
independientes.
Definicin
Un proceso estocstico en tiempo continuo es de incrementos estacionarios (i.e.)
si la distribucin, fijado t, de X(s+t)-X(s) es la misma para todo s tal que s+t
pertenezca a T.
En un proceso de incrementos estacionarios, cambios en el proceso de igual
tamao son iguales en distribucin.

Definicin

Un proceso estocstico en tiempo continuo , se dice puntual o de

conteo si N(t) representa el nmero de veces que ocurre un suceso hasta el
instante de tiempo t.
En particular:

si s<t. (Los incrementos son no negativos)

En consecuencia, un proceso de conteo es de incrementos independientes si el

nmero de sucesos que tienen lugar en intervalos de tiempo que no se solapan
son variables aleatorias independientes. Y ser de incrementos estacionarios si
el nmero de sucesos que tienen lugar en un intervalo de tiempo es el mismo en
intervalos de igual longitud.
Caractersticas de un proceso de Markov.
Irreducibilidad
En una cadena de Markov un estado ej se dice que es accesible desde otro
estado ei si la probabilidad de ir desde el estado e i al ej en algn momento
futuro es distinta de cero.
Un estado ei est comunicado con otro ej si ej es accesible desde ei y ei lo
es desde ej.
Una cadena de Markov se dice que es irreducible si todos los estados
estn comunicados entre s.
Absorsorbencia
Un estado ej se dice absorbente si es imposible abandonar dicho estado,
es decir
P(Xk= ejXk-1= ej) = 1.
Una cadena de Markov es absorbente si tiene algn estado absorbente.
Si una cadena de Markov es irreducible y absorbente entonces la
probabilidad de caer en alguno de los estados absorbentes tiende a uno cuando
el nmero de etapas tiende a infinito.
Regularidad
Una cadena de Markov se dice que es regular si alguna potencia de la
matriz de transicin tiene todos sus elementos positivos (no hay ceros)
Si una cadena es regular entonces es irreducible y no absorbente.
 Probabilidad de transicion de n etapas.
Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular
estas probabilidades de transicin de n pasos :

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n

pasos, el proceso estar en algn estado k despus de exactamente m ( menor
que n) pasos. As,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k despues de m pasos y despus al estado j en n- m
pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n
pasos se pueden obtener a partir de las probabilidades de transicin de un paso
de manera recursiva. Para n=2, estas expresiones se vuelven :

Note que las son los elementos de la matriz P(2) , pero tambin debe de

observarse que estos elementos, se obtienen multiplicando la matriz

de transicin de un paso por s misma; esto es , P(2) = P * P = P2 .
En trminos ms generales, se concluye que la matriz de probabilidades de
transicin de n pasos se puede obtener de la expresin : P(n) = P * P .... P = Pn =
PPn-1 = Pn-1 P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede
obtener calculando la n-sima potencia de la matriz de transicin de un paso.
Para valores no muy grandes de n, la matriz de transicin de n pasos se puede
calcular en la forma que se acaba de describir, pero cuando n es grande, tales
clculos resultan tediosos y, ms an, los errores de redondeo pueden causar
inexactitudes.
Clasificacin de estados de una cadena de Markov.
Estado transitorio
En un estado recurrente, la probabilidad de que se regrese por primera vez a ese
estado en algn paso es 1, pero para otros estados sucede que fj = X n=1 f(n) j
< 1 lo que significa es que no se regresa al estado Ej de modo seguro. Un estado
as se denomina transitorio.

Estado ergdico
Un estado bastante importante es aquel que es recurrente, no nulo y aperidico.
Recibe el nombre de ergdico. Los estados ergdicos son importantes en la
clasificacin de cadenas y para probar la existencia de distribuciones de
probabilidad lmite.
Clasificacin de cadenas
En esta seccin se definen propiedades de las cadenas que, en realidad, son
propiedades comunes de los estados de la cadena.
Cadenas irreducibles
Una cadena irreducible es aquella en la que todos los estados son alcanzables
desde cualquier otro estado de la cadena en un nmero finito de pasos. Eso
implica que se puede llegar a cualquier estado Ej desde otro estado Ei esto es p
(n) ij > 0, para algn nmero entero n. Una matriz A = [aij ] se dice que es
positiva si a(n) ij > 0 para todos los i, j. Una matriz de transicin T se dice que es
regular si existe un nmero entero N tal que T N es positivo. Una cadena regular
obviamente es irreducible, sin embargo, lo contrario no tiene por qu ser
necesariamente cierto.
Conjuntos cerrados
Una cadena de Markov puede contener algunos estados que sean recurrentes,
otros que sean transitorios y otros que sean absorbentes. Los estados
recurrentes pueden ser parte de subcadenas cerradas. Un conjunto de estados C
en una cadena de Markov se dice que es cerrado si cualquier estado dentro de C
puede alcanzarse desde cualquier otro estado de C y ningn otro estado fuera de
C puede ser alcanzado desde cualquier estado dentro de C. As una condicin
necesaria para que esto ocurra es que pij = 0 Ei C, Ej / C Los estados
absorbentes son cerrados con slo un elemento. Se puede ver que un
subconjunto cerrado es l mismo una subcadena irreducible de una cadena de
Markov completa.
Cadenas ergdicas
Se tena que todos los estados en una cadena irreducible pertenecen a la misma
clase. Si todos los estados son ergdicos, esto es, recurrentes, no nulos y
aperidicos entonces se define la cadena como ergdica.
Tiempo medio de primera pasada.

Con frecuencia es conveniente poder hacer afirmaciones en trminos de probabilidades sobre el nmero
de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez. Este lapso se llama
tiempos de primera pasada al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el
nmero de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer
paso se llama tiempo de recurrencia para el estado i.

Cadenas absorbentes

Se dice que un estado es absorbente si es cero la probabilidad de hacer una transicin fuera de ese
estado. Por tanto, una vez que el sistema hace una transicin hacia un estado absorbente, permanece en
el siempre

Matriz Fundamental y clculos asociados

La matriz fundamental es muy til para el anlisis y solucin de situaciones en las cuales aparecen
estados absorbentes.

La metodologa para obtener la matriz fundamental es la siguiente:

Obtener la matriz de transicin en la forma usual, incluyendo los estados absorbentes.

2. Identificar de la matriz de transicin los renglones correspondientes a la matriz absorbente

3. De lo que ha quedado de la matriz de transicin en el paso anterior, dividirlo en dos partes: N que ser
la parte no absorbente y A que contendr los estados absorbentes

4. Obtenemos la matriz U mediante la siguiente frmula:

U=I-N

Donde I es la matriz identidad.

5. Finalmente, se obtiene la matriz identidad de la siguiente manera:

X=U-1

Donde X representa la inversa de U, la cual se obtiene por algunos mtodos como el Gauss- Jordan.

EJEMPLO

American Airlines Christmas Tree Farm posee una parcela de tierra con 5000 rboles de hoja perenne.
Cada ao American Airlines permite a los minoristas de rboles de Navidad que seleccionen y corten
rboles para su venta a clientes individuales. American Airlines protege a los rboles pequeos (por lo
general, menos de 1.20 de alto) de modo que puedan estar disponibles para su venta en aos futuros. En
la actualidad 1500 rboles estn clasificados como rboles protegidos, mientras los restantes 3500 estn
disponibles para ser cortados. Sin embargo, aunque un rbol est disponible para cortarse en un ao
dado, puede no ser seleccionado para cortarse hasta aos futuros. La mayora de los rboles no cortados
en un ao dado viven hasta el ao siguiente, pero algunos rboles enfermos se pierden cada ao.

Al ver la operacin de rboles de Navidad de American Airlines como un Proceso de Markov con periodos
anuales, definimos los siguientes cuatro estados:

Estado 1. Cortar y vender

Estado 2. Perdido por enfermedad

Estado 3. Demasiado pequeo para cortarse

 Estado 4. Disponible para cortarse, pero no cortado y vendido

Cuntos de los 5000 rboles de la granja se vendern al final y cuntos se perdern?

Alternativas de solucin.

Una vez analizado el proceso actual, conociendo el flujo de informacin, es importante plantear una serie
de alernativas que nos permitan llegar a la solucin optima del problema.

Tipos de Cadenas: Cadena Erratica, Cadena positivo-recurrente, cadenas regulares, Cadena

absorbente, cadena de markov de tiempo continuo.

Cadenas errticas
Una cadena de Mrkov se dice irreducible si se cumple cualquiera de las
siguientes condiciones (equivalentes entre s):
Desde cualquier estado de E se puede acceder a cualquier otro.
Todos los estados se comunican entre s.
C(x)=E para algn xE.
C(x)=E para todo xE.
El nico conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son
ejemplos de cadenas de Mrkov irreducibles.
Cadenas positivo-recurrentes
Una cadena de Mrkov se dice positivo-recurrente si todos sus estados son
positivo-recurrentes. Si la cadena es adems irreducible es posible demostrar
que existe un nico vector de probabilidad invariante y est dado por:

Cadenas regulares
Una cadena de Mrkov se dice regular (tambin primitiva o ergdica) si existe
alguna potencia positiva de la matriz de transicin cuyas entradas sean todas
estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transicin de la
cadena se tiene que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena.
En el caso de cadenas regulares, ste vector invariante es nico.
Cadenas absorbentes
Una cadena de Mrkov con espacio de estados finito se dice absorbente si se
cumplen las dos condiciones siguientes:
La cadena tiene al menos un estado absorbente.
De cualquier estado no absorbente se accede a algn estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su
complemento como D, tenemos los siguientes resultados:
Su matriz de transicin siempre se puede llevar a una de la forma
donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz
identidad, 0 es la matriz nula y R alguna submatriz.

, esto es, no importa en donde se encuentre la cadena,

eventualmente terminar en un estado absorbente.
Cadenas de Mrkov en tiempo continuo.
Si en lugar de considerar una secuencia discreta X1, X2,..., Xi,.. con i indexado en
el conjunto de nmeros naturales, se consideran las variables aleatorias Xt
con t que vara en un intervalo continuo del conjunto de nmeros reales,
tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo
continuo la propiedad de Mrkov se expresa de la siguiente manera:

Para una cadena de Mrkov continua con un nmero finito de estados puede
definirse una matriz estocstica dada por:

La cadena se denomina homognea si Para una cadena

de Mrkov en tiempo continuo homognea y con un nmero finito de estados
puede definirse el llamado generador infinitesimal como:

Y puede demostrarse que la matriz estocstica viene dada por:

 Conclusin.

En el trabajo realizado aprendimos que una cadena de Markov consiste en una

serie de estados, en los cuales la probabilidad de que un evento ocurra depende
del estado inmediatamente anterior. En efecto, las cadenas de ese tipo tienen
memoria: Recuerdan el ltimo estado y esto condiciona los posibles estados
futuros. En otras palabras, el siguiente estado depende nicamente del estado
anterior, y no de la secuencia de estados que le preceden. Estos cambios de
estados se llaman transiciones. Cada proceso tiene un estado inicial y una matriz
de transiciones que muestra todas las posibles transformaciones futuras a partir
de el.

Los procesos de decisin de Markov son frecuentemente utilizados por

cientficos para los y y aprendimos donde emplearlos en los siguientes
casos de negocio:
Investigacin de operaciones.
Prediccin y optimizacin de marca.
Predicciones meteorolgicas.
Optimizar precios de productos y servicios
Marketing
Anlisis de ciclo de negocio.
Anlisis de producto.
Optimizacin de los modelos de planificacin de plantillas.
Optimizacin de calidad de servicio al cliente.
Prediccin del comportamiento de los consumidores.
Prediccin de prdida de clientes
Optimizacin de las relaciones con clientes.
Optimizacin del rendimiento de los trabajadores.
Optimizacin de la ubicacin de la tienda.
Determinar la probabilidad de morosidad.
Optimizacin de financieros, inventarios, bienes y capital humano.
 Referencia Electrnicos.

Autor: desconocido, Introduccin a las cadenas de markov, fecha de publicacin:

desconocido, link de referencia: [http://www.um.es/or/ampliacion/node6.html],
recuperado el 10 de abril del 2017, consultado.
Autor: desconocido, todo sobre cadenas de markov, fecha de publicacin:
desconocido, link de referencia: [http://centros.edu.xunta.es/iespinomanso],
recuperado el 10 de abril del 2017, consultado.
Autor: desconocido, las cadenas y sus estados, fecha de publicacin:
desconocido, link de referencia:
[http://www.gayatlacomulco.com/tutorials/investoper2/tema47.htm], recuperado
el 10 de abril del 2017, consultado.