INEGAS

MODULO GESTIN
DE ACTIVOS
FSICOS,
INSPECCIONES Y
REEMPLAZO DE
EQUIPOS
 INEGAS

Unidad 04
Introduccin a los Modelos de
Markov
 Modelos de Markov
Tpicos

1. Procesos de Markov
2. Modelos de Markov
3. Simbolos en el Modelo
4. Edificacin del Modelo
5. Resolviendo los Modelos de Markov
6. Ejemplos
Tcnicas Cuantitativas de Anlisis
de Sistemas
Diagramas de Bloques de Confiabilidad (RBD)
Diagramas de rbol de Fallas (FTD)
Modelos de Markov (MM)

A B

Suministro
Controlador
De Energa

A B
Suministro
Controlador
De Energa

Los modelos de Markov son uno de los mtodos ms populares usados para el clculo
mtrico de confiabilidad. Otros mtodos populares incluyen el rbol de fallas y los
diagramas de bloques de confiabilidad. Los mtodos son diferentes y proveen diferentes
habilidades.
Tcnicas Cuantitativas de Anlisis
de Sistemas
RBD - Mejor anlisis de Confiabilidad /
Disponibilidad. Probabilidad de combinacin de
mtodos. Confuso cuando es usado en modelos de
modos de fallas mltiples.
FTD Excelente para problemas de modos de
fallas mltiples pero cada diagrama es usado para
un modo de falla. Probabilidad de combinacin de
mtodos.
MM Excelente para modos de fallas mltiples y
sistemas reparables redundantes. El mtodo puede
manejar situaciones de reparacin complicadas.
Cada mtodo tiene ventajas y desventajas dependiendo del problema a ser resuelto. Los
modelos de Markov tienen muchas ventajas que la hacen especialmente apropiadas para
sistemas redundantes y las funciones instrumentadas de seguridad ms complicadas. En el
pasado las tcnicas de Markov fueron primariamente usadas por acadmicos y profesionales
de confiabilidad renombrados porque las tcnicas de solucin fueron complicadas. Esto ha
cambiado con el uso de computadoras.
 Modelos de Markov
Cuenta para Modos de Fallas
Mltiples en un dibujo.
Modeliza diferentes tasas de
reparacin para diferentes
situaciones de falla.
Cualitativamente muestra la
operacin de un sistema
tolerante a falla.

La tcnica de Markov tiene ventajas significativas que se revelan cuando las funciones
instrumentadas de seguridad van ms all de configuraciones simples no redundantes. Los
estados de fallas mltiples son mostradas en un solo dibujo. Las interrelaciones entre fallas y
reparaciones son claramente mostradas.
Suposiciones del Modelo de
Markov
Proceso de Markov Un proceso
que tiene la propiedad que el
comportamiento futuro depende slo
del estado presente y no los de los
acontecimientos pasados que lo
condujeron hasta el presente estado.
Principales suposiciones:
Sistema sin memoria
Resultado: La probabilidad de
moverse a un nuevo estado depende
solo del estado presente.

La suposicin principal en la tcnica es que los sistemas son desmemoriados. Esta

suposicin aplica perfectamente al anlisis de confiabilidad y seguridad de equipos de
automatizacin.
Smbolos del Modelo de
Markov
0.002
0.002 2

0.02
1
0.015
0.05
0
Un crculo representa un
estado, una combinacin 3
de componentes fallados y 0.005
exitosos.

Se usan dos smbolos. Un crculo representa un estado. En el caso de evaluacin de la

confiabilidad y seguridad de los equipamientos, cada estado es una combinacin de
componentes fallados o exitosos.
Smbolos del Modelo de
Markov
0.002
0.002 2

0.02
1
0.015
0.05
0
Una flecha muestra la
3
probabilidad de moverse
de un estado a otro en un 0.005
incremento de tiempo
definido (modelos de
tiempo discreto).

El segundo smbolo es una flecha que muestra la probabilidad de moverse de un estado a

otro en un incremento de tiempo definido.
Tipos de Estados del
Modelo de Markov
Estado en Trnsito

Estado Absorbente

Un estado con flechas ingresando y saliendo es llamado Estado en Trnsito. Un estado con
solo flechas ingresando es llamado un Estado Absorbente. Un estado absorbente es usado
para modelar una falla no-reparable una vez que el modelo llega a ese estado, se queda ah.
Tipos de Modelos de Markov

Modelo Regular No
tienen estados absorbentes

Modelo Absorbente
Uno o ms estados
absorbentes

Se pueden edificar dos tipos diferentes de modelos de Markov Modelos Regulares y

Modelos Absorbentes.
Empezando

La construccin del
Modelo de Markov
frecuentemente empieza
Ok
con un estado donde todos
los equipos trabajan
t = 1 hora adecuadamente.

Un modelo de Markov frecuentemente empieza con un estado donde todos los componentes
es el sistema trabajan. Frecuentemente este estado es marcado Ok.
Se elige un incremento de tiempo para el modelo de tiempo discreto. Esta seleccin se
realiza basados en la resolucin de tiempo necesaria en los clculos de intervalo de tiempo o
periodos de los parmetros. Por ejemplo si el tiempo ms bajo de reparacin es de 4 horas, se
elige un incremento de tiempo de menos de 2 horas. Tpicamente para sistemas
instrumentados, se elige un incremento de tiempo de una hora.
Empezando
Un componente
sencillo con un modo
de falla:
t

Ok Falla

Considerar un componente simple con un modo de falla. La probabilidad de falla para el

incremento de tiempo es dado multiplicando la tasa de falla por el incremento de tiempo. Se
debe tener mucho cuidado para estar seguros que se manejan las mismas unidades. No puede
multiplicarse una tasa de falla en fallas por ao por un tiempo dado en horas.
Probabilidades

t = 0.0001

Ok Falla

Por ejemplo, una tasa de falla est dada como 0.0001 fallas por hora. Si se ha elegido un
incremento de tiempo t de una hora, la probabilidad de falla en esa hora es igual a 0.0001.
Si se da una tasa de falla de 0.876 fallas por ao, la probabilidad para una hora no es 0.876.
La tasa de falla TIENE que ser escalado a una hora.
Nota: 0.876 fallas por ao /8760 horas por ao = 0.0001 fallas por hora.
Modelos de Markov
Sistemas reparables simples
t Un modo de Falla

Ok Falla
t Ok Falla

Por convencin, el Delta t es

usualmente omitido del dibujo.
Queda implcito.

Todas las probabilidades de transicin son aadidas tales como probabilidades de reparacin.
Por convencin, la letra griega en minscula lambda se usa para tasas de fallas, y la letra
griega en minscula mu se usa para tasas de reparacin.
Otra convencin usada en los dibujos del modelo es la eliminacin del smbolo Delta t.
Movimientos del Modelo de Markov
Permanece en un estado o
va a algn lado ms luego 0.01
de cada incremento de
tiempo Ok Falla
0.5
Por ello,
P (estar en su estado actual) =
1 P (dejar el estado actual) 0.5
0.01
0.99
Ok Falla
0.5

Un modelo de Markov de tiempo discreto representa una situacin donde el sistema est en
un estado u otro cada incremento de tiempo. Al final de cada incremento de tiempo, el
sistema puede quedar en el estado en que est o se mueve a un estado diferente. La
probabilidad de permanecer en el estado actual es siempre igual a uno menos la probabilidad
de dejar el estado.
Movimientos del Modelo de Markov
Permanece en un estado o
va a algn lado ms luego 0.02
de cada incremento de
tiempo Ok Falla
0.2
Cules son las probabilidades de
permanecer en el mismo estado
en este modelo? ?
0.02
?
Ok Falla
0.2

Por ejemplo, cules son las probabilidades de permanecer en el mismo estado en este
modelo?
Resolver el problema
Movimientos del Modelo de Markov
Permanece en un estado o
va a algn lado ms luego 0.02
de cada incremento de
tiempo Ok Falla
0.2

0.02 0.8

0.98
Ok Falla
0.2

La probabilidad de permanecer en el estado OK = 1 0.02 = 0.98

La probabilidad de permanecer en el estado Falla = 1 0.2 = 0.8
Modelo de Markov Redundante

2 Unidades 1 Sigue Ambos

Trabajando Trabajando Fallaron
- - -
Sistema Sistema Sistema
exitoso Exitoso Fallado
0 1 2

Un modelo tiene que mostrar que estn incluidas dos unidades en

un sistema y solo uno es necesario para que el sistema sea exitoso

Los modelos de Markov pueden mostrar operaciones en redundancia y degradacin. En este

modelo el sistema es exitoso en los estados 0 y 1. El sistema ha fallado en el estado 2.
Frecuentemente el estado 1 es llamado degradado porque una porcin del sistema ha
fallado.
Ntese que por convencin, los arcos que indican que qued en un estado son normalmente
omitidos del dibujo.
Modelo de Markov Dos Modos de Fallas
Un modelo tiene que
s
mostrar que un
componente puede fallar Sistema Fallo
en dos diferentes formas Seguro
Ok
cada una con un tiempo
diferente de reparacin. 1
0 2

d
Sistema Fallo
Peligroso
1
2

Los modelos de Markov pueden mostrar modos de fallas mltiples en un dibujo. Pueden
asignarse diferentes tasas de reparacin a cada modo de falla. Se hubiesen requerido dos
diagramas de rboles de fallas o dos diagramas de bloques de confiabilidad para mostrar este
mismo ejemplo.
Resolviendo un Modelo de Markov
Un modelo de Markov
puede ser resuelto para s
obtener la probabilidad de Sistema Fallo
estar en cualquier estado
Seguro
como una funcin de Ok
intervalos de tiempo de
operacin. Un modelo de 1
0 2
Markov regular puede ser
resuelto por probabilidad de
estar en algn estado. d
Puede obtenerse el nmero
Sistema Fallo
promedio de incrementos Peligroso
de tiempo para ir a otro 1
estado (MTTF) 2

Los modelos de Markov pueden ser resueltos para obtener diferentes parmetros. El modelo
puede ser resuelto para obtener la probabilidad de estar en cualquier estado como funcin del
intervalo de tiempo de operacin. Un modelo regular puede ser resuelto para obtener la
probabilidad promedio para cada estado (PFDavg para el caso de estados de fallas
peligrosas). Puede obtenerse tambin el Tiempo Promedio a cualquier falla particular
(MTTF).
Resolviendo un Modelo de Markov
0.002
2
0.002
0.02
1 0.015
0 0.05
0.005 3

Por ejemplo, pueden graficarse las

probabilidades del estado como una
funcin del intervalo de tiempo de
operacin usando lgebra matricial. Las
grficas muestran la probabilidad de
permanecer en un estado como una
funcin del intervalo de tiempo de
operacin. En este Modelo de Markov, se
puede notar que los estados 2 y 3 son
estados absorbedores. Luego de un
intervalo de tiempo suficientemente
largo, el sistema terminar en uno de
estos dos estados. El grfico muestra que
hay mayores probabilidades de terminar
en el estado 3.
 Matriz de Transicin - P
0.01 0.5

0.99
Ok Falla
0.5

Al Estado 0 Al Estado 1

0.99 0.01 Del Estado 0

P=
0.5 0.5 Del Estado 1

Las probabilidades en un modelo de Markov pueden ser capturadas en una matriz. Una
matriz llamada matriz de probabilidades de transicin Estocstica captura la informacin.
Muchos la llaman la Matriz P.
 Matriz de Transicin - P
0.02 0.8

0.98
Ok Falla
0.2
Al Estado 0 Al Estado 1

? ? Del Estado 0

P=
? ? Del Estado 1

Por ejemplo, cuales son los valores en la Matriz P para este modelo de Markov?
 Matriz de Transicin - P
0.02 0.8

0.98
Ok Falla
0.2
Al Estado 0 Al Estado 1

0.98 0.02 Del Estado 0

P=
0.2 0.8 Del Estado 1

La probabilidad de ir del estado 0 al estado 0 en el siguiente incremento de tiempo es 0.98

La probabilidad de ir del estado 0 al estado 1 en el siguiente incremento de tiempo es 0.02
La probabilidad de ir del estado 1 al estado 0 en el siguiente incremento de tiempo es 0,2
La probabilidad de ir del estado 1 al estado 1 en el siguiente incremento de tiempo es 0.8
Probabilidad de Estado Paso 1
0.01 0.5

0.99
Ok Falla

0.5

Asumamos que
el modelo
empieza en el 0.99 0.01
punto 0 P=
0.5 0.5

Las probabilidades del estado para un nmero de pasos de tiempo dados puede ser resuelto
creando un grfico de los posibles caminos. Puede verse que la probabilidad de quedarse en
el estado 0 luego de un paso de tiempo es igual a la probabilidad de estar en el estado 0 por
la probabilidad de quedarse en el estado 0. En este caso, P0(0) = 1*0.99 = 0.99.
La probabilidad de estar en el estado 1 luego de un incremento de tiempo es 0.01
Probabilidad de Estado Paso 2
0.01 0.5

0.99
Ok Falla

0.5

0.99 0.01
P=
0.5 0.5

Este proceso continua por el segundo incremento de tiempo. Las probabilidades para cada
camino se obtienen multiplicando conforme se camina y tomando el paso 1 Y paso 2. Luego
del segundo paso de tiempo, la probabilidad total de estar en el estado 0 es la suma de los
caminos al estado 0 P0(1) = (0.9801 + 0.005) = 0.9851
Probabilidad de Estado Paso 3
0.01 0.5

0.99
Ok Falla

0.5

0.99 0.01
P=
0.5 0.5

El proceso continua para el tercer incremento de tiempo

Probabilidad de Estado Paso 4
0.01 0.5

0.99
Ok Falla

0.5

0.99 0.01
P=
0.5 0.5

El proceso continua para el cuarto incremento de tiempo. En este momento, las matemticas
se van haciendo ms complicadas y van consumiendo tiempo.
Multiplicacin de Matrices
0.01 0.5
0.99 0.01
0.99
Ok Falla P=
0.5 0.5
0.5

Estado 0 Estado 1

S= 1 0

Multiplicar S x P para cada incremento de tiempo

Alternativamente se puede usar la multiplicacin de matrices para simplificar la tarea. Se

empieza con la Matriz P y la Matriz Fila S, y ese es el vector de inicio. La Matriz S es
normalmente una matriz fila con un 1 representando el estado inicial.
Las probabilidades del estado son obtenidas multiplicando S por P para cada incremento de
tiempo. La Matriz Fila resultante es la probabilidad de estar en cada estado.
Soluciones en Hoja de Clculo
0.01 0.5
0.99 0.01
0.99
Ok Falla P=
0.5 0.5
0.5

S= 1 0

Multiplicar S x P para cada incremento de tiempo

S0 x P = S1
S1 x P = S2
Se aconseja usar una hoja de clculo como Excel

Se puede realizar esto muy rpidamente usando una hoja de clculo. Excel de Microsoft
tiene una funcin de multiplicacin de matrices que puede ser usado efectivamente. Otros
programas pueden ofrecer las mismas bondades.
Soluciones en Hoja de Clculo
0.01 0.5
0.99 0.01
0.99
Ok Falla P=
0.5 0.5
0.5

Probabilidad Estado 0 Probabilidad Estado 1

1 0.02

0.995 0.016

0.99 0.012

0.985 0.008

0.98 0.004

0.975 0
0 1 2 3 4 5 6 0 1 2 3 4 5 6

Los resultados de la hoja de clculo pueden ser graficados rpidamente, usando las
herramientas del programa empleado.
Matriz de Estado Estacionario
0.01 0.5
0.99 0.01
0.99
Ok Falla P=
0.5 0.5
0.5

Matriz Lmite
0.99 0.01
SL = S18 = S17 * P = [0.98039 0.01961] =[0.98039 0.01961]
0.5 0.5

Clculo Directo:
0.99 0.01
[SL1 SL2] = [SL1 SL2]
0.5 0.5

En algn punto de la multiplicacin de matrices, la matriz fila resultante ser la misma que
la anterior. Cuando esto ocurre, se ha obtenido el valor de estado estacionario. Este valor
puede ser calculado directamente.
Solucin a la Matriz de Estado Estacionario
0.01 0.5
0.99 0.01
0.99
Ok Falla P=
0.5 0.5
0.5

Clculo Directo:
0.99 0.01
[SL1 SL2] = [SL1 SL2]
0.5 0.5
SL1 = 0.99 SL1 + 0.5 SL2 y
SL2 = 0.01 SL1 + 0.5 SL2 tambin
SL1 + S L2 = 1

Multiplicando las matrices se obtienen dos ecuaciones. Es tambin cierto que la suma de las
probabilidades de los estados siempre debe ser igual a uno. Con esto se obtiene la tercera
ecuacin. La solucin para las dos variables se obtiene usando dos de ellas y resolviendo.
Solucin a la Matriz de Estado Estacionario
0.01 0.5
0.99 0.01
0.99
Ok Falla P=
0.5 0.5
0.5

A SL 1 + S L 2 = 1
1. SL2 = 0.01SL1 + 0.5 SL2, Sumando da:
2. 0.5 SL2 = 0.01SL1, despejando SL2 se obtiene
3. SL2 = 0.01/0.5 SL1 = 0.02 SL1, sustituyendo en A
4. SL1 + 0.02 SL1 = 1, Resolviendo
5. SL1 = 0.98039 y SL2 = 0.01961

Aplicando lgebra y sustituyendo de una ecuacin a la otra, permite calcular el mismo

resultado obtenido anteriormente usando el enfoque de la multiplicacin de matrices.
Creacin de Modelos de Markov
Pasos para edificar un Modelo de Markov
1. Definir que es una falla
2. Listar todas las fallas relevantes para todas los
componentes
3. Comenzar con todos componentes exitosos
4. Para el modo de falla de cada componente,
mostrar una puerta de salida. Continuar hasta que
todos los componentes estn en falla.
5. Para cada estado nuevo con componentes
exitosos, repetir el paso cuatro.
6. Adicionar arcos de reparacin conforme sea
apropiado.
 Creacin de Modelos de Markov

Los pasos para crear un modelo de Markov empieza con los mismos pasos
requeridos para hacer cualquier tipo de modelo de confiabilidad y/o seguridad:
definir qu es una falla y listar todos los modos de fallas relevantes para los
componentes del sistema.
Luego se empieza con el estado (dibujando un crculo) que representa la condicin
donde todos los componentes estn exitosamente operando.
Desde ese estado, mostrar todas las fallas de los componentes con flechas que salen
desde ese crculo (puertas de salida). Crear un check list para asegurarse que
todas las tasas de fallas han sido incluidas.
En arquitecturas tolerantes a fallas, algunos nuevos estados representarn estados
exitosos (el sistema sigue operando pero degradado). Para cada nuevo estado
donde el sistema contina siendo exitoso, listar todos los componentes que estn
operativos y los modos de fallas. Mostrar todas las fallas como flechas dejando ese
estado. Continuar realizando esto para todos los estados de xito del sistema.
Eventualmente puede el sistema fallar, parar de adicionar estados. Mirar los estados
y aadir flechas de reparacin donde esta actividad pueda ser desarrollada.
Creacin de Modelos de Markov - Ejemplo
Ejemplo Un componente sencillo con un solo modo
de falla Una bombilla elctrica
1. Falla - Cuando no fluye corriente y no se emite luz
2. Modos de Falla Quemado, un modo
3. Dibujar un crculo indicando que el bulbo est exitoso Ok

0
4. Dibujar en una salida con tasa de falla para el nico modo
de falla

Ok Falla

0 1

5. Nuevo estado bombilla quemada, no hay otros estados de

xito
6. Reparacin? - No
Resolviendo el Modelo de Markov
Pasos para resolver el Modelo de Markov:

Probabilidades del estado

1. Obtener las tasas de falla

2. Crear una Matriz P
3. Crear una Matriz de Inicio S Generalmente se inicia en el
estado 0 Todo trabaja correctamente.
4. Multiplicar S x P para cada incremento de tiempo

Para este modelo, se desea un diseo de las probabilidades de estados como funcin del
intervalo de tiempo de operacin. Esto se resuelve usando multiplicacin de matrices. Se
crea la matriz de inicio, S. Esta representa la condicin inicial del sistema. Se asume en
principio que el sistema empieza con todo trabajando, dado que se inicia normalmente en el
estado 0.
Multiplicar S x P repetidas veces. Cada multiplicacin representa un incremento de tiempo.
Para periodos largos, toma muchas operaciones (8760 para un ao si el periodo es de una
hora)
Solucin al Ejemplo de Modelo de Markov
Ejemplo de la bombilla elctrica

1. 1 falla cada ao
Entonces la tasa de falla = 1/8760 = 0.000114 fallas/hora

2. Matriz P

1-
P=
0 1

3. Matriz S Empezando en el estado 0

S0 = [1 0]
Para el ejemplo de la bombilla elctrica, se muestra la Matriz P.
La Matriz S es [ 1 0]
Si la bombilla falla a una tasa de una vez por ao, la tasa de falla es de 0.000114 fallas/hora.
Solucin al Ejemplo de Modelo de Markov
Ejemplo de la bombilla elctrica:
Ok Falla
0.999886 0.000114
P= 0 1
0 1

La primera hora, S0 x P = S1

[1 0 ] x 0.999886 0.000114
= [ 0.999886 0.000114 ]
0 1

La primera segunda hora, S1 x P = S2

0.999886 0.000114
[ 0.999886 0.000114 ] x = [ 0.999772 0.000228 ]
0 1

Las primeras dos multiplicaciones para este ejemplo proveen las probabilidades de estado
para las primeras dos horas. Pero se necesitan intervalos de tiempo de operacin ms largos.
Solucin al Ejemplo de Modelo de Markov
Periodo de probabilidades probabilidades
Tiempo (hs) Estado 0 Estado 1
S0 1 0 Probabilidades al Estado Incial
S1 0.999886 0.000114 Probabilidades al Estado t = 1 hora
S2 0.999772 0.000228 Probabilidades al Estado t = 2 horas

S3 0.999658 0.000342 etc

S4 0.999544 0.000456

S5 0.999430 0.000570

S6 0.999316 0.000684

S7 0.999202 0.000798

S8 0.999088 0.000912

S9 0.998974 0.001026

S10 0.998861 0.001139

Nota: Para matrices en Excel, se debe definir el espacio de la salida y usar Ctl+Shft+Enter

Aqu se muestran las primeras 10 multiplicaciones.

Solucin al Ejemplo de Modelo de Markov
1 Probabilidad Estado 0
0.9 = Confiabilidad
0.8
0.7
0.6 Solucin Analtica = e-t
0.5
0.4
0.3
0.2
0.1
0

1 Probabilidad Estado 1
0.9 = Falta de fiabilidad
0.8
0.7
0.6 Solucin Analtica = 1 - e-t
0.5
0.4
0.3
0.2
0.1
0
 Modelos de Markov
Sumario

Procesos de Markov
Modelos de Markov
Simbolos en el Modelo
Edificacin del Modelo
Resolviendo los Modelos de Markov
Ejemplos