21 - Processos de Markov

1. DEFINIO
Para um dado sistema fsico, obedecendo a certas leis de probabilidades
podemos enunciar o seguinte princpio: a probabilidade de que um sistema fsico
estar num determinado estado no momento t2 pode ser deduzido a partir do
conhecimento do seu estado num qualquer momento anterior t1, e no depende
da histria do sistema antes do momento t1. Um Processo Estocstico que
represente observaes dum sistema fsico que satisfaa esta condio um
Processo de Markov.
Um caso especial de Processo de Markov uma Cadeia de Markov, que pode ser
definida como um Processo Estocstico cujo desenvolvimento pode ser tratado
como uma srie de transies entre certos valores (chamados "estados" do
processo), com a propriedade da lei de probabilidade do desenvolvimento futuro
do processo, dado que est num estado, depende apenas do estado e no de como
o processo chegou a esse estado. O nmero de estados possvel pode ser finito
ou infinito numervel

Em termos matemticos, dizemos que um Processo Estocstico de Parmetro

Discreto { Xt, t = 0, 1, 2, ...} ou de Parmetro Contnuo { Xt, t 0} um
Processo de Markov se, para qualquer conjunto de n momentos t1 < t2 < ... <
tn do conjunto T do processo, a distribuio condicional de Xt, para dados
valores de Xt1Xtn-1 depende apenas de Xtn-1(o valor conhecido mais
recente); mais precisamente, para quaisquer valores reais x1, ..., xn

P(Xtn xn | Xt1= x1Xtn-1 = xn-1) = P(Xtn xn | Xtn-1 = xn-1)

(1)

Da expresso (1) pode-se facilmente concluir que, dado o "presente" do

processo, o "futuro" independente do "passado".
Os Processos de Markov podem ser classificados no s pelo seu parmetro,
contnuo ou discreto, mas tambm pelo espao dos estados (conjunto dos
possveis valores do Processo Estocstico), que tambm pode ser contnuo ou
discreto. Os Processos de Markov cujo espao de estados discreto, dizem-se
Cadeias de Markov e usa-se habitualmente para espao dos estados o conjunto
{ 0, 1, 2, ...} .
Um Processo de Markov descrito pela funo de probabilidade de transio.
Se o sistema estiver num estado x, no momento t0, existe uma probabilidade
fixa do estado no momento t ( > t0 ) pertencer a um conjunto E.
2

O caso que nos vai interessar ser o das Cadeias de Markov de parmetro
discreto.
Neste caso, as variveis aleatrias X0, X1,..., Xn,... so discretas, o conjunto T
discreto (T = {0,1,...,n,...}), o nmero de estados finito ou infinito numervel e
podemos substituir a equao (1) por:
P(Xm= xm | X0= x0Xm-1 = xm-1) = P(Xm= xm | Xm-1 = xm-1)
(2)
Alm disto, a funo de probabilidade de transio pode ser descrita da forma:
pj,k(m,n) = P( Xn = k | Xm = j )
(3)
isto , a probabilidade do sistema estar no estado k no momento n dado que no
momento m esteve no estado j.
O caso que vamos estudar ainda mais especial: a partir de agora vamos
considerar que a Cadeia de Markov homognea.
Diz-se que a Cadeia de Markov homognea ou estacionria se p j,k(m,n) depende
apenas da diferena n-m. Chamamos ento funo de probabilidade de transio
em n passos da Cadeia de Markov homognea a:
pj,k(n) = P( Xn+t = k | Xt = j ) = P( Xn = k | X0 = j ) , para todo o inteiro t 0

(4)

Vamos ver ainda mais algumas notaes que iremos usar:

Probabilidade de transio a um passo, isto , pj,k(1):
pj,k = P( Xt+1 = k | Xt = j ) = P( Xn = k | X0 = j ), para todo o inteiro t 0

(5)

Probabilidade (no condicional) de no momento n o sistema estar no estado j:

pj(n) = P( Xn = j )

(6)

A melhor forma de escrever as probabilidades de transio de uma Cadeia de

Markov com espao de estados {0,1,2,...} atravs da matriz de transio a n
passos:
P(n) = [ pj,k(n)]
(7)
Note-se que os elementos desta matriz satisfazem:
pj,k(n) 0 para todo j, k

(8)

para todo j, k

(9)

A matriz de transio a um passo representada da forma:

P = [ pj,k ]

(10)

Outra forma de representao de uma Cadeia de Markov com nmero finito de

estados o diagrama de transio, onde so representados os estados e as transies
entre estes, isto , as que correspondem a probabilidades de transio num passo
diferentes de zero.
2. CADEIAS DE MARKOV
Exemplo 1: Consideremos uma das linhas de enchimento de garrafas da Pepsi e a
mquina que se encarrega de encher as garrafas ao longo do dia. Esta mquina
estando a funcionar em perfeitas condies, pode no dia seguinte comear a funcionar
com defeito, atrasando assim o enchimento das garrafas, com probabilidade 0,09, ou
pode passar a uma situao de avaria total, com probabilidade 0,01, o que implica a
paragem da linha de enchimento. Estando a trabalhar com defeito a mquina pode
manter-se nessa situao, dia aps dia, com probabilidade 0,55 ou passar situao de
avaria total com probabilidade 0,45, situao que definitiva at se proceder
reparao ou substituio.

Seja Xn a varivel aleatria que regista o estado da mquina no dia n.

Para este sistema vamos considerar como espao de estados {0,1,2}, onde
0 - mquina em perfeitas condies
1 - mquina com defeito
2 - mquina em avaria total
ou seja, estes trs valores representam os trs estados possveis em que se pode
encontrar a mquina.
Visto que o espao de estados discreto, a varivel Xn discreta, pois s pode
tomar um dos trs valores possveis. Alm disso o conjunto dos ndices tambm
discreto, correspondendo ao dia 1, 2,...,n,.... Pelo enunciado, temos indicao que o
estado da mquina num dado dia depende apenas do estado da mquina no dia
anterior. Podemos ento dizer que estamos perante uma Cadeia de Markov de
parmetro discreto, homognea, com um nmero finito de estados .
Vamos ento representar esta Cadeia de Markov.

O enunciado indica-nos as probabilidades de transio num passo, ou seja:

p0,0 = 0,9; p0,1 = 0,09; p0,2 = 0,01;
p1,0 = 0; p1,1 = 0,55; p1,2 = 0,45;
p2,0 = 0; p2,1 = 0; p2,2 = 1.
A matriz de probabilidades de transio num passo ento:

Vejamos ainda o diagrama de transies:

Os valores nas linhas orientadas correspondem s probabilidades de transio

num passo, diferentes de zero, e logo a soma das linhas que partem do mesmo
estado tem que ser igual a 1. Este diagrama d-nos uma idia de como o sistema
funciona de um instante para o outro imediatamente a seguir e ajuda-nos a
perceber as relaes que existem entre os estados, como iremos ver mais
frente.

3 - EQUAES DE CHAPMAN-KOLMOGOROV
Uma relao fundamental satisfeita pela funo de probabilidade de transio de uma
Cadeia de Markov homognea a chamada equao de Chapman-Kolmogorov.
(11)
Note-se que este somatrio percorre todos os estados da Cadeia de Markov (E
significa Espao dos Estados). Estas equaes mostram apenas que quando o sistema
passa dum estado j para um estado k em n passos, o sistema passar por um estado i
em u (menos de n) passos.
Vejamos agora esta equao em termos matriciais:
Podemos escrever as Equaes de Chapman-Kolmogorov matricialmente, segundo as
notaes j descritas anteriormente, da forma:
P(n) = P(u) P(n-u) , para todo o momento 0 u n

(12)

Para que servem ento estas Equaes? A resposta simples: as Equaes de

Chapman-Kolmogorov fornecem um mtodo de clculo das probabilidades e das
matrizes de transio em n passos.
9

Vamos ver em termos matriciais o que acontece. Visto que a equao (12) se
verifica para todo o u, consideremos em particular u = 1. Temos ento, visto que
P(1) = P:
P(n) = P.P(n-1)
(13)
Aplicando novamente a equao (12) a P(n-1) com u = 1, temos:
P(n) = P. P. P(n-2) = P2.P(n-2)

(14)

Aplicando sucessivamente este raciocnio, vemos facilmente que:

P(n) = Pn = Pn-1.P = P.Pn-1

(15)

Em termos de probabilidades de transio, isto corresponde a:

(16)
Daqui conclui-se que basta-nos conhecer as probabilidades de transio num passo
que, de uma forma recursiva, podemos determinar as probabilidades de transio
em n passos.

10

Consideremos agora o vetor das probabilidades no condicionais:

p(n) = [ pj(n)] , onde pj(n) = P( Xn = j ) (como j tnhamos visto antes)

(17)

Pelos teoremas das probabilidades condicionais, temos que:

(18)
E logo, facilmente se verifica que:
p(n) = p(0).P(n)

(19)

Logo, pela equao (15) podemos escrever:

p(n) = p(0).P n

(20)

Ou seja, as equaes de Chapman-Kolmogorov permitem-nos, desde que saibamos

as probabilidades de transio num passo e um conjunto de probabilidades de
estados iniciais (no momento 0), obter as probabilidades do sistema estar num
determinado estado ao fim de n passos.

11

Vejamos a concretizao destes resultados no nosso exemplo.

Suponhamos que queremos saber a situao do sistema em 2 dias, isto , as
probabilidades de transio em 2 passos. Basta ento:

P(2) = P2 =
Algumas concluses que podemos tirar: ao fim de dois dias a probabilidade da
mquina passar do estado "em perfeitas condies" para o de "avaria total" (p 0,3(2))
j de 0,0595, as probabilidades da mquina se manter no estado 0 e 1 ao fim de
dois dias (p0,0(2) e p1,1(2)) diminuem e as restantes aumentam. Apenas o estado 2 se
mantm, o que faz sentido, visto que se a mquina entra em avaria total no altera o
seu estado a no ser que haja uma influncia externa no sistema (p 2,2(2) = 1).
Analogamente podemos obter P(3) e P(4):

P(3) = P2.P =
12

P(4) = P2.P2 =

Verifica-se ento a tendncia de diminuio da probabilidade da mquina se

manter nos estados 0 e 1 e de aumento das restantes probabilidades de transio.
Verificamos tambm que o comportamento relativo ao estado 2 se mantm.
Suponhamos agora que nos dada uma distribuio de probabilidades iniciais, ou
seja, suponhamos que no momento em que se comeou a observar o sistema este
estava em perfeitas condies, isto , X0= 0. Assim podemos dizer que:

p(0) =
Queremos saber quais as probabilidades do sistema estar em cada um dos estados
possveis ao fim de dois dias, isto :

p(2) = p(0).P2 =
13

Vemos ento que ao fim de dois dias a mquina continuar em "perfeitas condies"
com probabilidade 0,81, estar a trabalhar com "defeito" com probabilidade 0,1305
ou estar no estado de "avaria total" com probabilidade 0,0595.
Suponhamos agora que no certo que a mquina esteja inicialmente a funcionar
em "perfeitas condies". Vamos considerar ento uma outra distribuio inicial das
probabilidades dos estados e suponhamos que queremos saber como ser a
distribuio das probabilidades ao fim de 4 dias. Seja ento:
p(0) =
Temos ento:
p(4) = p(0).P4 =
Neste caso, considerando que no incio do processo a mquina estava no estado 0
com probabilidade 0,6 ou no estado 1 com probabilidade 0,4, ao fim de 4 dias a
mquina manter-se- no estado 0 com probabilidade 0,3937, estar no estado 1 com
probabilidade 0,1237 ou estar no estado 2 com probabilidade 0,4826. Vemos
assim, que como o estado 0 e 1 do acesso num passo ao estado 2, com esta
distribuio de probabilidades inicial, a probabilidade do sistema estar no estado 2
ao fim de alguns dias aumenta substancialmente.

14

Vimos assim que com as Equaes de Chapman-Kolmogorov, facilmente se podem

determinar a distribuio de probabilidades no condicionais e das probabilidades de
transio em qualquer momento n, sabendo apenas a distribuio inicial das
probabilidades dos estados e as probabilidades de transio a um passo.
4. CLASSIFICAO DOS ESTADOS DUMA CADEIA DE MARKOV
No item anterior, preocupamo-nos apenas com o estudo da evoluo ao longo do
tempo de uma Cadeia de Markov de parmetro discreto homognea. Vamos agora ver
resumidamente como se podem classificar os estados desta cadeia e algumas das
propriedades da Cadeia relacionadas com estas classificaes
Diz-se que o estado k acessvel a partir do estado j (ou que j d acesso a k) se, para
algum inteiro n 0, pj,k(n) > 0 e escreve-se j k.
No nosso exemplo, o estado 0 d acesso a todos os outros, incluindo ele prprio, o
estado 1 d acesso ao estado 2 e a ele prprio e o estado 2 d acesso apenas a ele
prprio.
Diz-se que dois estados j e k comunicam se j acessvel a partir de k e k acessvel a
partir de j, isto , j k e k j. Neste caso, escreve-se j k.

15

No exemplo, todos os estados comunicam apenas com eles prprios.

Tem-se ainda, em geral, que:
a) j j (reflexividade), isto , todos os estados comunicam com eles prprios, pois:
pj,j(0) = P(X0 = j | X0 = j ) = 1;
(21)
(b) Se jk ento k j (simetria), pela prpria definio de comunicao;
(c) Se j k e k i ento j i (transitividade), utilizando as Equaes de
Chapman-Kolmogorov tem-se:
pj,i(n+n) = pj,k(n1).pk,i(n2) > 0
(22)
visto que, como j k ento j k e logo existe n1 tal que pj,k(n1) > 0 e como k i
ento k i e logo existe n2 tal que pk,i(n2) > 0.
Com estas trs propriedades da comunicao possvel definir Classes de
Comunicao e logo dividir o nosso espao dos estados numa unio de classes
disjuntas. Assim, os estados de uma Cadeia de Markov podem consistir numa ou
mais classes disjuntas. No caso em que s existe uma classe de comunicao diz-se
16
que a Cadeia de Markov irredutvel.

No nosso exemplo temos trs classes de comunicao: C1={0}, C2={1} e C3={2} e

logo no irredutvel.
Uma questo que se pe usualmente : se o processo comear num dado estado j, ser
que o sistema voltar a passar neste estado?
Seja fjj a probabilidade do processo voltar ao estado j, sabendo que este comea no
estado j.
Se fjj = 1 dizemos que j um estado recorrente e se f jj < 1 dizemos que j um estado
transiente. Existe um caso especial de estados recorrentes: se p jj = 1 ento o estado dizse absorvente
No nosso exemplo, o estado 2 um estado absorvente, e logo recorrente, e os estados 0
e 1 so transientes. Porqu?
Para o estado 2 no complicado, pois no necessrio recorrer ao clculo de f 22, mas
para os outros a questo mais difcil, pois em geral o clculo de f jj no imediato.
Um outro resultado que nos facilita esta questo o seguinte:
Uma classe em que nenhum dos estados d acesso a outro estado de outra classe diz-se
classe de comunicao recorrente, e logo todos os seus estados so recorrentes. De
forma anloga, se algum dos estados da classe der acesso a um estado doutra classe,
diz-se que a classe de comunicao transiente e todos os seus estados so
transientes.
17

Assim, se analisarmos as classes C1 e C2 do nosso exemplo, os seus estados do acesso

a estados das outras duas classes e logo so estados transientes. Na classe C 3, o estado 2
no d acesso a nenhum dos outros estados, ou seja esta classe recorrente.
Vamos agora ver algumas propriedades de f jj que nos podem permitir o clculo do seu
valor.
Pela forma como definido estado recorrente, implica que o sistema passa infinitas
vezes nestes estados, pois fjj = 1 significa que se o sistema passar pelo estado j, voltar
a passar no estado j e comeando novamente neste estado, o sistema voltar a passar
por ele e assim sucessivamente. Assim, podemos dizer que o nmero esperado de
momentos que o sistema passa pelo estado j infinito.
Analogamente, se j um estado transiente, o nmero esperado de momentos que o
sistema passa pelo estado j finito .
Conclui-se ento que um estado j recorrente se, e somente se, o nmero esperado de
momentos que o sistema passa pelo estado j for infinito, dado que o processo comeou
no estado j.

18

Vamos ento agora ver como calcular o nmero esperado de momentos que o
sistema passa pelo estado j, dado que X0 = j. Para isso vamos definir:
(23)
Logo,
(24)
representa o nmero de momentos que o processo est no estado j dado que X 0 = j.
Assim, o nmero esperado dado por:
(25)
Conclumos assim que:
j recorrente
j transiente

19

Vejamos no nosso exemplo como podemos aplicar estes resultados: relativamente

ao estado 2, que j sabemos ser recorrente, temos que p i,i(n) = 1, para todo n
inteiro e logo,
(28)
Para os outros dois estados, se analisarmos as matrizes de transio a 1, 2, 3 e 4
passos, verificamos que:
Estado 0:
Estado 1:
p00 = 0,9

p11 = 0,55

p00(2) = 0,81 = (0,9)2

p11(2) = 0,3025 = (0,55)2

p00(3) = 0,729 = (0,9)3

p11(3) = 0,166375 = (0,55)3

p00(4) = 0,6561 = (0,9)4

p11(4) = 0,09150625 = (0,55)4

20

Logo, podemos concluir (e fcil de provar por induo) que:

p00(n) = (0,9)np11(n) = (0,55)n
Obtemos assim duas sries geomtricas ambas com razo menor que 1 (0,9 e 0,55)
e logo so convergentes, isto :
(29)
Confirmamos assim o que j sabamos: estes dois estados so transientes.
Outra propriedade importante dos estados de uma Cadeia de Markov a sua
periodicidade.
O perodo de um estado k , (k), pode ser definido como :
(k) = m.d.c.{n: pk,k(n) > 0}
(30)
ou seja, o nmero mnimo de passos que o sistema leva a retornar ao estado k,
partindo de k.
Se (k) = 1 dizemos que k aperidico, caso contrrio dizemos que peridico.

21

No nosso exemplo, temos que:

{n: pi,i(n) > 0} = , com i ={0,1,2}

(31)

logo, (i) = 1, com i ={0,1,2}, ou seja, todos os estados so aperidicos.

Exemplo 2 :Vejamos rapidamente um exemplo em que os estados no so todos
aperidicos. Consideremos a seguinte matriz de transio, P e o respectivo
diagrama de transies:

Neste caso, para qualquer um dos estados, verifica-se facilmente que:

{n: pi,i(n) > 0} = {2, 4, 6, ..., 2t, ...}

(32)

e logo, (i) = 2, ou seja, ambos so estados peridicos, de perodo 2.

22

Tal como a recorrncia, a periodicidade tambm uma propriedade das classes de

comunicao, ou seja, se um estado duma classe tem perodo t, ento todos os
estados dessa classe tm perodo t.
Os estados recorrentes podem ainda ser classificados quanto ao seu tempo mdio de
retorno, mkk:
O estado recorrente k diz-se recorrente positivo se mkk for finito, caso contrrio
(i.e., for infinito) diz-se recorrente nulo.
Se a Cadeia de Markov for finita todos os seus estados so recorrentes positivos.
Se os estados recorrentes positivos forem aperidicos, dizem-se estados
ergdicos.
5. DISTRIBUIO LIMITE E DISTRIBUIO ESTACIONRIA
A noo de Cadeia de Markov envolve o conceito de um sistema dinmico que
evolui ao longo do tempo. Assim do nosso interesse o estudo do comportamento
ao fim de muito tempo.
Imaginemos que queramos saber como se encontrava a nossa mquina ao fim de 3
meses, isto , vamos calcular a matriz de transio a 90 passos:
23

P(90) = P90 =

(33)

Ou seja, ao fim de trs meses, sem haver qualquer interferncia exterior na

mquina, esta entrar no estado de "avaria total" seja qual for o estado inicial, o
que j seria de esperar, visto que este estado absorvente.
Esta igualdade das linhas da matriz deve-se ao facto de existir um estado
absorvente na nossa cadeia, que leva tendncia de ao fim de vrias passagens o
sistema ficar no estado de "avaria total", independentemente do estado inicial.
Exemplo 3: Consideremos um sistema de informao que transmite os dgitos "0"
ou "1". Cada dgito transmitido passa por vrias etapas, podendo ser alterado. Os
dgitos, "0" e "1", passam inalterados com probabilidade 1/2 e 2/3,
respectivamente. Como se comporta o sistema ao fim de 20 etapas?
Vejamos a matriz de transio a 20 passos:

24

P(20) = P20 =

(34)

Isto leva-nos a pensar que a probabilidade do sistema estar num dado estado ao fim
de 20 passos, neste caso, independente do estado inicial, ou seja, existe uma
probabilidade limite de ao fim de um grande nmero de passagens o sistema estar
num estado j, independentemente do estado inicial. Isto leva-nos s distribuies
limite e estacionria de uma Cadeia de Markov, ou seja, ao estudo do
comportamento assinttico das respectivas probabilidades de transio.
Diz-se que uma Cadeia de Markov com espao de estados E tem distribuio limite
se existir uma distribuio de probabilidades {k, kE}, com a propriedade de,
para todo o j e k pertencentes a E:
(35)
Esta distribuio no depende da distribuio inicial dos estados e logo, facilmente
se prova que a probabilidade no condicional p k(n) tambm tende para k quando n
tende para .
25

Diz-se que uma Cadeia de Markov com espao de estados E tem distribuio
estacionria se existir uma distribuio de probabilidades { k, k E}, com a
propriedade de, para todo k pertencente a E:
(36)
O nome de "distribuio estacionria" deve-se ao fato que se se verificar a
equao (36) ento , para todo o inteiro n:
(37)
Mas ento em que condies podemos afirmar que existem estas distribuies
e que so uma s?
Existem vrios teoremas que nos do condies para a existncia de uma e de
outra, mas vamos apenas considerar o seguinte:
Para uma Cadeia de Markov irredutvel e ergdica tem-se que
existe e independente de j. Alm disso,

26

onde os ks so os nicos que satisfazem simultaneamente as equaes:

pk > 0

para k

Os pks chamam-se probabilidades estacionrias da Cadeia de Markov e relacionamse com o tempo mdio de retorno da forma:

, para k E

(39)

Observaes:
1 - A existncia de distribuio estacionria no significa que o sistema fique sempre
num mesmo estado. Continuam a existir transies entre os estados e existem
probabilidades de transio, o que revela que existem probabilidades diferentes de o
sistema estar num ou noutro estado.

27

2 - Note-se que vamos ter mais uma equao do que o nmero de variveis, no
sistema (38), mas visto que a soluo nica, uma das equaes ser redundante e
desaparecer. Obviamente que no pode ser a ltima, visto que a soluo k = 0,
para k E, verifica as restantes equaes mas no uma distribuio de
probabilidades.
Vejamos o exemplo 3:
0 = 0 p00 + 1 p10 =
1 = 0 p01 + 1 p11 =
0+1=1
Obtm-se:

E logo, m0,0 = 1,667 etapas e m1,1 = 2,5 etapas.

28

Outros resultados importantes:

Se j e k so estados recorrentes pertencentes a diferentes classes, devido
definio de classe, ento:
pj,k(n) = 0, para todo n.

(40)

Se k um estado transiente, ento

, para todo j.

(41)

Este ltimo resultado mostra o que acontece com o nosso exemplo da mquina da
Pepsi, que embora no seja uma cadeia irredutvel e ergdica tem distribuio
limite e estacionria, no entanto, esta distribuio corresponde ao sistema se
encontrar sempre no estado 2 independentemente do estado inicial
CUSTO MDIO ESPERADO POR UNIDADE DE TEMPO
Consideramos at aqui apenas as Cadeias de Markov irredutveis e ergdicas. O
que acontece se no considerarmos que os estados so todos aperidicos?
Neste caso o limite
pode no existir. Se considerarmos o exemplo 2,
em que vimos que os dois estados tinham periodicidade dois, o que acontece
que, se o processo comear no estado 0:

29

(42)
Logo,

, no existe.

No entanto, o limite da mdia de Cesro existe sempre para estados recorrentes,

ou seja, para uma Cadeia de Markov irredutvel com estados recorrentes positivos
tem-se:
onde ks verificam as equaes (38).
Com este resultado podemos calcular o custo mdio esperado por unidade de
tempo, que nos vai ser til para o estudo dos Processos de Deciso Markovianos.
O custo mdio esperado incorrido nos primeiros n perodos dado por:

onde C(Xt) a varivel aleatria que corresponde ao custo incorrido quando o

processo est no estado Xt e toma um dos valores C(0), C(1),..., C(k),...,
independentemente de t.
30

Usando o resultado (43) temos que o custo mdio esperado por unidade de
tempo (limite) dado por:

Uma medida alternativa o custo mdio real por unidade de tempo (limite) que
dado por:

para a maioria dos caminhos.

Como se pode ver, as duas medidas levam ao mesmo resultado.
Suponhamos no nosso exemplo 3 que existe um custo para o envio de dgitos, ou
seja, se Xt = 0 ento C(0) = 2 u.m. e se Xt = 1 ento C(1) = 3 u.m.. Para este
exemplo o custo esperado por unidade de tempo :

31

CUSTO MDIO ESPERADO POR UNIDADE DE TEMPO PARA FUNES

DE CUSTOS COMPLEXAS
No caso anterior vimos apenas funes de custo dependentes no estado em que o
sistema se encontra no momento t. Vamos ver agora funes de custo que
dependem no s do estado do sistema mas tambm doutra varivel aleatria.
Consideremos as seguintes condies:
{Xt} uma Cadeia de Markov irredutvel com todos os estados recorrentes
positivos;
Existe uma sequncia de variveis aleatrias {D t}, independentes e identicamente
distribudas (i.i.d.), associada Cadeia de Markov;
Para cada valor m = 0, 1, 2, ..., fixo, incorrido um custo C(X t, Dt+m) no
momento t, para t = 0,1, 2, ...;
A sequncia (X0, X1, ..., Xt) deve ser independente de Dt+m;
Nestas condies temos o custo mdio esperado por unidade de tempo (limite)
dado por:
(47)
com f(k) = E[ C(k, Dt+m)] , sendo este valor esperado condicional calculado de
acordo com a distribuio de probabilidade das variveis aleatrias Dt, dado o
32
estado k.

Analogamente, o custo mdio real por unidade de tempo (limite), para a

maioria dos caminhos, dado por,:

(48)

Temos agora todas as ferramentas que precisamos para trabalharmos com os

Processos de Deciso Markovianos.

33