Cadeias Markov14

Rafael A.
Rosales
Processos Estoc
asticos
Notas de Aula
7 de dezembro de 2009
Matematica Aplicada à Negocios
Faculdade de Filosoa Ciencias e Letras de Ribeirao Preto
Conte udo
1 Introducao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2 Tempo discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.1 Cadeias de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.1.1 Propriedade de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.1.2 Probabilidades de n passos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.3 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Classes de comunicacao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Tempos do primeiro retorno e da primeira chegada . . . . . . . . . . . . . . . . . . . . . . 12
2.3.1 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.4 Propriedade forte de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.5 Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.5.1 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.5.2 Passeios aleatorios simples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5.3 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.6 Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.6.1 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.7 Convergencia ao equilbrio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.7.1 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.8 Teorema ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.8.1 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.9 Aplicacoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.9.1 Processos de ramicacao
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.9.2 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3 Tempo contnuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1 Processos a tempo contnuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2 Matriz Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.3 Propriedades da distribuicao exponencial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.4 Processo de Poisson. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.4.1 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.5 Processos de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.5.1 Cadeia de transi cao e tempos de permanencia . . . . . . . . . . . . . . . . . . . . . 65
3.5.2 Equacoes de Forward e Backward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.5.3 Exerccios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.6 Estrutura de classe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
VI Conte udo
3.7 Tempos da primeira chegada e probabilidades de absorcao . . . . . . . . . . . . . . . . 69
3.8 Recorrencia e transitoriedade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.9 Distribuicao invariante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.10 Convergencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.11 Teorema Ergodico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4 Apendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.1 Relacoes de Recorrencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.1.1 Forma matricial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2 Funcoes geradoras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Referencias Bibliogracas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Indice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
Prefacio
As seguintes notas constituem um curso elementar sobre processos aleatorios. O curso e
elementar pois evita utilizar a teoria da medida e por outro lado considera os topicos mais
simples que geralmente sao apresentados em um curso introdutorio. Uma excelente alterna-
tiva a estas notas esta constituida pela referencia [4]. Esta utima esta baseada no ponto de
vista construtivista, o qual descansa sobre as nocoes de acoplamento e simulacao. A aborda-
gem adotada na apresentacao destas notas e tradicional, entretanto a demonstracao de um
dos Teoremas mais importantes utiliza o argumento de acoplamento. Seguindo o enfoque
tradicional, os processos a tempo continuo sao introduzidos construtivamente utilizando o
processo de Poisson. Finalmente, tambem e encorajada a simulacao de processos em varios
exerccios com o proposito de ganhar uma maior intuicao sobre os conceitos introduzidos na
teoria.
Nada nestas notas e original. A apresentacao segue de perto os livros de J. Norris, [7] e
Grimmett, Stirzacker, [5]. Em particular, a primeira parte dedicada ao estudo de processos
em tempo discreto, inclui boa parte dos captulos 1.1-1.10 de [7]. A segunda parte a qual
representa uma introducao aos processos a tempo contnuo esta inspirada nos captulos
2.1-3.8 em [7] e os captulos 6.8-6.12 em [5].
Supoe-se um conhecimento da teoria de probabilidade a nvel de graduacao assim como
conhecimentos basicos sobre equacoes diferenciais e em diferenca, e nalmente tambem
alguns rudimentos de algebra linear.
Estas notas foram preparadas para a materia titulada Introducao a Processos Es-
tocasticos, ministrada durante o segundo semestre do ano 2007 aos alunos do curso de
Matematica Aplicada a Negocios da USP.
1
Introducao
Um processo estocastico e uma seq uencia de variaveis aleatorias X = (X
t
), t T , onde
t usualmente representa o tempo. Neste caso conjunto dos ndices T e identicado com N
ou R
+
. A seq uencia (X
t
) geralmente e utilizada com o proposito de representar a evolucao
aleatoria de um fenomeno fsico. Neste curso so serao consideradas seq uencias de variaveis
aleatorias X
t
denidas sobre o mesmo espaco de probabilidade, todas com valores no con-
junto S o qual suporemos nito ou enumeravel. Seguindo a convencao usual utilizaremos a
nota cao t para os ndices contnuos e n para o caso discreto.
Ressaltamos que X
t
e realmente uma funcao X(, t) onde e um evento elementar
do espaco das trajetorias do processo. Ao considerar a seq uencia (X
t
) estamos portanto
considerando um espaco de funcoes aleatorias. A m de entender isto melhor, lembramos
algumas nocoes de teoria de probabilidade. Dado um espaco de probabilidade (, A, P),
uma variavel aleatoria e uma fun cao : (, A) (R, B), tal que
1
(B) = { : () B} A
para todo B B, onde B e a menor sigma algebra gerada pelos conjuntos abertos de R.
Seja agora
() =
1
(B) = {
1
(B) : B B} A,
a sigma algebra gerada pela variavel aleatoria , i.e. intuitivamente () denota a porcao da
informacao contida no espaco de probabilidade inerente a . A distribuicao de probabilidade,
P, de e denida como
P( B) = P{
1
(B)}.
Observamos que esta denicao permite determinar a probabilidade de qualquer evento asso-
ciado a , desde que esta inclui as probabilidades de todos os conjuntos
1
(B) = () A.
A m de generalizar estes conceitos para processo X, suponhamos que existe um espaco
de probabilidade (, A, P) tal que (X) A. Neste caso se X e um processo com ndices
discretos e valores em S temos que
X : (, A) (S
, (S
)),
sendo (S
) a sigma algebra gerada pelos conjuntos abertos de S. Se S = C, o espaco das

funcoes continuas em [0, ), entao X e um processo com trajetorias continuas.
A suposicao, nada trivial, de que os eventos denidos sobre os espaco dos caminhos de
um processo, , podem ser medidos por uma funcao de probabilidade P representa um dos
problemas mais fundamentais da teoria dos processos estocasticos. Durante o curso, nos
suporemos que isto e possvel e nao faremos mais referencia a este assunto. Os interessados
2 1 Introducao
nos detalhes podem consultar o apendice em [7] ou os textos mais avancados tais como [1],
e [8], procurando pelas secoes referentes aos -sistemas
1
. Estas referencias e todas as outras
mencionadas na bibliograa podem guiar o estudo posterior e mais profundo da teoria dos
processos estocasticos.
1
Estas classes de conjuntos tambem sao conhecidos em teoria de probabilidade como os sistemas
-, seguindo a nomenclatura introduzida por Eugene B. Dynkin. Dynkin realmente utilizou um
resultado ja estabelecido em um contexto mais geral conhecido como o Teorema de Classes de
W. Sierpi nski.
2
Tempo discreto
2.1 Cadeias de Markov
Para desenvolver a intuicao, o seguinte exemplo introduze de maneira informal a propriedade
que dene uma ampla variedade de processos conhecidos como cadeias de Markov.
Exemplo 2.1. Um sapo que habita num lago pode pular em procura de alimento entre nove
Vitorias regias dispostas de acordo ao seguinte desenho
v
1
v
2
v
3
v
4
..
v
5
v
6
v
7
v
8
v
9
No instante n = 0 o sapo encontra-se na planta v

1
de tal maneira que com probabilidade
p, 0 < p < 1, este pode pular a planta v
2
e com q = 1 p a planta v
9
. As mesmas regras
determinam os pulos a partir de v
i
para v
i+1
ou v
i1
, i = 1, . . . , 9 (se i = 9 entao i +1 = 1, e
se i = 1 entao i 1 = 9). Denotamos por X
n
{v
1
, v
2
, . . . , v
9
} a posicao do sapo no instante
n, n N. A seq uencia de variaveis aleatorias (X
n
), n 0, que correspondem as posicoes do
sapo formam um processo aleatorio. Temos portanto que
P(X
0
= v
1
) = 1,
P(X
1
= v
2
| X
0
= v
1
) = p, P(X
1
= v
9
| X
0
= v
1
) = q,
Utilizando probabilidade condicional podemos calcular a probabilidade de que o sapo se
encontre numa determinada planta apos de n 2 pulos, por exemplo,
P(X
n
= v
5
|X
n1
= v
4
, . . . , X
0
= v
1
) = P(X
n
= v
5
|X
n1
= v
4
) = p,
o qual e consequencia imediata das regras que determinam os movimentos do sapo. Em
particular esta equacao enfatiza o fato de que a distribuicao de X
n
dado (X
0
, . . ., X
n1
) so
depende de X
n1
. Esta unica simplicacao fornece a estrutura necessaria para desenvolver
a maior parte da teoria. Em particular, esta permite responder as seguintes perguntas.
(i) Qual a distribuicao de X
n
?, (ii) Qual a distribuicao do evento {X
n
| X
0
= v
1
}? De
maneira equivalente, no contexto deste exemplo, (iii) qual e a probabilidade de encontrar o
sapo na planta v
5
apos 37 pulos?, (iv) ou a probabilidade de que este esteja na planta v
3
4 2 Tempo discreto
apos de 5
3
pulos, dado que este inicio o seu trajeto na procura de alimento na planta v
1
?
As seguintes perguntas relacionadas sao geralmente tambem de interesse: (v) Sera possvel
calcular a distribuicao de X
n
no limite n ? (vi) Qual e o n umero esperado de pulos
realizados pelo sapo ate voltar pela primeira vez a planta v
1
? (vii) Se a planta v
6
e realmente
a cabeca de um jacare faminto, qual e o n umero de pulos em media realizados pelo sapo
antes de ser devorado pelo jacare?
2.1.1 Propriedade de Markov
Seja S um conjunto enumeravel. Um elemento i S e chamado de estado, e S o espaco de
estados. Seja = (
1
: i S) uma distribuicao de probabilidade em S, isto e,
0
i
1,
iS
i
= 1.
Denicao 2.1. A distribuicao inicial do processo X e a distribuicao
i
= P(X
0
= i) = P
_
{ : X
0
(w) = i}
_
, i S.
Denicao 2.2. Uma matriz P = (p
ij
: i, j S) e estocastica se cada linha (p
ij
: j S) e
uma distribuicao em S.
Um grafo e denido por dois conjuntos, um conjunto de vertices e outro de elos.
Denotamos por G = (E, V ) o grafo formado pelos elos E = {e
1
, e
2
, . . .} com vertices
V = {v
1
, v
2
, . . .}. Observamos que existe uma correspondencia um-a-um entre uma ma-
triz estocastica e um grafo G com vertices em S. Por exemplo, para S = {1, 2, 3}, podemos
considerar o par
P =
_
_
b a c
a c b
c b a
_
_
v
1
p
a
a

c
c
v
2
o
b
b
c
ww
v
3
a
onde a > 0, b > 0, e c > 0, sao constantes tais que a +b +c = 1. Para o exemplo 2.1, onde
S = {v
1
, v
2
, . . . , v
9
}, temos
P =
_
_
0 p 0 0 0 0 0 0 q
q 0 p 0 0 0 0 0 0
0 q 0 p 0 0 0 0 0
0 0 q 0 p 0 0 0 0
0 0 0 q 0 p 0 0 0
0 0 0 0 q 0 p 0 0
0 0 0 0 0 q 0 p 0
0 0 0 0 0 0 q 0 p
p 0 0 0 0 0 0 q 0
_
_
v
1
v
2
q
p
v
3
q
p
v
4
q
p
.
.
.
v
5
q
p
v
6
q
p
v
7
q
p
v
8
q
p
v
9
q
p
q
p
A continuacao denimos formalmente um processo conhecido como cadeia de Markov. O

resto da secao esta dedicado a mostrar que a estrutura basica deste processo e determinada
em sua totalidade por P e .
Denicao 2.3 (cadeia de Markov). X = (X
n
), n N e uma cadeia de Markov com
distribuicao inicial e matriz de probabilidade de transicao P, se P e estocastica e
2.1 Cadeias de Markov 5
(i) X
0
tem distribuicao ,
(ii)Para quaisquer n 0, e (i
0
, i
1
, . . . , i
n+2
) S
n+1
,
P(X
n+1
= i
n+1
| X
0
= i
0
, . . . , X
n
= i
n
) = P(X
n+1
= i
n+1
| X
n
= i
n
) (2.1)
= p
inin+1
.
A relacao em (2.1) e conhecida como a propriedade de Markov. Intuitivamente esta
rela cao indica que o processo nao apresenta memoria dos lugares visitados no passado. Se
o processo X = (X
n
), n N satisfaz as condicoes (i) e (ii) diremos que X e Markov(, P)
ou simplesmente uma cadeia de Markov.
Teorema 2.1. X e uma cadeia de Markov se, e somente se para todo i
0
, i
1
, . . . , i
N
S
N
,
P(X
0
= i
0
, X
1
= i
1
, . . . , X
N
= i
N
) =
i0
p
i0i1
p
i1i2
p
i
N1
i
N
.
Demonstracao. Seja X Markov(, P), entao
P(X
0
= i
0
, X
1
= i
1
, . . . , X
N
= i
N
)
= P(X
N
= i
N
| X
0
= i
0
, . . . , X
N1
= i
N1
)
P(X
N1
= i
N1
| X
0
= i
0
, . . . , X
N2
= i
N2
)
P(X
1
= i
1
| X
0
= i
0
)P(X
0
= i
0
)
=
i0
p
i0i1
p
i1i2
p
i
N1
i
N
,
onde a ultima igualdade segue (i) e (ii) da denicao 3.8, utilizando-se como hipotese que X
e Markov (, P). Para vericar a equivalencia no sentido oposto somamos i
N
sobre todo S
a ambos lados da igualdade no Teorema,
i
N
S
P(X
0
= i
0
, . . . , X
N
= i
N
) =
i
N
S
i0
p
i0i1
p
i1i2
p
i
N1
i
N
,
o qual implica
P(X
0
= i
0
, . . . , X
N1
= i
N1
) =
i0
p
i0i1
p
i1i2
p
i
N2
i
N1
,
uma vez que P(X
0
= i
0
, . . . , X
N
= i
N
) e a distribuicao conjunta de X
0
, . . ., X
N1
, X
N
, e
i
N
S
p
i
N1
i
N
= 1, ja que P e estocastica. Utilizando inducao deduzimos que para cada n
em 1, . . . , N 1,
P(X
0
= i
0
, . . . , X
n
= i
n
) =
i0
p
i0i1
p
in1in
,
e em particular que P(X
0
= i
0
) =
i0
. Assim, para n = 0, 1, . . . , N 1,
P(X
n+1
= i
n+1
| X
0
= i
0
, . . . , X
n
= i
n
) =
P(X
0
= i
0
, . . . , X
n+1
= i
n+1
)
P(X
0
= i
0
, . . . , X
n
= i
n
)
=

i0
p
i0i1
p
inin+1
i0
p
i0i1
p
in1in
= p
inin+1
,
o qual mostra que X e Markov (, P).
O seguinte resultado fornece uma interpretacao crucial da propriedade referida anterior-
mente como perda de memoria. Seja
i
= (
ij
: j S), uma distribuicao de probabilidade
concentrada em i, ou seja
ij
= 1 se i = j e
ij
= 0 se i = j.
6 2 Tempo discreto
Teorema 2.2 (Propriedade fraca de Markov). Seja X Markov(, P). Dado o evento
X
m
= i, o processo X
m+n
, n Z
+
, e Markov(
i
, P) e independente de X
0
, . . ., X
m
.
Demonstracao. A prova consiste em mostrar que a seguinte igualdade
P
_
{X
m
= i
m
, . . . , X
m+n
= i
m+n
} A|X
m
= i
_
=
iim
p
imim+1
p
im+n1im+n
P(A|X
m
= i)
e valida para qualquer evento A determinado pelas variaveis aleatorias X
0
, . . ., X
m
. Isto
e consequencia da nocao de independencia (condicional) de eventos da forma {X
m
, . . .,
X
m+n
} e A. Segue imediatamente desta igualdade e do Teorema 2.1 que X
m+n
, n N e
Markov(
i
, P).
Consideramos primeiro o caso particular A = {X
0
= i
0
, . . . , X
m
= i
m
} de tal forma que
P(X
m
= i
m
, . . . ,X
m+n
= i
m+n
A| X
m
= i)
=
P(X
m
= i
m
, . . . , X
m+n
= i
m+n
, A, {i
m
= i})
P(X
m
= i)
,
mas o numerador e dado por
P(X
m
= i
m
, . . . , X
m+n
= i
m+n
, A, i
m
= i)
= P(A, i
m
= i)P(X
m
= i
m
, . . . , X
m+n
= i
m+n
| A, i
m
= i)
= P(A, i
m
= i)P(X
m
= i
m
, . . . , X
m+n
= i
m+n
| X
m
= i)
= P(A, X
m
= i
m
)
iim
p
imim+1
p
im+n1im+n
,
sendo que Tanto a segunda como a terceira igualdade segue diretamente do Teorema 2.1.
No caso geral temos que qualquer evento A pode ser representado como
A =
_
k
A
k
,
onde A
k
sao eventos elementares disjuntos determinados por {X
0
, X
1
, . . . , X
m
= i}. O
resultado neste caso segue utilizando o mesmo argumento mas somando sobre os eventos
A
k
.
2.1.2 Probabilidades de n passos
Voltamos agora a uma das perguntas inicialmente formuladas no exemplo 2.1 que e a de
como calcular as distribuicoes condicionais e nao condicionais do processo no instante n,
P(X
n
= j|X
0
= i) e P(X
n
= i) para i, j S.
A propriedade de Markov e as operacoes basicas do produto matricial permitem obter estas
probabilidades de maneira eciente. Se representamos a distribuicao inicial como um vetor
(la) em S, entao
(P)
j
=
iS

i
p
ij
=
iS
P(X
0
= i)P(X
1
= j | X
0
= i)
= P(X esta em j no instante 1)
Utilizando o produto matricial introduzimos agora a seguinte notacao,
(PP)
ij
= (P
2
)
ij
, i, j S
isto e,
(P
2
)
ij
=
kS
p
ik
p
kj
= p
2
ij
=
kS
P(X
2
= j | X
1
= k)P(X
1
= k | X
0
= i)
= P(X realiza uma transicao de i a j em dois passos)
Denicao 2.4. Para n 0, denimos o n-esimo iterado da probabilidade de transicao como
p
n
ij
= P(X
n
= j | X
0
= i)
A matriz formada pelos elementos (p
n
ij
), i, j S sera denotada por P
n
.
Com o proposito de enfatizar a condicao inicial X
0
= i, as vezes tambem sera empregada
a notacao p
n
ij
= P
i
(X
n
= j).
Denicao 2.5. Seja X uma cadeia de Markov. X e temporalmente homogenea se para
quaisquer i, j S e m, n,
P(X
m+n
= j|X
m
= i) = P(X
n
= j|X
0
= i).
Todos os processos considerados adiante sao temporalmente homogeneos.
Teorema 2.3. Seja X Markov(, P). Para todo n, m 0 temos que
(i) P(X
n
= j) = (P
n
)
j
.
(ii) P
i
(X
n
= j) = P(X
m+n
= j | X
m
= i) = P(X
n
= j | X
0
= i) = p
n
ij
.
Demonstracao. Do Teorema 2.1, da denicao 2.4 e da notacao introduzida temos
P(X
n
= j) =
ioS

in1S
P(X
0
= i
0
, . . . , X
n1
= i
n1
, X
n
= j)
=
ioS

in1S
i0
p
i0i1
p
in1j
= (P
n
)
j
,
o qual termina a prova do primeiro item. Seguindo a propriedade de Markov exposta no
Teorema 2.2, dado o evento {X
m
= i}, (X
m+n
) e Markov(
i
, P). Resulta portanto suciente
considerar =
i
para o primeiro item, i.e., P
i
(X
n
= j) = (
i
P
n
)
j
= p
n
ij
.
Observamos que P
1
= P e P
0
= I, onde I denota a matriz identidade.
Teorema 2.4 (Chapman-Kolmogorov). Seja X uma cadeia de Markov(, P), entao
P
m+n
= P
m
P
n
.
Antes de proceder com a prova observamos que este resultado e uma generalizacao de
(PP)
ij
=
k
p
ik
p
kj
ao caso (P
m+n
)
ij
=
k
p
m
ik
p
n
kj
.
Demonstracao.
p
m+n
ij
= P
i
(X
m+n
= j)
=
kS
P(X
m+n
= j, X
m
= k | X
0
= i)
=
kS
P(X
m+n
= j | X
m
= k, X
0
= i)P(X
m
= k | X
0
= i)
=
kS
P(X
m+n
= j | X
m
= k)P(X
m
= k | X
0
= i) =
kS
p
m
ik
p
n
kj
.
8 2 Tempo discreto
2.1.3 Exerccios
Exerccio 2.1. (i) Mostre que (P)
j
e uma distribuicao de probabilidade em S. (ii) Mostre
que P
n
e uma matriz estocastica em S para qualquer n 0.
Exerccio 2.2. Suponha que os movimentos da BOVESPA podem ser modelados por uma
cadeia de Markov com valores em S = {, +}, sendo que representa um dia onde a
bolsa fecha em valor negativo e + um dia com fechamento positivo. Nesta caso o grafo e
a matriz de transicao que denem a evolucao dia a dia da BOVESPA sao dados por
1
_
P =
_
1
1
_
0 < , < 1. (i) Se a cadeia come ca num dia do tipo , e = =
3
4
, mostrar que
n
=
_
P(X
n
= ), P(X
n
= +)
_
=
_
1
2
(1 + 2
n
),
1
2
(1 2
n
)
_
(
n
e a distribuicao do processo em n, isto e a probabilidade de que a BOVESPA feche
em ou + respectivamente, sendo que
0
= (1, 0)). (ii) Interpretar lim
n
n
. (iii)
Calcular p
n
11
= P(X
n
= 1|X
0
= 1) no caso geral para qualquer 0 < 1 e 0 < 1.
[Dica: utilize a equacao de Chapman-Kolmogorov P
n+1
= P
n
P para obter uma relacao de
recorrencia para p
n
11
. O apendice apresenta brevemente a teoria necessaria para resolver este
tipo de recorrencia.]
Exerccio 2.3. Uma consultora nanceira classica emprestamos de carros em quatro ca-
tegorias: o emprestimo foi pago em sua totalidade (F), o contrato encontra-se em boas
condicoes sendo que todos os juros estao ao dia (G), a conta esta em situacao irregular com
um ou mais pagamentos pendentes (A), ou a conta se encontra em pessimas condicoes e foi
vendida a uma agencia de colecao do credito (B). O historico indica que cada mes 10% dos
contratos do tipo G paga em sua totalidade os juros, 80% permanecem em G, e 10% viram
do tipo B. Logo 10% das contas do tipo A pagam os juros totalmente, 40% viram do tipo
G, 40% permanecem em A, e 10% viram do tipo B. (i) Calcule a proporcao de contratos
do tipo B que pagarao a sua divida totalmente no futuro. (ii) Qual sera a proporcao de
contratos de tipo G que num futuro serao do tipo B.
Exerccio 2.4. Seja (X
n
)
n0
uma cadeia de Markov com valores em S = {v
1
, v
2
, v
3
}, e o
seguinte grafo e matriz de transicao
v
1
1
v
2
1/2
1/2
v
3
1/2
1/2
P =
_
_
0 0 1
1/2 1/2 0
0 1/2 1/2
_
_
,
onde as las e as colunas de P estam dispostas de acordo com a ordem (v
1
, v
2
, v
3
). Encontre
uma equacao geral para p
n
v1v1
. [Dica: utilize a diagonalizacao da matriz P.]
n
)
n0
uma sequencia de v.a. independentes e identicamente dis-
tribudas, temos entao
(a) S
n
=
n
i=1
X
i
,
(b) M
n
= X
1
X
2
. . . X
n
,
(c) L
n
= X
1
X
2
. . . X
n
,
(d) K
n
= X
n
+X
n1
.
(i) Qual das seq uencias X
n
, S
n
, M
n
, L
n
e K
n
e Markov? (ii) Encontre a matriz de proba-
bilidade de transicao para as seq uencias que sao cadeias de Markov.
Exerccio 2.6. Suponha agora que Z
0
, Z
1
, . . . sao variaveis aleatorias independentes e iden-
ticamente distribudas tais que Z
i
= 1 com probabilidade p e Z
i
= 0 com probabilidade
1 p. Seja S
0
= 0 e S
n
= Z
1
+ . . . + Z
n
. Em cada um dos seguintes casos determine se
(X
n
)
n0
e uma cadeia de Markov:
(a) X
n
= Z
n
, (b) X
n
= S
n
, (c) X
n
= S
0
+. . . +S
n
, (d) X
n
= (S
n
, S
0
+. . . +S
n
).
Encontre o espaco de estados e a matriz de probabilidade de transicao nos casos em nos
quais (X
n
)
n0
e uma cadeia de Markov.
n
)
n0
Markov (, P). Se Y
n
= X
kn
, mostrar que (Y
n
)
n0
e Markov
(, P
k
). Em geral, a amostragem de (X
n
)
n0
a intervalos constantes de comprimento k gera
uma cadeia chamada o k-esqueleto de (X
n
)
n0
.
Exerccio 2.8. Seja X
0
uma v.a. com valores no conjunto enumeravel S. Seja U
1
, U
2
, . . .
uma seq uencia de v.as. independentes e com distribuicao uniforme em [0, 1]. Sejam as funcoes
F : S [0, 1] S, f : [0, 1] S
tais que
X
n
=
_
F(X
n1
, U
n
), se n 1,
f(U
0
), se n = 0.
(i) Mostre que (X
n
)
n0
e uma cadeia de Markov e encontre a matriz de probabilidade de
transicao P em termos de F. Escreva a distribuicao inicial em termos de f. (ii)

E possvel
construir qualquer cadeia desta forma?
Exerccio 2.9. Utilize o exerccio anterior para simular o processo seguido pelo sapo no
exemplo 2.1 tomando p = 1/2. (i) Faca um graco de X
n
() versus n para diferentes . (ii)
Utilize a matriz de probabilidade de transicao apresentada no exerccio 2.4 para simular esta
cadeia e estime utilizando as suas simulacoes a probabilidade p
50
v1v1
. Dica: utilize o seguinte
estimador (justicado pelo Teorema 2.22 adiante)
p
50
v1v1
= {# vezes em v
1
no instante 50}/{# total de caminhos simulados}.
Exerccio 2.10. Uma pulga pula sobre os vertices de um triangulo de maneira que qualquer
pulo tem a mesma probabilidade. Encontrar a probabilidade de que depois de n pulos a pulga
encontra-se no lugar de partida. Uma segunda pulga tambem decide pular sobre os vertices
do triangulo, mas a probabilidade de pular no sentido horario e duas vezes a probabilidade
no sentido contrario. Qual a probabilidade de que apos de n pulos esta ultima esteja no
mesmo lugar onde iniciou. [Lembrar que e
i/6
=

3/2 i/2.]
Exerccio 2.11.

Seja (X
n
)
n0
uma cadeia de Markov em S, e seja I : S
n
{0, 1}. Mostre
que a distribuicao condicional de X
n
, X
n+1
, . . . dado o evento {I(X
1
, . . . , X
n
) = 1 {X
n
=
i}} e identica a distribuicao de X
n
, X
n+1
, . . . dado {X
m
= i}.
Exerccio 2.12. Seja X uma cadeia de Markov em Z
+
e probabilidades de transicao
p
01
= 1, p
i,i+1
+p
i,i1
= 1, p
i,i+1
=
_
i + 1
i
_
2
p
i,i1
, i 1.
Mostre que se X
0
= 0 entao a probabilidade de que X
n
1 para todo n 1 e 6/
2
.
10 2 Tempo discreto
n
)
n0
uma cadeia de Markov com espaco de estados S, e suponha
que h : S T e bijetiva. Mostre que Y
n
= h(X
n
) dene uma cadeia de Markov em T . h
tem que ser bijetiva?
Exerccio 2.14. O seguinte exerccio mostra como trabalhar com uma cadeia de Markov
quando so se tem informacao sobre algumas das transicoes do processo. Seja J um sub-
conjunto do espaco de estados nito S de uma cadeia de Markov com matriz de transicao
particionada da seguinte forma,
J J
c
P =
J
J
c
_
A B
C D
_
Suponhamos e possvel registrar as entradas a J, e neste caso e observada uma cadeia de
Markov (

X
n
) com valores em J. (i) Mostre que a matriz de transicao de

X
n
e
P = A+B
n0
D
n
C = A+B(I D)
1
C.
(ii) O Dr. P. Silva ca a maior parte do seu tempo em Ribeirao Preto no trabalho (T), no
seu at (F), em uma boate (B), ou com uma amante (A). Cada hora, ele muda de um destes
possveis estados de acordo com uma matriz de probabilidade de transicao P, mas a sua
mulher que desconhece da existencia da amante acha que as mudancas estao determinadas
pela matriz P
E
,
T F B A
P =
T
F
B
A
_
_
1/3 1/3 1/3 0
0 1/3 1/3 1/3
1/3 0 1/3 1/3
1/3 1/3 0 1/3
_
_
,
T F B
P
E
=
T
F
B
_
_
1/3 1/3 1/3
1/3 1/3 1/3
1/3 1/3 1/3
_
_
.
As pessoas so encontram com o Dr. Silva quando esta se encontra em J = {T, F, B}. (ii)
Calcule a matriz

P que aparentemente controla os movimentos do Dr. Silva.
As aventuras do Dr. Silva serao continuadas no exerccio 2.38.
2.2 Classes de comunicacao
Iniciamos a continuacao o estudo de grupos de estados que apresentam certas caractersticas
em comum. Um dos objetivos e o de restringir o estudo do processo denido em S a partes
mais simples tais que juntas estas permitam fornecer uma visao geral do processo sobre S.
Denicao 2.6. Sejam i e j dois pontos quaisquer em S. O estado i conduz a j, denotado
i j, se existe n > 0 tal que p
n
ij
> 0. Utilizamos a notacao i j para indicar que i nao
conduz a j.
Denicao 2.7. O estado i comunica com o estado j, denotado i j, se i j e j i.
Utilizamos a notacao i j para indicar i j ou j i, ou i j e j i.
Ressaltamos que na ultima denicao o n umero de passos num sentido nao e ne-
cessariamente igual ao n umero no sentido contrario.
2.2 Classes de comunicacao 11
Teorema 2.5. Para quaisquer dois estados i, j S, i = j, as seguintes armacoes sao
equivalentes.
(i) i j.
(ii)p
i0i1
p
i1i2
p
in1in
> 0 para uma seq uencia de estados i
0
, i
1
, . . . , i
n
com i
0
= i e i
n
= j.
(iii)p
n
ij
> 0 para algum n 0.
Demonstracao. Observamos primeiro que
p
n
ij
P
i
(X
n
= j para alguns n 0)
n=0
p
n
ij
,
ja que
{X
n
= j | X
0
= i}
_
alguns k n
{X
k
= j | X
0
= i}
_
kn
{X
k
= j | X
0
= i}
demonstrando a equivalencia entre (i) e (iii). Segue-se do Teorema 2.4 que
p
n
ij
=
i1,i2,...,in1
p
ii1
p
i1i2
. . . p
in1j
,
o qual implica a equivalencia entre (ii) e (iii).
E simples vericar que relacao e uma relacao de equivalencia em S (faca isto como
um exerccio). A relacao pode ser utilizada portanto para classicar os elementos de S,
uma vez que esta induz una parti cao de S. As classes desta particao sao conhecidas como
as classes de comunicacao de S .
Denicao 2.8. Uma classe de comunicacao C e fechada se
i C : i j j C.
A classe fechada relacionada a i sera denotada por C(i) = {j S : i j}. Uma classe sera
chamada de aberta se esta nao e fechada.
Uma classe fechada e uma classe sem sada ja que se em algum instante X atinge um
estado da classe fechada, entao X nao consegue se comunicar com um estado de outra classe.
Denicao 2.9. Um estado i S e chamado de estado absorvente se o conjunto {i} e uma
classe fechada.
Neste sentido uma classe de comunicacao fechada e uma classe absorvente.
Denicao 2.10. X e uma cadeia de Markov irredutvel se S e a unica classe de comunicacao
induzida por .
Se X e irredutvel entao diremos que P e uma matriz irredutvel, ou equivalentemente
que S e irredutvel.
Exemplo 2.2. A procura das classes de comunicacao e simplicada ao achar o grafo G as-
sociado a matriz de probabilidade de transicao P. Consideramos por exemplo a seguinte
matriz
12 2 Tempo discreto
P =
_
_
1/2 1/2 0 0 0 0
0 0 1 0 0 0
1/3 0 0 1/3 1/3 0
0 0 0 1/2 1/2 0
0 0 0 0 0 1
0 0 0 0 1 0
_
_
.
Neste caso se chamamos os estados de v
1
, v
2
, . . ., v
6
, e os associamos nesta ordem as las e
as colunas de P, entao encontramos o seguinte grafo,
v
1
v
4
v
3

v
2
v
5
v
6
Diretamente do grafo deduzimos que esta cadeia apresenta as classes de comunicacao
{v
1
, v
2
, v
3
}, {v
4
} e {v
5
, v
6
}. A classe {v
5
, v
6
} e fechada ja que uma vez que X entra neste
conjunto de estados X nao pode mais sair destes. Observamos que {v
1
, v
2
, v
3
} formam uma
classe desde que v
1
v
2
e v
1
v
3
, v
2
v
1
e v
2
v
3
, e nalmente v
3
v
1
, v
3
v
2
. Logo
{v
4
} / {v
1
, v
2
, v
3
} ja que v
4
v
1
(e tambem v
4
v
2
e v
4
v
3
). As classes {v
1
, v
2
, v
3
}
e {v
4
} sao classes abertas desde que estas comunicam com estados de outras classes. Isto
conclui a descricao das classes de comunicacao de S.
Exerccio 2.15. Seja X uma cadeia de Markov com grafo de transicao
c
(i) Encontre as classes de estados fechadas. (ii) Diga se X e irredutvel.

2.3 Tempos do primeiro retorno e da primeira chegada
Grande parte dos problemas encontrados no estudo das cadeias de Markov e em geral dos
processos estocastico podem ser reduzidos ao estudo de duas variaveis aleatorias conhecidas
como o primeiro tempo de retorno e o primeiro tempo de chegada.
Denicao 2.11. Seja X Markov(, P) com valores em S. O primeiro tempo de chegada ao
conjunto A S e a variavel aleatoria
A
: Z
+
dada por
A
() = inf{n 0 : X
n
() A}.
(sendo inf{} = .) . O primeiro tempo de retorno a A S e a variavel aleatoria
A
:
Z
+
denida como
A
() = inf{n 1 : X
n
() A}.
2.3 Tempos do primeiro retorno e da primeira chegada 13
Segue diretamente desta denicao que
A
=
A
1
{X0 / A}
q.c.
1
As seguintes notacoes serao utilizada em numerosas ocasioes. Condicionando pelo evento
inicial {X
0
= i}, a probabilidade de que X chegue a A e denotada por
h
A
i
= P
i
(
A
< ) =
n0
P
i
(
A
= n).
O tempo esperado para chegar ate A a partir de i e denotado por
k
A
i
= E
i
[
A
] =
n0
nP(
A
= n) +P(
A
= ).
Denicao 2.12. Se A e uma classe fechada, entao h
A
i
e chamada de probabilidade de ab-
sorcao em A.
Exemplo 2.3. O seguinte exemplo ilustra o calculo de h
A
i
e k
A
i
num caso elementar. Seja X
uma cadeia com valores em S = {1, 2, 3, 4} e o seguinte grafo de transicao
1

1
2
2
1
2
3
1
2
4
1
2
Se X e iniciada no estado 2, qual a probabilidade de X ser absorvida em 4? Logo, quanto
tempo demora X para ser absorvida em 1 ou em 4?
Seja A = {1, 4}, claramente das denicoes de h
i
e k
i
temos
h
4
1
= 0, h
4
4
= 1, k
A
1
= k
A
4
= 0.
Suponhamos agora que X
0
= 2 e a seguir consideramos as possibilidades apos da primeira
transicao, isto e, com probabilidade 1/2 pulamos de 2 a 1 e com 1/2 de 2 a 3, logo
h
4
2
=
1
2
h
4
1
+
1
2
h
4
3
, (a)
k
A
2
= 1 +
1
2
k
A
1
+
1
2
k
A
3
. (b)
A justicativa destas equacoes esta baseada essencialmente na propriedade de Markov. Para
(a), seja E = {Xe absorvida em 4} entao
h
4
2
= P(E | X
0
= 2) =
kS
P(E, X
1
= k | X
0
= 2)
= P(E, X
1
= 1 | X
0
= 2) +P(E, X
1
= 3 | X
0
= 2)
= P(E | X
1
= 1, X
0
= 2)P(X
1
= 1 | X
0
= 2)
+P(E | X
1
= 3, X
0
= 2)P(X
1
= 3 | X
0
= 2)
= P(E | X
1
= 1)p
21
+P(E | X
1
= 3)p
23
,
1
q.c. e a forma abreviada de quase certamente. A armacao sobre uma variavel aleatoria se diz
quase certa se P{ : e verdadeira} = 1, ou equivalentemente se P{ : nao e verdadeira} = 0.
E claro que existe diferenca entre e verdade e e verdade q.c.

14 2 Tempo discreto
sendo que a ultima linha segue do Teorema 2.1. Um argumento similar pode ser utilizado
para comprovar (b), mais a justicativa formal sera deixada para o Teorema 2.7 adiante.
Com probabilidade p
21
= 1/2 ocorre a primeira transicao ao estado 1, logo temos que
considerar k
4
1
como o valor esperado dos passos ate a absorcao. A outra possibilidade, a
qual corresponde a transicao de 2 a 3 inclui as quantidades p
23
= 1/2 e h
4
3
. Utilizando
exatamente este mesmo procedimento agora obtemos h
4
3
e k
A
3
,
h
4
3
=
1
2
h
2
+
1
2
h
4
4
(c)
k
A
3
= 1 +
1
2
k
A
2
+
1
2
k
A
4
(d)
Substituindo (c) em (a) e lembrando que h
1
4
= 0, h
4
4
= 1, obtemos
h
4
2
=
1
2
_
1
2
h
4
2
+
1
2
_
, logo h
4
2
=
1
3
.
Finalmente, de (d) em (b) e k
A
1
= k
A
4
= 0,
k
A
2
= 1 +
1
2
_
1 +
1
2
k
A
2
_
, entao k
A
2
= 2.
Este exemplo tem por objetivo mostrar o argumento central baseado na decomposicao
associada a primeira transicao. Dependendo da simetria inerente ao grafo de transicao,
sucessivas decomposicoes podem levar diretamente a resposta nal. Em geral este metodo
permite construir uma equacao em diferenca a qual pode ser resolvida utilizando diversas
tecnicas. O apendice a estas notas apresenta um metodo geral para resolver este tipo de
equacoes.
Em geral temos o seguinte resultado.
Teorema 2.6 (probabilidade da primeira chegada). O vetor da probabilidade dos
tempos da primeira chegada ao conjunto A S, h
A
= (h
A
i
: i S), e a solucao nao
negativa mnima ao sistema linear
h
A
i
=
_
1, se i A,
jS
p
ij
h
A
j
, se i / A.
(2.2)
h e a solucao mnima se para uma outra solucao g = (g
i
: i S) tal que g
i
0, entao
pontualmente g
i
h
i
.
Demonstracao. Mostraremos primeiro que h
A
i
e uma solucao ao sistema indicado. Trivial-
mente, se X
0
= i A entao
A
= 0 implica h
A
i
= 1. Se X
0
= i / A, entao
A
1 e seguindo
a propriedade de Markov,
P
i
(
A
< | X
1
= j) = P(
A
< | X
1
= j, X
0
) = P(
A
< | X
1
= j)
= P
j
(
A
< ) = h
A
j
,
logo,
h
A
i
=
jS
P
i
(
A
< , X
1
= j) =
jS
P
i
(
A
< | X
1
= j)P
i
(X
1
= j)
=
jS
p
ij
h
A
j
.
Mostramos agora que h
A
e a solucao mnima. Suponhamos que g = (g
i
: i S) e uma outra
solu cao qualquer portanto se i A entao g
i
= 1 = h
A
i
. Porem, se i / A entao
g
i
=
jS
p
ij
g
j
=
jA
p
ij
+
j / A
p
ij
g
j
.
Substituindo da mesma maneira mais uma vez para g
j
,
g
i
=
jA
p
ij
+
j / A
p
ij
_
kA
p
jk
+
k/ A
p
jk
g
k
_
= P
i
(X
1
A) +P
i
(X
1
/ A, X
2
A) +
j / A,k/ A
p
ij
p
jk
g
k
.
Repetindo este argumento por inducao tem-se
g
j
= P
i
(X
1
A) +. . . +P
i
(X
1
/ A, . . . , X
n1
/ A, X
n
A)
+
j1 / A...jn / A
p
ij1
p
j1j2
. . . p
jn1jn
g
jn
.
Se g e nao negativa entao o ultimo termo da equacao acima e nao negativo. Por outro lado,
os termos restantes tem soma igual a P
i
( n), portanto
g
i
P
i
(
A
n), n 1,
Assim, no limite n ,
g
i
lim
n
P
i
(
A
n) = P
i
_
_
n
{
A
n}
_
= P
i
(
A
< ) = h
i
.
Este Teorema quando aplicado ao exemplo 2.3 leva diretamente ao seguinte sistema
h
4
4
= 1, h
4
2
=
1
2
h
4
1
+
1
2
h
4
3
, h
4
3
=
1
2
h
4
2
+
1
2
h
4
4
,
o qual expressa h
4
2
em terminos do valor desconhecido h
4
1
. Da minimalidade da solucao
podemos considerar h
4
1
= 0, o qual leva ao valor h
4
2
= 1/3.
Apresentamos a continuacao dois exemplos classicos da aplicacao do principio de de-
composicao da primeira transicao. Cada um destes resulta em uma equacao em diferenca
particular.
Exemplo 2.4 (runa do jogador). Seja X Markov(, P) com valores em Z
+
e probabilidades
de transicao p
0,0
= 1, p
i,i1
= q, p
i,i+1
= p para 0 < p < 1, q = 1 p. Este processo
apresenta a seguinte representacao interessante. Suponha que voce entra num cassino com
i R$. Cada vez que voce joga, voce pode ganhar um real com probabilidade p ou perder
um real com probabilidade q = 1 p. Desta forma X
n
representa a sua fortuna depois da
n-esima aposta. Suponha que o cassino apresenta uma fonte ilimitada de dinheiro, portanto
nao existe em principio um limite superior para a quantidade da sua fortuna. A gura 2.2
apresenta uma caminho tpico deste processo. Qual a probabilidade de voce perder tudo o
seu dinheiro? Nao e difcil chegar a seguinte resposta
P
i
(X
n
chega a 0) = P
i
(
0
< ) = h
0
i
.
Da decomposicao da primeira transicao obtemos entao que
16 2 Tempo discreto
h
0
0
= 1,
h
0
i
= ph
0
i+1
+qh
0
i1
, i 1. (2.3)
Um metodo geral para resolvermos a equacao em diferenca de segunda ordem e apresentado
no apendice. Apresentamos a seguir um outro metodo parecido com o metodo utilizado para
resolver equacoes diferenciais ordinarias lineares, o qual consiste em encontrar duas solucoes,
1
e
2
, linearmente independentes tais que
h
0
i
= c
1
(
1
)
i
+c
2
(
2
)
i
.
Propomos primeiro uma solucao da forma h
0
i
=
i
, de maneira que a recorrencia em (2.3)
toma a forma
i
= p
i+1
+ q
i1
, i 1. Em particular para i = 1 temos a equacao
caracterstica
p
2
+q = 0
com razes
=
1
1 4pq
2p

+
=
1 +
1 4pq
2p
.
Duas situacoes sao possveis, A: 1 4pq = 0 (quando p = q =
1
2
), e B: 1 4pq = 0.
Analisamos cada caso separadamente.
Caso A. Se p = q entao temos
=
+
= = 1. Logo propomos mais uma solucao
(linearmente independente de
i
) da forma i
i
e entao em geral obtemos
h
0
i
= c
1
()
i
+c
2
i()
i
= c
1
+c
2
i.
Esta solucao tem que ser valida para todo i 0, o qual forca c
2
= 0 de maneira que no
limite i , h
0
i
ainda possa satisfazer h
0
i
1. A nossa solucao agora apresenta a forma
h
0
i
= c
1
, mas da condicao inicial do problema h
0
0
= 1 = c
1
+ c
2
inferimos que c
1
= 1,
logo nalmente h
0
i
= 1. Isto implica que mesmo quando o cassino e honesto, com certeza
sempre acabaremos arruinados, independentemente da nossa quantidade inicial de dinheiro.
(
E melhor saber retirarse a tempo!)

Caso B. Se p = q, entao
=
1
_
1 4p(1 p)
2p
=
1
_
(2p 1)
2
2p
= 1
e
=
1 +
_
(2p 1)
2
2p
=
q
p
Neste caso a solucao geral ja toma a forma desejada
h
0
i
= c
1
(1)
i
+c
2
_
q
p
_
i
,
porem ainda ca por ser determinados os valores de c
1
e c
2
. Observamos que se p < q,
entao no limite i temos que (q/p)
i
diverge, portanto seguindo o mesmo argumento
empregado no caso A conclumos que h
0
i
= 1 para i 1. Isto e, se a chance de perder cada
aposta e maior que a chance de ganhar, entao com certeza tambem acabaremos arruinados!
Finalmente se p > q, utilizando a condicao inicial na solucao geral temos
h
0
i
= c
1
+ (1 c
1
)
_
q
p
_
i
=
_
q
p
_
i
+c
1
_
1
_
q
p
_
i
_
.
Sendo p > q, necessariamente 1 (q/p)
i
> 0, o qual implica que c
1
0 e entao h
0
i
0.
Utilizamos a propriedade minimal de h
0
i
demonstrada no Teorema 2.6 para justicar a
escolha c
1
= 0. A solucao neste caso e portanto
h
0
i
=
_
q
p
_
i
.
Conclumos que com probabilidade positiva podemos perder todo o nosso dinheiro mas a
mesma diminui geometricamente com i, isto e, a medida que entramos com mais dinheiro
no cassino. Finalmente no limite i temos que a probabilidade de nao car arruinados
e 1.
Exemplo 2.5 (processo de nascimento e morte simples). Seja X uma cadeia de Markov com
valores em Z
+
e probabilidades de transicao p
0,1
= 0, p
i,i+1
= p
i
, e p
i,i1
= q
i
. Este
processo e muito parecido com o processo que descreve a runa do jogador, mas agora as
probabilidades de transicao em cada instante dependem do estado atual do processo. A
cadeia assim denida pode ser utilizada para modelar o crescimento de uma populacao a
qual no instante n apresenta i indivduos, i.e., X
n
= i.
Uma quantidade importante nesta aplicacao e a probabilidade de extincao da populacao.
Dado que a populacao apresenta inicialmente i indivduos temos
P
i
(chegar a 0 indivduos) = P
i
(
0
< ) = h
0
i
.
Utilizando a decomposicao da primeira transicao temos que esta probabilidade satisfaz a
seguinte relacao de recorrencia
h
0
i
= p
i
h
0
i+1
+q
i
h
0
i1
, i = 1, 2, . . .
Observamos que, a diferenca do exemplo 2.4, a equacao em diferenca que descreve h
0
i
agora
nao e homogenea pois os coecientes q
i
, p
i
dependem do estado atual do processo. Mesmo
assim, neste caso ainda e possvel encontrar a solucao diretamente. Seja
i
= h
0
i1
h
0
i
,
logo
p
i
i+1
= p
i
h
0
i
p
i
h
0
i+1
= p
i
h
0
i
(h
0
i
q
i
h
0
i1
)
= h
0
i
(1 p
i
) +q
i
h
0
i1
= q
i
(h
0
i1
h
0
i
) = q
i
i
,
e portanto
i+1
=
q
i
p
i
i
.
Desta forma, utilizando inducao sobre i conseguimos
i+1
=
q
i
p
i
q
i1
p
i1

q
1
p
1
1
.
Se
i
=
i
k=1
q
k
/p
k
, para i 1, entao
i+1
=
i
1
.
Por outro lado observamos que
1
+
2
+. . . +
i
= h
0
0
h
0
i
.
18 2 Tempo discreto
Combinando estes dois resultados temos a forma geral para a probabilidade de extincao
h
0
i
= 1
1
(
0
+
1
+. . . +
i1
).
Para obtermos h
0
i
, ainda temos que calcular
1
. Consideramos a tal m separadamente os
seguintes casos, A:

i=0
i
= , e B:

i=0
i
< .
Caso A. A m de garantirmos h
0
i
1 para todo i 1 neste caso e necessario que
1
= 0.
Desta forma h
0
i
= 1, i 1, isto e, com certeza a populacao sera extinta para qualquer
n umero inicial de indivduos.
Caso B. Se

i=0
i
< , entao deve existir um ndice k < tal que
q
k+n
q
1
p
k+n
p
1
= 0,
para todo n 0. Portanto e possvel considerar
1
> 0 sempre e quando
1
(
0
+. . . +
i1
) <
1, para i 1. Utilizando o Teorema 2.6 escolhemos
1
=
_

i=0
i
_
1
,
ja que neste caso obtemos a solucao mnima para h
0
i
. Obviamente a escolha satisfaze
1
(
0
+
. . . +
i1
) < 1 e entao da expressao geral para h
0
i
temos
h
0
i
= 1
i1
j=0
j=0
j
=
j=i
j=0
j
< 1, i 1.
Conclumos que para qualquer quantidade inicial de indivduos, i 1, a probabilidade de
extincao h
0
i
< 1, ou equivalentemente P
i
(sobrevivencia) = 1 h
0
i
> 0.
Este exemplo, igualmente ao anterior, mostra como a condicao de minimalidade e util
na solucao de equacoes em diferenca para calcular h
A
i
, em especial quando S nao e nito
pois neste caso usualmente nao temos uma das condicoes de contorno necessarias.
Voltamos agora a considerar os tempos esperados da primeira chegada a um conjunto
A S, isto e k
A
i
. Para esta quantidade apresentamos o seguinte resultado geral.
Teorema 2.7 (tempo esperado da primeira chegada). O vetor de tempos esperados
de chegada k
A
= (k
A
i
: i S), e a solucao mnima, nao-negativa ao sistema de equacoes
lineares
k
A
i
=
_
0, se i A,
1 +
j=A
p
ij
k
A
j
, se i / A.
Demonstracao. Mostramos primeiro que k
A
= (E
i
[
A
] : i S) satisfaz este sistema. Se
X
0
= i A entao
A
= 0, logo E
i
[
A
] = E
i
[0] = 0. Se X
0
= i / A entao
A
1.
Observamos primeiro que
E
i
[
A
| X
1
= j] = E
i
[
A
| X
1
= j, X
0
= i]
= E[inf{n 0 : X
n
A} | X
1
= j, X
0
= i]
= E[inf{n 1 : X
n
A} | X
1
= j]
= 1 +E[inf{n 0 : X
n
A} | X
0
= j] = 1 +E
j
[
A
]
sendo que a primeira e a terceira igualdade seguem da propriedade de Markov. A terceira
tambem utiliza X
0
= i / A, e a quarta e consequencia da homogeneidade (temporal) do
processo. Agora
k
A
i
= E
i
[
A
] =
jS
E
i
[
A
1
{X1=j}
] =
jS
A
()1
{X1=j}
() P
i
()
=
jS
n
nP
i
(
A
() = n, X
1
() = j)
=
jS
n
nP
i
(
A
() = n| X
1
= j) P
i
(X
1
= j)
=
jS
E
i
[
A
| X
1
= j] p
ij
,
e portanto da primeira parte da prova
k
A
i
=
jS
(1 +E
j
[
A
]) p
ij
= 1 +
jS
E
j
[
A
]) p
ij
= 1 +
j / A
p
ij
k
A
j
.
A restricao do somatorio ao complemento de A e devida a que k
A
j
= 0 para j A.
Mostramos agora que (k
A
i
: i S) e de fato a solucao mnima. Suponhamos que r =
(r
i
: i S) e qualquer outra soluc ao ao sistema. Entao k
A
i
= r
i
= 0 para qualquer i A. Se
i / A, dado que r
i
satisfaz o sistema,
r
i
= 1 +
j / A
p
ij
r
j
= 1 +
j / A
p
ij
_
1 +
k/ A
p
jk
r
k
_
= 1 +
j / A
p
ij
+
j / A,k/ A
p
ij
p
jk
r
k
= P
i
(
A
1) +P
i
(
A
2) +
j / A,k/ A
p
ij
p
jk
r
k
Utilizando inducao
r
i
=
n
k=1
P
i
(
A
k) +
j1 / A,...,jn / A
p
ij1
p
j1j2
p
jn1jn
r
jn
.
Se r e nao negativa, entao necessariamente
r
i

n
k=1
P
i
(
A
k),
o qual e valido para todo n 1, logo no limite
r
i

k=1
P
i
(
A
k) = E
i
[
A
] = k
A
i
.
Nesta ultima linha utilizamos a identidade

k0
P( > k) = E[], valida para qualqer
variavel aleatoria nao negativa.
Existe uma outra maneira para calcular os valores esperados do primeiro tempo de
retorno, baseada no metodo da funcao geradora.
Denicao 2.13. Seja uma variavel aleatoria com valores em um conjunto enumeravel S.
A funcao geradora de probabilidade de e denida por
G(z) = E[z
] =
iS
z
i
P( = i),
para tudo |z| 1 pertencente ao raio de convergencia da serie de potencia a direita.
20 2 Tempo discreto
O seguinte Lema apresenta algumas das propriedades basicas destas funcoes. A sua
demonstracao e deixada como um exerccio.
Lema 2.1. Se tem funcao geradora G(z), entao (i) G(1) = 1, (ii) G(0) = P( = 0), e
(iii) E[] = G
(1) =
dG(z)
ds
z=1
.
Seja h
j
i
(n) a distribuicao do primeiro tempo de retorno de i a j, isto e,
h
j
i
(n) = P
i
(
j
= n), n = 0, 1, 2, . . .
Consideramos agora as seguintes funcoes geradoras
G
ij
(z) =
n=0
z
n
p
n
ij
, H
i
(z) =
n=0
z
n
h
i
i
(n).
Lema 2.2. Seja X uma cadeia de Markov e i S em estado qualquer. Neste caso, G
ii
(z) =
1 +H
i
(z)G
ii
(z) e G
ij
(z) = H
i
(z)G
jj
(z) se i = j.
Demonstracao. Veja [5], pagina 85.
Estes resultados podem ser utilizados para calcular o tempo medio do primeiro retorno.
Do Lema 2.2 temos que H
i
(z) = 1 (G
ii
(z))
1
, o qual combinado com o Lema 2.1 resulta
em
k
i
i
= E
i
[
i
] = H
i
(z)
z=1
=
_
1
1
G
ii
(z)
_
z=1
.
Exemplo 2.6. Duas cadeias de Markov estao denidas pelas seguintes matrizes de probabi-
lidade de transicao,
(a)
_
_
1 2p 2p 0
p 1 2p p
0 2p 1 2p
_
_
, (b)
_
_
0 p 0 1 p
1 p 0 p 0
0 1 p 0 p
p 0 1 p 0
_
_
Calculamos a seguir os tempos de recorrencia esperados para cada um dos possveis estados
em (a) e (b). Encontramos primeiramente a funcao geradora G
ii
(z), para o qual calculamos
P
n
= ND
n
N
1
. Da equacao caracterstica associada obtemos os tres autovalores 1, (12p),
e (1 4p), logo
N =
_
_
1 1 1
1 0 1
1 1 1
_
_
, N
1
=
_
_
1/4 1/2 1/4
1/2 0 1/2
1/4 1/2 1/4
_
_
D
n
=
_
_
1 0 0
0 (1 2p)
n
0
0 0 (1 4p)
n
_
_
e entao calculando o produto ND
n
N
1
obtemos os elementos da diagonal
p
n
11
=
1
4
+
1
2
(1 2p)
n
+
1
4
(1 4p)
n
, p
n
22
=
1
2
+
1
4
(1 4p)
n
, p
n
33
= p
n
11
.
Desta forma
G
11
(z) =
n0
z
n
_
1
4
+
1
2
(1 2p)
n
+
1
4
(1 4p)
n
_
=
1
4(1 z)
+
1
2(1 z(1 2p))
+
1
4(1 z(1 4p))
,
e logo utilizando os resultados do Lema 2.2,
k
1
1
= H
1
(z)
z=1
=
16p
4
4p
4
= 4,
o qual tambem e o valor de k
3
3
. Analogamente para p
n
22
, temos
G
22
(z) =
n0
z
n
_
1
2
+
1
2
(1 4p)
n
_
=
1
2(1 z)
+
1
2(1 z(1 4p))
,
portanto
k
2
2
= H
2
(z)
z=1
=
8p
2
4p
2
= 2.
Para a cadeia denida por (b) procedemos da mesma forma. Neste caso os autovalores sao
1,1, i(2p 1), e i(2p 1), logo
p
n
jj
=
1
4
_
1 + (1)
n
+ (i(2p 1))
n
+ (i(2p 1))
n
_
,
para qualquer j = 1, 2, 3, 4; e entao nalmente do Lema 2.2,
k
1
1
= k
2
2
= k
3
3
= k
4
4
= 4.
2.3.1 Exerccios
Exerccio 2.16. Uma cadeia de Markov com espaco de estados {1, 2, 3} apresenta a seguinte
matriz de probabilidade de transi cao
P =
_
_
1
3
1
3
1
3
0
1
2
1
2
0 0 1
_
_
.
Mostre que o estado 3 e absorvente. Dado que X
0
= 1, encontre o tempo esperado ate
absorcao.
Exerccio 2.17. Uma moeda honesta e lancada repetidas vezes. Calcule o n umero esperado
de lancamentos ate aparecer a sequencia {cara, coroa, cara} pela primeira vez.
Exerccio 2.18. (i) Calcule a probabilidade da sua runa sendo que o seu capital inicial e i,
isto e calcule h
0
i
, mas agora suponha que voce se encontra jogando contra uma outra pessoa
com capital inicial j = a i. (ii) Calcule a probabilidade da runa do seu oponente.
Exerccio 2.19. Responda a pergunta (vii) formulada no exemplo 2.1.
Exerccio 2.20. Considere o enunciado do exerccio 2.18 e neste caso (i) calcule o tempo
esperado da sua runa. (ii) Calcule o tempo esperado da runa do seu oponente.
22 2 Tempo discreto
Exerccio 2.21. Este exerccio e uma continuacao do exerccio exerccio 2.3. Qual e o
n umero medio de meses no qual uma conta do tipo A permanecera no sistema? (isto e,
o n umero de meses em media para que esta vire do tipo F ou B.)
Exerccio 2.22. Um tabuleiro apresenta nove quadros, duas escadas, e duas cobras dispos-
tas de acordo ao desenho na gura 2.1. Suponha que voce inicia o jogo no quadro 1, e logo
em cada turno voce joga uma moeda (honesta) de tal maneira que se o resultado e cara
entao voce avanca dois quadros, mas se o resultado e coroa voce avanca so um quadro. Se
voce se encontra com o pe de uma escada voce imediatamente sobe ate o nal dela, mas se
voce se encontra com a cabeca de uma cobra voce desce ate o nal da cauda. (i) Quantas
turnos sao necessarios em media para chegar ate o quadro 9? (ii) Qual a probabilidade de
que um jogador que tenha chegado ate ao quadro 5 consiga chegar ate o 9 sem voltar ate o
quadro 1? (iii) Calcule a quantidade de turnos esperados se em lugar de uma moeda agora
e utilizado um dado de tal forma que voce avanca n quadros quando a face superior e n.
Figura 2.1. Serpentes e escadas. A origem deste jogo remonta-se a 200 A.C., estando
possvelmente relacionado ao jogo hindu de nome Moksha-Patamu. Este ultimo foi utilizado por
lideres religiosos para ensinar a diferenca entre o bem e o mal para as criancas. A versao atual foi
popularizada na Inglaterra Vitoriana ao redor de 1890.
n
)
n0
Markov em {0, 1, 2, . . .} com matriz de transicao denida
por
p
0j
= a
j
se j 0, p
ii
= r, p
i,i1
= 1 r se i 1.
Encontre o valor esperado dos tempos de retorno.
2.4 Propriedade forte de Markov
Um avanco signicativo na teoria e conseguido ao considerar eventos do tipo
{X
T+1
, . . . X
T+n
| X
T
= i, . . . , X
0
= i}
para o instante aleatorio T(), em lugar de
{X
m+1
, . . . X
m+n
| X
m
= i, . . . , X
0
= i}
onde m e um instante xo determinado a priori
2.4 Propriedade forte de Markov 23
Denicao 2.14. A variavel aleatoria T : {0, 1, . . .} {} e um tempo de parada para
o processo X, se o evento {T = m} so depende de X
0
, . . . , X
m
.
Exemplo 2.7. Seja X um processo aleatorio com valores em S. (i) O primeiro tempo de
retorno ao estado i,
i
, e um tempo de parada para X uma vez que
{
i
= n} = {X
0
= i, X
1
= i, . . . , X
n1
= i, X
n
= i}.
(ii) O primeiro tempo de chegada a i,
i
, tambem e um tempo de parada para X. (iii) O
ultimo tempo de sada de A S,
A
= sup{n 0 : X
n
A}
nao e um tempo de parada para X, ja que {
A
= n} claramente depende do evento {X
n+m

A : m 1}.
A propriedade de Markov ainda e valida se variavel aleatoria T e um tempo de parada. O
ponto crucial e observar que se B e um evento determinado por X
0
, . . . , X
T
, entao B{T =
m} esta determinado por X
0
, . . . , X
m
.
Teorema 2.8 (Propriedade forte de Markov). Seja X Markov(, P) e B um evento
determinado por X
0
, . . . , X
T
. Dado o evento {T < , X
T
= i}, o processo (X
T+n
), n 0,
e Markov(
i
0
, . . . , X
T
.
Demonstracao. Seja B = {X
0
, . . . , X
T
} entao B {T = m} esta determinado por
X
0
, . . . , X
m
. Agora
P({X
T
= j
0
, . . . , X
T+n
= j
n
} {B, T < , X
T
= i})
=
m0
P({X
T
= j
0
, . . . , X
T+n
= j
n
} {B, T = m, X
T
= i}),
logo
P(X
T
= j
0
, . . . , X
T+n
= j
n
, B| T < , X
T
= i)
=
m0
P(X
T
= j
0
, . . . , X
T+n
= j
n
, B, T = m, X
T
= i)
P(T = m, X
T
= i)
1
,
mas se T = m, entao X
T
= X
m
. Desta forma temos que
m0
P(X
m
= j
0
, . . . , X
m+n
= j
n
, X
0
, . . . , X
m
, T = m, X
m
= i)P(T = m, X
m
= i)
1
=
m0
P(X
m
= j
0
, . . . , X
m+n
= j
n
| X
0
, . . . , X
m
, X
m
= i, T = m)
P(X
0
, . . . , X
m
, X
m
= i, T = m)P(T = m, X
m
= i)
1
,
assim, da propriedade fraca de Markov,
m0
P(X
m
= j
0
, . . . , X
m+n
= j
n
| X
m
= i)P(X
0
, . . . , X
m
| T = m, X
m
= i).
Da homogeneidade do processo, conclumos portanto que
P
i
(X
0
= j
0
, . . . ,X
n
= j
n
)
m0
P(X
0
, . . . , X
m
| T = m, X
m
= i)
= P
i
(X
0
= j
0
, . . . , X
n
= j
n
)P(B| T < , X
T
= i).
24 2 Tempo discreto
0
i
i
1
i

5
i
E
1
i
E
2
i
E
3
i
E
4
i
E
5
i
E
6
i
Xn()
Figura 2.2. tempos de excursao e do primeiro retorno a i.
2.5 Recorrencia e transitoriedade
Existe uma outra maneira de classicar os estados em S de acordo a se estes podem ser
visitados um n umero innito de vezes ou nao. Veremos que esta classicacao e essencial
para estudar as propriedades de X
n
no limite n . Baseamos a exposicao das nocoes de
recorrencia e transitoriedade nos tempos do primeiro retorno
A
. Posteriormente veremos
que existem caracterizacoes alternativas.
Denicao 2.15. Seja X Markov(, P) com valores no conjunto enumeravel S. O estado
i S e recorrente
2
se
P
i
(X
n
= i para innitos n) = 1.
O estado i S e transitorio se
P
i
(X
n
= i para innitos n) = 0.
A cadeia e recorrente se S e recorrente.
Um estado e recorrente se este e visitado innitas vezes, caso contrario este e transitorio.
Se um estado e transitorio entao eventualmente existe um instante a partir do qual a cadeia
nao visita mas este estado. Mostraremos que S pode ser particionado em classes de estados
recorrentes e transitorias, porem mais importante-mente desenvolveremos varios criterios de
recorrencia e transitoriedade equivalentes.
Seja
i
o primeiro tempo de retorno a i. Se
0
i
= 0, e
1
i
=
i
, entao o k-èsimo tempo de
retorno a i e denido indutivamente para k = 0, 1, . . . como
k+1
i
() = inf{n
k
i
() + 1 : X
n
() = i}
Logo a duracao da k-esima excursao à i e
E
k
i
=
_
k
i

k1
i
, se
k1
i
< ,
0, caso contrario.
A relacao entre
k
i
e E
k
i
e apresentada na gura 2.2.
A primeira caracterizacao das nocoes de recorrencia e transitoriedade a ser descrita estara
baseada na distribuicao conjunta da duracao dos tempos de excursao. Com este proposito
apresentamos dois resultados preliminares.
2
as vezes tambem denominado persistente
2.5 Recorrencia e transitoriedade 25
Lema 2.3. Para k = 2, 3, . . ., dado
k1
i
< , E
k
i
e independente de {X
m
: m
k1
i
}, e
P(E
k
i
= n|
k1
i
< ) = P
i
(
i
= n).
Demonstracao. A prova consiste em mostrar as duas igualdades
P
_
E
k
i
= n, {X
m
: m
k1
i
} |
k1
i
<
_
= P
_
E
k
i
= n|
k1
i
<
_
P
_
{X
m
: m
k1
i
} |
k1
i
<
_
(2.4)
= P(
i
= n| X
0
= i)P
_
{X
m
: m
k1
i
} |
k1
i
<
_
. (2.5)
Observamos primeiramente que T =
k1
i
e um tempo de parada o qual implica
P
_
{E
k
i
= n} {X
m
: m T} | T <
_
= P
_
{
k
i
T = n} {X
m
: m T} | T <
_
= P(X
T
, . . . , X
T+n
= i, X
0
, . . . , X
T
| T < ).
Embora, no instante T a cadeia esta em i, portanto
P(X
T
, . . . , X
T+n
, X
0
, . . . , X
T
| X
T
= i, T < )
= P(X
T
. . . , X
T+n
| X
T
= i, T < )P(X
0
, . . . , X
T
| X
T
= i, T < )
= P(E
k
i
= n|
k1
i
< )P(X
0
, . . . , X
T
|
k1
i
< ).
A segunda igualdade segue diretamente ao aplicarmos o Teorema 2.8 para o tempo de
parada T. Isto prova (2.4). Para (2.5) e suciente observar, mais uma vez do Teorema 2.8,
que (X
T+n
), n 0 e Markov(
i
, P). Neste caso
E
k
i
= inf{n 1 : X
T+n
= i}
e o primeiro tempo de retorno a i para esta cadeia, logo o resultado e imediato.
Seja agora
V
i
=
n=0
1
{Xn=i}
,
isto e, V
i
denota o n umero de vezes nas quais X passa pelo estado i. Entao
E
i
[V
i
] = E
i
_

n=0
1
{Xn=i}
_
=
n=0
E
i
[1
{Xn=i}
] =
n=0
P
i
(X
n
= i) =
n=0
p
n
ii
.
Denicao 2.16. Denotamos por f
k
i
, k 1, a probabilidade do k-esimo retorno a i, isto e,
f
k
i
= P
i
(
k
i
< ).
Mostramos a continuacao que e possvel calcular a distribuicao de V
i
a partir da proba-
bilidade do primeiro retorno a i, f
i
= P
i
(
i
< ).
Lema 2.4. Para k = 0, 1, . . . temos que P
i
(V
i
> k) = f
k
i
.
26 2 Tempo discreto
Demonstracao. Observamos primeiro que a igualdade e valida para k = 0. Se X
0
= i entao
{V
i
> 0} = {
0
i
< }, ja que neste caso V
i
= 1 e por denicao
0
= 0. O resultado segue
utilizando inducao sobre k. Suponhamos que condicionalmente dado X
0
= i para k > 0
temos {V
i
> k + 1} = {
k+1
i
< }. Agora, se
k+1
i

k
i
= E
k+1
i
, entao
k+1
i
= E
k+1
i
+
k
i
,
assim
P
i
(
k+1
i
< ) = P
i
(E
k+1
i
< ,
k
i
< )
= P
i
(E
k+1
i
< |
k
i
< )P
i
(
k
i
< ).
Do Lema 2.3, o primeiro termino a direta da ultima igualdade e P
i
(
i
< ). Desta forma
P
i
(V
i
> k + 1) = P
i
(
i
< )P
i
(
k
i
< ) = f
i
f
k
i
= f
k+1
i
.
Exerccio 2.24. Suponha que V e uma variavel aleatoria com valores em Z
+
. Mostre que
E[V ] =

k=0
P(V > k). (Esta relacao e conhecida como a formula telescopica para a
esperanca.)
Mostramos agora que a recorrencia de um estado pode ser caracterizada utilizando as
probabilidades do primeiro retorno f
i
, ou os n-esimos iterados da matriz de probabilidade.
Teorema 2.9 (recorrencia-transitoriedade). Seja X Markov com valores em S, e i
S. Entao
(i) Se f
i
= 1 entao i e recorrente e

n0
p
n
ii
= .
(ii)Se f
i
< 1 entao i e transitorio e

n0
p
ii
< .
Demonstracao. Se P
i
(
i
< ) = f
i
= 1, entao f
2
i
= 1. Isto segue do Teorema 2.8, ja que se
(X
n
) e Markov(, P) entao (X
i+n
) e Markov(
i
0
, . . . , X
i
, mas,
de forma analoga ao Lema 2.3,
2
i
= inf{n 1 : X
i+n
= i}
e o primeiro tempo de retorno a i de (X
i+n
). Sendo que os dois processos apresentam a
mesma lei, necessariamente a distribuicao de
2
i
dado
i
< e a mesma de
i
dado X
0
= i.
Utilizando este argumento indutivamente obtemos
lim
k
P
i
(
k
i
< ) = lim
k
f
k
i
= 1.
Agora, utilizando o Lema 2.4 temos
1 = lim
k
f
k
i
= lim
k
P
i
(V
i
> k) = P
i
_
k
{V
i
> k}
_
= P
i
(V
i
= ),
isto e, com probabilidade 1 X
n
visita o estado i innitas vezes, portanto i e recorrente. Mais
ainda, se P
i
(V
i
> k) = f
k
i
= 1, para k 0, entao
k0
p
k
ii
= E
i
[V
i
] =
k0
P
i
(V
i
> k) = .
Se P
i
(
i
< ) < 1 entao f
i
< 1, o qual implica
k0
p
k
ii
=
k0
P
i
(V
i
> k) =
k0
f
k
i
=
1
1 f
i
< .
No sentido contrario, se f
i
< 1, entao P
i
(V
i
= ) = lim
n
f
k
i
= 0, i.e., a probabilidade
de que X pase por i innitas vezes e zero por tanto i e transitorio.
Observamos que recorrencia ou a transitoriedade sao propriedades de solidariedade no
sentido de que estas sao compartilhadas pelos membros de uma classe de comunicacao.
Teorema 2.10. Seja C S uma classe de comunicacao. Todos os estados de C sao recor-
rentes ou transitorios.
Demonstracao. Sejam i, j C portanto existem inteiros n, m (positivos) tais que p
n
ij
>
0 e p
m
ji
> 0. Agora, para todo k 0, diretamente da relacao de Chapman-Kolmogorov
(Teorema 2.4) obtemos
p
n+k+m
ii
=
jS
p
n
ij
p
k
jj
p
m
ji
p
n
ij
p
k
jj
p
m
ji
.
Assim,
k0
p
n+k+m
ii

k0
p
n
ij
p
k
jj
p
m
ji
,
e entao
k0
p
k
jj

k0
p
n+k+m
ii
p
n
ij
p
m
ji
.
Se i e transitorio, entao

k
p
n+k+m
ii
< , mas entao da desigualdade acima j tambem e
transitorio.
Teorema 2.11. Toda classe recorrente e fechada.
Demonstracao. Da denicao, lembramos que C S e fechada se para qualquer i C, entao
i j implica j C. De esta forma se C e aberta e i C, entao existem j / C, m 1 tais
que P
i
(X
m
= j) > 0. Neste caso P
i
({X
m
= j} {X
n
= i para innitos n}) = 0, ja que se
a cadeia sai de C a j, entao esta nao pode mais voltar a C (caso contrario j C). Entao
P
i
(X
n
= i para innitos n) = P
i
({}) = 0, e entao i nao e recorrente. Do Teorema 2.10, C
e transitoria.
Teorema 2.12. Toda classe nita e fechada e recorrente.
Demonstracao. Suponhamos que C e fechada e nita, e que X
0
C. Sejam i C, A =
{X
n
= i para innitos n}, e seja B = {X
n
= i para alguns n}. Observamos que B A,
e tambem que B pode ser expressado como o evento {X
0
, . . . , X
T
, X
T
= i, T < } sendo
T =
k
i
para um k < qualquer. Imediatamente da propriedade forte de Markov temos
0 < P(A) = P(A {X
0
, . . . , X
T
, X
T
= i, T < })
= P
i
(A)P(X
n
= i para alguns n),
e disto P
i
(X
n
= i para innitos n) > 0. Portanto da denicao 2.15, i e nao transitorio e
neste caso, do Teorema 2.9, i e necessariamente recorrente. Finalmente do Teorema 2.10, C
e recorrente.
Este Teorema e bastante util pois se C e uma classe nita, entao e possvel determinar
se esta e fechada ou aberta e portanto se e recorrente ou nao. A classicacao e mais delicada
se a classe C nao e nita. Neste caso e possvel encontrar exemplos onde C e fechada e
transitoria. Um exemplo disto e a runa do jogador (exemplo 2.4) onde C = S = Z
+
e
fechada, mas se p > q entao com probabilidade positiva existe a chance de nao visitar a
origem, isto e de nao perder todo o dinheiro. Um outro exemplo classico deste fenomeno
sera apresentado na proxima secao.
O seguinte resultado sera necessario para mostrar o principal Teorema de convergencia
na secao 2.7.
28 2 Tempo discreto
Teorema 2.13. Se P e irredutvel e recorrente, entao P(
i
< ) = 1, para todo i S.
Sob as hipoteses de recorrencia e irredutibilidade, este teorema mostra que independente-
mente do estado inicial, o primeiro tempo de retorno a um estado e nito. O Teorema 2.9 em
cambio fornece um criterio de recorrencia a partir da probabilidade condicional do primeiro
tempo de retorno dado o estado inicial.
Demonstracao. Notamos primeiro que
P(
j
< ) =
iS
P(
j
< , X
0
= i) =
iS
P
i
(
j
< )P(X
0
= i).
Logo sera suciente vericar que P
i
(
j
< ) = 1 para todo i S. Seja m : p
m
ij
> 0. Se P e
recorrente, entao
1 = P
j
(X
n
= j innitas vezes)
= P
j
(X
n
= j para alguns n m+ 1)
=
kS
P
j
(X
n
= j para alguns n m+ 1 | X
m
= k)P
j
(X
m
= k)
=
kS
P
j
(X
n
= j para alguns n m+ 1 | X
m
= k)p
m
jk
=
kS
P
k
(
j
< )p
m
jk
.
A ultima igualdade segue da propriedade fraca de Markov. Finalmente, dado que
k
p
m
jk
= 1,
necessariamente temos que P
k
(
j
< ) = 1 para todo k S.
2.5.1 Exerccios
Exerccio 2.25. Identique as classes recorrentes e transitorias da cadeia denida no
exerccio 2.2.
Exerccio 2.26. Seja X Markov(, P), com matriz de probabilidade de transicao
P =
_
_
1/2 0 0 0 1/2
0 1/2 0 1/2 0
0 0 1 0 0
0 1/4 1/4 1/4 1/4
1/2 0 0 0 1/2
_
_
.
Quais sao os estados transitorios? e os recorrentes?
Exerccio 2.27. Mostre que para a cadeia denida no exerccio 2.12,
P(X
n
quando n ) = 1.
Suponha agora que a cadeia apresenta as seguintes probabilidades de transicao
p
i,i+1
=
_
i + 1
i
_
p
i,i1
.
Para cada (0, ) encontre o valor de P(X
n
quando n ).
2.5.2 Passeios aleatorios simples
Apresentamos primeiro o passeio aleatorio simples com valores em Z, ou Z
+
. Este processo
ja foi introduzida no exemplo 2.4, mas agora o o identicamos explicitamente como uma
cadeia de Markov.
Seja X
0
, X
1
, . . . , X
n
uma seq uencia de variaveis aleatorias independentes e identicamente
distribudas com distribuicao Bernoulli(p) e valores {1, 1} tal que P(X
n
= 1) = p. Consi-
deramos agora as somas parciais para n 0,
S
n
= S
0
+
n
i=1
X
i
, S
0
= 0.
A seq uencia (S
n
) assim denida e um passeio aleatorio simples com valores em Z. No caso
p = q = 1/2, chamamos (S
n
) de passeio aleatorio simetrico . Este processo restrito a Z
+
e
com valor inicial S
0
= k poderia representar a fortuna de um jogador no instante n, mas as
aplicacoes deste processo sao bem mais amplas. A gura 2.2 mostra um caminho tpico de
um passeio aleatorio simetrico com S
0
= i = 0.
E simples ver que (S

n
) e uma cadeia de Markov, de fato,
P(S
n+1
= j | S
0
= 0, . . . , S
n
= i)
= P(X
n+1
+i = j | S
0
= 0, . . . , S
n
= i)
= P(X
n+1
= j i) = P(S
n+1
= j | S
n
= i)
sendo que a segunda igualdade e valida uma vez que o incremento X
n+1
e independente de
S
0
, . . . , S
n
. Esta observacao relativamente trivial e importante pois mostra que os processos
com incrementos independentes apresentam a propriedade de Markov.
Exerccio 2.28. Seja (S
n
) um passeio aleatorio simples. Mostre que para quaisquer dois
inteiros positivos a, b,
P(S
n
= j | S
0
= a) = P(S
n
= j +b | S
0
= a +b).
(o passeio aleatorio simples e espacialmente homogeneo.)
A matriz de probabilidade de transicao do passeio aleatorio simples em Z segue imedia-
tamente da sua denicao,
P =
_
_
.
.
.
.
.
. .
.
.
0 p 0 0 0
q 0 p 0 0
0 q 0 p 0
0 0 q 0 p
0 0 0 q 0
.
.
. .
.
.
.
.
.
_
_
Desta matriz podemos observar que o passeio aleatorio simples e irredutvel (desenhe o grafo
associado), sendo S = Z a unica classe fechada.
Voltamos agora a nossa atencao ao estudo da recorrencia-transitoriedade deste processo.
Sendo S irredutvel, do Teorema 2.10 sabemos que todo S e recorrente ou transitorio, logo
e suciente restringir o estudo da recorrencia a um unico estado, por exemplo a origem.
Neste caso de acordo com o Teorema 2.9, a quantidade a ser estudada e

n
p
n
00
. Saindo da
30 2 Tempo discreto
origem, o n umero de passos requeridos para retornar deve ser par, por exemplo 2n, logo e
simples ver que
p
2n
00
= P(S
2n
= 0 | S
0
= 0) =
_
2n
n
_
p
n
q
n
. (2.6)
A m de facilitar o estudo da serie envolvida, utilizamos a aproximacao de Stirling para n!,
isto e,
n!
2ne
n
n
n
,
onde a
n
b
n
se lim
n
a
n
/b
n
= 1. Utilizando esta aproximacao obtemos entao
p
2n
00
=
(2n!)
n!n!
(pq)
n
2 2ne
2n
(2n)
2n
(
2ne
n
n
n
)
2
(pq)
n
=
1
n
(4pq)
n
.
No caso simetrico p
2n
00
(n)
1/2
, logo
n0
p
2n
00
=
1/2
n0
1
n
= ,
e conclumos que o passeio retorna innitas vezes a origem, portanto este e recorrente. No
caso nao simetrico, seja r = 4pq. Observamos que 0 < r < 1, uma vez que r = 4p 4p
2
alcanca o valor maximo de 1 para p = 1/2, mas este ultimo corresponde ao caso simetrico.
Logo,
p
2n
00

r
n
n
<
r
n
2
,
entao
n0
p
2n
00

1
n0
r
n
=
1
2
1
1 r
< .
Desta forma se p = q, o passeio e transitorio. Conseguimos desta maneira uma cadeia de
Markov onde S e a unica classe fechada, porem dependendo das probabilidades de transicao
o processo pode ser recorrente ou transitorio. Se p > q entao com probabilidade positiva
S
n
pode chegar a para mais nunca retornar a origem.
Consideramos agora o passeio aleatorio simetrico em Z
2
. O caso nao simetrico sera
deixado como um exerccio. A m de retornar a origem em duas dimensoes o passeio deve
realizar o mesmo n umero de transicoes a direita do que a esquerda e tambem o mesmo
n umero para acima do que para abaixo. Portanto neste caso tambem so sao permitidos
tempos de retorno pares. Qualquer caminho que retorna em 2n passos tem probabilidade
1/4
2n
. O n umero de caminhos que conseguem voltar com k transicoes pra cima, k pra baixo,
n k a esquerda, e n k a direita e
_
2n
k, k, n k, n k
_
=
(2n)!
k!k!(n k)!(n k)!
.
De esta forma
p
2
00
n =
1
4
2n
n
k=0
(2n)!
k!k!(n k)!(n k)!
=
1
4
2n
n
k=0
(2n)!
n!n!
n!n!
k!k!(n k)!(n k)!
=
1
4
2n
_
2n
n
_
n
k=0
_
n
k
_
2
,
mas
n
k=0
_
n
k
__
n
k
_
=
n
k=0
_
n
n k
__
n
k
_
=
_
2n
n
_
.
O ultimo coeciente a direita corresponde ao n umero de maneiras de escolher n bolas de
um total de 2n, e os dois coecientes no meio correspondem a escolha sendo que existem n
bolas brancas e n pretas
3
. Entao
p
2n
00
=
_
1
2
2n
_
2n
n
__
2
, (2.7)
o qual e o quadrado do resultado obtido para o passeio em Z. Conclumos desta maneira
que
n0
p
2n
00

n0
1
n
=
e portanto o passeio aleatorio simetrico em Z
2
e recorrente.
Uma comparacao das equacoes (2.6) e (2.7) sugere que a probabilidade do retorno a ori-
gem do passeio aleatorio em Z
2
e igual a probabilidade do retorno de dois passeios aleatorios
independentes, um destes no eixo x e o outro em y. Isto e de fato verdade e pode ser mos-
trado da seguinte maneira. Considere a rotacao em 45 graus dos eixos x, y, o qual gera
os eixos x, y. A seguinte gura mostra estes eixos assim como tambem as coordenadas da
possvel posicao de um passeio ap os da primeira transicao em ambos sistemas.
x
x
y
y
1
1
2
1
1
x, y x, y
(0, 1)
_
1
2
,
1
2
_
(0, 1)
_
2
,
1
2
_
(1, 0)
_
1
2
,
1
2
_
(1, 0)
_
2
,
1
2
_
Suponhamos agora que temos dois passeios aleatorios independentes, ambos com valores
em
1
2
Z mas um deste no eixo x e o outro em y. Se projetamos as suas posicoes apos
da primeira transicao nos eixos x y, vemos que estas coincidem com as quatro possveis
posi coes do passeio aleatorio simples emZ
2
. Isto e, nao e possvel distinguir os movimentos de
dois passeios independentes com valores em
1
2
Z sobre x y, dos movimentos de um passeio
com valores em Z
2
sobre os eixos x y. Mais ainda, a probabilidade de qualquer uma das
quatro posicoes em ambos casos e (1/2) (1/2) = 1/4. Dado que a probabilidade do retorno a
origem nao depende da magnitude dos incrementos, conclumos que a probabilidade de que
os dois passeios aleatorios independentes iniciados em (0, 0) se encontrem apos de 2n pulos
em (0, 0) e [(1/2
2n
)
_
2n
n
_
]
2
. Esta ultima e de fato e a probabilidade do retorno do processo
original em Z
2
.
3
Esta igualdade e conhecida como a convolucao de Vandermonde em honra a A. Vandermonde,
quem a nais de 1700 escreveu um artigo sobre varias identidades relacionadas. Porem esta
igualdade ja era conhecida por Chu Shih-Chieh na China em 1303. Este ultimo tambem noto
a relacao entre o triangulo de Pascal e os coecientes binomiais na expansao de (a + b)
n
, bem
antes que Pascal.
32 2 Tempo discreto
2.5.3 Exerccios
Exerccio 2.29. Seja k um intero e n um inteiro tais que k n. Se (S
n
) e um passeio
aleatorio simples em Z, mostre que
P(S
n
= k) =
_
_
_
0 se n e k nao tem a mesma paridade
_
n
n+k
2
_
p
(n+k)/2
q
(nk)/2
caso contrario
[Dica: Suponha que s() denota o n umero de transicoes a direita (com valor +1) e que t()
denota o n umero de transicoes a esquerda (com valor -1) ate o instante n. Assim, {S
n
= k}
ocorre se {s() t() = k} e {s() +t() = n}.]
Exerccio 2.30. Seja S
n
= X
0
+ X
1
+ . . . + X
n
um passeio aleatorio simples. Encontre as
seguintes probabilidades: (i) P(S
4
= k) para todos os posveis valores de k, (ii) P(S
n

0 para n = 1, 2, 3, 4), (iii) P(S
n
= 0 para n = 1, 2, 3, 4), (iv) P(S
n
2 para n = 1, 2, 3, 4), e
P(|S
n
| 2 para n = 1, 2, 3, 4).
Exerccio 2.31. Suponha que um passeio aleatorio simples e iniciado no vertice central do
grafo apresentado abaixo.
Desde um vertice qualquer o passeio apresenta a mesma probabilidade p de pular a qualquer
outro dos seus vertices vizinhos. Se o grafo e innito, isto e, se este apresenta innitos
vertices, mostre que o passeio (S
n
) e transitorio.
Exerccio 2.32. (i) Mostre que o passeio aletorio simples simetrico em Z
3
e transitorio. (ii)
Generalize para o processo com valores em Z
d
, d > 3.
A transitoriedade do passeio aleatorio simples em Z
3
foi descrita primeiramente pelo
matematico G. Polya. O livro [3] contem uma demonstracao deste resultado baseada em
um argumentos diferentes dos utilizados aqui. Esta referencia mostra tambem que nao e
possvel utilizar uma projecao de tres passeios aleatorios independentes para o caso em Z
3
.
Mais geralmente, [3] e uma excelente referencia para aprender sobre passeios aleatorios em
grafos e mais geralmente sobre processos com valores em conjuntos dicretos.
2.6 Distribuicao invariante
As propriedades de uma cadeia de Markov apos de muitas transicoes estam relacionadas
com a nocao de distribuicao invariante.
2.6 Distribuicao invariante 33
Denicao 2.17. Seja X Markov(, P) e uma distribuicao de probabilidade em S. e uma
distribuicao invariante para X se
P = .
Neste caso tambem e conhecida como distribuicao de equilbrio de X.
Teorema 2.14. Seja X Markov(, P) tal que e invariante para X. Entao (X
m+n
) e
Markov(, P) para qualquer m N.
Demonstracao. Sendo invariante, do Teorema 2.3 temos que para qualquer i,
i
=
(P
m
)
i
= P(X
m
= i). Dado X
m+n
= i, da propriedade fraca de Markov, temos que
{X
m+n+1
} e independente de X
m
, . . . , X
m+n
e tem distribuicao (p
ij
: j S).
Teorema 2.15 (Limite estacionario). Seja S nito. Se para qualquer i,
p
n
ij

j
, quando n ,
para todo j, entao = (
j
: j S) e invariante para P. Neste caso e chamada de
distribuicao estacionaria.
Demonstracao. Mostramos primeiro que e uma distribuicao de probabilidade. De fato
jS
j
=
jS
lim
n
p
n
ij
= lim
n
jS
p
n
ij
= 1.
Mostramos agora que e invariante para P,
j
= lim
n
p
n
ij
= lim
n
kS
p
n1
ik
p
kj
=
kS
k
p
kj
.
Sendo S nito e possvel trocar a ordem dos somatorios.
Observamos que se S
n
e um passeio aleatorio simetrico em Z ou Z
2
, entao p
n
ij
0
quando n para todo i, j S. Este limite e portanto invariante ja que
0P = 0,
mas 0 nao e uma distribuicao de probabilidade.
Exemplo 2.8. Sejam 0 < a < 1, 0 < b < 1, logo
P =
_
1 a a
b 1 b
_
.
Para esta matriz obtemos
p
n
11
=
b
a +b
+
a
a +b
(1 a b)
n
, p
n
22
=
a
a +b
+
b
a +b
(1 a b)
n
,
portanto
P
n
_
b/(a +b) a/(a +b)
b/(a +b) a/(a +b)
_
e entao, do Teorema 2.15, a distribuicao de probabilidade invariante para P e (b/(a +
b), a/(a +b))
34 2 Tempo discreto
Dependendo da forma da matriz ou equivalentemente do grafo de transicao, as vezes
resulta bastante simples encontrar a distribuicao invariante diretamente do sistema P = .
Exemplo 2.9. Para a cadeia do exerccio 2.4, os componentes do sistema P = sao
1
=
1
2
3
,
2
=
1
2
2
+
1
,
3
=
1
2
2
+
1
2
3
.
Alem disto temos que 1 =
1
+
2
+
3
, ja que e distribuicao de probabilidade, logo a
solu cao e = (1/5, 2/5, 2/5).
A continuacao mostraremos que se P e irredutvel e recorrente entao P apresenta uma
unica distribuicao invariante. A tal m consideramos primeiro
k
i
= E
k
_
k
1
n=0
1
{Xn=i}
_
,
isto e,
k
i
e o n umero esperado de vezes que X passa pelo estado i antes de retornar a k,
dado que X e iniciada em k.
Teorema 2.16. Seja P irredutvel e recorrente, entao
(i)
k
k
= 1,
(ii)
k
= (
k
i
: i S) e invariante para P,
(iii) 0 <
k
i
< , para todo i S.
Demonstracao. (i) e direto. (ii) Para n 1, observamos que {n
k
} so depende de
X
0
, X
1
, . . . , X
n1
, entao da propriedade (fraca) de Markov em n 1,
P
k
(X
n1
= i, X
n
= j, n
k
) = P(X
n
= j | X
n1
= i)P
k
(X
n1
= i, n
k
).
Se P e recorrente, condicinando pelo evento {X
0
= k} temos que
k
< quase certamente,
i.e. P
k
(
k
< ) = 1, portanto P(X
0
= X
k
= k) = 1. Entao,
k
j
= E
k
_

k
n=1
1
{Xn=j}
_
= E
k
_

n=1
1
{Xn=j, n
k
}
_
=
n=1
P
k
(X
n
= j, n
k
) =
iS
n=1
P
k
(X
n1
= i, X
n
= j, n
k
),
e da primeira igualdade apresentada na demonstracao este ultimo termino e
iS
n=1
P(X
n
= j | X
n1
= i)P
k
(X
n1
= i, n
k
)
=
iS
p
ij
E
k
_

n=1
1
{Xn1=i, n
k
}
_
=
iS
p
ij
k
1
n=0
E
k
[1
{Xm=i}
]
=
iS
p
ij
k
i
.
Conclumos entao que
k
e invariante, mas devido a (i), nao e uma distribuicao de proba-
bilidade. (iii) Por ultimo,
k
i
e nito ja que se P e irredutvel, entao para cada estado i S
existem n, m 0 tais que p
n
ik
> 0, p
m
ki
> 0. Neste caso,
k
i

k
k
p
n
ki
> 0,
e
k
i
p
m
ik

k
k
= 1.
O resultado que demonstra a unicidade da distribuicao invariante e nalmente o seguinte.
Teorema 2.17 (Unicidade do invariante). Seja P irredutvel e uma distribuicao in-
variante para P tal que
k
= 1. Entao

k
.
Adicionalmente, se P e recorrente entao
=
k
.
Demonstracao. Para cada j S temos que
j
=
i0S
i0
p
i0j
=
i=k
i0
p
i0j
+
k
p
kj
=
i=k
i0
p
i0j
+p
kj
=
i1S
i0=k
i1
p
i1i0
p
i0j
+p
kj
=
i1=k
i0=k
i1
p
i1i0
p
i0j
+p
kj
+
i0=k
k
p
ki0
p
i0j
a quarta igualdade segue do fato de que e invariante. Se iteramos este calculo n vezes
obtemos
j
=
i0=k,...,in=k
in
p
inin1
p
i0j
+p
kj
+
i0=k
p
ki0
p
i0j
+
i1=k,i0=k
p
ki1
p
i1i0
p
i0j
+. . . +
i0=k,...,in1=k
p
kin1
p
i1i0
p
i0j
P
k
(X
1
= j,
k
1) +P
k
(X
2
= j,
k
2) +. . . +P
k
(X
n
= j,
k
n)
onde a desigualdade segue ja que por hipotese e uma distribuicao em S, isto e,
i
0
para qualquer i S. Utilizando inducao, no limite n ,
n=1
P
k
(X
n
= j,
k
n) =
n=1
P
k
(X
n1
= j,
k1
n 1),
ja que X
0
= k, logo {X
0
= j, . . .} = {}. Desta forma
n=0
P
k
(X
n
= j,
k1
n) = E
k
_
k
1
n=0
1
{Xn=j}
_
=
k
j
,
mostrando que
k
e a solucao mnima. Se agora P e recorrente, pelo Teorema 2.16 sabemos
que
k
e invariante. Seja
=
k
,
de forma que
P = P
k
P =
k
=
logo e invariante para P. Da primeira parte da prova temos que 0. Se P e irredutvel,
entao existe em inteiro positivo n tal que p
n
ik
> 0, portanto
k
=
k

k
k
= 1 1 = 0 =
jS
j
p
n
jk
,
o qual implica que se = 0 entao =
k
. Isto conclu a demonstracao da unicidade da
distribuicao invariante
k
.
36 2 Tempo discreto
Em conclusao, se uma cadeia de Markov com valores enumeraveis e irredutvel e recor-
rente, entao esta apresenta uma distribuicao invariante. Neste caso a distribuicao invariante
e unica. A existencia de uma distribuicao invariante nao implica necessariamente que esta
seja uma distribuicao de probabilidade. Com o objetivo de considerar esta possibilidade
introduzimos a nocao de recorrencia nula e positiva.
Denicao 2.18. Seja i um estado recorrente. Dizemos que i e nulo recorrente se o tempo
esperado do primeiro retorno e innito, isto e, se
m
i
= E
i
[
i
] = .
No caso
m
i
= E
i
[
i
] < ,
dizemos que i e positivo recorrente.
Teorema 2.18 (Distribuicao de probabilidade invariante). Seja P irredutvel. Os
seguintes enunciados sao equivalentes
(i) Todo estado e positivo recorrente.
(ii)Um estado i e positivo recorrente.
(iii) P tem distribuicao de probabilidade invariante dada por
i
=
1
m
i
, i S.
Demonstracao. A equivalencia entre (i) e (ii) segue da denicao 2.18, da denicao 2.15 e do
Teorema 2.10. Mostraremos a continuacao que (ii) e equivalente a (iii). Se i e positivo recor-
rente entao e recorrente. Se adicionalmente P e irredutvel, isto implica que P e recorrente.
Do Teorema 2.16 temos portanto que
i
e invariante. Logo,
jS
i
j
=
jS
E
i
_
i1
n=0
1
{Xn=j}
_
= E
i
[
i
] = m
i
< ,
de tal forma que uma distribuicao de probabilidade invariante para P e
j
=

i
j
m
i
.
Sendo P recorrente e irredutvel, necessariamente do Teorema 2.17 temos que e a unica
distribuicao de probabilidade invariante.
Por ultimo mostraremos que (iii) e equivalente a (i). Seja k um estado qualquer, logo se
P e irredutvel e

i
i
= 1, entao
k
=
iS
i
p
n
ik
> 0.
Consideramos agora
i
=
i
/
k
, logo e invariante ja que
k
p
ij
=

j
k
=
j
, j S.
Se P e recorrente entao necessariamente =
k
, mas no caso que P nao seja recorrente
temos do Teorema 2.17 que
k
. Desta forma,
m
k
=
iS
k
i

iS
i
=
iS
k
=
1
k
< ,
e entao k e positivo recorrente, mas se P e irredutvel entao P e recorrente. Finalmente se
=
k
entao m
k
=
1
k
.
O ultimo item do Teorema 2.18, o qual mostra a relacao entre a distribuicao de proba-
bilidade invariante e os tempos de retorno, e as vezes conhecido como o Lema de Kac.
Exemplo 2.10. Contra-exemplos!
2.6.1 Exerccios
n
)
n0
um passeio aleatorio simples denido sobre os vertices do
cubo abaixo,
x
tal que a probabilidade de ir de um vertice aos vertices adjacentes e p = 1/3. Calcular (i)
E
x
[
x
], (ii) E
x
_
x1
n=0
1
{Xn=z}
_
, (iii) E
x
[
z
], (iv) , a distribuicao invariante de (X
n
)
n0
.
n
)
n0
um passeio aletorio simples em Z com p
i,i1
= q < p =
p
i,i+1
. Encontre
0
i
= E
0
_
01
n=0
1
{Xn=i}
_
e verique que
0
i
= inf
i
para todo i,
onde o nmo e tomado sobre todos os invariantes tais que
0
= 1.
Exerccio 2.35. Seja P uma matriz estocastica sobre o conjunto nito S. Mostre que a
distribuicao e invariante para P se, e somente se, (IP+A) = a, onde A = (a
ij
: i, j S)
com a
ij
= 1 para todo i e j, e a = (a
i
: i S) para tudo i S. Demonstre que se P e
irredutvel, entao I P + A e invertvel. Isto permite calcular a distribuicao invariante
utilizando qualquer metodo existente para inverter matrizes.
Exerccio 2.36. Moleculas de gas realizam movimentos aleatorios numa urna particionada
em duas partes iguais. Um furo e realizado na parede que comunica os compartimentos.
Suponha que existem N moleculas na caixa. (i) Mostre que o n umero de moleculas num
dos compartimentos evolui como uma cadeia de Markov. (ii) Quais sao as probabilidades de
transicao desta cadeia? (iii) Qual e a distribuicao invariante?
Exerccio 2.37. Determine a distribuicao invariante da cadeia com matriz de probabilidade
de transicao
P =
_
_
1 0
0 1
0 1
_
_
onde , , (0, 1).
38 2 Tempo discreto
Exerccio 2.38. Este exerccio e uma continuacao do exerccio 2.14. Se o Dr. Silva esta
em J = {T, F, B} e muda de locacao, ele liga a sua mulher. (i) Encontre a matriz de
transicao que determina a seq uencia de locais desde os quais o Dr. Silva liga, e calcule a sua
distribuicao invariante.
A mulher do Dr. Silva anota apos cada ligacao o local da chamada, e atualmente suspeita
que algo esta errado: Silva nao ca sucientemente no seu at! Ante este problema, Silva
decide mudar de estrategia assumindo a seguinte matriz de transicao,
T F B A
P
=
T
F
B
A
_
_
1/4 1/4 1/2 0
1/2 1/4 1/4 0
0 3/8 1/8 1/2
2/10 1/10 1/10 6/10
_
_
,
(ii) Levantara esta escolha alguma suspeita na mulher?
Exerccio 2.39. Mostre que se P e uma matriz de transicao de probabilidade de uma cadeia
irredutvel entao T = (1/2)(I +P) e tambem a matriz de transicao de uma cadeia aperiodica
e irredutvel. Mostre que a distribuicao estacionaria de P e a distribuicao estacionaria de T.
Exerccio 2.40. Seja X uma cadeia de Markov com matriz de probabilidade de transicao
P =
_
_
1 0 0
1/4 1/2 1/4
0 0 1
_
_
.
Mostre que X apresenta mais de uma distribuicao estacionaria. Encontre a matriz P
n
quando n e verique que esta nao apresenta todas as linhas iguais. [Dica: observe
que os estados 1 e 3 sao absorventes (isto evita a procura da forma diagonal para P!).]
2.7 Convergencia ao equilbrio
Como consequencia do Teorema 2.15, se S e nito e se existe o limite p
n
ij
quando n ,
entao o limite tem que ser uma distribuicao invariante. Porem, quais sao as condicoes que
garantem a existencia do limite?
Exemplo 2.11. Este exemplo simples mostra que nao toda matriz estocastica sobre S nito
apresenta o limite lim
n
P
n
. Seja X uma cadeia com a seguinte matriz de probabilidade de
transicao
P =
_
0 1
1 0
_
Neste caso P
2n
= I, e P
2n+1
= P para n 1.
Denicao 2.19. O estado i e aperiodico se p
n
ii
> 0 para todo n sucientemente grande. A
matriz P e aperiodica se todos os estados sao aperiodicos.
Lema 2.5. Seja P irredutvel com um estado aperiodico i. Entao para quaisquer dois estados
j, k temos que p
n
jk
> 0 sempre e quando n seja o sucientemente grande.
Demonstracao. Existem r, s 0 tais que p
r
ji
> 0 e p
s
ik
> 0, portanto, para um n suciente-
mente grande temos que p
n+n+s
jk
p
r
ji
p
n
ii
p
s
ik
> 0.
2.7 Convergencia ao equilbrio 39
Denicao 2.20. O perodo d
i
de um estado i e denido por
d
i
= mdc{n 1 : p
n
ii
> 0}.
Se {n 1 : p
n
ii
> 0} = {}, entao d
i
= 1.
O perodo de um estado i e o maximo divisor comum dos tempos do primeiro retorno a
i. A denicao de perodo fornece uma maneira para clasicar os estados em periodicos e
aperiodicos. Se d
i
= 1 entao dezimos que i e aperiodico, no caso contrario, d
i
> 1, i e
periodico.
Tendo todos estes pre-requisitos chegamos agora ao resultado mais importante desta pri-
meira parte da teoria, o qual arma que uma cadeia irredutvel, aperiodica e com invariante
converge a este limite qualquer que seja a condicao inicial .
Teorema 2.19 (Convergencia ao equilbrio). Seja P irredutvel e aperiodica e com
distribuicao de probabilidade invariante . Seja uma distribuicao inicial e X uma cadeia
de Markov(, P). Neste caso
P(X
n
= j)
j
, se n para todo j S. (2.8)
Em particular
p
n
ij

j
, se n , para todo i, j, S. (2.9)
Demonstracao. O argumento a ser utilizado para demonstrar o Teorema e conhecido como
o metodo de acoplamento
4
.
Seja (X
n
), n 0 Markov(, P) e independente de (X
n
), n 0. Fixamos um estado de
referencia qualquer, por exemplo b, e entao consideramos
T
b
= inf{n 1 : X
n
= X
n
= b},
isto e, o primeiro tempo de encontro de X
n
e X
n
em b. Observamos que T
b
e um tempo de
parada para o processo conjunto

X
n
= (X
n
, X
n
) com valores em S
2
.
Mostraremos primeiro que P(T
b
< ) = 1. Devido a independencia entre X
n
e X
n
, a
probabilidade de transicao de

X
n
e dada por
p
(i,k);(j,l)
= p
ij
p
kl
, (i, k), (j, l) S
2
,
e a distribuicao inicial por
(i, k) =
i
k
.
Se P e aperiodica entao para quaisquer i, j, k e l
p
(i,k);(j,l)
= p
n
ij
p
n
kl
> 0,
para um n sucientemente grande, portanto

P = ( p
(i,k);(j,l)
: i, j, k, l S) e irredutvel. A
unica distribuicao invariante de

P e
(i, k) =
i
k
.
Agora, seguindo o Teorema 2.18, se

P e irredutvel e tem invariante , entao todos os
estados em S
2
sao positivo-recorrentes. T
b
e o primeiro tempo de retorno a (b, b) do processo
X
n
, mas se (

X
n
) e positivo recorrente entao do Teorema 2.13 imediatamente temos que
P(T
b
< ) = 1.
4
O primeiro acoplamento de duas cadeias de Markov foi descrito por W. Doeblin en 1933. Os
acoplamentos tem-se constitudo uma ferramenta fundamental para o estudo dos processos
aleatorios, inclusive na teoria contemporanea. Maiores detalhes sobre esta tecnica podem ser
encontrados em [4].
40 2 Tempo discreto
Xn
X
n
T
b
b
Zn
Figura 2.3. Um acoplamento de Xn.
Seja
Z
n
=
_
X
n
, se n < T
b
X
n
, se n T
b
.
Uma trajetoria do processo Z
n
e mostrada na gura 2.3. Mostraremos agora que (Z
n
),
n N e Markov(, P). Pelo exposto anteriormente temos que (

X
n
) e Markov(,

P), logo
da propriedade forte de Markov em T
b
temos que (X
T
b
+n
, X
T
b
+n
) e Markov(
(b,b)
,

P). Por
simetria, podemos substituir o processo (X
T
b
+n
, X
T
b
+n
) pelo processo (X
T
b
+n
, X
T
b
+n
), o
qual tambem e Markov(
(b,b)
,

P). Consideramos agora

Z
n
= (Z
n
, Z
n
), onde
Z
n
=
_
X
n
, se n < T
b
X
n
, se n T
b
.
Temos entao que (Z
n
), e Markov(, P).
Como um ultimo passo na demostracao provaremos uma igualdade conhecida como a
desigualdade do acoplamento. Temos que
P(Z
n
= j) = P(X
n
= j, n < T
b
) +P(X
n
= j, n T
b
),
mas, tambem para n < T
b
,
|P(X
n
= j)
j
| = |P(X
n
= j, n < T
b
) P(X
n
= j, n < T
b
)| .
Desta forma a distancia entre a distribuicao de X
n
a distribuicao invariante , e dada por
P(Z
n
= j)
j
P(X
n
= j, n < T
b
) +P(X
n
= j, n T
b
) P(X
n
= j)
P(X
n
= j, n < T
b
) +P(X
n
= j, n T
b
)
P(X
n
= j, n < T
b
) P(X
n
= j, n T
b
)
= |P(X
n
= j, n < T
b
) P(X
n
= j, n < T
b
)| ,
mas esta ultima expressao pode ser escrita como
P(X
n
= j | n < T
b
)P(n < T
b
) P(X
n
= j | n < T
b
)P(n < T
b
)
P(X
n
= j | n < T
b
) P(X
n
= j | n < T
b
)
P(n < T
b
)
P(n < T
b
).
o qual mostra que distribuicao de X
n
coincide com no limite n , uma vez que
P(T
b
< ) = 1.
A m de entendermos melhor o papel jogado pela aperiodicidade nesta demonstracao
podemos considerar novamente o exemplo 2.11, o qual apresenta um exemplo simples de
uma cadeia que nao converge ao invariante. Resolvendo o sistema P = e utilizando a
restricao

i
i
= 1, encontramos a distribuicao invariante = (1/2, 1/2). Se X
n
e iniciada
em 0 e X
n
e iniciada de acordo a , isto e, se P(X
0
= 1) = P(X
0
= 2) = 1/2 entao o Teorema
de convergencia pode ser aplicado, porem se P(X
0
= 1) = 1, entao devido a periodicidade
as duas cadeias X
n
e X
n
nunca podem se encontrar.
Uma cadeia de Markov irredutvel, aperiodica e com uma unica distribuicao de proba-
bilidade invariante como a descrita pelo Teorema 2.19 e chamada de ergodica.
O resto desta secao apresenta a generalizacao do Teorema de convergencia para os ca-
sos onde X pode ser periodica, transitoria ou nula-recorrente. Estes resultados nao serao
utilizados posteriormente e podem ser omitidos numa primeira leitura.
Teorema 2.20. Seja P irredutvel. Existe um inteiro d 1 e uma particao
S = C
0
C
1
C
d1
tal que, para C
nd+r
= C
r
,
(i) p
n
ij
> 0 so se i C
r
e j C
r+n
para algum r;
(ii)p
nd
ij
> 0 para todo n sucientemente grande, e para todo i, j C
r
, r.
Demonstracao. Seja k S xo, e entao I = {n 0 : p
n
kk
> 0}. Escolhemos n
1
, n
2
I,
n
1
< n
2
, tais que d = n
2
n
1
seja o menor possvel. Para r = 0, . . . , d 1 denimos
C
r
= {i S : p
nd+r
ki
> 0 para algum n 0}.
Entao, sob irredutibilidade, C
0
C
d1
= S. Agora, se p
nd+r
ki
> 0 e p
nd+s
ki
> 0 para alguns
r, s {0, 1, . . . , d 1}, entao, ao escolher m 0 tal que p
m
ik
> 0, temos que p
nd+r+m
kk
> 0 e
p
nd+s+m
kk
> 0 e entao, dada a minimalidade de d, r = s. Isto implica a existencia da particao.
Para demonstrar (i) suponha que p
n
ij
> 0 e i C
r
. Considere m tal que p
md+r
ki
> 0,
entao p
md+rk
ki
> 0 e j C
r+n
. Se i = j = k, entao d deve dividir cada um dos elementos de
I, em particular n
1
.
Se md n
2
1
, entao e possvel escrever que nd = qn
1
+r para inteiros q n
1
e 0 r n
1
1. Como d divide n
1
, entao r = md para algum inteiro m. Neste caso nd = (q m)n
1
+mn
2
,
logo
p
nd
kk

_
p
n1
kk
_
qm
_
p
n2
kk
_
m
> 0
e entao nd I. Para demonstrar (ii) tomemos i, j C
r
e xemos m
1
e m
2
tal que p
m1
ik
> 0
e p
m2
kj
> 0, logo
p
m1+nd+m2
ij
p
m1
ik
p
nd
kk
p
m2
kj
> 0
sempre e quando nd n
2
1
. Isto termina a prova ja que m
1
+ m
2
e necessariamente um
m ultiplo de d.
Em particular o Teorema mostra que d e o maior divisor comum (mdc) do conjunto
{n 0 : p
n
ii
> 0}.
O seguinte resultado constitui a descricao denitiva do comportamento limite para ca-
deias irredutveis. Contrariamente ao Teorema 2.19, agora nao serao feitas as hipoteses de
aperiodicidade e recorrencia positiva.
42 2 Tempo discreto
Teorema 2.21. Seja P irredutvel com perodo d e seja C
0
, C
1
, . . . , C
d1
a particao obtida
no Teorema 2.20. Seja uma distribuicao tal que

iC0

i
= 1. Suponha que (X
n
)
n0
e
Markov(, P). Entao para r = 0, 1, . . . , d 1 e j C
r
tem-se
P(X
nd+r
= j) d/m
j
quando n
onde m
j
e o tempo esperado de retorno a j. Em particular, para i C
0
e j C
r
p
nd+r
ij
d/m
j
quando n .
Demonstracao. Paso 1. Consideramos primeiro o caso aperiodico. Fixamos = P
r
. Pelo
Teorema A temos que
iCr
i
= 1.
Seja Y
n
= X
nd+r
, entao (Y
n
)
n0
e Markov(, P
d
) e pelo Teorema A, P
d
e irredutvel e
aperiodica em C
r
. Logo para j C
r
o tempo esperado de retorno de (Y
n
)
n0
a j e m
j
/d.
Entao se o Teorema e valido no caso aperiodico temos que
P(X
nd+r
= j) = P(Y
n
= j) d/m
j
quando n
e o Teorema e valido em geral.
Passo 2. Suponhamos que P e aperiodica. Se P e positiva-recorrente entao 1/m
j
=
j
, onde
e a unica distribuicao invariante, logo o resultado segue do Teorema 18. No outro caso
m
j
= , e entao devemos mostrar que
P(X
n
= j) 0 quando n .
Se P e transitoria, o resultado e simples e unicamente ca por ser considerado o caso nulo-
recorrente.
Passo 3. Suponha que P e aperiodica e nula-recorrente. Logo
k=0
P
j
(
j
> k) = E
j
(
j
) = .
Dado > 0, escolhemos K tal que
k=0
P
j
(
j
> k)
2
.
Em consequencia, para n K 1
1
n
k=nK+1
P(X
k
= j, X
m
= j para m = k + 1, , n)
=
n
k=nK+1
P(X
k
= j)P
j
(
j
> n k) =
K1
k=0
P(X
nk
= j)P
j
(
j
> k)
pelo que deve existir > 0 tal que P(X
nk
= j) /2 para algum k {0, 1, . . . , K 1}.
Retornemos ao argumento do acoplamento introduzido no Teorema 18, e so agora con-
sideremos (Y
n
)
n0
como Markov(, P), onde sera escolhida adiante. Seja W
n
= (X
n
, Y
n
).
Ao igual que antes, a aperiodicidade de (X
n
)
n0
garante a irredutibilidade de (W
n
)
n0
. Se
(W
n
)
n0
e transitoria, entao tomando = resulta
P(X
n
= j)
2
= P(W
n
= (j, j)) 0
Suponhamos agora que (W
n
)
n0
e recorrente. Entao, seguindo a notacao denida no Teo-
rema 18 temos que P(T < ) = 1, e o argumento do acoplamento mostra que
P(X
n
= j) (Y
n
= j)
0 quando n .
Este tipo de convergencia pode ser utilizada ao considerar
= P
k
, k = 1, . . . , K 1
de modo que P(Y
n
= j) = P(X
n+k
= j).

E possvel encontrar-nos um N tal que para n N
e k = 1, . . . , K 1,
P(X
n
= j) (X
n+k
= j)

2
.
Mas para cada n podemos encontrar-nos k {0, 1, . . . , K 1} tal que P(X
n+k
= j) /2.
Logo, para n N
P(X
n
= j) .
Sendo > 0 arbitrario, isto mostra que P(X
n
= j) 0 quando n .
2.7.1 Exerccios
Exerccio 2.41. Mostre que se i j, i.e. i e j comunicam, entao d
i
= d
j
.
Exerccio 2.42. Suponha que a cadeia (X
n
)
n0
e aperiodica, isto e d
i
= 1, i S (veja a
denicao de d
i
no exercicio anterior). Suponha que S e nito. Mostre que sob estas hipoteses
deve existir N < tal que
p
n
ii
> 0
para todo i S e todo n N. [Utilize o seguinte resultado elementar de teoria dos n umeros:
Seja A = {a
1
, a
2
, . . .} um conjunto de inteiros positivos tais que (i) mdc{a
1
, a
2
, . . .} = 1, e
(ii) se a A e a
A, entao a + a
A. Se A satisfaze (i) e (ii), entao existe um enteiro

N < tal que n A para tudo n N.]
Exerccio 2.43. Um dado honesto e jogado repetidas vezes. Seja X
n
a soma dos primeiros
n lancamentos. Encontre
lim
n
P(X
n
e m ultiplo de 13)
enunciando cuidadosamente todos os teoremas utilizados.
Exerccio 2.44. Considere uma cadeia de Markov com valores em S = {1, 2, . . . , 10} e
matriz de transicao
P =
_
_
1
2
0
1
2
0 0 0 0 0 0 0
0
1
3
0 0 0 0
2
3
0 0 0
1 0 0 0 0 0 0 0 0 0
0 0 0 0 1 0 0 0 0 0
0 0 0
1
3
1
3
0 0 0
1
3
0
0 0 0 0 0 1 0 0 0 0
0 0 0 0 0 0
1
4
0
3
4
0
0 0
1
4
1
4
0 0 0
1
4
0
1
4
0 1 0 0 0 0 0 0 0 0
0
1
3
0 0
1
3
0 0 0 0
1
3
_
_
.
(i) Encontre os conjuntos de estados fechados e irredutveis. (ii) Quais sao os estados tran-
sitorios? (iii) Quais estados nao sao nem transitorios nem zero-recorrentes? (iv) Os conjuntos
{1, 3}, {2, 7, 9} e {6} formam um conjunto fechado de estados irredutveis recorrentes nao
nulos e aperiodicos. Justique. (v) Existem estados absorventes?
44 2 Tempo discreto
2.8 Teorema ergodico
Os Teoremas ergodicos concernem o comportamento limite esperado de funcoes da cadeia,
e constituem uma generalizacao da lei dos grandes n umeros para a soma de seq uencias de
variaveis aleatorias dependentes, em particular quando a dependencia e Markov. A maneira
de exemplo, esta secao apresenta um teorema ergodico para a proporcao do tempo que a
cadeia permanece em cada estado quando n .
Seja V
i
(n) o n umero de visitas a i durante n 1,
V
i
(n) =
n1
k=0
1
{X
k
=i}
.
Logo, V
i
(n)/n e a proporcao do tempo durante n 1 na qual a cadeia permanece em i.
Para estabelecer o resultado lembramos a versao forte da lei dos grandes n umeros.
Lema 2.6 (Lei forte dos grandes n umeros). Sejam X
1
, . . . , X
n
variaveis aleatorias nao
negativas, independentes e identicamente distribudas tais que E[X
1
] = e Var(X
1
) < .
Seja Y
n
=
n
i=1
X
n
. Entao para qualquer > 0
P
_
lim
n
Y
n
n

_
= 1.
Demostracao. Veja o Teorema 5.1 em [6], capitulo 5.
Teorema 2.22 (Theorema ergodico). Seja P irredutvel e uma distribuicao qualquer
sobre S. Se (X
n
)
n0
e Markov(, P) entao para qualquer > 0
lim
n
P
_
V
i
(n)
n

1
m
i

_
= 1
onde m
i
= E
i
[
i
] e o tempo esperado de retorno a i. No caso positivo-recorrente, para
qualquer funcao limitada f : S R temos que
lim
n
P
_
1
n
n1
k=0
f(X
k
)

f

_
= 1
onde

f =
iS

i
f
i
e (
i
: i S) e a unica distribuicao invariante.
Demonstracao. Se P e transitoria entao
P
_
V
i
=
k=0
1
{X
k
=i}
<
_
= 1
ja que neste caso, da denicao de transitoriedade, para todo i S temos que E
i
[
k=0
V
i
(k)] <
. Logo, se i e transitorio temos que 1/m
i
= 1/E
i
[
i
] = 1/ = 0 e entao
lim
n
V
i
(n)
n
lim
n
V
i
n
= 0 =
1
m
i
.
Suponhamos agora que P e recorrente. Seja i S xo e =
i
. A recorrencia de P
implica que P( < ) = 1 (veja a demonstracao do Teorema 18). Da propriedade forte de
Markov sobre temos que (X
+n
)
n0
e Markov(
i
0
, X
1
, . . . , X
.
2.8 Teorema ergodico 45
Se n entao o tempo de permanencia em i das cadeias (X
n
)
n0
e (X
+n
)
n0
e igual.
Neste caso o problema da condic ao inicial e irrelevante, sendo suciente considerar-nos o
caso =
i
. Seja
S
r
i
=
_
r
i

r1
i
, se
r1
i
< ,
0, caso contrario.
Sob recorrencia, do Lema 1 visto em aula, temos que S
r
i
sao variaveis aleatorias indepen-
dentes e identicamente distribudas tais que E
i
[S
1
i
] = E
i
[
i
] = m
i
. Logo
S
1
i
+. . . +S
Vi(n)1
i
n 1, (2.10)
onde o lado esquerdo da desigualdade representa o tempo da ultima visita a i antes de n.
Tambem
S
1
i
+. . . +S
Vi(n)
i
n, (2.11)
sendo o lado esquerdo o tempo da primeira visita a i depois de n 1. De (2.10) e (2.11)
temos entao
S
1
i
+. . . +S
Vi(n)1
i
V
i
(n)

n
V
i
(n)

S
1
i
+. . . +S
Vi(n)
i
V
i
(n)
. (2.12)
Segue-se das propriedades da seq uencia (S
r
i
), r 1 e do Lema 2.6 que
lim
n
P
_
n
r=1
S
r
i
n
m
i

_
= 1.
Sob recorrencia temos que P
i
(
i
< ), o qual implica P
i
(V
i
= ) = lim
n
P
i
(V
i
(n) =
) = 1, e entao
lim
n
P
_
Vi(n)
r=1
S
r
i
V
i
(n)
m
i

_
= lim
n
P
_
Vi(n)1
r=1
S
r
i
V
i
(n)
m
i

_
= lim
n
P
_
n
r=1
S
r
i
V
i
(n)
m
i

_
= 1
Deste resultado junto a (2.12) temos que
lim
n
P
_
n
V
i
(n)
m
i

_
= 1
o qual mostra a primeira armacao do Teorema. Para a segunda parte suponhamos que
(X
n
)
n0
e positiva-recorrente. Seja f : S R uma funcao limitada, logo |f| 1. Para todo
conjunto nito J S temos que
1
n
n1
k=0
f(X
k
)

f
iS
V
i
(n)
n
f
i

iS
i
f
i
iS
_
V
i
(n)
n

i
_
i / J
_
V
i
(n)
n

i
_
+
iJ
_
V
i
(n)
n

i
_
i / J
V
i
(n)
n

i
iJ
V
i
(n)
n

i
i / J
_
V
i
(n)
n
+
i
_
+
iJ
V
i
(n)
n

i
46 2 Tempo discreto
na qual a primeira igualdade deve-se ao fato de que se f
i
= f(X
n
= i) para qualquer n
entao
iS
V
i
(n)
n
f
i
=
n1
k=0
f(X
k
)
n
,
em quanto que a primeira desigualdade segue da hipotese |f| 1. Finalmente, da primeira
parte da demonstracao, com probabilidade 1 temos que V
i
(n)/n
i
se n , logo no
limite
i / J
_
V
i
(n)
n
+
i
_
2
i / J
i
.
Dado o considerado na primeira parte da demonstracao, escolhemos J tal que
i / J
i
<

4
. (2.13)
E possvel escolher tambem N = N() tal que para n N(),
iJ
V
i
(n)
n

<

4
. (2.14)
O resultado segue nalmente ao juntar as cotas em (2.13) e (2.14) com a primeira parte do
Teorema.
2.8.1 Exerccios
Exerccio 2.45. Um dado e lan cado repetidas vezes. Seja S
n
o total de pontos obtidos
ate a n-esima jogada. Mostre que existe um valor limite para a proporcao dos primeiros n
valores de S
n
que sao divisveis por 7. Calcule o valor deste limite. [Dica: o limite desejado
corresponde a distribuicao estacionaria de uma cadeia de Markov com 7 estados.]
2.9 Aplicacoes
Apresentamos nesta secao alguns exemplos e aplicacoes classicas de processos estocasticos
em tempo discreto.
2.9.1 Processos de ramicacao
Suponha que no instante 0 existe um individuo o qual da origem a k lhos com probabilidade
p
k
, k 0. O conjunto dos lhos e a primeira geracao. Seguidamente, cada um dos indivduos
da primeira geracao procria de forma independente aos outros indivduos dando origem
a k novos indivduos com probabilidade p
k
. Seja X a variavel aleatoria com distribuicao
P(X = k) = p
k
, k 0, e Z
n
o n umero de indivduos da n-esima geracao. Desta forma
Z
n+1
= X
1
+X
2
+. . . +X
Zn
,
onde X
1
, X
2
, . . . sao copias independentes da variavel aleatoria X. Para fazer a notacao
mais precisa, denotamos por X
n
1
, X
n
2
, . . . os indivduos a serem gerados na n-esima geracao,
e neste caso
Z
n+1
= X
n
1
+X
n
2
+. . . +X
n
Zn
, n 0.
2.9 Aplicacoes 47
Z
0
Z
6
Z
5
Z
3
Z
2
Z
1
Oservamos que para qualquer Z
0
1, o processo (Z
n
), n 0 e uma cadeia de Markov.
Para vermos isto, suponhamos que Z
n
= k, entao Z
n+1
= X
n
1
+X
n
2
+. . .+X
n
i
, porem, mesmo
que as variaveis Z
n1
, Z
n2
, . . . , Z
0
sejam funcoes de X
n1
1
, X
n1
2
, . . . X
n2
1
, X
n2
2
, . . ., te-
mos que X
n
1
, X
n
2
, . . . , X
n
k
sao independentes de X
n1
1
, X
n1
2
, . . . , X
n2
1
, X
n2
2
, . . .. Desta
forma dado {Z
n
= k}, Z
n+1
e independente de Z
n1
, Z
n2
, . . ..
As propriedades da variavel aleatoria Z
n
podem ser estudadas considerando a funcao
geradora da variavel X
H(z) = E[z
X
] =
k=0
z
k
P(X = k),
pois Z
n
e o resultado da soma

Zn1
k=1
X
k
. Da expressao para Z
n
temos que
z
Zn+1
= z
X
n
1
z
X
2
2
z
X
n
Zn
,
logo
E[z
Zn+1
] = E
_
z
X
n
1
z
X
n
2
z
X
n
Zn
_
=
k=0
E
_
z
X
n
1
z
X
n
2
z
X
n
Zn
1
{Zn=k}
_
=
k=0
E[z
X
n
1
]E[z
X
n
2
] E[z
X
n
k
]E[1
Zn=k
] =
k=0
H(z)
k
P(Z
n
= k)
= E[H(z)
Zn
].
A quarta igualdade segue da independencia das variavel aleatorias {X
n
j
}, j = 1, . . . , k. Se
denotamos por H
n
a funcao geradora de Z
n
, H
n
(z) =

k=0
z
k
P(Z
n
= k), o resultado
anterior mostra que
H
n+1
(z) = H
n
(H(z)) (2.15)
Suponhamos que Z
0
= 1. Neste caso temos portanto que H
0
(z) = z e logo de (2.15) segue
H
1
(z) = H
0
(H(z)) = H(z). Aplicando (2.15) mais uma vez resulta H
2
(z) = H
1
(H(z)) =
H
_
H(H(z))
_
. Em geral para qualquer n 1 temos
H
n
(z) = H
_
H
n1
(z)
_
= H H H(z),
sendo que a operacao de composicao na expressao a direita e efetuada n vezes. Seja
0
o primeiro tempo de retorno ao estado 0. Observamos que 0 e um estado absorvente. O
seguinte lema mostra a relacao entre h
0
1
= P(
0
< |Z
0
= 1), a probabilidade de extincao,
e a funcao H.
48 2 Tempo discreto
Lema 2.7. Se E[X
1
] 1, entao h
0
1
= 1. Se E[X
1
] > 1, entao h
0
1
< 1 e a unica solucao nao
negativa diferente de 1 da equacao z = H(z).
Demonstracao. Observamos primeiro que a probabilidade de extincao, h
0
1
, e igual a P(Z
n
=
0) quando n . De fato,
h
0
1
= P
1
_

_
k=1
{Z
k
= 0}
_
= lim
n
P
1
_
n
_
k=1
{Z
k
= 0}
_
= lim
n
P
1
(Z
n
= 0)
uma vez que {Z
n
= 0} {Z
n+1
= 0}. Assim, da denicao de H
n
, temos imediatamente que
h
1
0
= lim
n
H
n
(0).
Mostraremos agora que h
0
1
{z : z = H(z)}. Seja h
0
1
(n) = P
1
(Z
n
= 0), logo h
0
1
(n) e nao
decrescente pois {Z
n
= 0} e nao decrescente. Notamos tambem que h
0
1
(n) h
0
1
quando
n . De (2.15) temos que H
n+1
(0) = H(H
n
(0)) portanto h
0
1
(n + 1) = H(h
0
1
(n)), assim
da continuidade de H concluimos que h
0
1
= H(h
0
1
).
A seguir, mostramos que h
0
1
e a menor solucao de z = H(z). Suponhamos que 0 w 1
e uma solucao de z = H(z), ou seja, que w = H(w). Sendo H
n
(z) = H(H
n1
(z)), e
H
n
(0) = h
0
1
(n) quando z = 0, entao
h
0
1
(1) = H(h
0
1
(0)) = H(0) H(w) = w,
o qual a sua vez implica
h
0
1
(2) = H
2
(0) = H(h
0
1
(1)) H(w) = w.
Em geral para n 1 temos
h
0
1
(n) = H
n
(0) = H(h
0
1
(n 1)) H(w) = w,
portanto no limite n segue que h
0
1
w.
m < 1
H(z)
z
h
0
1
m 1
H(z)
z
h
0
1
Figura 2.4.
A funcao H e convexa pois
H
(z) =
k2
k(k 1)z
k1
P(X = k) 0.
Por outro lado, H(0) = P(X = 0) = p
0
> 0. Isto implica que os gracos das funcoes
2.9 Aplicacoes 49
y = z, y = H(z)
apresentam no maximo dois pontos em comum. Um destes pontos corresponde a z = 1.
Observamos que H
(z) = m, logo se supomos que m 1, entao numa vizinhanca a esquerda

de z = 1, o graco de y = H(z) nao pode estar por baixo do graco de y = z. Pela
convexidade de H, isto implica que a unica intercepcao entre as duas funcoes ocorre quando
z = 1. No outro caso, quando H
(1) = m > 1, temos que em uma vizinhanca a esquerda de

1, o graco de H(z) se encontra por baixo do graco de y = z, logo deve existir um outro
ponto de intercepcao a esquerda do 1. A gura 2.4 ilustra ambas situacoes.
2.9.2 Exerccios
Exerccio 2.46. Seja (Z
n
), n 0, um processo de ramicacao e E[Z
n
] = m
n
. Mostre que
m
n
= m
n
, onde m = E[X
1
]. Sugestao: observe que m
n
= H
n
(1) e logo utilize H
n
(z) =
H
n1
(H(z)) considerando o limite z 1. Seja
2
= Var(X
1
), mostre que
Var(Z
n+1
) =
_
2
m
n
_
1m
n+1
1m
_
, se m = 1,
2
(n + 1), se m = 1.
Sugestao: pense em como calcular o segundo momento de Z
n+1
utilizando H(z).
3
Tempo contnuo
Este captulo apresenta uma introducao aos processos a tempo contnuo, isto e as seq uencias
(X
t
), para t [0, ). Um dos objetivos e o de recuperar a maior parte dos resultados do
captulo anterior como a classicacao de estados em recorrentes e transitorios, e a con-
vergencia a distribuicao invariante. Com estes objetivos por frente apresentamos primeiro
uma breve introducao aos processos a tempo contnuo e logo varios pre-requisitos entre os
quais incluimos primeiramente um estudo das matrizes Q. Mostraremos como o exponen-
cial da matrix Qt em certa forma joga o papel do n-esimo iterado da matriz P, o qual
resultou ser fundamental no caso discreto. Seguidamente apresentaremos algumas propri-
edades da distribuicao exponencial, e entao introduziremos o processo de Poisson como o
primeiro exemplo de um processo a tempo contnuo. Finalmente apresentamos os processos
de Markov.
3.1 Processos a tempo contnuo
Um processo a tempo contnuo com valores em S e a famlia (X
t
: t 0) de variaveis
aleatorias X
t
: S. Seguindo o exposto na introducao destas notas, suponhamos que e
possvel calcular as distribuicoes nito dimensionais deste processo, isto e, suponhamos que
podemos calcular as distribuicoes
P(X
t0
= i
0
, X
t1
= i
1
, . . . , X
tn
= i
n
),
para n 0, 0 t
0
t
1
. . . t
n
e qualquer seq uencia de estados i
0
, . . . , i
n
S.
Observamos que se o processo X toma valores em tempo discreto entao para qualquer
evento A determinado pelas trajetorias do processo temos que
P
_
_
n0
A
n
_
=
n
P(A
n
),
sempre e quando os eventos A
n
sejam disjuntos. Se o processo e a tempo contnuo, entao nao
existe uma regra equivalente para calcular a probabilidade do evento {
t0
A
t
}, sendo que
este ultimo considera uma uniao nao enumeravel. Porem neste caso existe uma condicao de
regularidade sobre o processo a qual permite calcular a probabilidade de qualquer evento a
partir das distribuicoes nito dimensionais. Esta condicao e conhecida como a continuidade
à direita do processo.
Denicao 3.1. O processo (X
t
), t 0, e contnuo à direita se para todo e t 0
existe um > 0 tal que
52 3 Tempo contnuo
X
s
() = X
t
() para t s t +.
Toda trajetoria t X
t
() de um processo contnuo à direita deve permanecer constante
durante um perodo de tempo em cada novo estado, portanto existem tres possveis formas
para as trajetorias destes processos:
(a) A trajetoria apresenta innitos pulos, mas o n umero de transicoes no intervalo [0, t]
sao nitas.
(b) A trajetoria apresenta um n umero nito de pulos e portanto existe um instante a
partir do qual X nao muda mais de estado.
(c) O processo X
t
realiza um n umero innito de transicoes durante o intervalo nito [0, t];
neste caso existe um tempo conhecido como o tempo da primeira explosao. Um exemplo
deste tempo esta apresentado na gura 3.1. Depois da primeira explosao o processo inicia
de novo podendo tal vez explodir posteriormente um n umero enumeravel de vezes ou nao.
t
X
t
()
J
0
S
1
S
2
S
3
J
1
J
2
J
3
. . .
. . .
Figura 3.1. tempos de transicao (Jn), tempos de permanencia (Sn), e tempo da explosao de um
processo contnuo.
Denicao 3.2. Sejam J
0
, J
1
, . . ., os tempos das transicoes e S
1
, S
2
, . . . os tempos de per-
manencia do processo estocastico (X
t
), t 0, denidos como
J
0
= 0, J
n+1
= inf{t J
n
: X
t
= X
Jn
}, n = 0, 1, . . .
e para n = 1, 2, . . .
S
n
=
_
J
n
J
n1
, se J
n1
<
, caso contrario.
Observamos que a propriedade da continuidade à direita implica que S
n
> 0 para todo
n. Se J
n+1
= para algum n, denimos X
= X
Jn
, como o valor nal do processo, no
caso contrario X
nao esta denido.

Denicao 3.3. O (primeiro) tempo de explosao e denido como
= sup
n
J
n
=
n=1
S
n
.
3.2 Matriz Q 53
Se < , entao (X
t
) e um processo explosivo.
Denicao 3.4. Seja (X
t
), t 0, um processo estocastico. O processo a tempo discreto (Y
n
),
n 0 denido por
Y
n
= X
Jn
e chamado de processo de transicao de (X
t
) , ou cadeia de transicao, caso este seja uma
cadeia de Markov.
Observamos que (Y
n
) e simplesmente a seq uencia de valores tomados pelo processo (X
t
)
ate o tempo da primeira explosao.
Nao sera considerado o que ocorre com um processo depois da primeira explosao. Neste
caso resulta conveniente agregar a S o estado de tal maneira que X
t
= se t
. Um processo que satisfaz esta condicao e chamado de processo mnimo. Um processo
mnimo pode ser recuperado a partir dos tempos de permanencia e do processo de transicao.
Observamos que ao especicar a distribuicao conjunta de S
1
, S
2
, . . . e (Y
n
), n 0 temos
mais uma forma de determinar a distribuicao de (X
t
), t 0, de uma maneira enumeravel.
Por exemplo, a probabilidade do evento {X
t
= i} e dada por
P(X
t
= i) =
n=0
P(Y
n
= i e J
n
t < J
n+1
)
e tambem
P
_
X
t
= i para algum t [0, )
_
= P(Y
n
= i para alguns n 0).
3.2 Matriz Q
Denicao 3.5. Seja S um conjunto enumeravel. Uma matriz Q em S e uma matriz com
elementos q
ij
, i, j S os quais satisfazem a seguintes condicoes
(i) 0 q
ii
< para todo i S.
(ii) q
ij
0 para todo i = j.
(iii)
jS
q
ij
= 0 para todo i S.
No caso
q
i
=
j=i
q
ij
< ,
escrevemos q
ii
= q
i
. Consideramos primeiro a relacao de esta matriz com um grafo que
agora apresenta os valores de q
ij
associados aos seus elos,
v
1
1
v
2 1

2
v
3
1
Q =
_
_
2 1 1
2 3 1
1 0 1
_
_
Cada elemento q
ij
, o qual se encontra sobre um dos elos do grafo associado, corresponde a
taxa da transicao do vertice i ate o vertice j. Assim, q
ij
representa o n umero de transicoes
de i a j por unidade de tempo. Seguindo a propriedade (iii) interpretamos q
i
como a taxa de
sada do vertice i, isto e, o n umero de transicoes de i a qualquer outro vertice por unidade
de tempo.
54 3 Tempo contnuo
Naturalmente o conjunto de tempos discretos 0, 1, . . . esta includo no conjunto [0, ). Se
0 < p < 1, podemos interpolar a seq uencia discreta p
n
, n = 0, 1, . . ., pela funcao e
tq
, t 0,
onde q = log p. Se agora consideramos a matriz P = (p
ij
: i, j, S), sera entao possvel
interpolar os valores de P
n
, n = 0, 1, . . .? Obviamente que a resposta a esta pergunta sera
essencial para estabelecer o vinculo com a teoria a tempo discreto.
Suponhamos que a serie
n
k=0
Q
k
k!
,
converge para todo n N, e que no limite esta seja igual a e
Q
. Mais ainda, se Q
1
e Q
2
comutam, entao
e
Q1+Q2
=
n=0
(Q
1
+Q
2
)
n
n!
=
n=0
1
n!
n
k=0
n!
k!(n k)!
Q
k
1
Q
nk
2
=
k=0
Q
k
1
k!
n=k
Q
nk
2
(n k)!
= e
Q1Q2
.
Suponhamos por ultimo que e possvel encontrar uma matriz Q tal que P = e
Q
, entao
e
nQ
= (e
Q
)
n
= P
n
,
de tal maneira que e
tQ
, para t 0 pode ser utilizada para interpolar P
n
. Denimos desta
forma
P(t) = e
tQ
(3.1)
e a seguir apresentamos algumas das propriedades de P(t).
Teorema 3.1. Seja Q uma matriz denida no conjunto nito S. Neste caso (P(t) : t 0)
apresenta as seguintes propriedades
(i) P(t) e um semi-grupo, isto e,
P(s +t) = P(s)P(t), para todo s, t 0.
(ii) (P(t) : t 0) e a unica solucao a equacao de forward
d
dt
P(t) = P(t)Q, P(0) = I.
(iii) (P(t) : t 0) e a unica solucao a equacao de backward
d
dt
P(t) = QP(t), P(0) = I.
(iv)Para k = 0, 1, . . ., temos que
d
dt
k
P
(k)
(t)
t=0
= Q
k
.
Demonstracao. Para quaisquer s, t R temos que as matrizes sQ e tQ comutam, portanto
e
sQ
e
tQ
= e
s+t
Q, mostrando a propriedade de semi-grupo. Observamos que
P(t) =
k=0
(tQ)
k
k!
(3.2)
3.2 Matriz Q 55
apresenta um raio de convergencia innito
1
portanto cada componente e diferenciavel e com
derivada dada por
P
(t) =
k=1
t
k1
Q
k
(k 1)!
= P(t)Q = QP(t).
Desta forma P(t) satisfaze as equacoes de forward e backward. Diferenciando termo a termo
obtemos o ultimo item, (iv). So resta mostrar que P(t) e a unica solucao as equacoes de
forward e backward. Se L(t) satisfaz a equacao de forward, entao
d
dt
(L(t)e
tQ
) =
_
d
dt
L(t)
_
e
tQ
+L(t)
_
d
dt
e
tQ
_
= L(t)Qe
tQ
+L(t)(Q)e
tQ
= 0,
e entao deduzimos que L(t)e
tQ
e constante, portanto L(t) = P(t). Um argumento similar
mostra a unicidade da solucao a equacao de backwards.
O Teorema anterior constitui um resultado importante sobre os exponenciais de uma
matriz Q qualquer emS quando S e nito. No caso quando P(t)e estocastica para todo t 0,
dizemos que P(t) e um semi-grupo estocastico. Se Q apresenta a estrutura da denicao 3.5,
entao o seu exponencial e um semi-grupo estocastico.
Teorema 3.2. A matriz Q denida em S, com S nito, apresenta a forma determinada
pela denicao 3.5 se, e somente se o semi-grupo P(t) = e
tQ
e estocastico.
Demonstracao. Se t 0, entao,
P(t) = I +tQ+O(t
2
).
Neste caso a notacao f(t) = O(t) signica que no limite t 0, f(t)/t < C para todos os
valores t sucientemente pequenos, e C < constante . Dado que P(t) = (e
t
n
Q
)
n
= P(t/n)
n
para todo n, temos q
ij
0 para i = j se, e somente se p
ij
(t) 0 para todo i, j e todo t 0.
Se a soma de cada linha de Q e zero, entao cada linha de Q
n
tambem e zero,
kS
q
n
ik
=
kS
jS
q
n1
ij
q
jk
=
jS
q
n1
ij
kS
q
jk
= 0.
Para quaisquer dois matrizes A, B em S com elementos a
ij
e b
ij
respectivamente, temos
que A = B se a
ij
= b
ij
, portanto de (3.2) resulta
jS
p
ij
(t) =
jS
k=0
(tq
ij
)
k
k!
= 1 +
k=1
jS
(tq
ij
)
k
k!
= 1.
No sentido contrario, se

j
p
ij
(t) = 1 para todo t 0, entao seguindo o Teorema 3.1(ii),
jS
q
ij
=
d
dt
jS
p
ij
(t)
t=0
= 0.
Retornamos agora ao problema de interpolar P
n
, mas desde o ponto de vista do processo.
Suponhamos que P e uma matriz estocastica da forma e
Q
, onde Q apresenta as propriedades
(i)-(iii) em denicao 3.5. Consideramos um inteiro m grande e entao o processo (X
m
n
), n 0
1
veja o apendice
56 3 Tempo contnuo
o qual e Markov(, e
Q/m
), isto e, para m xo, consideramos um processo com ndices em
{n/m : n = 0, 1, 2, . . .},
X
m/n
= X
m
n
,
tal que para m = 1 recuperamos (X
n
), o qual e Markov(, (e
Q/m
)
m
), sendo
(e
Q/m
)
m
= e
Q
= P.
Desta maneira e possvel encontrar cadeias de Markov com ndices {n/m : n = 0, 1, 2, . . .}
arbitrariamente pequenos, tais que quando amostrados a valores inteiros originam ao uma
cadeia de Markov(, P). Veremos adiante que existe um processo a tempo contnuo, (X
t
),
com esta propriedade.
Apresentamos a continuacao um exemplo onde as probabilidade de transicao sao calcu-
ladas explicitamente a partir da matriz Q.
Exemplo 3.1. Seja X uma cadeia de Markov com a seguinte matriz Q,
Q =
_
_
2 1 1
1 1 0
2 1 3
_
_
.
Logo a equacao caracterstica associada e,
0 = det( Q) = ( + 2)( + 4),
portanto Q apresenta os autovalores
1
= 0,
2
= 2, e
3
= 4. Q admite por tanto a
representacao diagonal
Q = N
_
_
0 0 0
0 2 0
0 0 4
_
_
N
1
,
onde
N =
_
_
1 1 3
1 1 1
1 1 5
_
_
, N
1
=
_
_
3/8 1/2 1/8
1/4 1/2 1/4
1/8 0 1/8
_
_
.
Logo
e
tQ
=
n=0
(tQ)
n
n!
= N
n=0
1
n!
_
_
0
n
0 0
0 (2t)
n
0
0 0 (4t)
n
_
_
N
1
= N
_
_
1 0 0
0 e
2t
0
0 0 e
4t
_
_
N
1
=
_
_
3
8
+
1
4
e
2t
+
3
8
e
4t
1
2

1
2
e
2t
1
8
+
1
4
e
2t
3
8
e
4t
3
8

1
4
e
2t
1
8
e
4t
1
2
+
1
2
e
2t
1
8

1
4
e
2t
+
1
8
e
4t
3
8
+
1
4
e
2t
5
8
e
4t
1
2

1
2
e
2t
1
8
+
1
4
e
2t
+
5
8
e
4t
_
_
.
Desta maneira nalmente obtemos
p
11
(t) =
3
8
+
1
4
e
2t
+
3
8
e
4t
.
3.3 Propriedades da distribuicao exponencial 57
3.3 Propriedades da distribuicao exponencial
A variavel aleatoria T : [0, ] apresenta distribuicao exponencial com parametro ,
0 < , se
P(T > t) = e
t
, para todo t 0.
Neste caso escrevemos T E(). Se > 0, entao T tem densidade de probabilidade
f
T
(t) =
_
e
t
se t 0,
0 se t < 0.
Utilizando a formula telescopica para a media de T obtemos
E[T] =
_

0
P(T > t) dt =
1
A distribuicao exponencial joga um papel fundamental na teoria dos processos de Mar-

kov. Em particular esta se encontra relacionada com a propriedade da perda de memoria e
portanto com a propriedade de Markov em tempo contnuo.
Teorema 3.3 (Perda de memoria). A variavel aleatoria T : (0, ] tem distribuicao
exponencial se, e somente se esta apresenta a seguinte propriedade
P(T > s +t | T > s) = P(T > t), para todo s, t 0.
Demonstracao. Suponhamos que T E(), entao
P(T > s +t | T > s) =
P(T > s +t, T > s)
P(T > s)
=
P(T > s +t)
P(T > s)
=
e
(s+t)
e
s
= e
t
= P(T > t).
Suponhamos agora que T satisfaze a propriedade da perda de memoria, logo seja neste caso
g(t) = P(T > t). Observamos que
g(s +t) = P(T > s +t) = P(T > s +t, T > s)
= P(T > s +t | T > s)P(T > s)
= g(t)g(s),
o qual mostra que g(x) e decrescente em x. Por hipotese temos que T > 0, logo existe um
n sucientemente grande tal que P(T > 1/n) > 0 e desta forma
g(1) = P(T > 1) = g
_
1
n
+
1
n
+. . . +
1
n
_
= g
_
1
n
_
n
> 0,
o qual implica a sua vez que existe 0 < tal que g(1) = e
. Consideramos agora dois

inteiros p, q 1 tais que p/q = r. Entao
P(T > r) = g(r) = g
_
q
1
_
p
> 0,
portanto g(r) = e
r
, para todo r Q. Por ultimo, consideramos t > 0 real, e dois racionais
r e s tais que r t s. Neste caso, como g e decresce com o seu argumento,
e
r
= g(r) g(t) g(s) = e
s
,
Como Q e denso em R, podemos escolher r e s tao proximos de t como queramos, logo das
desigualdades acima conclumos que g(t) = e
t
.
58 3 Tempo contnuo
O seguinte resultado mostra que uma soma de variaveis aleatorias exponenciais indepen-
dentes pode ser quase certamente nita ou innita. Alem disto tambem fornece um criterio
para determinar qual destas possibilidades e certa. Este resultado sera utilizado para de-
terminar se um processo de Markov a tempo contnuo pode realizar um n umero innito de
transicoes num intervalo de tempo innito ou nao, isto e, se o processo e explosivo ou nao.
Teorema 3.4. Sejam S
1
, S
2
, . . . uma seq uencia de variaveis aleatorias tais que S
n
E(
n
),
0 <
n
< para todo n.
(i) Se
n=1
1
n
< , entao P
_

n=1
S
n
<
_
= 1.
(ii) Se
n=1
1
n
= , entao P
_

n=1
S
n
=
_
= 1.
Demonstracao. Suponhamos primeiro que

n=1
1
n
< 0, pelo Teorema de Convergencia
Monotona (veja [1] ou [5]),
E
_

k=1
S
k
_
= lim
k=
E
_
k
n=1
S
n
_
=
k=1
1
k
< ,
portanto
P
_

k=1
S
k
<
_
= 1.
Se agora

n=1
1
n
= entao

n=1
(1 + 1/
n
) = . Neste caso temos,
E
_
exp
_
k=1
S
k
__
= E
_
lim
n
n
k=1
e
S
k
_
= lim
n
E
_
n
k=1
e
S
k
_
=
k=1
E
_
e
S
k
_
=
k=1
_
1 +
1
k
_
1
= 0
sendo que a segunda igualdade segue do Teorema de Convergencia Monotona, a terceira por
independencia das variaveis aleat orias S
n
, e a quarta simplesmente da integral
E
_
e
S
k
_
=
_

0
e
t
k
e
k
t
dt =

k
k
+ 1
.
Desta forma, se E
_
e
P
k0
S
k
_
= 0, entao
P
_

k=1
S
k
=
_
= 1.
O seguintes dois resultados serao utilizados adiante.
Lema 3.1. Seja K um conjunto enumeravel e sejam T
k
, k K, variaveis aleatorias expo-
nenciais independentes, T
k
E(q
k
), tais que 0 < q =

kK
q
k
< . Seja T = inf
k
T
k
. O
inmo e alcancado para um unico valor aleatorio K de k com probabilidade 1. Pelo outro
lado, as variaveis aleatorias T e K sao independnetes tais que T E(q) e P(K = k) = q
k
/q.
3.3 Propriedades da distribuicao exponencial 59
Demonstracao. Se T
k
< T
j
para todo j = k, entao seja K = k. Caso nao exista tal indice
k, K nao esta denido. Agora, simplesmente da denicao de T e K,
P(K = k, T t) = P(T
k
t, T
j
> T
k
j = k),
porem o termino a direita da igualdade e
P(T
k
t, T
j
> t j = k) = P(T
k
t) P(T
j
> t j = k)
=
_

t
q
k
e
q
k
u
P(T
j
> u j = k) du
=
_

t
q
k
e
q
k
u
j=k
e
qju
du
=
_

t
q
k
e
qu
du =
q
k
q
e
qt
.
Temos portanto que T e K sao variaveis aleatorias independentes com distribuicoes
P(T t) = e
qt
e P(K = k) = q
k
/q. Segue disto ultimo que P(K = k para algum k) =
kK
P(K = k) =
kK
q
k
/q = 1.
Lema 3.2. Sejam S E() e R E() para t 0, entao
P(S t < S +R) = P(R t < R +S).
Demonstracao.
P(S t < S +R) = P(S = s, R = r), s [0, t], r [t s, +),
logo, da independencia entre S e R
P(S = s, R = r) =
_

ts
_
t
0
P(S = s)P(R = r)dsdr
=
_
t
0
e
s
__

ts
e
r
dr
_
ds =
_
t
0
e
s
e
(ts)
ds
=
_
t
0
e
(ts)
e
t
ds = P(R t < R +S).
Exerccio 3.1. Sejam S e T duas variaveis aleatorias exponenciais com parametros e
respectivamente. Qual a distribui cao de min{S, T}? Qual a probabilidade do evento {S
T}? Mostre que os dois eventos {S < T} e {min{S, T}} sao independentes.
Exerccio 3.2. Sejam T
1
, T
2
, . . . variaveis aleatorias independentes identicamente distribui-
das com distribuicao exponencial com parametro . Seja N uma variavel aleatoria geometrica
com parametro ,
P(N = n) = (1 )
n1
, n = 1, 2, . . .
Mostre que T =
N
i=1
T
i
tem distribuicao exponencial com parametro .
Exerccio 3.3. Sejam S
1
, S
2
, . . . variaveis aleatorias exponenciais independentes com
parametros
1
,
2
, . . . respectivamente. Mostre que
1
S
1
e exponencial com parametro
1. Utilize a lei dos grandes n umeros para mostrar que
P
_

n=1
S
n
=
_
= 1,
quando
n
= 1 para tudo n 1, e logo tambem para o caso quando sup
n
n
< . Sera esta
ultima condicao necessaria?
60 3 Tempo contnuo
3.4 Processo de Poisson
O processo de Poisson e um dos exemplos mais simples de uma cadeia de Markov em tempo
contnuo o qual a sua vez joga um papel fundamental na construcao de outros processos.
Na pratica, o processo de Poisson e utilizado para modelar o n umero de ocorrencias de um
certo evento em tempo contnuo.
Denicao 3.6. Um processo (N
t
), t 0, contnuo a direita com valores em Z
+
e um
processo de Poisson com taxa , 0 < < se os seus tempos de permanecia (S
n
), n =
1, 2, . . ., sao variaveis aleatorias independentes, com distribuicao exponencial de parametro
, e sua cadeia de transicao e dada por Y
n
= n.
O grafo e a matriz Q do processo de Poisson sao
v
1
v
2
v
3

Q =
_
_

.
.
.
.
.
.
_
_
Observamos que para este processo
n=1
1/ = , portanto, do Teorema 3.4, P(
n=1
S
n
=
) = 1, o qual implica que este processo e nao explosivo e entao que as distribuicoes nito
dimensionais do processo (N
t
), t 0, se encontram unicamente determinadas.
Uma maneira simples de construir o processo de Poisson com taxa e considerar
uma seq uencia de variaveis aleat orias exponenciais independentes (S
n
), n = 1, 2, . . . com
parametro , e entao J
0
= 0, J
n
= S
n
de tal forma que
N
t
= n se J
n
t < J
n+1
.
O seguente desenho apresenta uma trajetoria possvel desta construcao.
S3
S4 S1
S2
J0
t
J1
J2 J3
J4

N
t
()
v
4
v
3
v
2
v
1
Figura 3.2. tempos de permanencia e tempos de transicao em uma trajetoria tipica de um processo
de Poisson.
Mostramos agora como a propriedade da perda de memoria dos tempos de permanencia
exponenciais, Teorema 3.3, determina a propriedade de perda de memoria do processo de
Poisson.
3.4 Processo de Poisson 61
Teorema 3.5 (Propriedade de Markov do processo de Poisson). Seja (N
t
), t 0
um processo de Poisson de taxa . Para qualquer s 0, o processo (N
s+t
N
s
), t 0, e
um processo de Poisson de taxa , independente de (N
r
: r s).
Demonstracao. Suponhamos, sem perda de generalidade que X
s
= i. Seja (
S
n
), n 1, a
sequencia de tempos denida por
S
1
= S
i+1
(s J
i
),

S
n
= S
i+n
, n 2,
O seguente desenho ilustra esta denicao. Claramente a sequencia (
S
n
), n 0, corresponde
S
2
0
t
J
i
s
J
i+1
J
i+2
S
1
aos tempos de permanencia do processo

N
t
= N
s+t
N
s
, t 0. Notamos que se ocorre
{N
s
= i} = {J
i
s < J
i+1
}, entao necessariamente S
i+1
> s J
i
. Logo,
P(
S
1
> u|N
s
= i,S
1
= t
1
, . . . , S
i
= t
i
)
= P(S
i+1
> u + (s J
i
)|N
s
= i, S
1
= t
1
, . . . , S
i
= t
i
)
= P
_
S
i+1
> u +
_
s
i
n=1
t
n
_
S
i+1
> s
i
n=1
t
n
_
= P(S
i+1
> u),
A ultima igualdade segue da propriedade da perda de memoria de S
i+1
, o qual a sua vez
segue por hipotese pois S
i+1
e exponencial. Isto mostra que

S
1
dado N
s
= i e independente
de S
1
, . . . S
i
e tambem que

S
1
E(). Diretamente da sua denicao, os tempos

S
2
,

S
3
,
. . . sao independentes de S
1
, S
2
, . . ., S
i
, e exponencialmente distribudos com parametro .
Assim, dado o evento {N
s
= i}, os tempos de permanencia

S
1
,

S
2
, . . . sao independentes
E() e independentes de S
1
, . . . , S
i
. Conclumos desta forma que (

N
t
), t 0 e Poisson com
parametro e incrementos independentes de (N
u
: u s).
O seguinte resultado considera a generalizacao do Teorema anterior para um tempo de
parada T.
Teorema 3.6 (Propriedade de Markov forte do processo de Poisson). Seja (N
t
),
t 0 um processo de Poisson com taxa e seja T um tempo de parada para este processo.
Dado o evento {T < }, o processo (N
T+t
N
T
), t 0 e um processo de Poisson com
taxa , independente de (N
s
: s T).
Demonstracao. Veja [7], Teorema 6.5.4.
2
O seguinte Teorema fundamental fornece tres maneiras diferentes de caraterizar um
processo de Poisson: (a) a partir de processo de transicao e os tempos de permanencia, veja
a secao 3.1, (b) uma denicao innitesimal, e (c) utilizando a probabilidade de transicao.
Em (b) utilizamos a notacao f(t) = o(t), com o signicado f(t)/t 0 quando t 0.
2
Para esta demonstracao e necessario ter conhecimentos da teoria da medida.
62 3 Tempo contnuo
Teorema 3.7 (Caraterizacao do processo de Poisson). Seja (N
t
), t 0, um pro-
cesso contnuo à direita com valores interos iniciado na origem. As seguintes condicoes sao
equivalentes.
(a) Os tempos de permanencia S
1
, S
2
, . . . de (N
t
) sao variaveis aleatorias independentes
e identicamente distribudas com distribuicao E(), a cadeia de transicao associada e
dada por Y
n
= n;
(b) (N
t
), t 0, apresenta incrementos independentes, e quando h 0, uniformemente em
t, temos que
P(N
t+h
N
t
= 0) = 1 h +o(h),
P(N
t+h
N
t
= 1) = h +o(h);
(c) (N
t
), t 0 apresenta incrementos estacionarios independentes, e, para cada t, N
t
tem
distribuicao Poisson com parametro t.
Se o processo {N
t
: t R
+
} satisfaz qualquer uma destas tres condicoes, entao este e
chado de processo de Poisson de taxa .
Demonstracao. Mostramos primeiro (a) (b). Suponhamos que (a) seja certa, entao da
propriedade de Markov, para quaisquer s, t 0, o incremento N
h+t
N
t
tem a mesma
distribuicao de N
h
e e independete de (N
s
: s t). Portanto (N
t
), t 0, tem incrementos
independentes e no limite h 0, temos
P(N
t+h
N
t
1) = P(N
h
1) = P(J
1
h) = 1 e
h
= h +o(h),
P(N
t+h
N
t
2) = P(N
h
2) = P(J
2
h)
P(S
1
h e S
2
h) = (1 e
h
)
2
= o(h),
o qual implica (b).
Mostramos agora (b) (c). Se (b) e valida, entao, para i = 2, 3, . . ., temos que unifor-
memente em t,
P(N
t+h
N
t
= i) = o(h) quando h 0.
Seja p
j
(t) = P(N
t
= j). temos ent ao que para j = 1, 2, . . .,
p
j
(t +h) = P(N
t+h
= j) =
j
i=0
P(N
t+h
= j, N
t
= j i)
=
j
i=0
P(N
t+h
N
t
= i)P(N
t
= j i)
=
_
1 h +o(h)
_
p
j
(t) +
_
h +o(h)
_
p
j1
(t) +o(h).
Assim,
p
j
(t +h) p
j
(t)
h
= p
j
(t) +p
j1
(t) +
o(h)
h
,
e entao no limite h 0 temos nalmente o seguinte sistema de equacoes para j = 1, 2, . . .,
d p
j
(t)
dt
= p
j
(t) p
j1
(t).
O caso j = 0 pode ser considerado de forma parecida, resultando
3.4 Processo de Poisson 63
p
0
(t) =
0
(t).
Dado que N
0
= 0, as concicoes iniciais dos sistema sao p
j
(0) = 0, j 0, e p
0
(0) = 1.
Neste caso e possvel encontrar uma solucao analtica ao sistema. Observamos primeiro que
p
0
(t) = e
t
. Logo para j = 1 temos que (e
t
p
1
(t))
= e
t
p
0
(t), assim p
1
(t) = e
t
/1!. Em
geral para j 1 temos (e
t
p
j
(t))
= e
t
p
j1
(t), portanto ressolvendo de maneira recursiva
obtemos
p
j
(t) = e
t
(t)
j
j!
, j 0.
Conclumos desta forma que N
t
apresenta distribuicao Poisson com parametro t. Agora,
se N
t
satisfaze (b), entao este apresenta incrementos independentes. Por outro lado, como
(N
s+t
N
s
) satisfaze (b), entao para qualquer s > 0 temos que N
s+t
N
s
Poisson(t), o
qual implica (c).
Mostramos por ultimo que (c) (a). Sejam (J
n
), n 1, os tempos de transicao do
processo de Possoin N
t
. Suponhamos que a distribuicao conjunta de J = (J
1
, . . . , J
k
), e
dada por
f
J
(t
1
, . . . , t
k
) =
k
e
t
k
1
{0t1...t
k
}
,
Neste caso, os tempos de permanencia S = (S
1
, . . . , S
k
), tem distribuicao
f
S
(s
1
, s
2
, . . . , s
k
) = f
J
(s
1
, s
1
+s
2
, . . . , s
1
+. . . +s
k
)
=
k
e
(s1+...+s
k
)
1
{s1>0,...,s
k
>0}
=
k
i=1
e
si
1
{si>0}
,
o qual mostra que as variaveis aleatorias S
n
sao independentes e identicamente distribudas
com distribuicao exponencial de parametro . Desta forma so ca por ser mostrado que
f
J
de fato apresenta a forma assumida acima. A distribuicao de J, pode ser derivada ao
considerar o limite h = (h
1
, . . . , h
k
) 0 na quantidade P(
k
i=1
J
i
(t
i
, t
i
+ h
i
])/h. Sejam
A
i
= {N
ti+hi
N
ti
= 1} e B
i
= {N
ti+1
N
ti+hi
= 0}, logo
_
k
i=1
J
i
(t
i
, t
i
+h
i
]
_
=
_
N
t1
= 0
_
k1
i=1
(A
i
B
i
)
_
N
t
k
+h
k
N
t
k
1
_
,
sempre e quando h
1
, . . . , h
k
sejam o sucientemente pequenos. Neste caso, seguindo a in-
dependencia entre os incrementos temos que o evento a direita da ultima igualdade tem
probabilidade
P(N
t1
= 0)
k1
i=1
P(A
i
B
i
) P(N
t
k
+h
k
N
t
k
1)
mas, sob (c), os incrementos de N
t
sao estacionarios e N
t
apresenta distribuicao Poisson(t),
assim a probabilidade acima e
e
t1
e
h1
h
1
e
(t2t1h1)
e
h2
h
2
e
(t3t2h2)
(1 e
h
k
),
isto e,
e
t1
k1
i=1
_
e
hi
h
i
e
(ti+1tihi)
_
(1 e
h
k
)
=
k1
h
1
h
k1
e
t
k
(1 e
h
k
).
64 3 Tempo contnuo
Temos portanto que
lim
hi0
k1
h
1
h
k1
e
t
k
(1 e
h
k
)
h
1
h
k1
h
k
=
k1
e
t
k
lim
h
k
0
1 e
h
k
h
k
=
k
e
t
k
.
3.4.1 Exerccios
Exerccio 3.4. 2. Seja {N(t) : t 0} um processo de Poisson com taxa e seja {X(t) :
t 0} com valores em S = {1, 1} o processo denido por
X(t) = X(0) (1)
N(t)
.
(i) Verique se {X(t)} e uma cadeia de Markov. (ii) Encontre o semigrupo de {X(t)}. (iii)
Encontre o gerador Q.
Exerccio 3.5. 1. Seja {N(t) : t 0} um processo de Poisson com taxa , e probabilidades
de transicao p
ij
(t) = (P
t
)
ij
. (i) Mostre que {P
t
} e um semigrupo. (ii) Verique se {P
t
} e
uniforme. (iii) Encontre o gerador do processo Q. (3,5 pontos)
Exerccio 3.6 (Processo de nascimento (simples)). Seja
n
= n. O seguinte modelo
descreve uma populacao na qual cada individuo tem um descendente com probabilidade
h +o(h) no intervalo (t, t +h). O n umero de nascimentos M no intervalo (t, t +h) satisfaz
P(M = m|N(t) = n) =
_
n
m
_
(h)
m
(1 h)
nm
+o(h),
isto e,
P(M = m|N(t) = n) =
_
n
h +o(h) = 1 nh +o(h) se m = 0,
o(h) se = m > 1,
n
h +o(h) = nh +o(h) se m = 1.
Analogamente ao processo de Poisson, sejam as probabilidades de transicao
p
ij
(t) = P(N(s +t) = j|N(s) = i) = P(N(t) = j|N(0) = i).
(i) Deduzir o sistema de equacoes adiantadas (forward),
p
ij
(t) =
j1
p
i,j1
(t)
j
p
ij
(t), j i
e o sistema retardado (backward),
p
ij
(t) =
i
p
i+1,j
(t)
i
p
ij
(t), j i.
Exerccio 3.7. Resolva os sistemas forwards e backwards para o processo de nascimento
simples, considerando a mesma condicao inicial p
ij
(0) =
ij
onde
ij
= 1 se i = j e
ij
= 0
se i = j.
3.5 Processos de Markov 65
Exerccio 3.8. Um processo de Poisson nao homogeneo e um processo N(t) denido da
mesma forma que o processo de Poisson exceto que neste caso a probabilidade de uma
chegada no intervalo (t, t + h) e (t)h + o(h), onde (t) varia com t. Obtenha as equacoes
de forward e backward para N.
Exerccio 3.9. Mostre partindo da denicao da probabilidade de transicao do processo de
Poisson que
P(t
1
< J
1
t
2
< J
2
) = e
t1
(t
2
t
1
)e
(t2t1)
e portanto que J
2
J
1
= S
2
apresenta distribuicao exponencial com parametro , indepen-
dentemente de J
1
.
Exerccio 3.10. As chegadas dos onibuses da linha 1 formam um processo de Poisson com
taxa 1 (1 onibus por hora), e os da linha 7 um processo de Poisson com taxa 7 e indepen-
dentemente dos da linha 1. (i) Qual e a probabilidade de que exatamente 3 onibus chegem
durante a primeira hora? (ii) Qual e a probabilidade de que exatamente 3 onibus da li-
nha 7 cheguem ao ponto quando voce esta esperando por uno da linha 1? (iii) Qual e a
probabilidade de que voce que aguardando por 30 minutos sem que passe nenhum onibus?
3.5 Processos de Markov
3.5.1 Cadeia de transicao e tempos de permanencia
Nesta secao damos inicio propriamente a teoria dos processos de Markov. Estes processos
serao denidos apartir da distribuicao conjunta do processo de transicao e os tempos de
permanencia. Observamos que esta abordagem corresponde a seguida em uma das denicoes
do processo de Poisson, i. e., em Teorema 3.7 (a).
Seja S um conjunto enumeravel. A informacao essencial que determina um processo de
Markov com valores em S e dada por uma matriz Q, isto e, pelos n umeros q
ij
, i, j S, os
quais satisfazem as condicoes: (i) 0 q
i
= q
ii
< para todo i S, (ii) q
ij
0 para todo
i = j, e (iii)

jS
q
ij
= 0 para todo i S.
Denicao 3.7. A matriz estocastica = (
ij
: i, j S), e a matriz de probabilidade de
transicao associada a matriz Q se
ij
=
_
q
ij
/q
i
, se j = i e q
i
= 0
0, se j = i, e q
i
= 0
ii
=
_
0, se q
i
= 0
1, se q
i
= 0
Desta forma para a i-esima la de Q tomamos todos os elementods nao diagonais e os
re-escalamos de forma que a sua soma seja igual a 1. Este procedimento nao e possvel se
todos os elementos no diagonais sao 0, neste caso fazemos os elementos no diagonais iguais
a 0 e a diagonal igual a 1. Por exemplo, para a seguinte matriz Q e o seu grafo
v
1
1
/
1
v
2 1

2
v
3
1
Q =
_
_
2 1 1
2 3 1
1 0 1
_
_
66 3 Tempo contnuo
temos
v
1
1
2
/
1
2
v
2
1
3
2
3
v
3
1
=
_
_
0 1/2 1/2
1 0 0
2/3 1/3 0
_
_
.
Denicao 3.8 (processo de Markov). Um processo mnimo contnuo a direita (X
t
),
t 0, com valores em S, e um processo de Markov com distribuicao inicial e matriz
geradora Q se a sua cadeia de transicao (Y
n
), n 0, e uma cadeia de Markov(, ), e dado
{Y
0
, Y
1
, . . . , Y
n1
}, os seus tempos de permanencia S
1
, S
2
, . . . , S
n
sao variaveis aleatorias
independetes e exponencias com parametros q(Y
0
), q(Y
1
), . . . , q(Y
n1
) respectivamente. Neste
caso dezimos que (X
t
) e Markov(, Q).
Apresentamos a seguir tres maneiras diferentes para construir um processo de Markov,
cada uma fornece uma interpretacao complementar e permitem identicar quando um de-
terminado processo e uma processo de Markov.
Construicao A. Seja (Y
n
), n 0, uma cadeia de Markov(, ) e T
1
, T
2
, . . . variaveis
aleatorias independentes, exponencialmente distribudas com parametro 1, e independentes
de (Y
n
), n 0. Consideramos S
n
= T
n
/q(Y
n1
), J
n
= S
1
+. . . +S
n
, e logo
X
t
=
_
Y
n
se J
n
t < J
n+1
para algum n
caso contrario.
Neste caso (X
t
), t 0, e Markov(, ). Para vermos isto e suciente observar que se T
n

E(1), entao S
n
E(q(Y
n1
)). Seja a bijecao : T
n
S
n
dada por (S
n
) = T
n
/q(Y
n1
),
e em particular sejam T
n
= t, S
n
= s e q(Y
n1
) = . A densidade de S
n
pode ser calculada
utilizando a densidade de T
n
,
f
Sn
(s) = |J|
1
f
Tn
(
1
(s)),
onde f
Tn
(t) = e
t
, se t 0 (e f
Tn
(t) = 0 se t < 0), e |J| e o determinante do Jacobiano da
transformacao , |J| = |d(s)/dt| = 1/.
Construicao B. Denimos primeiro X
0
= Y
0
, com distribuicao , e logo consideramos
a colecao (T
j
n
: n 1, j S) de variaveis aleatorias independentes e com distribuicao
exponencial com parametro 1. Inductivamente para n 0 fazemos
S
j
n+1
= T
j
n+1
/q
ij
, quando j = i,
S
n+1
= inf
j=i
S
j
n+1
,
Y
n+1
=
_
j se S
j
n+1
= S
n+1
< ,
i se S
n+1
= .
Assim, dado o evento {Y
n
= i}, temos que as variaveis S
j
n+1
sao independentes e expo-
nencialmente distribudas com paratremo q
ij
para tudo j = i. Assim, dado {Y
n
= i}, do
Lema 3.1 temos que S
n+1
e exponencial com parametro q
i
=
j=i
q
ij
, Y
n+1
tem distribuicao
(
ij
: j S), e S
n+1
e Y
n+1
sao independentes, e independentes de Y
0
, . . . , Y
n
e S
1
, . . . , S
n
.
3.5 Processos de Markov 67
3.5.2 Equacoes de Forward e Backward
A denicao de um processo de Markov baseada nos tempos de permanencia e transicao e util
para desenvolver a intuicao, embora esta nao permite encontrar propriedades fundamentais
como as probabilidade de transicao P
i
(X
t
= j). De maneira analogo ao feito com o processo
de Poison, deduzimos primeiramente a propriedade (forte) de Markov para a cadeia dos
tempos de transicao.
Teorema 3.8 (Propriedade forte de Markov, tempo continuo). Seja (X
t
), t 0,
Markov(, Q) e seja T um tempo de parada de (X
t
), t 0. Dados {T < } e {X
T
= i},
(X
T+t
), t 0, e Markov(
i
, Q), e independente de X
u
: u T.
Demonstracao. Veja [7], Teorema 6.5.4, p. 227.
Apresentamos a seguir um resultado chave para caraterizar um processo de Markov.
Analogamente a o apresentado no Teorema 3.7, a caraterizacao consiste em fornecer tres
possveis maneiras diferentes de denir o processo.
Teorema 3.9 (Caraterizacao do processo de Markov). Seja (X
t
), t 0, um processo
contnuo a direita com valores em S nito. Seja Q uma matriz Q sobre S com matriz de
transicao . As seguintes tres condicoes sao equivalentes.
(a) (denicao pela cadeia de transicao e os tempos de permanencia) dado o evento {X
0
= i},
a cadeia de transicao (Y
n
), n 0, de (X
t
), t 0, e uma cadeia de Markov(
i
, ),
e para cada n 1 dados Y
0
, . . . , Y
n1
, os tempos de permanencia S
1
, . . . , S
n
sao
variaveis aleatorias independentes, exponencialmente distribudas com parametros q(Y
0
),
. . ., q(Y
n1
) respectivamente.
(b) (denicao innitesimal) para todo t, h 0, dado {X
t
= i}, {X
t+h
} e independente de
(X
u
: u t) e quando h 0 uniformemente em t, temos que
P(X
t+h
j|X
t
= i) =
ij
+q
ij
h +o(h),
(c) (denicao pela probabilidade de transicao) para todo n 0, e 0 t
0
t
1
. . . t
ij
(t)
e quaisquer estados i
0
, . . . , i
n+1
,
P(X
tn+1
= i
n+1
|X
t0
= i
0
, . . . , X
tn
= i
n
) = p
inin+1
(t
n+1
t
n
),
onde (p
ij
(t) : i, j I, t 0) e a solucao da equacao de forward
dP(t)
dt
= P(t)Q, P(0) = I.
Se (X
t
), t 0, satisfaze qualquer uma destas condicoes, entao chamamos este proceso
de uma cadeia de Markov com gerador Q, e o denotamos por Markov(, Q), onde
0
e a
distribuicao de X
0
.
Demonstracao. (Teorema 3.9) Mostramos primeiramente que (a) (b). Suponhamos que
(a) e valida, assim quando h 0
P(X
h
= i|X
0
= i) P(J
i
> h|X
0
= i) = e
qih
= 1 +q
ii
h +o(h).
... nish!
68 3 Tempo contnuo
3.5.3 Exerccios
Exerccio 3.11. Seja X uma cadeia de Markov a tempo continuo com semigrupo {P
t
} e
valores em S (enumeravel). (i) Mostre que p
ij
(t) e uma funcao continua de t. (ii) Seja
q(t) = ln p
ii
(t).
Mostre que q e uma funcao continua tal que q(0) = 1 e
q(s +t) q(s)q(t).
Neste case q e chamada sub-aditiva.

E conhecido que estas funcoes obedecem
lim
t0
q(t)
t
= existe e = sup
t>0
q(t)
t
.
(iii) Demostre que q
ii
= lim
t0
(1/t)(p
ii
(t) 1) existe, mas pode ser .
Exerccio 3.12. (i) Mostre que nao toda cadeia de Markov com ndice discreto pode ser
embebida numa cadeia com ndice continuo. Isto e, seja
P =
_
1
1
_
, 0 < < 1
uma matriz de transicao. Mostre que existe um semigrupo uniforme {P
t
} de probabilidades
de transicao a tempo continuo tais que P
1
= P se, e somente se
1
2
< < 1. Neste caso
mostre que {P
t
} e unico. Calcule P
t
em termos de .
Exerccio 3.13. Mostre da deni cao do processo de nascimento que se j < i ou j > i + 1,
entao,
q
ii
=
i
,
q
i,i+1
=
i
,
q
ij
= 0.
Logo
Q =
_
0

0
0 0 0
0
1

1
0 0
0 0
2

2
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
(i) Mostre que
lim
h0
1
h
(P
h
I) = Q
(ii) Obtenha as equacoes de forward e backward
p
ij
(t) =
k
p
ik
(t)q
kj
ou P
t
= P
t
Q
p
ij
(t) =
k
q
ik
p
kj
(t) ou P
t
= QP
t
.
3.7 Tempos da primeira chegada e probabilidades de absorcao 69
3.6 Estrutura de classe
Quando (X
t
), t 0, e um processo de Markov mnimo, as suas classes de comunicacao
correspondem as classes de comunicacao da cadeia de transicao (Y
n
), n 0.
Denicao 3.9. O estado i conduz ao estado j, denotado i j, se P(X
t
= j para algum
t 0|X
0
= i) > 0. i comunica com j, denotado i j, se i j e j i.
As nocoes de classe de comunicacao, classe aberta, classe fechada, estado absorvente, e
irredutibilidade seguem das nocoes para a cadeia de transicao (Y
n
), n 0.
Teorema 3.10. Sejam i, j S dois estados diferentes. As seguintes armacoes sas equiva-
lentes.
(a) i j.
(b) i j para a cadeia de transicao.
(c) q
i0i1
q
i1i2
. . . q
in1in
> 0 para alguma sequencia de estados i
0
, i
1
, i
2
, . . . , i
n
com i
0
= i,
i
n
= j.
(d) p
ij
(t) > 0 para todo t > 0.
(e) p
ij
(t) > 0 para algum t > 0.
3.7 Tempos da primeira chegada e probabilidades de absorcao
Seja (X
t
), t 0, uma cadeia de Markov com matriz geradora Q.
Denicao 3.10. O primeiro tempo de chegada ao conjunto A S, denotado D
A
e dado
pela expressao
D
A
() = inf{t 0 : X
t
() A}
(onde inf = )
Se (X
t
), t 0, e mnimo e H
A
denota o primeiro tempo de chegada ao conjunto A para
a cadeia de transicao, entao {H
A
< } = {D
A
< }, logo para os neste conjunto temos
que D
A
= J
H
A. A probabilidade de que (X
t
), t 0, chegue ate A dado que X
0
= i e
h
A
i
= P
i
(D
A
< ) = P
i
(H
A
< ).
Se A e uma classe fechada, entao h
A
i
e uma . Como as probabilidades do retorno corres-
pondem as probabilidades de retorno da cadeia de transicao, estas sao calculadas da mesma
maneira ao descrito no caso discreto.
Teorema 3.11. O vetor das probabilidades da primeira chegada a A, h
A
= (h
A
i
: i S) e a
solu cao mnima nao negativa ao seguinte sistema linear
h
A
i
=
_
1, se i A,
jS
q
ij
h
A
j
, se i / A.
Demonstracao. A prova segue ao aplicarmos diretamente o argumento do Teorema 2.6 para
a cadeia de transicao ao re-escrever (2.2) em terminos de Q.
Denicao 3.11. O tempo esperado para que (X
t
), t 0, atinja o conjunto A S e
k
A
i
= E
i
[D
A
]
70 3 Tempo contnuo
Para calcularmos k
A
i
devemos considerar os tempos de permanencia, {(S
n
: n 1)}. O
seguinte fornece um exemplo para um caso simples.
Exemplo 3.2. Seja (X
t
) um processo de Markov com o seguinte grafo de transicao
v
1
1
v
2
2
2
2
v
3
3
v
4
Calculamos o tempo medio para que o processo chegue de v
1
ate v
4
. Seja k
i
= E
i
[ tempo
ate v
4
]. Se X
0
= 1, o processo ca um tempo medio igual a 1/q
1
= 1/2 em v
1
, logo com a
mesma probabilidade realiza uma transicao ate v
2
ou v
3
. Assim
k
1
=
1
2
+
1
2
k
2
+
1
2
k
3
e analogamente
k
2
=
1
6
+
1
3
k
1
+
1
3
k
3
, k
3
=
1
9
+
1
3
k
1
+
1
3
k
2
.
e portanto k
1
= 17/12.
De forma geral tem-se o seguinte resultado.
Teorema 3.12 (Tempo esperado da primeira chegada). Seja q
i
> 0 para i / A S.
O vetor do valor esperado para o primeiro tempo de chegada a A, k
A
= (k
A
i
: i S) e a
menor solucao nao negativa do sistema,
k
A
i
= 0, se i A
jS
q
ij
k
A
j
= 1 se i / A.
(3.3)
t
) um processo de Markov com valores em S = {1, 2, 3, 4} e gerador
Q =
_
_
1 1/2 1/2 0
1/4 1/2 0 1/4
1/6 0 1/3 1/6
0 0 0 0
_
_
.
(i) Calcule a probabilidade de chegar pela primeira vez ate o estado 3 dado que inicialmente
X
0
= 1. (ii) Calcule o tempo esperado para chegar pela primeira vez ate o estado 4 desde o
estado inicial 1.
3.8 Recorrencia e transitoriedade
Denicao 3.12. Suponhamos que (X
t
), t 0, e um processo de Markov mnimo com matriz
geradora Q. O estado i e recorrente se
P
i
({t 0 : X
t
= i}e nao limitado) = 1.
O estado i e transitorio se
P
i
({t 0 : X
t
= i}e nao limitado) = 0.
Observamos que (X
t
) explode dado que X
0
= i entao i nao e recorrente. Da mesma ma-
neira como a estrutura de classe e determinada pela cadeia de transicao, a recorrencia e a
transitoriedade de um processo de Markov tambem e dada pela cadeia de transicao.
Teorema 3.13. Seja (X
t
), t 0, um processo de Markov.
(i) Se i e um estado recorrente para a cadeia de transicao (Y
n
), n 0, entao i e recorrente
para (X
t
).
(ii) Se i e transitorio para a cadeia de transicao, entao i e transitorio para (X
t
), t 0.
(iii) Todo estado e recorrente ou transitorio.
(iv) A recorrencia e a transitoriedade sao propriedades de classe.
Denicao 3.13. Seja T
i
o primeiro tempo de retorno de (X
t
), t 0 ao estado i,
T
i
() = inf{t J
1
() : X
t
() = i}.
e T
i
= , caso nao exista { : X
t
() = i}.
O seguinte resultado fornece condicoes de recorrencia e transitoriedade em tempo
contnuo analogas as descritas no Teorema 2.9
Teorema 3.14. Seja (X
t
), t 0 um processo de Markov com gerador Q. Neste caso,
(i) se q
i
= 0 ou P
i
(T
i
< ) = 1, entao i e recorrente e
_
0
p
ii
(t)dt = .
(ii) se q
i
> 0 e P
i
(T
i
) < 1, entao i e transitorio e
_
0
p
ii
(t)dt < .
Mostramos nalmente que as propriedades de recorrencia e transitoriedade se encontram
determinadas por qualquer k-esqueleto de (X
t
), t 0.
Teorema 3.15. Seja k > 0 uma constante e entao Z
n
= X
nk
, n 0.
(i) se i e recorrente para (X
t
), t 0, entao i e recorrente para (Z
n
), n 0.
(ii) se i e transitorio para (X
t
), t 0, entao i e transitorio para (Z
n
), n 0.
3.9 Distribuicao invariante
Apresentamos brevemente a nocao de distribuicao invariante no caso contnuo. Se e uma
distribuicao em S, dezimos que e invariante se
Q = 0
Teorema 3.16. Seja Q uma matriz Q com matriz de transicao e seja uma distribuicao.
As seguintes armacoes sao equivalentes,
(i) e invariante.
(ii) = , onde
i
=
i
q
i
.
A relacao entre invariancia e a matriz de transicao observada acima, junto as condicoes
de existencia e unicidade estudadas na secao 2.6, fornecem a unicidade do invariante no caso
contnuo.
Teorema 3.17. Suponha que Q e irredutvel e recorrente. Neste caso Q apresenta um in-
variante unico sob multiplicacao por uma constante.
72 3 Tempo contnuo
Lembramos que um estado i e recorrente se q
i
= 0 ou se P
i
(T
i
< ) = 1 . Quando
q
i
= 0 ou m
i
= E
i
[T
i
], o tempo do retorno esperado, e nito entao dezimos que i e positivo
recorrente.. No caso contrario dezimos que i e nulo recorrente.. Analogamente a situacao em
tempo discreto, a nocao de recorrencia positiva esta estreitamente relacionada a existencia
de uma distribuicao de probabilidade invariante.
Teorema 3.18. Seja Q uma matriz irredutvel. As seguintes armacoes sao equivalentes,
(i) cada estado e positivo recorrente,
(ii) algum estado i e positivo recorrente,
(ii) Q e nao explosiva e apresenta distribuicao de probabilidade invariante . Neste caso
temos que m
i
= 1/(
i
q
i
) para tudo i S.
No caso a tempo contnuo, a existencia de uma distribuicao de probabilidade invariante
nao e suciente para garantir recorrencia positiva ou recorrencia. Isto pode ser mostrado
mediante um contra-exemplo.
O seguinte teorema mostra por que a distribuicao , Q = 0 e conhecida como a distri-
buicao invariante.
Teorema 3.19. Seja Q irredutvel e recorrente, e seja uma distribuicao. Seja u > 0 uma
constante. As seguintes armacoes sao equivalentes,
(i) Q = 0,
(ii) P(u) = .
Teorema 3.20. Seja Q uma matriz irredutvel, nao explossiva, e com distribuicao invari-
ante . Se (X
t
), t 0, e Markov(, Q), entao (X
t+u
), t 0 tambem e Markov(, Q) para
qualquer u 0.
3.10 Convergencia
Estudamos a seguir o comportamento limite de p
ij
(t) quando t e a sua relacao as
distribuicoes invariantes. A analise e similar ao caso do tempo discreto, so que agora nao
existe o problema da periodicidade. Apresentamos primeiramente um ressultado auxiliar.
Lema 3.3. Seja Q uma matriz Q com semigrupo {P(t) : t 0}. Para tudo t, h 0,
|p
ij
(t +h) p
ij
(t)| 1 e
qih
.
Teorema 3.21. Seja Q uma matriz irredutvel, nao explosiva, com semi-grupo P(t), e com
distribuicao invariante . Neste caso, para todo i, j S tem-se que
p
ij
(t)
j
quando t .
A descricao completa do comportamento limite para processos de Markov irredutveis e
fornecido pelo seguinte resultado. A demonstracao utiliza um argumentos similar ao apre-
sentado no Teorema 2.21 e a cota fornecida pelo Lema 3.3.
Teorema 3.22. Seja Q uma matriz Q irredutvel e seja uma distribuicao qualquer em S.
Suponha que (X
t
), t 0, e Markov(, Q), entao
P(X
t
= j)
1
q
j
m
j
quando t para tudo i, j, S.
3.11 Teorema Ergodico 73
Exerccio 3.15. Encontre a distribuicao invariante para a seguinte matriz Q
Q =
_
_
2 1 1
4 4 0
2 1 3
_
_
,
e verique que lim
t
p
11
(t) =
1
.
Exerccio 3.16. Calcule o limite lim
t
P(X
t
= 2|X
0
= 1) onde (X
t
) e um processo de
Markov com valores em S = {1, 2, 3, 4} e a seguinte matriz Q,
Q =
_
_
2 1 1 0
0 1 1 0
0 0 1 1
1 0 0 1
_
_
3.11 Teorema Ergodico
A medias temporais para certas funcoes de um processo de Markov apresentam o mesmo
tipo de comportamento ao descrito no caso do tempo discreto.
Teorema 3.23 (Theorema ergodico). Seja Q irredutvel e uma distribuicao em S. Se
(X
t
), t 0 e Markov(, Q), entao
P
_
1
t
_
t
0
1
{Xu=i}
du
1
m
i
q
i
quando t
_
= 1
onde m
i
= e
i
[T
i
] denota o tempo do retorno esperado a i. No caso positivo recorrente, para
qualquer funcao f : S R limitada, tem-se que
P
_
1
t
_
t
0
f(X
u
)du f
quando t
_
= 1
para
f
iS
i
f
i
,
e (
i
: i S) e a unica distribuicao invariante.
4
Apendice
4.1 Relacoes de Recorrencia
Revisamos neste apendice a teoria necessaria para resolver equacoes da forma
x
n+k
= c
1
x
n+k1
+c
2
x
n+k2
+. . . +c
k
x
n
(4.1)
onde c
i
sao constantes em R. Este tipo de equacao e conhecida com uma relacao de re-
correncia linear homogenea de ordem k. Dados x
0
, x
1
, . . ., x
k1
, (4.1) e conhecida como um
problema de valor inicial. Observamos que dados os valores de x
0
, . . . , x
k1
, sempre e posvel
calcularmos x
k
utilizando (4.1). Subsequentemente, com x
1
, . . . , x
k
podemos calcular x
k+1
e
assim por diante qualquer termino da sequencia (x
n
), n 0, a qual chamaremos de solucao
de (4.1). Consideremos o seguinte exemplo de um problema inicial de segunda ordem,
x
n+2
= 3x
n+1
2x
n
, x
0
= 2, x
1
= 3.
A sequencia gerada e
(2, 3, 5, 9, 17, 33, 65, 129, 257, 513, . . .)
Suponhamos agora temos interesse os problemas iniciais x
0
= 2, x
1
= 5 e x
0
= 3, x
1
= 1,
ambos denidos tambem por meio da recorrencia acima. As solucoes geradas nestes casos
sao respectivamente
(2, 5, 11, 23, 47, 95, 191, 383, 767, 1535, . . .)
(3, 1, 3, 11, 27, 59, 123, 251, 507, 1019, . . .)
Para o primeiro problema resulta simples encontrar uma formula para x
n
, de fato x
n
= 2
n
+1.
Se observamos que 23 = 241, 47 = 481, 95 = 961, . . . entao deduzimos que a sequencia
para o segundo problema inicial e x
n
= 2
n
3 1. Analogamente, para o terceiro problema
temos x
n
= 5 2
n+1
. Estes exemplos simples tem como proposito mostrar que os tres
problemas iniciais apresentam formulas similares, todas contem 2
n
, pois estes foram todos
denidos a partir da mesma equacao de recorrencia.
O problema a ser estudado consiste em entender a estrutura do espaco de todas as
solu coes a uma equacao de recorrencia linear homogenea de ordem k quando as condicoes
iniciais pertencem ao conjunto de todas a k-tuplas de n umeros reais. Sabemos que o espaco
de todas as sequencias reais, i.e. das funcoes x : N R, forma um espaco vetorial pois
para quaisquer duas sequencias (x
n
), (y
n
) temos que (x
n
) + (y
n
) = (x
n
+ y
n
) e para um
escalar qualquer , (x
n
) = (x
n
). Logo o conjunto de todas as solucoes de (4.1) forma um
subespaco do espaco de todas as sequencias. Denotamos este conjunto por H. Observamos a
76 4 Apendice
seguir que cada sequencia em H se encontra determinada pelos seus k primeiros elementos.
Neste caso existe um mapa : H R
k
o qual escolhe estes elementos e forma um vetor em
R
k
, ou seja,
_
(x
n
)
_
= (x
k1
, . . . , x
1
, x
0
)
T
. (4.2)
Lema 4.1. Seja H o espaco das solucoes de uma recorrencia linear homogenea de ordem
k. O mapa e um isomorsmo entre os espacos vetoriais H e R
k
. Em particular, H e um
espaco real k-dimensional.
Demonstracao. Qualquer sequencia inicial de k terminos x
0
, x
1
, . . . , x
k1
pode ser extendida
pela relacao (4.1) a uma sequencia innita em H, portanto e sobrejetora. Por outro lado,
como cada problema inicial apresenta uma unica solucao em H, entao e um a um, isto
e, se (x) = (y) para x, y H, entao necessariamente x = y. Decorre disto que e uma
bijecao e portanto apresenta uma inversa. A inversa de e o mapa
1
o qual leva o vetor
= (
k1
, . . . ,
0
)
T
R a sequencia em H com terminos iniciais x
0
=
0
, x
1
=
1
, . . .,
x
k1
=
k1
.
Observamos agora que para duas solucoes (x
n
), (y
n
) em H, e dois escalares c
1
e c
2
quaisquer em R temos que
c
1
_
(x
n
)
_
+c
2
_
(y
n
)
_
= c
1
_
_
_
x
k1
.
.
.
x
0
_
_
_+c
2
_
_
_
y
k1
.
.
.
y
0
_
_
_ =
_
_
_
c
1
x
k1
+c
2
y
k1
.
.
.
c
1
x
0
+c
2
y
0
_
_
_
=
_
c
1
(x
n
) +c
2
(y
n
)
_
.
Isto mostra que e linear e assim portanto um isomorsmo.
Cada elemento de um espaco vetorial pode ser escrito de forma unica como uma com-
binacao linear dos elementos da base do espaco. Assim, o lemma anterior fornece um metodo
para construir as solucoes (x
n
) em H utilizando as k sequencias geradas pelas condicoes
iniciais e
1
= (1, 0, . . . , 0), e
2
= (0, 2, 0, . . . , 0), . . ., e
k
= (0, . . . , 0, 1). A pre-imagem de
1
(e
i
) = (x
n
) e dada pela solucao cujas condicoes iniciais sao todas iguais a 0, exceto
x
ki
= 1. Uma vez que {e
1
, . . . , e
k
} forma uma base para R
k
e e um isomorsmo entre
R
k
e H, entao {
1
(e
1
), . . . ,
1
(e
k
)} forma uma base para H. A importancia disto e que a
solu cao (x
n
) ao problema inicial determinado por
x
0
=
0
, x
1
=
1
, . . . , x
k=1
=
k1
pode ser calculada como
1
(e
k
) +
1
1
(e
2
) +. . . +
k1
1
(e
1
).
Mesmo que possa parecer mais dicil do que aplicar diretamente a recursao (4.1), esta repre-
sentacao e realmente vantajosa como sera visto adiante. Illustramos esta tecnica utilizando
dois exemplos. Seja o problema inicial
F
n+2
= F
n+1
+F
n
, F
1
= 1, F
0
= 0.
e a sua solucao dada pela sequencia
(0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, . . .).
Esta sequencia e conhecida como sequencia de Fibonacci, em honra ao seu descobridor
Leonardo Fibonacci (1170 - 1250). Neste caso temos as sequencias basicas
4.1 Relacoes de Recorrencia 77
1
(e
1
) = (0, 1, 1, 2, 3, 5, 8, 13, 21, . . .)
1
(e
2
) = (1, 0, 1, 1, 2, 3, 5, 8, 13, . . .)
e assim
F
n
=
1
(e
1
) +
1
(e
2
) = (1, 1, 2, 3, 5, 8, 13, 21, . . .).
Se agora consideramos a condicao inicial F
0
= 1 e F
1
= 3, entao a solucao toma a forma
F
n
= 3
1
(e
1
)
1
(e
2
)
= 3(0, 1, 1, 2, 3, 5, . . .) (1, 0, 1, 1, 2, 3, 5, . . .)
= (1, 3, 2, 5, 7, 12, 19, 31, . . .)
Assim, o conhecimento das sequencias basicas de uma relacao de recorencia linear ho-
mogenea permitem calcular o n-esimo termino da solucao de qualquer problema inicial
determinado pela recorencia. Assim, o espaco das solucoes H pode ser estudado ao estudar
combinacoes lineares das sequencias basicas. Para proseguirmos com este argumento e ne-
cessario procurar uma maneira geral para calcular estas sequencias, ou seja, para determinar
a base de H.
4.1.1 Forma matricial
Consideremos novamente a recorencia x
n+2
= 3x
n+1
2x
n
com os valores iniciais x
0
= 2 e
x
1
= 3. Em forma matricial podemos escrever,
_
x
n+2
x
n+1
_
=
_
3 2
1 0
_ _
x
n+1
x
n
_
,
_
x
1
x
0
_
=
_
3
2
_
.
Da mesma maneira, para a recorencia de Fibonacci temos
_
F
n+2
F
n+1
_
=
_
1 1
1 0
_ _
F
n+1
F
n
_
,
_
F
1
F
0
_
=
_
1
0
_
.
De forma geral, para a relacao de ordem k denimos para todo n 0,
X
n
=
_
_
_
_
_
_
_
x
n+k1
x
n+k
.
.
.
x
n+1
x
n
_
_
_
_
_
_
_
e A =
_
_
c
1
c
2
c
k1
c
k
1 0 0 0
0 1 0 0
.
.
.
.
.
.
.
.
.
0 0 0 1
_
_
(4.3)
verica-se que X
n+1
= AX
n
. Assim, podemos encontrar a sequencia de interesse recursiva-
mente como X
1
= AX
0
, X
2
= AX
1
, . . ., isto e,
X
n
= A
n
X
0
.
Para os dois exemplos acima temos
_
x
n+1
x
n
_
=
_
3 2
1 0
_
n
_
3
2
_
e
_
F
n+1
F
n
_
=
_
1 1
1 0
_
n
_
1
0
_
.
Desta maneira estamos forcados a calcular A
n
, n 0, o qual na maioria do casos e possvel
quando A e diagonalizavel. Para o primeiro exemplo temos que o polinomio caracteristico
de A e
78 4 Apendice
ch
A
() = det(AI) = det
__
3 2
1
_ _
=
2
3 + 2 = ( 2)( 1).
Assim, os autovalores para A sao
1
= 2 e
2
= 1, e os autovetores correspondentes v
1
=
(2, 1)
T
e v
2
= (1, 1)
T
. Logo A
n
admite a forma diagonal
A
n
= PD
n
P
1
, para D =
_
2 0
0 1
_
, P =
_
2 1
1 1
_
.
Desta maneira obtemos a solucao
X
n
=
_
2
n+1
1 2
n+1
+ 2
2
n
1 2
n
+ 2
_ _
3
2
_
=
_
2
n+1
+ 1
2
n
+ 1
_
,
e deduzimos de imediato que x
n
= 2
n
+ 1, n 0.
Exerccio 4.1. Mostre que para n 0, a sequencia de Fibonacci e dada pela seguinte
formula
F
n
=
1
5
__
1 +
5
2
_
n
_
1
5
2
_
n
_
.
Esta formula conhecida como a formula de Binet.
Vimos na secao anterior como os autovalores da matriz A jogam um papel fundamen-
tal para encontrar a solucao de uma relacao recorrencia. Um estudo mais detalhado dos
autovalores de A permite encontrar uma base para H. Seja
ch
A
() =
k
c
1
k1
. . . c
k1
c
k
o polinomio caracterstico associado a A. As razes {
1
, . . . ,
k
} deste polinomio sao conhe-
cidas como os autovalores da recorrencia. Decorre da forma da matriz A, que o aoutovalor
i
apresenta aoutovector
v
i
= (
k1
i
,
k2
i
, . . . , 1)
T
.
De fato, se Av Iv = 0, para v = (v
i
, . . . , v
k
)
T
, entao
c
1
v
1
+. . . c
k
v
k
= v
1
v
1
= v
2
, v
2
= v
3
, . . . , v
k1
= v
k
.
Substitundo sucessivamente estas equacoes umas nas outras obtemos
v
k
k
i=1
c
i
ki
=
k
v
k
,
logo
A(
k1
,
k2
, . . . , , 1)
T
=
_
k
i=1
c
i
ki
,
k1
, . . . ,
2
,
_
T
= (
k
,
k1
, . . . ,
2
, )
T
= (
k1
,
k2
, . . . , , 1)
T
.
Deduzimos portanto que o vetor v
= (
k1
,
k2
, . . . , , 1)
T
e o autovetor de A correspon-
dente ao autovalor .
4.1 Relacoes de Recorrencia 79
Teorema 4.1. Seja a seguinte recorrencia linear homogenea de ordem k,
x
n
= c
1
x
n1
. . . c
k1
x
nk+1
c
k
x
nk
.
(i) Seja um autovalor da recorrencia, logo
1
(v
) = (
n
), onde e o isomorsmo entre
H e R
k
denido por (4.2). Neste caso (
n
) H.
(ii) Se a recorrencia apresenta k autovalores diferentes, {
1
,
2
, . . . ,
k
}, entao as k sequencias
(
1
), . . . , (
k
) formam uma base para H e cada solucao (x
n
) apresenta a forma
x
n
= a
1
n
1
+a
2
n
2
+. . . +a
k
n
k
, (4.4)
para algumas constantes a
1
, a
2
, . . . , a
k
R.
Demonstracao. Consideramos para tudo n 0, x
n
=
n
, e logo denimos os vetores X
n
seguindo (4.3). Assim X
n
=
n
v
, portanto
AX
n
=
n
Av
=
n+1
v
= X
n+1
,
Deduzimos disto que (x
n
) H, onde (x
0
) apresenta a condicao inicial X
0
= v
. Para a parte
(ii), se a recorrencia apresenta k autovalores diferentes {
i
}, entao os vetores {v
i
} formam
uma base para R
k
. Dado que e um isomorsmo entre H e R
k
, entao {
1
(v
i
)} = {(
n
i
)}
e uma base para H. Isto implica que qualquer elemento de H pode ser escrito como uma
combinacao linear das seq uencias (
n
i
).
Suponhamos que a condicao inicial = (x
0
, x
1
, . . . , x
k1
)
T
e conhecida. Descrevemos a
continucao um metodo geral para calcular os valores a
i
em (4.4). Primeiro, das propriedades
de obtemos v
i
=
_
(
n
i
)
_
, entao
=
_
a
1
(
1
) +. . . +a
k
(
n
k
)
_
= a
1
_
(
n
1
)
_
+. . . +a
k
_
(
n
k
)
_
= a
1
v
1
+. . . a
k
v
k
Na forma matricial podemos escrever esta igualdade como
=
_
_
1 1 1 1
1

2

3

k
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
k1
1

k1
2

k1
3

k1
k
_
_
_
_
_
_
_
a
1
a
2
.
.
.
a
k
_
_
_
_
_
(4.5)
A matriz de coecientes em (4.5) e conhecida como a matriz de Vandermonde de
1
, . . . ,
k
.
Como cada vetor de condicoes iniciais corresponde a uma unica solucao em H, entao, dado
, o sistema (4.5) apresenta uma unica solucao. Isto implica que a matrix de Vandermonte
sempre e invertivel. Se denotamos por V a matriz de Vandermonte, entao
(a
1
, . . . , a
k
)
T
= V
1
.
Exemplo 4.1. Suponhamos que c
2
1
= 4c
2
, logo consideremos a seguinte recorrencia,
x
n+2
= c
1
x
n+1
+c
2
x
n
, x
0
=
1
, x
1
=
2
.
Este problema inicial apresenta polinomio caracterstico ch() =
2
c
1
c
2
, com dois
autovalores
1
=
2
(pois o discriminante D = c
2
1
+ 4c
2
= 0). Neste caso,
1
= (c
1
+
D)/2,
2
= (c
1

D)/2.
80 4 Apendice
Po outro lado, a matriz de Vandermonde associada e a sua inversa sao
V =
_
1 1
1

2
_
, V
1
=
1
D
_
2
1
1
1
_
.
Assim
_
a
1
a
2
_
= V
1
_
2
_
=
1
D
_
2
x
0
x
1
1
x
0
x
1
_
.
Existe em geral uma maneira eciente para invertir V . Sejam os polinomios
l
i
() =
k
j=1,j=i
(
j
) = b
i,1
+b
i,2
+. . . +b
i,k
k1
,
denidos para todo i = 1, . . . , k. Como os autovalores
j
sao tudos diferentes, entao l
i
(
i
) =
0 para todo i, e em particular para j = i temos que l
i
(
j
) = 0.
Teorema 4.2. Seja B uma matrix kk cuja i-esima linha apresenta os coecientes de l
i
(),
dispostos seguindo as potencias crescentes de . Entao V
1
= DB, onde D corresponde a
matriz diagonal com entradas 1/l
i
(
i
), i = 1, . . . , k.
Demonstracao. Veja o Teorema 2.3.2 na pagina 20 em [2].
Exemplo 4.2. Seja x
n+2
= x
n+1
+2x
n
, e x
0
= 1, x
1
= 5. Nesta caso temos ch() = x
2
x
2 = (x 2)(x + 1), logo
1
= 2,
2
= 1, portanto l
1
() = 1 +, e l
2
() = 2 +. Assim
B =
_
1 1
2 1
_
,
e para l
1
(2) = 3, l
2
(1) = 3 resulta
D =
1
3
_
1 0
0 1
_
, V
1
=
1
3
_
1 1
2 1
_
.
Desta forma obtemos os coecientes
_
a
1
a
2
_
= V
1
_
1
5
_
=
1
3
_
1 1
2 1
_ _
1
5
_
=
_
2
1
_
,
e seguindo (4.4)
x
n
= 2
n
1

n
2
= 2
n+1
+ (1)
n+1
.
Exerccio 4.2. Mostre que qualquer combinacao linear de solucoes de (4.1) tambem e uma
solu cao.
Exerccio 4.3. Seja x
n+2
= c
1
x
n+1
+ c
2
x
n
uma recorrencia de segundo ordem com auto-
valores
1
= (c
1
+
D)/2,
2
= (c
1

D)/2, onde D = c
2
1
+ 4c
2
. Se D = 0, mostre que a
squencia cujo n-esimo termino e
1
D
_
2
(
n1
1

n1
2
) +
1
(
n
1

2
)
_
,
e a unica solucao com condicoes iniciais x
0
=
0
, x
1
=
1
.
4.2 Funcoes geradoras
Referencias Bibliogracas
1. P. Billingsley. Probability and Measure. Wiley & Sons, New York, 1995.
2. P. Cull, M. Flahive, and R. Robson. Dierence Equations. From Rabbits to Chaos. Undergra-
duate Texts in Mathematics. Springer Verlag, 2005.
3. P. G. Doyle and J. L. Snell. Random Walks and Electric Networks. Carus Mathematical Mono-
graphs. Mathematical Association of America, 1984. http://arxiv.org/abs/math/0001057.
4. P. A. Ferrari and A. Galves. Acoplamento em Processos Estocasticos. SBM, IMPA, Rio de
Janeiro, 1997. http://www.ime.usp.br/~pablo.
5. G. Grimmett and P. Stirzacker. Probability and Random Processes. Oxford University Press,
Oxford, 3
a
edition, 2001.
6. B. J. James. Probabilidade: um curso intermediario. Projeto Euclides. IMPA, Rio de Janeiro,
2002.
7. J. R. Norris. Markov chains. Cambridge Series in Statistical and Probabilistic Mathematics.
Cambridge University Press, Cambridge, UK, 1997.
8. D. Williams. Probability with Martingales. Cambridge University Press, Cambridge, UK, 1991.
Indice
acoplamento, 39
aproximacao de Stirling, 30
cadeia
de transicao de (Xt), 53
cadeia de Markov
k-esqueleto, 9
denicao, 4
ergodica, 41
irredutvel, 11
recorrente, 24
temporalmente homogenea, 7
Chapman-Kolmogorov, 7
classe
aberta, 69
fechada, 69
classe de comunicacao, 69
classe de comunicacao, 11
aberta, 11
fechada, 11
nita, recorrente, 27
continuidade à direita, veja processo, 51
decomposicao da primeira transicao, 14
desigualdade do acoplamento, 40
distribuicao
de equilbrio, 33
do primeiro tempo de retorno, 20
estacionaria, 33
exponencial, 57
nito dimensional, 51
inicial , 4
invariante, 33, 71
unicidade, 35
Doeblin, W., 39
equa cao
de backward
semigrupo, 54
de forward
Markov, 67
semigrupo, 54
em diferenca, 14
ergodicidade, 41, 44
espaco
de estados, S, 4
das trajetorias, , 1
de probabilidade, 1
estado, 4
absorvente, 11, 69
aperiodico, 38, 39
n umero de visitas, V , 25
nulo recorrente
tempo contnuo, 72
nulo recorrente
tempo discreto, 36
periodico, 39
positivo recorrente
tempo contnuo, 72
tempo discreto, 36
recorrente
tempo contnuo, 70
tempo discreto, 24
transitorio
tempo contnuo, 70
tempo discreto, 24
formula
de Binet, 78
Fibonacci
recorrencia de, 76
sequencia de, 76
funcao O, 55
funcao o, 61
funcao geradora
de probabilidade, 19
de h
i
i
(n), 20
de p
n
ij
, 20
grafo, 4
84 Indice
homogeneidade temporal, 7
irredutibilidade, 11, 69
Lei forte dos grandes n umeros, 44
Lema de Kac, 37
maior divisor comum, mdc, 41
matriz
Q, 53
, 65
aperiodica, 38
de probabilidade de transicao, P, 4
de Vandermonde, 79
estocastica, 4
geradora, 66
passeio aleatorio
recorrencia em Z, 29
recorrencia em Z
2
, 30
simetrico, 29
simples, 29
perodo, 39
perda de memoria, 5
perda de memoria
da distribuicao exponencial, 57
do processo de Poisson, 61
Polya, G., 32
primeiro tempo de chegada, , 12
primeiro tempo de retorno, , 12
probabilidade
de absorcao, 13
da primeira chegada, h, 13
de absorcao, 69
de extincao, 17
do k-esimo retorno, f
k
, 25
do primeiro retorno, f, 25
problema inicial, 75
processo
contnuo à direita, 51
de ramicacao, 46
de Markov, 65
construcao, 66
denicao, 66
de nascimento e morte simples, 17
de nascimento simples, 64
de Poisson, 6065
denicao, 60
nao homogeneo, 65
de transicao de (Xt), 53
estocastico, 1
explosivo, 53
mnimo, 53
propriedade de Markov, 5
propriedade forte de Markov, 22
propriedade fraca de Markov, 6
recorrencia
de um estado, 24
de uma cadeia de Markov, 24
relacao de recorrencia, 75
runa do jogador, 15
semi-grupo, 54
estocastico, 55
solidariedade, 27
taxa de transicao, qij, 53
taxa de sada de i, qi, 53
tempo
da primeira chegada, , 12
da primeira chegada, D, 69
da primeira explosao, , 52
de excursao, E, 24
de explosao, 52
de parada, 23
de permanencia, Sn, 52
de transicao, Jn, 52
do primeiro retorno
caso discreto, , 12
do primeiro retorno
caso contnuo, T, 71
esperado da primeira chegada, 13
esperado do primeiro retorno, m, 36
Teorema
Chapman-Kolmogorov, 7
classe nita e fechada, 27
classe recorrente, 27
Convergencia ao equilbrio, 39
distribuicao de probabilidade invariante, 36
ergodico
tempo contnuo, 73
tempo discreto, 44
limite estacionario, 33
perda de memoria, 57
perda de memoria do processo de Poisson, 61
probabilidade da primeira chegada
tempo discreto, 14
processo de Markov, 67
processo de Poisson, 62
Propriedade forte de Markov
tempo continuo, 67
tempo discreto, 23
Propriedade forte de Markov do processo de
Poisson, 61
Propriedade fraca de Markov, 6
Recorrencia-Transitoriedade, 26
tempo esperado da primeira chegada
tempo contnuo, 70
tempo discreto, 18
transitoriedade, 24
Indice 85
variavel aleatoria, 1 exponencial, 57

Cadeias Markov14

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Cadeias Markov14

Загружено:

Авторское право:

Доступные форматы

Rafael A.

) a sigma algebra gerada pelos conjuntos abertos de S. Se S = C, o espaco das

No instante n = 0 o sapo encontra-se na planta v

A continuacao denimos formalmente um processo conhecido como cadeia de Markov. O

(i) Encontre as classes de estados fechadas. (ii) Diga se X e irredutvel.

E claro que existe diferenca entre e verdade e e verdade q.c.

E melhor saber retirarse a tempo!)

E simples ver que (S

A. Se A satisfaze (i) e (ii), entao existe um enteiro

E possvel escolher tambem N = N() tal que para n N(),

(z) = m, logo se supomos que m 1, entao numa vizinhanca a esquerda

(1) = m > 1, temos que em uma vizinhanca a esquerda de

nao esta denido.

A distribuicao exponencial joga um papel fundamental na teoria dos processos de Mar-

. Consideramos agora dois

Вам также может понравиться