Método

da
Máxima Verossimilhança
Aula 13

Bussab e Morettin, 2004, 5a ed., cap. 11.5

Meyer, 1983, 2a ed., cap. 14.4
Tamhane e Dunlop, 2000, cap. 15.1.1 e 15.1.2
Bolfarine e Sandoval, 2001, cap. 3.1 a 3.4
Método da Máxima Verossimilhança

O princípio da verossimilhança afirma que

devemos escolher aquele valor do parâmetro
desconhecido que maximiza a probabilidade
de obter a amostra particular observada, ou
seja, o valor que torna aquela amostra a
“mais provável”.
Método da Máxima Verossimilhança

O uso desse princípio conduz a um método

de estimação pelo qual se obtêm os
chamados estimadores de máxima
verossimilhança (EMV) que, em geral, têm
propriedades muito boas.
Método da Máxima Verossimilhança
Definição 1 – Sejam X1, X2, . . ., Xn uma a.a.
de tamanho n da v.a. X com f.d.p. (ou f.p.)
f(x| ). A função de verossimilhança de é
dada por
Distrib. Conjunta
indep
L( , x)  f ( x1 , x2 ,  , xn |  ) 
~
indep
 f ( x1 |  )  f ( x2 |  )    f ( xn |  ) 
n
  f ( xi |  ) : função de verossimilhança
i 1
Método da Máxima Verossimilhança

Assim,

n
L( , x )   f ( xi |  ) (1)
~ i 1

é uma função do parâmetro para uma

amostra fixada, onde x = (x1, x2, . . ., xn)T é o
~
vetor coluna dos valores observados de X.
Método da Máxima Verossimilhança

Definição 2 – A estimativa de máxima

verossimilhança de é o valor ̂   , que
maximiza a função de verossimilhança
descrita em (1).
Método da Máxima Verossimilhança
Se existir um valor de
ˆ  g ( x1 , x2 , , xn )  
que maximiza (1) então
ˆ  g ( x1 , x2 , , xn )  
é a estimativa de máxima verossimilhança
para e
ˆ  g ( X 1 , X 2 , , X n )
é o estimador de máxima verossimilhança.
 Exemplo 1

Temos uma caixa com bolas brancas e

vermelhas. Sabe-se que a proporção de
bolas brancas na caixa é 1/5 ou 4/5.
Portanto, = {1/5, 4/5}. Para obtermos
informação sobre , uma amostra de n = 5
bolas é observada com reposição e
apresenta bola branca na primeira extração
e vermelha nas demais extrações.
 Exemplo 1 (cont.)

Definindo

1, se a i-ésima retirada apresenta bola branca

Xi  
0 , se a i-ésima retirada apresenta bola vermelha,

para i = 1, 2, 3, 4, 5.
 Exemplo 1 (cont.)
Temos que a função de verossimilhança de
associada à amostra observada é dada por

L( , x)  P X 1  1, X 2  0 , X 3  0 , X 4  0 , X 5  0 
indep .

 P X 1  1 P X 2  0 P X 3  0 P X 4  0 P X 5  0 

   (1   )  (1   )  (1   )  (1   ) 

   (1   ) 4 .
 Exemplo 1 (cont.)

Como
4
1 1 4 256
L( , x)     
5 ~ 5 5 3125

4
4 4 1 4
L( , x)      ,
5 ~ 5  5  3125
 Exemplo 1 (cont.)

temos que a estimativa de máxima

verossimilhança de é dada por

ˆ  15
pois

1  4 
L , x   L , x .
5 ~ 5 ~
 Exemplo 1 (cont.)
Vamos, agora, calcular a probabilidade de
retirarmos
x  1 0 0 0 0 
T
~
supondo que
= {0 < < 1}.
Ou seja, vamos gerar resultados para

L( , x)  P X 1  1, X 2  0, X 3  0, X 4  0, X 5  0    (1   ) 4 .
~
 Exemplo 1 (cont.)

Vide Planilha
ANPEC201201_Aula13_EMV.xls
Método da Máxima Verossimilhança

Resultado – Maximizar (1) é equivalente a

maximizar o logaritmo natural de (1), que
denotaremos por

 
log e L( ; x)  l ( ; x)
~ ~
 Exemplo 1 (cont.)

Vide Planilha
ANPEC201201_Aula13_EMV.xls
Método da Máxima Verossimilhança

Caso uniparamétrico
Podemos obter o EMV (com condições de
regularidade satisfeitas) resolvendo a
equação

L( ; x )  0 (2a)
 ~
ou

l ( ; x )  0 (2b)
 ~
Método da Máxima Verossimilhança

Caso uniparamétrico (cont.)

Para se concluir que a solução da equação

(2b) é um ponto de máximo, é necessário
verificar se

2
l ( ; x ) ˆ  0 (3)
 2 ~  
 Exemplo 2

O senhor Alves, ilustre agricultor da grande Poços

de Caldas, está interessado em estudar o número de
caixas de alcachofras de sua fazenda que são
vendidas, por semana, para uma central de
abastecimento da região. Do seu fantástico
conhecimento estatístico, o senhor Alves sabe que
pode modelar tal variável de interesse por
intermédio da distribuição de Poisson.
 Exemplo 2 (cont.)
Ainda, o senhor Alves sabe que se X, que é a
variável aleatória de interesse, segue uma
distribuição de Poisson com parâmetro , então
e  x
P( X  x)  , x  0, 1, 2...
x!
Assim, auxilie o senhor Alves a encontrar o
estimador de máxima verossimilhança para o
parâmetro de interesse, admitindo que uma amostra
aleatória de tamanho n, daquilo que ela deseja
estudar, tenha sido coletada.
Método da Máxima Verossimilhança

Propriedades dos EMV

a) O método de estimação por máxima

verossimilhança pode gerar estimadores
viesados. Entretanto, assintoticamente tal viés
vai a zero.
Método da Máxima Verossimilhança

Propriedades dos EMV

b) Suponha que ˆ seja o EMV para o parâmetro ,

baseado em uma a.a. X1, X2, ..., Xn, de uma v.a. X.
Assim, para n suficientemente grande,

ˆ  a
n     N  0;
1 

n 
 I F   
em que
  
2
   2

I F    E  ln f  X |      E  2 ln f  X |  
      
Método da Máxima Verossimilhança

Propriedades dos EMV

c) Definição. A quantidade

   
2
 2 
I F    E  ln f  X |      E  2 ln f  X |  
      

é denominada informação de Fisher de .

Método da Máxima Verossimilhança

Propriedades dos EMV

d) Definição. A quantidade

ln f  X |  

é chamada função escore.

e) Sob certas condições de regularidade,

  
E  ln f  X |    0
  
Método da Máxima Verossimilhança

Propriedades dos EMV

f) Teorema (Desigualdade da Informação). Quando

as condições de regularidade estão satisfeitas, a
variância de qualquer estimador ˆ não viesado
do parâmetro satisfaz a desigualdade


Var ˆ 
1
nI F  
Método da Máxima Verossimilhança

Propriedades dos EMV

g) A Lei dos Grandes Números mostra que os

estimadores gerados pelo método dos momentos
são consistentes no caso de amostras aleatórias.
Entretanto, os estimadores de máxima
verossimilhança são consistentes e
(assintoticamente) eficientes.

Leitura de Heij et al., 2004, seção 1.3

Método da Máxima Verossimilhança

Propriedades dos EMV

h) Suponha que ˆ seja o EMV para o parâmetro .

Nesse caso, pode-se demonstrar que o EMV para


g( ) é g ˆ , em que g( ) é uma função monótona
contínua. Essa propriedade é conhecida como
invariância.
Método da Máxima Verossimilhança

Propriedades dos EMV

i) De (b) e (h)

  
n g   g    N  0;
ˆ
a  g '   
2

n 
 I F   

 Voltando ao Exemplo 2

a) Calcule o viés do estimador encontrado.

b) Quanto vale a variância do estimador encontrado?

c) ˆMV 
 ? Justifique matematicamente a sua
P

resposta.

d) Qual a distribuição de probabilidades assintótica

do estimador encontrado? Justifique a sua

resposta.
Método da Máxima Verossimilhança
Comentários Finais
(i) Em alguns casos podemos resolver a equação de
verossimilhança explicitamente. Em outras situações
mais complicadas a solução será obtida por
procedimentos numéricos.
(ii) Em situações em que é discreto ou em que o máximo
de l ( ; x ) ocorre na fronteira de , o EMV não pode ser
~
obtido a partir da solução de (2b). Em tais situações, o
máximo é obtido a partir da inspeção da função de
verossimilhança.
Método da Máxima Verossimilhança

Caso multiparamétrico

~
 
  (1 ,  2 , , k )  L  ; x (depende de k parâmetros)
~ ~

Os EMV podem ser obtidos através da

solução das equações

 
l ( ; x )  0, , l ( ; x )  0
1 ~ ~  k ~ ~
Método da Máxima Verossimilhança

Exemplo 3

Sejam X1, X2, ..., Xn uma a.a. da v.a. X ~ N( , 2).

Encontre os EMV para os parâmetros e 2.

 Exercício
(ANPEC 2009 – Questão 08)
Verifique se as afirmativas abaixo são verdadeiras:

Distribuição da Proporção Amostral e Desigualdade de Chebychev

Relação entre a Qui-Quadrado e a Normal

Intervalo de Confiança para a Média Populacional

(V)

(V)
Leitura Complementar
Método da Máxima Verossimilhança
Verossimilhança para amostras independentes
Existem situações em que temos duas ou mais
amostras independentes de distribuições que
dependem de um parâmetro de interesse. No
caso de duas amostras aleatórias
independentes, X1, X2, . . ., Xn e Y1, Y2, . . ., Ym,
podemos escrever

L( ; x , y)  L( ; x )  L( ; y)

~ ~ ~ ~
devido à independência entre as amostras.
Método da Máxima Verossimilhança
Verossimilhança para amostras independentes

Portanto, a verossimilhança conjunta é igual ao

produto da verossimilhança correspondente à
amostra X1, X2, . . ., Xn pela verossimilhança
correspondente à amostra Y1, Y2, . . ., Ym.
Método da Máxima Verossimilhança
Verossimilhança para amostras independentes

De

L( ; x , y)  L( ; x )  L( ; y)

~ ~ ~ ~

podemos escrever

l ( ; x , y)  l ( ; x )  l ( ; y)
~ ~ ~ ~
Método da Máxima Verossimilhança
Verossimilhança para amostras independentes

De modo que o logaritmo das verossimilhança

conjunta é igual à soma do logaritmo das
verossimilhanças correspondentes a cada uma
das amostras.
Método da Máxima Verossimilhança

Exemplo

Sejam X1, X2, ..., Xn uma a.a. da v.a. X ~ N( X, 2) e

Y1, Y2, ..., Ym uma a.a. da v.a. Y ~ N( Y, 2).

Assumindo que as duas amostras são

independentes, encontre o EMV para 2.
X, Y e