ECONOMETRA II

Prof.: Begoa lvarez

2007-2008

TEMA 1
INTRODUCCIN
Estimacin por mxima verosimilitud y conceptos de
teora asinttica

1. ESTIMACIN POR MXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD)

La estimacin por Mxima Verosimilitud es un mtodo de

optimizacin que supone que la distribucin de probabilidad de las
observaciones es conocida.
La intuicin del principio de MV es la siguiente:
1. Dado el supuesto sobre la distribucin de las Yi, construimos la
verosimilitud (probabilidad conjunta) de observar la muestra que
tenemos. Esa funcin de probabilidad conjunta es una funcin de una
serie de parmetros desconocidos.
2. Elegimos como estimadores MV aquellos valores de los parmetros
desconocidos que hacen mxima esa verosimilitud.

1. ESTIMACIN POR MXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD)

Se trata de construir la funcin de probabilidad conjunta (o

funcin de verosimilitud) de y1, y2, . Yn. Suponemos que las
observaciones son independientes y estn idnticamente
distribuidas (i.i.d.)
yi ~ f (yi; )

Si, para un determinado valor de , la verosimilitud es PEQUEA,

es poco probable que ese sea el valor correcto que ha generado los
datos que observamos.

Si, para un determinado valor de , la verosimilitud es GRANDE, es

bastante probable que ese sea el valor correcto que ha generado los
datos que observamos.

1. ESTIMACIN POR MXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD)

Por tanto tenemos que elegir el que maximizar L(). Es decir, el

estimador MV ser el que satisfaga la condicin de primer orden:

O bien:
Generalmente, trabajamos con el
logaritmo de la verosimilitud por
razones prcticas.

EJERCICIO:
Estimador MV en el modelo de regresin lineal bajo el supuesto de normalidad.

1 yi xi ' 2

1
f ( yi | xi , , ) =
e 2
2

Y
Y = 1

+ 2X

1 + 2Xi

1
X

EJERCICIO:
Estimador MV en el modelo de regresin lineal bajo el supuesto de normalidad.

1. Construimos la funcin de verosimilitud

2. Calculamos el logaritmo de la funcin de verosimilitud

EJERCICIO:
Estimador MV en el modelo de regresin lineal bajo el supuesto de normalidad.

3. Condiciones de primer orden

4. Estimadores

En este caso,

pero

1. ESTIMACIN POR MXIMA VEROSIMILITUD (MAXIMUM LIKELIHOOD)

VENTAJA: El estimador MV (ML=maximum likelihood) tiene

propiedades asintticas ptimas entre todos los estimadores
consistentes y normales asintticamente.
DESVENTAJA: Podemos tener problemas graves si nos equivocamos
en el supuesto de la distribucin. En otras palabras, el estimador
ML depende de forma importante de los supuestos sobre la
distribucin.
Otra desventaja: El estimador MV tiene propiedades mediocres en
muestras pequeas.

2. PROPIEDADES ASINTTICAS

La idea es analizar el comportamiento aproximado del estimador

cuando n

En particular, nos interesa saber si los estimadores son

consistentes y cul es su distribucin asinttica.
Estas propiedades sustituyen de alguna forma a otras que se obtienen en
muestras pequeas pero que no se cumplen en muchos estimadores de MV. En
particular, en muchos casos, no podemos demostrar insesgadez
ni podemos calcular la distribucin exacta del estimador (ejemplo:
)

2. PROPIEDADES ASINTTICAS
1. CONSISTENCIA

2. PROPIEDADES ASINTTICAS
1. CONSISTENCIA
1 PROCEDIMIENTO PARA DEMOSTRAR CONSISTENCIA

Se trata de demostrar la
Convergencia en Media
Cuadrtica.

2. PROPIEDADES ASINTTICAS
1. CONSISTENCIA
2 PROCEDIMIENTO PARA DEMOSTRAR CONSISTENCIA

2. PROPIEDADES ASINTTICAS
1. CONSISTENCIA

Los estimadores pueden ser inconsistentes por dos razones:

(1) Convergen a una constante que no coincide con el parmetro
que pretendemos estimar. Es decir, son estimadores
consistentes de otro parmetro, pero no del que nos interesa.
(1) No convergen a una constante. En ese caso no son
estimadores consistentes de nada.

EJERCICIO:
Consistencia del estimador OLS /MV en el modelo de regresin lineal

1 PROCEDIMIENTO

2 PROCEDIMIENTO

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA
Cuando desconocemos la distribucin exacta de un estimador, podemos
preguntarnos si en grandes muestras el estimador sigue alguna
distribucin conocida. Esto nos permitir realizar inferencia estadstica
(contrastes de hiptesis) cuyos resultados sern vlidos en muestras
grandes.

La intuicin de la convergencia en distribucin es que la distribucin

de Zn se va pareciendo cada vez ms a la distribucin de Z conforme
aumenta el tamao muestral

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA

Ejemplo:
El estadstico t tiene una distribucin t de Student con n-k grados de
libertad. Pero, conforme n se comporta como una distribucin Normal
estndar. Esta es, por tanto, su distribucin asinttica
Estadstico t ~ t-Student
a

Estadstico t ~ N(0,1)

o bien

Estadstico t N(0,1)

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA

0.4
Normal (0,1)
t, 10 g.l.

0.3

t, 5 g.l.

0.2
0.1
0
-6

-5

-4

-3

-2

-1

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA
Una herramienta til para derivar distribuciones asintticas es el
Teorema Central del Lmite

Igual que ocurre con la Ley de los Grandes Nmeros, existen diferentes
Teoremas Centrales del Lmite cuando las Xi no son i.i.d. (se suelen
exigir condiciones de diferentes para que se cumpla).

2. PROPIEDADES ASINTTICAS
2. DISTRIBUCIN ASINTTICA
Por qu es til el Teorema Central del Lmite?
Lmite?
Porque nos ayuda a demostrar la validez de los contrastes de hiptesis
en muestras grandes (basados en los estadsticos de contraste que
conocemos) incluso si desconocemos cul es la verdadera distribucin
de los trminos de perturbacin del modelo.
En el caso del estimador MCO (OLS):
Un Teorema Central del Lmite nos dice que aunque las perturbaciones
aleatorias o trminos de error del modelo de regresin no sigan una
distribucin Normal, si tienen media 0 y varianza finita e igual a 2

3. PROPIEDADES DEL ESTIMADOR MXIMO VEROSMIL

(MAXIMUM LIKELIHOOD ESTIMATOR)

Las principales propiedades el estimador MV son propiedades

asintticas (o en muestras grandes). Se cumplen bajo condiciones
bastante generales (condiciones de regularidad).

Consistencia
Distribucin asinttica Normal
Eficiencia asinttica
Invarianza

3. PROPIEDADES DEL ESTIMADOR MXIMO VEROSMIL

(MAXIMUM LIKELIHOOD ESTIMATOR)

3. PROPIEDADES DEL ESTIMADOR MXIMO VEROSMIL

(MAXIMUM LIKELIHOOD ESTIMATOR)

4. CONCEPTOS HABITUALES EN ESTIMACIN ML

4. CONCEPTOS HABITUALES EN ESTIMACIN ML

ESTIMACIN DE LA MATRIZ DE VARIANZAS Y COVARIANZAS [-E[H]]-1
Tres mtodos:

(1)

Si la expresin de [-E[H]]-1 es conocida, podemos evaluar la matriz en el

valor de los parmetros estimados (que sustituirn as a los verdaderos
parmetros que aparecen en la expresin).

(2)

Si las esperanzas de los elementos de la matriz Hessiana no son

conocidos (muchas veces esos elementos son funciones no lineales para
las que no es posible calcular su esperanza), entonces podemos evaluar
I=[H]-1 en los valores de los parmetros estimados.

(3)

Como E[H] es la varianza de las primeras derivadas, podemos estimarla

mediante la varianza muestral de las primeras derivadas, es decir:

EJERCICIO:
Matriz de informacin del estimador MV en el modelo de regresin lineal
La matriz de informacin es:

Los gradientes o scores ya los tenemos calculados

En realidad es
un vector
gradiente (k x 1)

EJERCICIO:
Matriz de informacin del estimador MV en el modelo de regresin lineal
La matriz de informacin es:

EJERCICIO:
Matriz de informacin del estimador MV en el modelo de regresin lineal
La matriz de informacin es:

EJERCICIO:
Matriz de informacin del estimador MV en el modelo de regresin lineal
Por tanto:

EJERCICIO:

Supongamos una muestra aleatoria simple X1, X2, , Xn con funcin de

distribucin de probabilidad definida por:

1) Calcula E(Xi) y Var(Xi)

2) Encuentra el estimador MV de
3) Es MV consistente?
4) Encuentra su distribucin asinttica