MTODOS ECONOMTRICOS I

INTRODUCCIN

1.1

VARIABLES CATEGRICAS

Variables de un nmero limitado de valores o categoras, la diferencia con las variables continuas es que stas
pueden tomar infinitos valores.
Tipos de variables consideradas como categricas

Cuantitativa

Continua
Discreta
2 categoras = Binaria

Cualitativa

Nominal

Categrica
s

3 o ms categoras = Categrica

Ordinal

La mayora de observaciones en ciencias sociales se miden categricamente tales como:

Nacimientos
Casamientos
Escolaridad
Empleo
Ocupacin
Migracin
Divorcio
Muerte

Cuando las variables continuas son tratadas como variables categricas, se le dice categorizacin o
discretizacin de la variable continua.
Ejemplo:
Variable continua: edad
Categorizaciones:
edad laboral / edad no laboral;
niez / adolescencia / juventud / adultez / adulto mayor;
clasificada tambin cada cinco aos; etc.
Variable continua: educacin
Categorizacin:
primaria / secundaria / superior / postgrado

Razones para estudiar una variable continua como variable categrica

Su relevancia para el modelo terico

 Precisin en su medicin
Los valores de la variable categrica se repiten de una manera considerable en la muestra
Las categricas son ms importantes como variables respuestas que como variables explicativas
(Powers y Xie 1999, pg. 2-3)
Nombres de la variable en estudio
Dependiente
Salida
Endgena
Regresiva
Explicada

Respuesta (Tukey 1962)

Distintos nombres de las otras variables:

Independiente
Entrada
Exgena
Regresora
Explicativa
Predeterminada
Estmulo (Tukey 1962)
Utilizadas para explicar la variacin de la variable dependiente, tal que la variable dependiente es explicada
por, dependiente de, es una funcin de variables independientes en un modelo estadstico del tipo
regresin.
Modelo estadstico del tipo regresin: modelos que predicen el valor esperado o alguna otra
caracterstica de la variable dependiente como una funcin de regresin de variables independientes.
Similar al modelo lineal clsico, en la prediccin condicional de medias se usa el trmino regresin.
Las investigaciones para analizar datos categricos tienen ms de 20 aos. La disponibilidad de software
hace posible este avance.

1.2

DOS FILOSOFAS DE DATOS CATEGRICOS

Uno de los motivos para hacer difcil la consolidacin de los modelos estadsticos para datos categricos es la
existencia de dos filosofas acerca de la naturaleza de los datos categricos.

Aproximacin Estadstica o
Transformacional
Aproximacin de Variable
Latente o Economtrica

1.2.1

Variables son inherentemente categricas

y transformndolas se obtienen modelos
regresin.
Variables categricas son conceptualmente
continuas, observadas o medidas como
categricas.

Aproximacin transformacional

En la aproximacin transformacional (o aproximacin estadstica), la data categrica es considerada

inherentemente categrica y debera modelarse como tal. El enfoque es estimar los parmetros de la poblacin
correspondientes a la muestra. No se hace mencin a variables no observadas.
En esta aproximacin, la modelacin estadstica significa que el valor esperado de la variable dependiente
categrica (luego de una transformacin), se expresa como una funcin lineal de las variables independientes.

var . dependient e
E
funcin de var . indep .
categrica

var . dependient e
g E
funcin lineal de var . indep.
categrica

La funcin de regresin no es lineal dado que la variable categrica es la variable dependiente.
En este caso, el problema de no linealidad es manejado a travs de funciones no lineales que transforman el
valor esperado de la variable categrica en una funcin lineal de las variables independientes, tales funciones
son conocidas como funcin link.
1.2.2

Aproximacin variable latente

En la aproximacin variable latente (o aproximacin economtrica) se asume que una variable continua
latente o no observada subyace a una variable categrica observada.
Cuando la variable latente cruza un lmite (o umbral) la variable categrica asume un valor diferente. Las
variables categricas son una observacin parcial de las variables continuas.
Se pueden inferir de valores categricos observados slo los intervalos dentro de los cuales cae la variable
latente, no as los valores reales de ellos. Por esa razn, esta aproximacin denomina a las variables
categricas como variable dependiente limitada. (revisar Maddala 1983).

MLTIPLES INTERPRETACIONES

SIMILARES METODOLOGAS

SIMILARES METODOLOGAS

MLTIPLES INTERPRETACIONES

En esta aproximacin, el investigador se interesa ms en cmo las variables independientes afectan la variable
continua latente (llamado anlisis estructural) y menos en cmo las variables independientes afectan la variable
categrica observada.

VARIABLE CATEGRICA

VARIABLE LATENTE
No observable

Variable binaria

Propensin

Admisin a universidad

Calificaciones
Si las calificaciones exceden un umbral,
ingresan, si no exceden el umbral, no
ingresan

Eleccin real de un cliente/individuos

Representa

Diferencia entre costo y beneficio de una

alternativa de eleccin hecha por el
cliente

Participacin de mujeres en el mercado

laboral

Verosimilitud de admisin o de
participacin en la fuerza laboral

Decisin de participar y estatus de

participacin

Verosimilitud de admisin o de
participacin en la fuerza laboral

Muerte o no de un insecto por veneno

Tolerancia al nivel de dosis de una

medicina o insecticida

Variable latente ha sido extendida a variables categricas latentes

Ejercicio: Investigar los trminos latent trait model; latent class model

Ejercicio: Investigar autores y tipos de estudios en el tema.

Sugerencia de investigacin: Ms adelante, con los dos enfoques investigar

Existen mtodos similares a ambos enfoques?
Cules son similares y cules diferentes?
Existen combinacin de enfoques para ver el mismo problema?
(Ref. Powers pg. 13)

Observado

estructura l estocstic o

valores reales

de la
var . dependient e

dependient e y

aleatorio no

exp licado en la

var . independie ntes

factores

estocstic o

componente

relacin entre var .

estructura les
omitidos

parte estructura l
noise

errores
de medida

incertidum bre
a la que est sujeta
la ocurrencia

Interpretacin de la regresin qu hace la regresin a los datos

Powers propone:
a. Causalidad: observado = mecanismo verdadero + disturbio
b. Prediccin: observado = predictado + disturbio
c. Descripcin: observado = resumen + disturbio

a. Representa el mecanismo causal verdadero que genera la data.

Meta: especificar un modelo que revele el mecanismo de generacin de la data (Modelo Causal
Verdadero). Lo ms cercano posible a un modelo determinstico.
b. Meta: producir predicciones de la respuesta tiles para nueva data, dada una relacin entre variables
explicativas y var. respuesta.
c. Meta: resumir los aspectos bsicos de la data sin distorsionarla

Notacin:

resumen Y ajustado o fitted

resumen Y estadstico o estimador
Ley de parsimonia:
Si 2 modelos explican igualmente los hechos observados, el modelo ms simple es preferible hasta
que nuevas evidencias muestren lo contrario.

Accuracy (exactitud, precisin):

En este caso, mxima informacin con mnimos errores asociados con los residuales.

1.3

Dificultad de consolidacin

Hay numerosas contribuciones tericas de investigadores de reas tan diversas como estadstica,
bioestadstica, economa, psicologa, sociologa, etc., el origen multidisciplinario de los mtodos ha determinado
el desarrollo de
Distintas aproximaciones

Mltiples interpretaciones

Problemas similares

Metodologas similares

Es as que las diversas aplicaciones y terminologas en las distintas reas del conocimiento hace difcil
sintetizar y consolidar las tcnicas estadsticas actualmente disponibles para el tratamiento de variables
categricas.

1.4

ORGENES DE LOS MODELOS LINEALES GENERALIZADOS

El siguiente repaso de las contribuciones ayudar a entender mejor los esfuerzos con el fin de consolidar los
modelos para datos categricos (fuente: James K. Lindsey 1997, P. McCullagh, J.A. Nelder 19xx)

En 1805, Legendre propuso estimar los parmetros beta de un modelo lineal minimizando la suma de
cuadrados de los residuales.(P. McCullagh, J.A. Nelder pp.9)
En 1809, Gauss introdujo la distribucin normal con media cero y varianza constante para los errores,
en un texto de astronoma. (P. McCullagh, J.A. Nelder pp.9)
En 1823, Gauss, en su Theoria Combinationis, abandon la suposicin normal a favor de la suposicin
de constancia ms dbil de slo la varianza. Mostr que los estimadores de beta obtenida minimizando
el criterio de mnimos cuadrados, tiene mnima varianza entre la clase de los estimadores insesgados.
(P. McCullagh, J.A. Nelder pp.9)
Nelder y Wedderburn (1972), otorgaron el nombre de Modelos Lineales Generalizados, mostrando que
la linealidad puede utilizarse para de alguna forma unificar diversas tcnicas estadsticas.
Wedderburn (1974), extendi tal suposicin ms dbil hacia los modelos lineales generalizados,
utilizando el concepto de quasi-verosimilitud.
Recin en 1974, Wedderburn, realiz la extensin de la suposicin dbil hacia modelos lineales
generalizados, utilizando el concepto de quasi-verosimilitud. (Cap. 9 P. McCullagh, J.A. Nelder)
En 1919, Fisher investig en el rea de agricultura y en el transcurso de 10 aos, estableci los
fundamentos de los diseos de experimentos. F. Yates continu con la investigacin. (P. McCullagh,
J.A. Nelder pp.10)

Fisher (1920s 1935), influenci la extensin del desarrollo de modelos lineales generalizados,
correspondientes a los modelos para experimentos factoriales e incluy modelos especiales para cierta
clase de conteos y proporciones. (P. McCullagh, J.A. Nelder pp11)
Funcin de verosimilitud una aproximacin a la inferencia para cualquier modelo estadstico (Fisher,
1922);
Fisher (1922), en su Ensayo de Dilusin, trabaj con la transformacin log log complementar. (Pgs
11 y 12 McCullagh and Nelder 1989).
Familia exponencial una clase de distribuciones con estadsticos suficientes para los parmetros
(Fisher, 1934);
Bliss (1935), trabaja con el anlisis Probit, moderno mtodo de anlisis de datos en conexin con
bioensayos, (Pgs 13 y 14 McCullagh and Nelder 1989).
Berkson (1944, 1951). El modelo Logstico lineal fue utilizado en un contexto de experimentos de
bioensayo. (Pgs 14 McCullagh and Nelder 1989).
Dyke y Patterson (1952), publicaron un anlisis de datos de clasificacin cruzada referente a
proporciones de sujetos que tienen buen conocimiento de cncer, encontrando un modelo viable en el
modelo Logit para proporciones. (Pgs 14 McCullagh and Nelder 1989).
Rasch (1960), Anlisis de tem una distribucin bernoull con el link logit
Birch (1963), Modelos para conteo Log-linear una distribucin Poisson con el link log.
Feigl and Zelen (1965); Zippin and Armitage (1966); Glasser (1967); introdujeron Modelos de regresin
para datos de supervivencia una distribucin exponencial con el link log o el link recproco.
Goodman (1981), list tres tipos ideales de tablas de contingencia para el contexto de los modelos
Log-linear (ver Power 1999, pg. 88)
Nelder (1966), introdujo los polinomios inversos que fueron extendidos a la curva respuesta en
trminos de polinomios de inversa cuadrtica y de inversa de orden mayor, distribucin gamma con el
link recproco.
Aitkin y Clayton (1980), demostraron que el anlisis de datos de supervivencia censoreados puede
adaptarse a los modelos lineales generalizados.
Dobson A. J. (1983), An introduction to statistical modeling. Chapman and Hall, London.
Para reconocer y diferenciar los modelos mencionados es necesario esquematizar o clasificar los
modelos.

FAMILIA EXPONENCIAL DE DISTRIBUCIONES

Sea la distribucin de una v.a.

f ( )

f ( )

Pertenece a la Familia Exponencial de Distribuciones (f.e.d.) si

Se puede escribir as

f ( y; ) s( y ) . t ( ) . ea ( y ) . b( )
Reescribiendo

f ( y; ) exp a( y ) . b( ) c( ) d ( y )

s( y ) exp{ d ( y ) }
t ( ) exp{ c( ) }

Se conocen las funciones

A la distribucin

b ( )

f ( y; )

a (.), b (.), s (.)

t (.)

se le dice que es cannica (forma estndar) si

a( y) y

es el parmetro natural de la distribucin

Si existen otros parmetros adems de theta que no son de inters, se consideran nuisance y se asume
que son conocidos.

2.1

Clculo de E(Y) y V(Y) utilizando la f.e.d.

Sea

f ( y; )

una funcin de distribucin perteneciente a la f.e.d.

f ( y; ) dy 1

se cumple en una densidad

Derivando

d
d

f ( y; ) dy

d
1 0
d

d
d f ( y; ) dy 0

Derivando otra vez

d
d

d
d
f
(
y
;

)
dy

00
d
d

d2
d 2 f ( y; ) dy 0

f ( y; ) exp a( y ) . b( ) c( ) d ( y )
d
d
f ( y; )
exp a( y ) . b( ) c( ) d ( y )
d
d
d
f ( y; ) a( y ) . b' ( ) c' ( ) f ( y; )
d

d
f ( y; ) dy a( y ) . b' ( ) c' ( ) f ( y; ) dy 0
d

Como

b' ( ) a( y ) f ( y; ) dy c' ( ) f ( y; ) dy 0

b' ( ) a( y ) f ( y; ) dy c' ( )(1) 0

b' ( ) E [a(Y )] c' ( ) 0

E [a(Y )]

c' ( )
b' ( )

----------------------------------------- (1)

Como

d
f ( y; ) a( y ) . b' ( ) c' ( ) f ( y; )
d

d2
f ( y; ) a ( y ) . b' ' ( ) c' ' ( ) f ( y; )
d 2
2
a ( y ) . b' ( ) c' ( ) f ( y; )
a ( y ) . b' ' ( ) c' ' ( ) f ( y; )
2

c' ( )
b' ( ) a ( y ) .
f ( y; )
b
'
(

a( y ) . b' ' ( ) c' ' ( ) f ( y; )

2

b' ( ) a( y ) . E (a(Y )) f ( y; )
2

Tomando esperanza (integrando en todo dominio)

d2
d 2 f ( y; ) a( y ) . b' ' ( ) c' ' ( ) f ( y; ) dy
b' ( )

a
(
y
)
.

E
(
a
(
Y
))

f ( y; ) dy

b' ' ( ) a( y ) f ( y; ) dy c' ' ( ) f ( y; ) dy

b' ( )

a( y ) . E (a(Y ))

f ( y; ) dy

b' ' ( ) Ea(Y ) c' ' ( ) (1) b' ( ) V a(Y )

2

 b' ' ( ) Ea(Y ) c' ' ( ) b' ( ) V a(Y ) 0

2

Despejando

V a(Y )

V a(Y )

b' ' ( )
c' ' ( )

E
a
(
Y
)

b' ( )2
b' ( )2

b' ' ( ) c' ( ) c' ' ( )

b' ( )2 b' ( ) b' ( )2

b' ' ( )c' ( ) b' ( )c' ' ( )

3
b' ( )
b' ( )3

V a(Y )

b' ' ( ) c' ( ) b' ( ) c' ' ( )

b' ( )3

-------------------------------- (2)

Ejercicios: (Dobson)

3.1 Las siguientes relaciones pueden describirse a travs de MLG. Para cada una identificar la variable
respuesta y las variables explicativas, seleccionar una funcin de distribucin para la variable respuesta,
justificando su eleccin y escribir el componente lineal
3.1.a El efecto de la edad, sexo, altura, ingesta media diaria de alimentos y el gasto energtico medio diario
en el peso de una persona.
3.1.b Las proporciones de ratones de laboratorio, infectados despus de la exposicin a una bacteria donde
se utilizaron 5 niveles de exposicin distintas y 20 ratones fueron expuestos en cada nivel.
3.1.c La relacin entre el nmero de viajes por semana al supermercado para un hogar y el nmero de
personas en el hogar, el ingreso familiar y la distancia al supermercado.
3.2 Si la variable aleatoria Y tiene la distribucin Gamma con un parmetro de escala, que es el parmetro
de inters, y un parmetro de forma conocida , entonces su funcin de densidad de probabilidad es

y 1 e y
f ( y; )
( )
Mostrar que esta distribucin pertenece a la familia exponencial de distribuciones y encontrar el parmetro
natural. Utilizando los resultados de la seccin, calcular

E (Y )

V (Y )

3.3 Mostrar que las siguientes funciones de densidad de probabilidad pertenecen a la f.e.d.

3.3.a Distribucin de Pareto

f ( y; ) y 1

3.3.b Distribucin Exponencial

f ( y; ) e y
y r 1 r
y
f ( y; )
1
r 1
,

3.3.c Distribucin Binomial Negativa

3.4 Utilizar los resultados de

E (a(Y ))

V (a(Y ))

r conocida

calculados a partir de la f.e.d. para verificar los

siguientes resultados
3.4.a Para Y
3.4.b Para Y
3.4.c Para Y

~
~
~

Poisson

E (Y ) y V (Y ) 2
E (Y ) n y V (Y ) n (1 )

Normal(u, sigma^2 ),
Binomial(n, pi)

3.5
Tasas de mortalidad
Para una poblacin grande, la probabilidad de un individuo elegido aleatoriamente muera en un tiempo
particular es pequea. Si se asume que las muertes de una enfermedad no infecciosa son eventos
independientes, entonces el nmero de muertes Y en una poblacin, puede ser modelada en una distribucin
de Poisson

3.6 Considerar N variables aleatorias binarias

P (Yi 1) i y

Y1 , Y2 , Y3 , , YN

P (Yi 0) 1 i

Yi puede escribirse como i i (1 i )1 yi donde Yi 0 o Yi 1

y

La funcin de probabilidad de

3.6.a Mostrar que esta funcin de probabilidad pertenece a la f.e.d.

3.6.b Mostrar que el parmetro natural es

log i
el logaritmo del los odds
1 i
3.6.c Mostrar que

con

E (Yi ) i

3.6.d Si la funcin link es

T
g ( ) log
x
1

, llamada funcin logit

1 i

Mostrar que es equivalente a modelar la probabilidad

como

ex

T
1 ex

3.6.e En el caso particular que

xT 1 2 x resulta

e 1 2 x

1 e 1 2 x que es la funcin logstica

3.6.f Trazar el grfico pi vs x en este caso, tomando beta1 y beta2 como constantes. Cmo interpretara este
grfico si x es la dosis de un insecticida y pi es la probabilidad que un insecto muera?

3.7 La distribucin de valor extremos de Gumble, con funcin de densidad de probabilidad

y
y
1
f ( y; ) exp
exp

0 es considerado un parmetro nuisance, es un miembro de la familia exponencial?
donde
3.8 Suponga
Pareto y

Y1 , Y2 , Y3 , , YN

variables aleatorias independientes, cada una con distribucin de

E (Yi ) i ( 0 1 xi )2
Es este un MLG? Justificar la respuesta.
3.9 Sean

Y1 , Y2 , Y3 , , YN

variables aleatorias independientes con

E (Yi ) i 0 log( 1 2 xi ) ; Yi ~ N ( , ) Para todo i=1, N.

2

Es este un MLG? Justificar la respuesta.

3.10 Para la Distribucin de Pareto encontrar el score stadstico U y la informacin J=Var(U). Verificar que
E(U)=0.

Hallar

E [a(Y )]

V a(Y )

utilizando la f.e.d. para la distribucin de Poisson

2.2

Funcin log-verosmil

La siguiente es la funcin log-verosmil de una f.d. en la familia exponencial

c -------------------------------- (3)
Ejercicio: diga qu es una funcin de verosimilitud.
2.3

Estadstico score

Derivando (3) con respecto a theta:

U ( ; y )

d
d
l ( ; y )
log f ( y; ) a( y ).b' ( ) c' ( )
d
d

El estadstico score es

U a(Y ) b' ( ) c' ( )

------------------------------------- (4)

Aplicando esperanza a (4):

E(U ) b' ( ) E(a(Y )) c' ( )

c' ( )
b' ( )
c' ( ) 0
b' ( )
2.4

Informacin J

Aplicando varianza a (4):

V (U ) b' ( ) V (a(Y ))
2

De (2)

b' ' ( ) c' ( ) b' ( ) c' ' ( )

b' ( )3
b' ' ( ) c' ( ) b' ( ) c' ' ( )

b' ( )
b' ' ( ) c' ( ) b' ( ) c' ' ( )

b' ( )
b' ( )
b' ' ( ) c' ( )

c' ' ( )
b' ( )
b' ' ( ) c' ( )
V (U )
c' ' ( )

----------------------------------- (5)
b' ( )

V (U ) b' ( )

Obteniendo as la Informacin J:

J V (U )

b' ' ( ) c' ( )

c' ' ( )
b' ( )

------------------------------ (6)

Observacin.- el score U es utilizado para inferencia de valores de parmetros en Modelos Lineales

Generalizados.
Propiedad

V (U ) E (U 2 ) E (U ' )
Prueba:

V (U ) E (U 2 )

a)

V ( X ) E( X 2 ) E 2 ( X )

para toda v.a. X

V (U ) E (U 2 ) E 2 (U )

E (U ) 0

Como

V (U ) E (U 2 )

V (U ) E (U ' )

b)

Derivando

dU d
a(Y ) b' ( ) c' ( )

d d
a(Y ) b' ' ( ) c' ' ( )

U'

Tomando esperanza a U:

E (U ' ) E (a(Y ) b' ' ( ) c' ' ( ))

b' ' ( ) E(a(Y )) c' ' ( )

c' ( )
b' ' ( )
c' ' ( )
b
'
(

c' ( )
b' ' ( )
c' ' ( )
b' ( )

----- de (4)

c' ( )
b' ' ( )
c' ' ( )
b' ( )

V (U )
V (U ) E (U ' )

Finalmente,

J V (U ) E (U ' ) E (U 2 )
2.5

Familia exponencial en distribuciones conocidas

MODELOS LINEALES GENERALIZADOS

3.1

Ventajas

Los Modelos Lineales Generalizados (MLG) son tiles para 3 situaciones genricas
(1) Las variables respuesta tienen distribucin distinta a la normal
(2) Las variables respuestas pueden ser categricas
(3) La relacin entre variable respuesta y variables explicativas no necesariamente es lineal.
Dos avances en la teora permiten utilizar mtodos similares a los Modelos Lineales en las situaciones
genricas mencionadas.
Avance 1.- reconocimiento que varias de las propiedades convenientes de la normal son compartidas por
una amplia clase de distribuciones llamadas familia exponencial de distribuciones.
Avance 2.- extensin de mtodos numricos para estimar los parmetros beta desde el modelo lineal E (Yi )
hasta el modelo lineal g E (Yi )
3.2

Condiciones

Sean

Y ,1 Y2 , Y3 , , YN

variables aleatorias independientes con distribuciones pertenecientes a la familia exponencial de

distribuciones.
Se cumple
1) La distribucin de cada
2) La distribucin de cada
3) Los

Yi
Yi

tiene la forma cannica

depende de un simple parmetro

no necesariamente son iguales para cada

Yi

f ( yi ; ) exp{ yi bi (i ) ci (i ) di ( yi ) }
4) Todos los

Yi

tienen la misma forma de distribucin tal que

di ( yi ) d ( yi )

bi (i ) b(i ) , ci (i ) c(i )

b, c, d )
Y ,1 Y2 , Y3 , , YN

( i.e. eliminar los sub-ndices de

5) En la distribucin conjunta de

f ( y1, y2 , , yN , ;1, 2 , , N , ) exp{ yi b(i ) c(i ) d ( yi ) }

i 1

N
N

exp yi b(i ) c(i ) d ( yi )

i 1
i 1
i 1

6) Los parmetros i no son de inters directo, por ello, pueden ser distintos para cada
7) La forma de dependencia de la varianza y la media deben ser conocidas.

3.3

Yi .

Modelo (MLG)

E (Yi ) i

Si

es alguna funcin de

En un Modelo Lineal Generalizado, existe una transformacin de g (.) de

llamada Funcin Link,

g ( i ) g ( E (Yi )) X i '
Notacin

g (.)

i g ( i ) X i '

es una funcin montona diferenciable

Y ,1 Y2 , Y3 , , YN

Xi'

independientes y comparten la misma distribucin de la f.e.d.

vector px1 de variables explicativas

(es la traspuesta de la i-sima columna de la matriz diseo X , es un vector de variables
Explicativas, covariates o variables dummy cuando se trata de niveles de factores).

xi1
x
X i i1


xi1

X i ' xi1 xi1 xi1

vector px1 de parmetros

x11 x12
x x
X 21 22

xN1 xN 2

x1,k 1
x2,k 1

x N ,k 1

1

2



p
no necesariamente son las mismas

3.4

Pasos para ajustar el modelo

1)
2)
3)
4)

4.1

Especificacin del modelo (funcin link, distribucin de Y)

Estimacin de parmetros
Anlisis de residuales para la idoneidad del modelo
Inferencia e interpretacin (hiptesis, intervalos de confianza)

ESTIMACIN EN MLG

Estadstico score

Si

f ( y; ) s( y ) . t ( ) . ea ( y ) . b( )

exp a( y ) . b( ) c( ) d ( y )

l ( ; y ) ln( ; y ) ln f ( y; ) lnexp a( y ) . b( ) c( ) d ( y )
a( y ) . b( ) c( ) d ( y )

U ( ; y )

d
l ( ; y ) a( y ) . b' ( ) c' ( )
d

-------------------------- (1)

Estadstico score:

U a(Y ) . b' ( ) c' ( )

El estimador mximo verosmil

---------------------------- (2)

es la solucin de

U ( ) 0

4.2

Aproximacin de Newton Raphson

Dado un valor x
a x

m 1

( donde t ( x

m 1

) 0 ), se busca el valor

x m

tal que t ( x

) 0 es el cero ms cercano

m 1

x ( m 1)

x (m )

La pendiente de t (.) en el valor x

d t (.)
dx

t ' ( x m 1 )
x x m1

m 1

es:

t ( x m ) t ( x m 1 )
x m x m 1

x m x m 1 es pequea
Si x m es la solucin requerida tal que t ( x m ) 0

t ( x m ) t ( x m 1 ) 0 t ( x m 1 )
t ( x m 1 )

x m x m 1
x m x m 1
x m x m 1
t ( x m 1 )
m
m 1

x x
t ' ( x m 1 )
m 1
)
t' ( x

x m x m 1

t ( x m 1 )
t ' ( x m 1 )

-------------------------------- (3)

Empezando con x 1 , sucesivas aproximaciones llevarn hasta que el proceso iterativo converja.
Es la solucin de Newton Raphson.

4.3

Mtodo scoring

El mtodo scoring es el mtodo para hallar el estimador mximo verosmil a partir de la ecuacin de
estimacin:

m 1

U m 1
m 1
J

----------------------------------------- (4)

Hallar el valor de tal que U ( ) 0 . Dado que

d U (.)
d

U ' (

x x m1

U (

) U ( m 1 )
m m 1

Si m es la solucin requerida tal que U ( m ) 0

U ' (

U ' (

0 U ( m 1 )
)
m m 1

U ( m 1 )
) m
m 1

m 1

U ( m 1 )
U ' ( m )

-------------------------------- (5)

Para la estimacin mximo verosmil se suele aproximar U ' (

) con E U ' (

U ( m 1 )

E U ' ( m )
Se sabe que J E U '
U ( m 1 )
m
m 1

E U ' ( m )

m 1

U ( m 1 )

J
U ( m 1 )
m
m 1

J
m

4.4

m 1

------------------------------------- (6)

Estimacin

4.4.1

Funcin log-verosmil

Sean

Y ,1 Y2 , Y3 , ,YN variables aleatorias independientes con distribuciones pertenecientes a la familia

exponencial de distribuciones. De donde E (Yi ) i , g ( i ) g ( E (Yi )) X i '

Para cada

Yi

la Funcin log-verosmil es:

Para todos los

(8)

Yi

i g ( i ) X i ' .

li log f ( y; ) yi b(i ) c(i ) d ( yi )

la Funcin log-verosmil es:

------------------ (7)

i 1

i 1

i 1

i 1

l li yi b(i ) c(i ) d ( yi )

-----

4.4.2

Estadstico score en el MLG

A partir de la derivada de la funcin log-verosimilitud (score), se aproximarn los parmetros del modelo.

De la ec. (1), para cada

j: Uj
j
j

l
li i

i 1
i 1 j
N

Desarrollando cada una de los tres factores dentro de la sumatoria

li i i
.
i
i j

.
i 1

li i i
.
i
i j

.
i 1

------- (9)

, es decir,

li
i
i
(ii )
i
i
(iii )
j

(i )

Desarrollando (i), (ii), (iii)

li
yi b(i ) c(i ) d ( yi )

i i
yi b' (i ) c' (i )

(i )

c' (i )

b' (i ) yi
b
'
(

)
i

c' (i )

b' (i ) yi
b
'
(

)
i

b' (i ) yi E (a(Yi ))
b' (i ) yi E (Yi )
b' (i ) yi i
li
b' (i ) yi i

(ii )

de (7)

------------------------------ (10)

i
1

i
i
i
c' (i )

b
'
(

)
i
E (a (Yi ))
E (Yi )
i
b' (i ) c' ' (i ) c' (i )b' ' (i )

i
i
i
i
b' (i )2

c' (i )b' ' (i ) b' (i ) c' ' (i )

c' (i )b' ' (i ) b' (i ) c' ' (i )
b' (i )
2
2
b' (i )
b' (i ) . b' (i )

c' (i )b' ' (i ) b' (i ) c' ' (i )

b' (i )
2
b' (i ) . b' (i )

i
b' (i ) V (Yi )
i

b' (i ) V (a(Yi )) b' (i ) V (Yi )

Utilizando el hecho que en un MLG la funcin de distribucin es cannica

i
1
1

i
i
b' (i ) V (Yi )
i

(iii )

( a(Yi ) Yi )

-------------------------------------- (11)

i i i i

. xij
j i j i
k

Recordando que

i g ( i ) X i ' xi j j xi 0 0 xi1 1 xik k

j 0

i i

. xij
j i

------------------------------------- (12)

Combinando (10), (11) y (12)

Uj

i 1

li i i
1
i
.
.
b' (i ) yi i
. xij
i i j
b
'
(

)
V
(
Y
)

i 1
i
i
i

1 i N yi i i
yi i
. xij
. xij
V
(
Y
)

V
(
Y
)

i 1
i
i
i
i
i 1

Resultando el estadstico score:

y i i
U j i
. xij
V (Yi ) i
i 1

4.4.3

--------------------------------------- (13)

Matriz Informacin J

Dado que E (U j ) 0 . Desarrollando la matriz de varianzas y covarianzas V (U j )

V (U ) E U E U U E U ' E U 0U 0 ' E U U '

U1

U1U1 U1U 2 U1U p

U U

U2
2
1

E U U ' E U1 U 2 U p E

U p

U pU1 U pU p
E (U1U1 ) E (U1U 2 ) E (U1U p )
E (U U )

2 1

E (U U ) J J

j k
jk

E (U pU p )
E (U pU1 )
De este modo

J J jk V (U ) E (U jUk )
Siendo

J jk

son los trminos de la matriz informacin

N yi i i N yi i i

J jk E (U j U k ) E
xij .
xi k

i 1 V (Yi ) i i 1 V (Yi ) i
Ntese que por la independencia de los
Adems, que

N
J jk E
i 1
N

i 1
N

i 1

E yi i yi i 0

yi i 2
V (Yi ) 2

E y i i
x x
V (Yi ) 2 ij i k
2

V (Yi )
x x
V (Yi ) 2 ij i k
J jk
i 1

Recordando que

4.4.4

para todo i j

E yi i V (Yi ) , por lo que

Yi ' s

J jk

xij xi k i
i
i

xij xi k i

V (Yi ) 2 i

------------------------------ (14)

son los trminos de la matriz informacin

Ecuacin de estimacin

b( m ) b1 , b2 , , bp
( m)

El vector

( m)

( m)

de estimadores de los parmetros de

1 , 2 ,

, p ,

calcula (se aproxima) con la ecuacin de estimacin

b( m ) b( m 1) J ( m 1)

U ( m 1)

------------------------------------ (15)

J ( m 1) matriz informacin con elementos J jk

U ( m 1) vector px1 de elementos de U j

4.4.5

l
j

evaluados en

b( m 1)

Ecuaciones normales

Multiplicando la ecuacin (15) por

J ( m 1)

J ( m 1)b( m) J ( m 1)b( m 1) J ( m 1) J ( m 1)

U ( m 1)

J ( m 1)b( m) J ( m 1)b( m 1) U ( m 1)
N

J jk
i 1

2
N

xij xi k i
1

x
ij
V (Yi )
V (Yi ) 2 i
i 1

x
xij wii xi k
ik
i 1

xi j wii xi k
i 1

J 11
J
21
J J jk

J p1

x11
x
12

x1 p

x21
x22

x2 p

N
xi1 wii xi1
J 12 J 1 p i 1
N

xi 2 wii xi1

i 1

J pp N
xip wii xi1
i 1
2
1
1

x N 1 V (Y1 ) 2 1
0

xN 2

x Np

x
i 1

i1

wii xi 2

i 1

wii xip

xip wii xip

i 1

i1

x11 x12
x21 x22

2
p xN 1 x N 2
1

V (Yp )2 p

x1 p
x2 p

xNp

se

 x11 x21
x x
12
22

x1 p x2 p
w11 0
0 w
22
X'

0
X'W X

xN 1 w11 0 0 x11 x12

xN 2 0 w22
x21 x22

xNp 0 w pp xN 1 xN 2
0

X

w pp

x1 p
x2 p

xNp

X ' W Xb( m) X ' W Xb( m 1) U ( m 1)

Luego, se conoce que

U j
i 1
N

yi i i

N
xij
V (Yi ) i i 1

yi i i

xij
V (Yi ) i i

Reordenando

1
xij
V (Yi )
i 1

2
i
i

yi i

i
i

X ' W yi i i
i

X'W a

Donde

a Nx1 yi i i
i

Nota:

U j
i 1
N

yi i i

N
xij
V (Yi ) i i 1

1

i 1 V (Yi )

yi i i

xij
V (Yi ) i i

2
i
i

xij yi i

i
i

wii xij yi i i
i 1
i
N

X ' W yi i i
i N 1

 X ' W a N 1
As

J ( m 1) b( m) J ( m 1) b( m 1) U ( m 1)
X ' W X b( m) X ' W Xb( m 1) U ( m 1)

X ' W X b( m) X ' W Xb( m 1) X ' W a

X ' W X b( m) X ' W X b( m 1) a
N p p 1 N 1
N 1

Las Ecuaciones Normales para MLG

X ' W X b( m) X ' W z

--------------------------------------- (16)

Es la forma de las Ecuaciones Normales para MLG, similar a las ecuaciones normales obtenidas para
obtener los estimadores por el mtodo de Mnimo Cuadrados Ordinarios. La diferencia en los MLG, es que
debe ser resuelto iterativamente. Este mtodo para hallar los estimadores mximo verosmiles se denomina
procedimiento Mnimo Cuadrados Ponderados Iterativos.

INFERENCIA

Para realizar pruebas de intervalos de conanza, son necesarias las distribuciones muestrales de los
estadsticos. Antes un repaso de distribucin asinttica, necesaria en este caso.
5.1

Distribuciones asintticas

Si hubiese un solo parmetro, el score es un escalar, por lo que dado que

U
~ 0,1
J
Si hay un vector de parmetros,

U2
~ 2(1)
J

E (U ) 0

V (U ) J

 U1
1


U2
2

~ N (0, J )



U

p
p
Es decir, para muestras grandes el vector score

tiene distribucin normal multivariada (asintticamente):

U ~ 0, J
U ' J U ~ p2
Para los estimadores de los parmetros, las distribuciones muestrales asintticas son:
Para un solo parmetro

~ , J 1

Para el vector de parmetros

~ , J 1

El estadstico de Wald:

' J ( ) ~
5.2

2
p

Estadstico de razn log-verosimilitud

L( mx ; y ) verosimilitud evaluada en el estadstico mximo verosmil bajo el modelo general

L(; y ) verosimilitud evaluada en el estadstico mximo verosmil bajo el modelo ms simple

Estadstico razn de verosimilitud

L( mx ; y )
L( ; y )

L( mx ; y )
log

ln
log L( mx ; y ) log L( ; y )
Estadstico razn log-verosmil
L( ; y )
Valores grandes de log implica ajuste pobre o dbil del modelo de inters al compararlo con el modelo
saturado.
5.3

Devianza

Se puede demostrar que

D 2 log 2 log L( mx ; y) log L( ; y)

v parmetro de no centralidad
m nmero de parmetros del modelo saturado

(2m p ,v )

p nmero de parmetros del modelo general

5.4

Bondad de Ajuste

En Modelos Lineales Generalizados, se orienta a comparar el ajuste de dos modelos ajustados a los datos.
Caso extremo:

H 0 : Modelo ms simple, con un slo parmetro que es el promedio de las variables.

H A : Modelo llamado saturado, que tiene N parmetros, uno por cada observacin y la media derivada de este
modelo coincide con la media de las observaciones.
Caso general:

H 0 : Modelo lo ms simple posible

H A : Modelo lo ms general

5.5

Prueba de hiptesis

Est orientado a comparar cual de dos modelos ajusta mejor la data.

Condiciones: Para la comparacin en Modelos Lineales Generalizados se tiene

Ambos modelos tienen la misma distribucin de probabilidad

Ambos modelos tienen la misma funcin link
Un modelo puede tener puede tener ms parmetros que el otro
La hiptesis nula corresponde al modelo ms simple
La hiptesis alterna corresponde al modelo ms general
Las comparaciones realizan a travs de estadsticos para describir qu tan bien los modelos ajustan los
datos (estadsticos de Bondad de Ajuste).

Hiptesis:

1

2
H0 : 0

q

1

2
H A : 1

p

q p N

p nmero de parmetros del modelo general

q nmero de parmetros del modelo restringido

Estadstico de prueba:

D0 2 log 2 log L( mx ; y) log L( 0 ; y)

D1 2 log 2 log L( mx ; y) log L( 1 ; y)
D0 D1 2 log L( mx ; y) log L( 0 ; y) log L( mx ; y) log L( 1; y)
D0 D1 2 log L( 1; y) log L( 0 ; y) 2 l ( 1; y) l ( 0 ; y)
D D0 D1

(2pq )

Regla de decisin:
Si D

100%

Rechazar H 0 : 0

Si D

100%

Aceptar H A : 1

5.6

Intervalo de confianza

Es la medida de precisin llamadas estimaciones de intervalo.

1
IC ; 95% k

J
Donde

sd ( )

1
J

(2pq )