UNI VERSI DAD AUTNOMA CHAPI NGO

DIVISIN DE CIENCIAS FORESTALES

DEPARTAMENTO DE ESTADSTICA, MATEMTICA Y CMPUTO



UN ENFOQUE BAYESIANO DEL MODELO DE REGRESIN EN
ECONOMETRA


TESIS PROFESIONAL

Que como requisito parcial
para obtener el ttulo de:


LICENCIADO EN ESTADSTICA



PRESENTA:

JORGE TRUCIOS CAMARILLO



Chapingo, Mxico, mayo del 2006





ndice de Contenido

RESUMEN ..................................................................................................................................................................... i
SUMMARY ...................................................................................................................................................................ii
Captulo I ...................................................................................................................................................................... 1
Introduccin. .............................................................................................................................................................. 1
Justificacin. .............................................................................................................................................................. 2
Objetivos .................................................................................................................................................................... 3
General ................................................................................................................................................................... 3
Particulares ............................................................................................................................................................ 3
Captulo II ..................................................................................................................................................................... 4
Teora Bayesiana ....................................................................................................................................................... 4
Clculo bayesiano. ..................................................................................................................................................... 5
Captulo III ................................................................................................................................................................... 7
Modelo de regresin lineal normal con a priori conjugada natural: Caso Univariado ....................................... 7
Funcin de verosimilitud ...................................................................................................................................... 7
A priori. ................................................................................................................................................................. 10
Posterior. .............................................................................................................................................................. 11
Comparacin de modelos. ................................................................................................................................... 13
Prediccin. ............................................................................................................................................................ 16
Captulo IV .................................................................................................................................................................. 18
Modelo de regresin lineal normal mltiple con a priori conjugada natural en notacin matricial ................ 18
Funcin de verosimilitud .................................................................................................................................... 19
A priori .................................................................................................................................................................. 20
Posterior. .............................................................................................................................................................. 21
Comparacin de modelos. ................................................................................................................................... 23
Comparacin de modelos suponiendo restricciones de desigualdad. ................................................................ 23
Restricciones de igualdad .................................................................................................................................. 23
Intervalos de densidad posterior ms altos. ....................................................................................................... 25
Prediccin. ............................................................................................................................................................ 26
Captulo V. .................................................................................................................................................................. 28
Modelo de regresin lineal normal con a priori independiente normal-gama. ................................................... 28
A priori .................................................................................................................................................................. 28
Posterior ............................................................................................................................................................... 29
Densidad Proporcin SavageDickey ............................................................................................................... 30
Prediccin ............................................................................................................................................................. 32
Captulo VI .................................................................................................................................................................. 34
Modelo de Regresin Lineal con Matriz de Covarianzas de Errores Generales .................................................. 34
Modelo con Matriz de Varianzas y Covarianzas general ............................................................................ 34
Funcin de Verosimilitud .................................................................................................................................. 35
A Priori .............................................................................................................................................................. 36

Posterior............................................................................................................................................................. 36
Heteroscedasticidad ............................................................................................................................................. 37
Heteroscedasticidad de forma desconocida: Con errores t-student ................................................................ 38
Capitulo VII ................................................................................................................................................................ 41
Calculo Bayesiano .................................................................................................................................................... 41
Integracin Monte Carlo.................................................................................................................................... 41
Muestreo de Gibbs ............................................................................................................................................... 42
Diagnsticos Cadenas de Markov Monte Carlo ................................................................................................ 44
Calculo Bayesiano para Heteroscedasticidad.................................................................................................... 48
Capitulo VIII............................................................................................................................................................... 50
Ejemplos y Discusin. .............................................................................................................................................. 50
Ejemplo 1.............................................................................................................................................................. 51
Mnimos cuadrados ordinario ............................................................................................................................ 52
Modelo de Regresin lineal normal con a priori no informativa y a priori informativa................................... 53
Modelo de Regresin lineal normal con a priori independiente normal-gamma .............................................. 56
Ejemplo II ............................................................................................................................................................ 58
Heteroscedasticidad para el acercamiento clsico ............................................................................................. 58
Heteroscedasticidad en el enfoque Bayesiano ................................................................................................... 60
CONCLUCIONES ..................................................................................................................................................... 62
Bibliografa ................................................................................................................................................................. 63
APNDICE I .............................................................................................................................................................. 63
ANEXO ....................................................................................................................................................................... 66































ndice de Cuadros y Figuras

Cuadro 1. Desembolsos del presupuesto de defensa de los EU. .............................................................................. 51
Cuadro 2. Anlisis de Varianza ................................................................................................................................. 52
Cuadro 3. Coeficientes de regresin. ........................................................................................................................ 52
Cuadro 4. Medias posteriores para | . ..................................................................................................................... 53
Cuadro 5. Comparacin de modelos envolviendo | . ............................................................................................ 54
Cuadro 6. Resultado posteriores con a priori informativa ...................................................................................... 54
Cuadro 7. Coeficientes de | y desviaciones estndar. ........................................................................................... 55
Cuadro 8. Propiedades posteriores de h y de o ...................................................................................................... 55
Cuadro 9. Resultados previos y posteriores para | (desviaciones estndar) ...................................................... 57
Cuadro 10. Inversiones para 35 firmas en una industria. ....................................................................................... 58
Cuadro 11. Anlisis de Varianza. .............................................................................................................................. 59
Cuadro 12. Coeficientes de regresin........................................................................................................................ 59
Cuadro 13. Anlisis de Varianza para los datos transformados. ........................................................................... 59
Cuadro 14. Coeficientes de regresin con los datos transformados. ...................................................................... 59
Cuadro 15.Modelo lineal Heteroscedastico Bayesiano con estimaciones de Gibbs............................................... 61
Cuadro 16. Valores a priori ........................................................................................................................................ 61
Cuadro 17. Estimaciones posteriores ........................................................................................................................ 61
Cuadro 18. Parmetros para ambos acercamientos y desviacin Estndar. ........................................................ 61
Figura 1. Valores actuales contra los valores predichos y residuales. ................................................................... 52
Figura 2. Grfica de residuales. ................................................................................................................................ 53







i
UN ENFOQUE BAYESIANO DEL MODELO DE REGRESIN EN
ECONOMETRA
Jorge Trucios Camarillo
1
Jos Artemio Cadena Meneses
2
RESUMEN

El presente trabajo propone el modelo de regresin lineal mltiple y un modelo de regresin
lineal con Heteroscedasticidad bajo el enfoque Bayesiano, como una herramienta para el anlisis
de la informacin, ofrece las bases para el clculo de estimadores y de cmo se integra la
informacin a priori al modelo de regresin.

El enfoque Bayesiano, integra la informacin a priori ( , | ) p h | y (que pueden ser: conocimiento
del investigador sobre el fenmeno, investigaciones anteriores u otras fuentes) con la funcin de
verosimilitud
2
( | , ) p | o y , a travs del teorema de Bayes, obteniendo el resultado conocido como
la distribucin posterior del modelo ( , | ) p h | y .

Para la obtencin de los estimadores, en el presente trabajo se propusieron: una a priori no
informativa, una a priori conjugada natural y adems se incluy una a priori independiente
normal-gama. El programa utilizado para calcular dichos estimadores fue MATLAB versin 5.3,
se utilizaron las rutinas de LaSage (1999) que estn en la pgina: www.spatial-econometrics.com,
para poder calcular los estimadores.

El enfoque Bayesiana y Clsica producen resultados similares cuando no se cuenta con
informacin a priori, la diferencia substancial entre ambos mtodos esta en el anlisis y el enfoque
del problema. Sin embargo, con informacin a priori los estimadores Bayesianos son ms precisos
que los estimadores clsicos.

Palabras Clave: Distribucin a priori, Distribucin posterior, Funcin de verosimilitud,
Heteroscedasticidad, Regresin lineal.


1
Egresado del departamento de Estadstica, Matemtica y Computo de la Divisin de Ciencias Forestales.
Universidad Autnoma Chapingo. Mxico.
2
Profesor del departamento de Estadstica, Matemtica y Computo de la Divisin de Ciencias Forestales. Universidad
Autnoma Chapingo. Mxico.
ii

AN APPROACH OF THE BAYESIAN REGRESSION MODEL IN ECONOMETRICS

Jorge Trucios Camarillo
1

Jos Artemio Cadena Meneses
2

SUMMARY

The present paper proposes a multiple linear regression model and a Heteroskedasticity linear
regression model under the Bayesian approach, like a tool for the analysis of information; this
offers the bases for the calculation of estimators and how adds the prior information to the
regression model.

Bayesian approach, adds the prior information ( , | ) p h | y (it could can be: previous knowledge of
the investigator on the phenomenon, investigations or other sources) with the likelihood function
2
( | , ) p | o y through Bayes theorem, obtaining the result known like posterior distribution of the
model ( , | ) p h | y .

For obtaining the estimators, in the present paper are propose: a noninformative prior distribution,
a natural conjugate prior distribution, and in addition an independent normal-gamma prior
distribution. The program used to calculate these estimators was MATLAB version 5.3, LaSage
(1999) toolbox was used, and they are at the page: www.spatial-econometrics.com, to be able to
calculate the estimators.

The Bayesian approach and Classic approach produce similar results when the researcher dont
have prior information, the substantial differences among both methods is the analysis and the
focus of the problem. However, with prior information the Bayesian estimators are more accurate
than the classical estimators.

Key words: Prior distribution, Posterior distribution, Likelihood function, Heteroskedasticity,
linear Regression model.

1
Egresado del departamento de Estadstica, Matemtica y Computo de la Divisin de Ciencias Forestales.
Universidad Autnoma Chapingo. Mxico.
2
Profesor del departamento de Estadstica, Matemtica y Computo de la Divisin de Ciencias Forestales. Universidad
Autnoma Chapingo. Mxico.
1

Captulo I


Introduccin.

En la segunda mitad del siglo XVIII fue publicado el teorema de Bayes (1764), as llamado por el
nombre del monje que lo desarroll, en respuesta a los postulados de la inferencia Gausiana. El
estudio clsico de las distribuciones de probabilidad o estadstica Gausiana- supone funciones de
densidad simtricas y bien definidas, as como la ausencia de cualquier conocimiento previo por
parte del investigador. Bayes, en la justificacin de su teora argumenta que los datos no
necesariamente provenan de tales funciones de densidad, sino que probablemente eran generados
por leyes probabilsticas sujetas a formas asimtricas y sesgadas. En tanto que el investigador
conociera estas caractersticas, el procedimiento correcto de inferencia estadstica debera
incorporar, deca Bayes, esta informacin y de esta forma, contar con un marco probabilstico ms
apropiado para la inferencia estadstica.

En el campo econmico, la inferencia Bayesiana comienza a tomar un lugar importante. Segn
Judge (1985) la econometra es la aplicacin emprica de la teora econmica mediante la
inferencia estadstica y los modelos matemticos, es una rama de la economa que aglutina a la
teora econmica, las matemticas, la estadstica y la informtica para estudiar y analizar
fenmenos econmicos. Puede decirse que constituye en s misma una disciplina dentro de la
economa y a la vez una potente herramienta que tanto los economistas como muchos otros
investigadores sociales utilizan para el estudio de sus problemas concretos. El principal propsito
de la econometra es proporcionar un sustento emprico a la teora econmica.

El anlisis Bayesiano es aplicable a cualquier procedimiento estadstico. Este trabajo fue elegido
por su amplia utilizacin en diferentes disciplinas, en este caso en la econometra.







2
Justificacin.

La diferencia fundamental entre el modelo clsico y el Bayesiano es que en este ltimo los
parmetros son considerados aleatorios, por lo que pueden ser cuantificados en trminos
probabilsticos. Por otro lado, es importante resaltar que la inferencia Bayesiana se basa en
probabilidades asociadas con diferentes valores del parmetro u que podran haber dado lugar a
la muestra x que se observ. Por el contrario, la inferencia clsica se basa en probabilidades
asociadas con las diferentes muestras x que se podran observar para algn valor fijo, pero
desconocido, del parmetro u . En relacin con la obtencin de estimaciones puntuales para los
parmetros poblacionales, en el caso del modelo clsico, la estimacin se interpreta como el valor
de u , que hace ms probable haber obtenido la muestra observada, mientras en el modelo
Bayesiano, la estimacin ser el valor de u que, puesto que se ha observado x, sea ms verosmil
o ms creble.

Las principales caractersticas que se le pueden atribuir a la teora Bayesiana son las siguientes:

1. Proporciona una manera satisfactoria de introducir explcitamente y de darle seguimiento a
los supuestos sobre el conocimiento previo.
2. La inferencia Bayesiana no presenta problemas en la seleccin de estimadores y de
intervalos de confianza.
3. El teorema de Bayes permite la actualizacin continua de la informacin sobre los
parmetros de la distribucin conforme se generan ms observaciones.
4. A diferencia de la inferencia clsica, la Bayesiana no requiere de la evaluacin de las
propiedades de los estimadores obtenidos en un muestreo sucesivo.
5. La probabilidad de un evento est dada por el grado de confianza o creencia que tiene un
individuo sobre la ocurrencia del evento.

La principal objecin es que las conclusiones dependen de la seleccin especfica de la
aproximacin previa. Aunque para otros esto es lo interesante de la aproximacin Bayesiana. Sin
embargo, se debe sealar que inclusive en inferencia clsica, y adems en investigaciones
cientfica en general, estos conocimientos previos son utilizados implcitamente.


3
Objetivos

General
Presentar el punto de vista Bayesiano en la solucin de problemas economtricos y contrastar los
resultados producidos por ste con los resultados de la estadstica clsica.

Particulares

- Resolver un modelo de regresin lineal normal con la metodologa Bayesiana y con la
estadstica clsica para contrastar los resultados producidos por ambas.
- Resolver un modelo donde este presente la heteroscedasticidad con las dos metodologas.
- Hacer uso de paquetes estadsticos computacionales para ambos casos.







































4
Captulo II

Teora Bayesiana

Sean dos variables aleatorias, A y B. Las reglas de probabilidad implican que:
) ( ) | ( ) , ( B p B A p B A p =
donde ) , ( B A p es la probabilidad conjunta de ocurrir A y B, ) | ( B A p es la probabilidad de
ocurrir A dado que B ha ocurrido (la probabilidad condicional de A dado B), y ) (B p es la
probabilidad marginal de B. Ahora se pueden cambiar los papeles de A y B y encontrar una
expresin para la probabilidad conjunta de A y B, esto es:
) ( ) | ( ) , ( A p A B p B A p =
Igualando estas dos expresiones para ) , ( B A p y arreglando se llega a la forma ms simple de
expresar la regla de Bayes, que yace en el corazn de la econometra Bayesiana:
) (
) ( ) | (
) | (
A p
B p B A p
A B p = (2.1)
Si se supone que
1 2
, ,
k
A A A son k sucesos mutuamente excluyentes, uno de los cuales ha de
ocurrir necesariamente; entonces la ley de la probabilidad total establece que:
1
( ) ( | ) ( )
k
i i
i
p A p A B p B
=
=

De modo que, se tiene:
1
( | ) ( )
( | )
( | ) ( )
j j
j
k
i i
i
p A B p B
p B A
p A B p B
=
=

La econometra est interesada en utilizar los datos para aprender algo sobre lo que le interesa al
investigador. Slo que el algo" depende del contexto. Sin embargo, la economa tpicamente
trabaja con modelos, que dependen de los parmetros. As el inters se centra en los coeficientes
del modelo de regresin y en la estimacin de stos.

Sea y un vector o matriz de datos y u un vector o matriz que contienen los parmetros para el
modelo. El inters se centra en aprender acerca de u (una vez obtenidos los datos, esto puede
hacerse a travs de la expresin).
( | ) ( )
( | )
( )
p p
p
p
=
y
y
y
(2.2)

5
o bien u.
( | ) ( | ) ( ) p p p y y (2.3)
El trmino ( | ) p y es la densidad posterior ( | ) p y , es la funcin de verosimilitud y ( ) p es la
densidad a priori. La a priori ( ) p , no depende de los datos contiene cualquier informacin que
no esta disponible en los datos acerca de u.

La funcin de verosimilitud ( | ) p y , es la densidad condicionada de los datos en los parmetros
del modelo. Siendo a menudo referido como el proceso generador de los datos.

La posterior ( | ) p y , resume todo lo que nosotros conocemos de u despus de ver los datos,
combina la informacin de los datos y la informacin que no proviene de estos.

Clculo bayesiano.

La elegancia terica y conceptual del enfoque Bayesiano lo ha hecho atractivo por muchas
dcadas. Sin embargo, los Bayesianos han sido una minora en el campo de la econometra, que
ha sido dominado por el enfoque clsico. Existen dos razones principales para esto: la
informacin a priori y el clculo. Muchos investigadores se oponen al uso de la informacin a
priori subjetiva en el supuesto objetivo de la ciencia econmica.

El clculo es el segundo y la razn principal para el estatus minoritario de la econometra
Bayesiana. Es decir, el clculo en la econometra Bayesiana, histricamente, ha sido difcil o
imposible. Sin embargo, la revolucin de la computacin, de los ltimos viente aos, ha superado
esta valla y ha llevado a un florecimiento de los mtodos Bayesianos en muchos campos.

La ecuacin que define la posterior no envuelve integrales, pero la presentacin de la informacin
acerca de los parmetros puede a menudo suponer clculos importantes.

Para la media de la densidad posterior, se supone que u es un vector con k elementos
1
( ,..., )
k
u u ' = . La media posterior de cualquier elemento de u es calculado como
}
= u u u u d y p y E
i i
) | ( ) | ( (2.4)
Salvo algunos casos, no es posible evaluar analticamente esta integral.
6
Y la varianza posterior es calculada como
{ }
2
2
) | ( ) | ( ) | var( y E y E y
i i i
u u u =
que requiere la evaluacin de la integral en (2.4), as como
}
= u u u u d y p y E
i i
) | ( ) | (
2 2

Todas estas caractersticas posteriores tienen la forma:
| | u u u u d y p g y g E ) | ( ) ( | ) (
}
= (2.5)
donde ) (u g es una funcin de inters.
























7
Captulo III


Modelo de regresin lineal normal con a priori conjugada natural: Caso Univariado

Una discusin detallada del modelo de regresin puede encontrarse en cualquier libro de
econometra (Greene (2000), Gujarati (1995), Hill, Griffiths and Judge (1985), Koop (2000)).
Considere la relacin entre un variable dependiente y, y k variables explicativas
k
x x ,...,
1
de la
forma:
c | | | + + + + =
k k
x x y ...
2 2 1

donde c es el error aleatorio, y x
1
es igual a uno.

Funcin de verosimilitud

Sean y
i
y x
i
los datos observados, para i donde N i ,..., 2 , 1 = . Por simplicidad matemtica, no se
toma en cuenta la interseccin, el modelo de regresin lineal es:
i i i
y x | c = + (3.1)
Los supuestos acerca de
i
c y x
i
determinan la forma de la funcin de verosimilitud, estos son:
1.
i
c se distribuye normal con media 0 y varianza
2
o ,
i
c y
j
c son independientes el uno
del otro para j i = . Esto es
i
c es independiente e idnticamente distribuido (i.i.d.)
2
(0, ) N o .
2.
i
x es fij y si son variables aleatorias, son independientes de
i
c con una funcin de
densidad de probabilidad, ) | (
i
x p donde es un vector de parmetros que no incluye a |
y
2
o .

La suposicin de que las variables explicativas no son aleatorias es comn en las ciencias fsicas,
donde los mtodos experimentales son comunes. Es decir, como parte de la disposicin
experimental, el investigador escoge valores particulares para las x . En muchas aplicaciones
econmicas, tal suposicin no es razonable. Sin embargo, la suposicin de que la distribucin de
las x es independiente del error y con una distribucin, que no depende de los parmetros de
inters, es a menudo razonable. En el idioma de la economa, se puede considerar como que x es
una variable exgena.
8
La funcin de verosimilitud est definida como la funcin de densidad de probabilidad conjunta
para todos los datos en los parmetros desconocidos (vea (2.3)). El vector de observaciones de la
variable dependiente es un vector de longitud N:
1
2
.
N
y
y
y
(
(
(
(
=
(
(
(

y
o, equivalentemente
1 2
( , ,..., )
N
y y y ' = y . De manera similar, para la variable explicativa, definimos
1 2
( , ,..., )
N
x x x ' = x . Entonces la funcin de verosimilitud llega a ser
2
( , | , , ) p | o y x . El segundo
supuesto implica que podemos escribir la funcin de verosimilitud como:
2 2
( , | , , ) ( | , , ) ( | ) p p p | o | o = y x y x x
Como la distribucin de x no es de inters, se trabaja entonces con una funcin de verosimilitud
sobre
2
( | , , ) p | o y x .

Los supuestos sobre los errores pueden ser usados para trabajar en la forma precisa de la funcin
de verosimilitud. En particular, usando ciertas reglas bsicas de probabilidad y (3.1),
encontramos:
- ) , | (
2
o |
i
y p es normal
-
i i
x y E | o | = ) , | (
2

-
2 2
) , | var( o o | =
i
y
Usando la definicin de la densidad normal obtenemos
2
2
2
2
( ) 1
( | , ) exp
2
2
i i
i
y x
p y
|
| o
o
to
(

=
(
(


Finalmente, para j i = , si
i
c y
j
c son independiente, se sigue que
i
y y
j
y son tambin
independiente y, as,
2 2
1
( | , ) ( | , )
N
i
i
p p y | o | o
=
=
[
y y, por lo tanto, la funcin de verosimilitud
esta dada por:
2 2
2
1
2
1 1
( | , ) exp ( )
2
(2 )
N
i i
N
i
N
p y x | o |
o
t o
=
(
=
(

y (3.2)
Si se toma:
9
{ }
{ }
2
2
1 1
2 2 2
1
2 2 2
1 1
2
2 2 1
1
2 2 2
1

( ) ( ) ( )

( ) ( )

( ) ( )

( )

( 1) ( )
1

( )
N N
i i i i i
i i
N
i i i
i
N N
i i i
i i
N
i i
N
i
i
i
N
i
i
y x y x x
y x x
y x x
y x
N x
N
vs x
| | | |
| | |
| | |
|
| |
| |
= =
=
= =
=
=
=
=
= +
= +

= +

= +

Entonces para futuras derivaciones, la verosimilitud se escribir como, Green (2000):

= =
+ =
N
i
i
N
i
i i
x vs x y
1
2 2 2
1
2
)

( ) ( | | |
Donde
1 = N v (3.3)

=
2

i
i i
x
y x
| (3.4)
y
v
x y
s
N
i
i i
=

=
1
2
2
)

( |
(3.5)
|

,
2
s y v son los estimadores de mnimos cuadrados ordinarios (MCO) para | , el error estndar
y los grados de libertad, respectivamente. Son estadsticas suficientes (Poirier, 1995) para (2.2).
Adems, para muchas derivaciones tcnicas, es ms fcil trabajar con la precisin del error que
con la varianza. La precisin de error esta definida como
2
1 h o = .

Usando estos resultados, podemos escribir la funcin de verosimilitud como:
|
|
.
|

\
|
(

|
|
.
|

\
|
(

=

=

2
2
1
2 2
2
1
2
2
exp )

(
2
exp
) 2 (
1
) , | (
s
hv
h x
h
h h y p
v
N
i
i
N
| |
t
| (3.6)
El primer trmino en los corchetes es el ncleo de la densidad normal para | , y el segundo
trmino es una densidad gamma para h.
10
A priori.

La a priori refleja cualquier informacin que el investigador tiene antes de ver los datos, que
desea incluir. Por lo tanto, los previos pueden tomar cualquiera forma. Sin embargo, es comn
escoger clases particulares de previos que son fciles de interpretar y/o hacer los clculos ms
fciles. La a priori conjugada natural tpicamente tiene tales ventajas. Una distribucin a priori
conjugada es una que, cuando es combinada con la verosimilitud, produce una posterior que cae
en la misma clase de distribuciones, tiene la propiedad adicional de poseer la misma forma
funcional que la funcin de verosimilitud. Estas propiedades significan que la informacin a
priori puede interpretarse del mismo modo que la funcin de verosimilitud.

En el modelo de regresin lineal simple, se extrae una a priori para | y h, que se denota por
) , ( h p | . La densidad posterior se denotar por ( , | ) p h | y , es conveniente escribir
) ( ) | ( ) , ( h p h p h p | | = y pensar en trminos de un previo para h | | y uno para h . La forma de la
funcin de verosimilitud en (3.6) sugiere que el previo conjugado natural incluir una distribucin
normal para h | | y una distribucin de gamma para h . A una distribucin tal como sta, que es
un producto de una gamma y una normal, se le denomina una normal-gama, Koop (2003).
) , ( ~ |
1
V h N h

| |
y
) , ( ~
2
v s G h


) , , , ( ~ ,
2
v s V NG h

| | (3.7)
El investigador podra escoger entonces valores particulares de los llamados hiperparametros
previos | , V ,
2
s y v para reflejar su informacin previa.

Se usar la barra bajo el parmetros ( | ) para denotar los parmetros de una densidad previa, y la
barra sobre el parmetros ( | ) para denotar los parmetros de una densidad posterior.




11
Posterior.

La densidad posterior resume la informacin a priori y de los datos, que tenemos sobre los
parmetros desconocidos, | y h . La densidad posterior es tambin de la forma normal-gama,
confirmando que la a priori es en realidad una conjugada natural.

Formalmente, tenemos la posterior de la forma, Koop (2003)
) , , , ( ~ | ,
2
v s V NG y h

| | (3.8)
donde

+
=
2 1
1
i
x V
V (3.9)
)

(
2 1

+ =

i
x V V | | | (3.10)
N v v + = (3.11)
y
2
s esta definido implcitamente a travs de:
|
|
.
|

\
|
+

+ + =

2
2
2 2 2
1
)

(
i
x
V
vs vs vs
| |
(3.12)
En el modelo de regresin, el coeficiente de la variable explicativa | , que es de inters
fundamental, es una medida de los efectos marginales de la variable explicativa en la variable
dependiente. La media posterior ( | ) E | y , es un punto de estimacin y var( | ) | y es usado para la
medida de la incertidumbre asociada con el punto de estimacin. Usando las reglas bsicas de
probabilidad, la media posterior puede ser calculada como:
( | ) ( , | ) ( | ) E p h dhd p d | | | | | | | = =
}} }
y y y
Esta ecuacin motiva el inters sobre la densidad marginal posterior ( | ) p | y . Puede ser calculado
analticamente usando las propiedades de la distribucin Normal-Gama. En particular, implica
que, si se integra respecto a h (usando el hecho de que ( | ) ( , | ) p p h dh | | =
}
y y ), la distribucin
marginal posterior para | es una distribucin t, Koop (2003).
2
| ~ ( , , ) t s V v | | y (3.13)
sigue de la definicin de la distribucin t
( | ) E | | = y (3.14)
12
y
2
var( | )
2
vs
V
v
| =

y (3.15)
La precisin del error h , es usualmente de menos inters que | , pero las propiedades de la
normal-gamma implican inmediatamente que, Press (1989):
2
| ~ ( , ) h G s v

y (3.16)
y por lo tanto
2
( | ) E h s

= y (3.17)
y
2
2
var( | )
s
h
v

= y (3.18)
El modelo de regresin lineal con el previo conjugado natural normal-gamma es un caso donde la
simulacin posterior no es requerida.

Para ver las diferencias entre la econometra Bayesiana y la Clsica tmese en cuenta que este
ltimo podra calcular |

y su varianza
2 2
( )
i
s x

, y estimar
2
o por
2
s . Los Bayesianos calculan
la media y la varianza posterior de | por ( | y V
v
vs
2
2

) y se estima
2
=o h por su media
posterior,
2
s . stas son estrategias muy similares, si no fuera por dos diferencias importantes. En
primer lugar, la frmula Bayesiana combina la a priori y la informacin de los datos. En segundo
trmino, est la interpretacin Bayesiana de | como una variable aleatoria.

Tomando v relativamente pequeo, N y V valores grandes que asegure que la informacin previa
juegue un papel pequeo en la frmula posterior (como (3.9)(3.12)). Se refiere como un previo
relativamente no informativo.

Se establece un previo no informativo tomando 0 = v y 0 = V . Tales elecciones son hechas
comnmente, e implican que ) , , , ( ~ | ,
2
v s V NG y h

| | Koop (2003), donde

=
2
1
i
x
V (3.19)
13
| |

= (3.20)
N v = (3.21)
2
2
vs vs = (3.22)
Que son los resultados de mnimos cuadrados ordinarios.

El previo no informativo tiene propiedades muy atractivas y, dada la relacin cercana con los
resultados de MCO, proporciona un puente entre los enfoques Bayesiano y clsico. Sin embargo,
tiene una propiedad indeseable: esta densidad previa no es una densidad vlida, pues que hace que
no integre a uno. Tales previos son denominados impropios.

Comparacin de modelos.

Si hay dos modelos de regresin simple,
1
M y
2
M . Estos modelos difieren en sus variables
explicativas. Es decir,
j
M para 1, 2 j = est basado en el modelo de regresin lineal simple:
ji ji j i
x y c | + = (3.24)
para N i ,..., 2 , 1 = . Las suposiciones acerca de
ji
c y
ji
x son las mismas.

Para los dos modelos, se escribe el previo conjugado natural Normal-gama como, Koop (2003):
) , , , ( ~ | ,
2
j j j
j
j j j
v s V NG M h

| | (3.25)
los posteriores de la forma:
) , , , ( ~ | ,
2
j j
j j j j j
v s V NG M h

| | (3.26)
donde

+
=
2 1
1
ji
j
j
x V
V (3.27)
)

(
2 1

+ =

ji j
j
j j
j
x V V | | | (3.28)
N v v
j
+ = (3.29)
y
2
j s esta definido implcitamente a travs de:
14
|
|
.
|

\
|
+

+ + =

2
2
2 2 2
1
)

(
ji
j
j
j
j j
j j j j
x
V
s v s v s v
| |
(3.30)
Una herramienta bsica en la comparacin de modelos Bayesiano es la relacin odds posterior:
) ( ) | (
) ( ) | (
2 2
1 1
12
M p M y p
M p M y p
PO =
El modelo de probabilidades previa, ) (
i
M p para 2 , 1 = i , debe ser seleccionada antes de ver los
datos comnmente se tiene, la eleccin no informativa
2
1
) ( ) (
2 1
= = M p M p . La verosimilitud
marginal ) | (
j
M y p , se calcula como:
j j j j j j j
dh d h p h y p M y p | | | ) , ( ) , | ( ) | (
}}
= (3.31)
El modelo de regresin lineal normal con previo conjugado natural en la integral en (3.31) puede
ser calculado analticamente. Poirier (1995) o Zellner (1971) proporcionan detalles de este
clculo, que permite escribir:
2
2
2
1
) ( ) | (
j
v
j
j
j
j
j j
s v
V
V
c M y p

|
|
.
|

\
|
= (3.32)
para 2 , 1 = j , donde
2
2
2
2
) (
2
N
j
v
j
j
j
j
v
s v
v
c
j
t |
.
|

\
|
I
|
.
|

\
|
I
= (3.33)
y () I es la funcin gamma.

Al comparar la relacin odds posterior
1
M y
2
M llega a ser, Koop (2003)
) ( ) (
) ( ) (
2
2
2
2
2
2
1
2
2
2
1
2
2
1
1
2
1
1
1
1
12
2
1
M p s v
V
V
c
M p s v
V
V
c
PO
v
v

|
.
|

\
|
|
.
|

\
|
= (3.34)

15
La relacin odds posterior puede ser usada para calcular los modelos de probabilidades
posteriores ) | ( y M p
j
, usando las relaciones:
12
12
1
1
) | (
PO
PO
y M p

=
y
12
2
1
1
) | (
PO
y M p

=
La relacin odds previa
) (
) (
2
1
M p
M p
, es el ms alto soporte para
1
M . La suma de cuadrados del error
es una medida comn del ajuste del modelo, con valores inferiores que indican un ajuste mejor.
Por lo tanto, la relacin de desigualdad posterior premia a los modelos, la cual ajustan mejor los
datos. En tercer lugar, la relacin odds posterior indicar soporte para el modelo donde hay la
coherencia mxima entre la a priori y la informacin de los datos (
2
)

(
j
j
| | entre ) (
2
j
j
s v ).
Finalmente, |
.
|

\
|
1
1
V
V
es la relacin posterior para varianzas previas.
Bajo la variante no informativa de los previos conjugados naturales ( 0 , 0
1
= =

j j
V v ), la
verosimilitud marginal no esta definida y, por lo tanto, la relacin odds posterior esta indefinida.
Esto es un problema con el uso de previo no informativo para la comparacin de modelos. Sin
embargo, en el contexto presente, una solucin comn a este problema es poner
2 1
v v = igual a
un nmero arbitrariamente pequeo y hacer lo mismo con
1
1

V y
1
2

V . Tambin, poner
2
2
2
1
s s = .
Bajo estas suposiciones, la relacin de desigualdad posterior est definida por, Koop (2003):
) ( ) (
1
) ( ) (
1
2
2
2
2 2
2
1
2
2
1
2
2
1 1
2
1
2
1
12
M p s v
x
M p s v
x
PO
N
i
N
i

|
|
.
|

\
|
|
|
.
|

\
|
=

(3.35)
En este caso, la relacin de desigualdad posterior refleja slo la relacin de desigualdad a priori,
la bondad relativa del ajuste de los dos modelos, y la relacin de los trminos que envuelven

2
1
ji
x , que refleja la precisin de la posterior para
j
M .

16
Prediccin.

Tenemos la ecuacin:
* * *
c | + = x y (3.36)
donde
*
y no son observados. Aparte de esto, todas las suposiciones de este modelo son iguales
que para el modelo de regresin simple discutid previamente. Es necesario suponer que
*
x es
observado.

La prediccin Bayesiana est basado en:
dh d y h p h y y p y y p | | | ) | , ( ) , , | ( ) | (
* *
}}
= (3.37)
El hecho de que
*
c es independiente de
i
c implica que y y
*
y son independientes el uno del
otro y, por lo tanto ) , | ( ) , , | (
* *
h y p h y y p | | = . Los trminos dentro de la integral en (3.37)
son ) | , ( y h p | y ) , | (
*
h y p | . Usando un razonamiento similar para esto se deriva la funcin de
verosimilitud
(

=
2 * *
2
1
2
1
*
) (
2
exp
) 2 (
) , | ( x y
h h
h y p |
t
| (3.38)
Multiplicando (3.38) por la posterior dado en (3.8) e integrando como se describe en (3.37)
produce (Zellner, 1971):
| |
2
) 1 (
1 2 *
2
2 * * *
) 1 ( ) ( ) | (
+

+ +
v
x V s x y v y y p | (3.39)
Que es una densidad t con media
*
x | , varianza ( )
2 *
2
1
2
x V
v
vs
+

, y grados de libertad v . En
otras palabras,
{ } ( ) v x V s x t y y , 1 , ~ |
2 *
2
* *
+ | (3.40)
Estos resultados pueden ser usados para proporcionar las predicciones y medidas de la
incertidumbre asociadas con el punto de prediccin (la desviacin estndar predictiva).

Un concepto Bayesianos importantes es el modelo promedio. Al calcular el modelo de
probabilidades posteriores ) | ( y M p
j
, para 2 , 1 = j . stos pueden ser usados para seleccionar un
modelo para trabajar. Sin embargo, no es siempre deseable escoger simplemente un modelo con
17
posterior ms alta. El Modelo Bayesiano promedio supone mantener todos los modelos, pero
presenta resultados promedi de los modelos completos. Desde el punto de vista de la
probabilidad, es derivar, Koop (2003):
) | ( ) , | ( ) | ( ) , | ( ) | (
2 2
*
1 1
* *
y M p M y y p y M p M y y p y y p = (3.41)

Con las propiedades del operador del valor esperado, se sigue inmediatamente que:

) | ( ) , | ( ) | ( ) , | ( ) | (
2 2
*
1 1
* *
y M p M y y E y M p M y y E y y E =

que puede ser usado para calcular los puntos de prediccin promedio sobre los dos modelos. Si
(.) g es cualquier funcin del inters, entonces el resultado es generalizado a
* * *
1 1 2 2
( ) | ( ) | , ( | ) ( ) | , ( | ) E g y y E g y y M p M y E g y y M p M y
( ( (
=

(3.42)





















18
Captulo IV


Modelo de regresin lineal normal mltiple con a priori conjugada natural en
notacin matricial

Una discusin detallada del modelo de regresin puede encontrarse en cualquier libro de
econometra (Greene (2000), Gujarati (1995), Hill, Griffiths and Judge (1985), Koop (2000)). Se
tiene una variable dependiente
i
y , y k variables explicativas,
ik i
x x ,...,
1
para N i ,..., 1 = . El
modelo de regresin lineal esta dado por
1 2 2 1
.... 1 1, 2,...,
i i k ik i i
y x x x para i N | | | c = + + + + = = (4.1)
Se defines los siguientes vectores Nx1:
1
.
.
.
N
y
y
(
(
(
( =
(
(
(

y

y
1
.
.
.
N
c
c
(
(
(
( =
(
(
(


el vector (k x 1)
1
.
.
.
k
|
|
(
(
(
( =
(
(
(







19
y la matriz de (N x k)
12 1
22 2
2
1 . . .
1 . . .
.
.
.
1 . . .
k
k
N Nk
x x
x x
x x
(
(
(
(
=
(
(
(
(
(

X
y se escribe
= + y X (4.2)


Funcin de verosimilitud

Los supuestos sobre c y X determinan la forma de la funcin de verosimilitud. Las
generalizaciones son :
1. tiene distribucin normal multivariada con media
N
0 y matriz de covarianzas
2
N
o I . Es
decir,
1
( , )
N N
N h c

0 I donde
2
=o h .
2. Todos los elementos de X son fijos y si son variables aleatorias, estos son independientes
de todos los elementos de con una funcin de densidad de probabilidad ( | ) p X , donde
es un vector de parmetros que no incluye a | ni h.
La matriz de covarianzas de un vector es una matriz que contiene las varianzas en la diagonal y
las covarianzas fuera de esta, esto significa:
1 1 2 1
1 2 2 2
1
var( ) cov( , ) . . cov( , )
cov( , ) var( ) . . cov( , )
var( ) .
.
cov( , ) . . . . var( )
N
N
N N
c c c c c
c c c c c
c c c
(
(
(
(
=
(
(
(



(
(
(
(
(
(
(

1
1
1
. . 0 0
.
.
0 . . 0
0 . . 0
h
h
h

20

1
var( )
N
h

= I o
1
) var(

= h
i
c y 0 ) , cov( =
j i
c c para N j i ,..., 1 , = para j i = .

Usando la definicin de la densidad normal multivariada, podemos escribir la funcin de
verosimilitud como:
2
2
( | , ) exp ( )'( )
2
(2 )
N
N
h h
p h
t

(
=
`
(

)
y y X y X (4.3)
Es conveniente escribir la funcin de verosimilitud desde el punto de vista de las cantidades de
MCO. stos son (Green (2000)):
k N v = (4.4)
1

( )

= X'X X'y (4.5)

y
2

( ) '( )
s
v
=
y - X y - X
(4.6)

La funcin de verosimilitud se escribe como
1
2 2
2
2
1

( | , ) exp ( )' ( )
2
2
(2 )
v
N
h hv
p h h
s
t

( (
=
` `
( (


) )
y h - X'X - (4.7)

A priori

La a priori para | condicional en h tiene la forma, Koop (2003)
1
| ~ ( , ) h N h

V
y un previo para la h de la forma
) , ( ~
2
v s G h


entonces la posterior tiene la forma
2
, ~ ( , , , ) NG s v

h V (4.8)
21
| es ahora un k vector que contiene las medias previas para los k coeficientes de regresin,
k
| | ,...,
1
, y V es ahora una matriz de covarianzas positiva definida k x k. La notacin para la
densidad previa es ) , , , | , ( ) , (
2
v s V h f h p
NG

= | | | .




Posterior.

Esta se deriva multiplicando la verosimilitud (4.7) por los previos (4.8), produciendo una
posterior de la forma, Koop (2003)
2
, | ~ ( , , , ) h NG s v

y V (4.9)
donde
-1 1
( )

= + V V X'X (4.10)
1

( )

= + V V X'X (4.11)
N v v + = (4.12)
y
2
s est definido completamente por
1
2
2 2 1

( )' ( ) ( ) vs vs vs

(
= + + +

- V X'X - (4.13)
Las expresiones anteriores describen la distribucin posterior conjugada. En el caso de la
posterior marginal para | , el resultado es una distribucin t multivariada, Koop (2003)
2
| ~ ( , ) t s v y V, (4.14)
y se sigue de la definicin de la distribucin t que:
( | ) E = y (4.15)
y
2
var( | )
2
vs
v
=

y V (4.16)
Las propiedades de la distribucin normal gama implican inmediatamente esto, Press (1989):
) , ( ~ |
2
v s G y h

(4.17)
22
y, por lo tanto
2
) | (

= s y h E (4.18)
v
s
y h
2
2
) | var(

= (4.19)
Para un previo relativamente no informativo, se toma un valor ms pequeo para v que N y V un
valor grande. Cuando se trabaja con matrices, la interpretacin del trmino grande no es
inmediatamente obvia. Se toman A y B donde A > B y A, B son matrices cuadradas, A-B es
positiva definida. Una medida de la magnitud de una matriz es su determinante. Por lo tanto,
cuando decimos que A debe ser relativamente ms grande que B, quiere decir que A-B debe ser
una matriz positiva definida con un determinante grande.

Se puede crear un previo no informativo tomando 0 = v y
1
V un valor pequeo. No existe una
va nica de hacer esto ltimo. Una va comn es poner
1
k
c

= V I , donde la c es un escalar, y
dejar entonces que c tienda a cero. Si se hace esto se encuentra, Koop (2003)

1
( )

= V X'X (4.20)

= (4.21)
v N = (4.22)
y
2
2
vs s v = (4.23)
Todas estas frmulas suponen informacin de los datos, y son iguales a las cantidades de mnimos
cuadrados ordinarios.

En cuanto al caso de una variable explicativa, este previo no informativo es impropio y puede ser
escrito como:
h
h p
1
) , ( | (4.24)



23
Comparacin de modelos.

El marco de regresin lineal con k variables explicativas toma en cuenta una gran variedad de
modelos a comparar. Se consideran dos tipos de comparacin de modelos. En el primero, los
modelos son diferenciados segn las restricciones de desigualdad en el espacio de parmetro. En
el segundo modelo se distinguen por restricciones de igualdad.

Comparacin de modelos suponiendo restricciones de desigualdad.

En algunos casos, el inters podra enfocarse en las regiones del espacio de parmetro. Se suponen
las restricciones de desigualdad de la forma:
> R r (4.25)
donde R es una matriz conocida Jxk y r es un j-vector conocido. Se supone ( ) rango R J = . Se
definen dos modelos de la forma, Koop (2003):
1
: M > R r
y
2
: M > R r
2
M significa que uno o ms de las restricciones de desigualdad en
1
M son violados.

Para los modelos definidos de esta manera, las relaciones odds posterior calculados son
tpicamente fciles, y el uso del previo no informativo no es un problema. Es decir,
1
12
2
( | ) ( | )
( | ) ( | )
p M p
PO
P M p
>
= =
>
y R r y
y R r y
(4.26)
La posterior para | tiene una distribucin t multivariada, se sigue que ) | ( y R p | tambin tiene
una distribucin t.

Restricciones de igualdad

Existen dos tipos de modelos a comparar, que caen en esta categora. El primero, al comparar
1
M , que asigna = R r para
2
M , la cual no tiene esta restriccin. En segundo trmino, comparar
1 1 (1) 1
: M = + y X y
2 2 (2) 2
: M = + y X , donde
1
X y
2
X son matrices que contiene las variables
24
explicativas completamente diferentes. Se supone que las restricciones de igualdad pueden
escribirse como:
( )
:
j j j j j
M = + y X (4.27)
donde 2 , 1 = j ,
j
y esta definido,
j
X es un matriz
j
Nxk de variables explicativas,
( ) j
es un
j
k -
vector de coeficientes de regresin y
j
es un N-vector de errores distribuido
1
( , )
N j N
N h

0 I .

La a priori normal gamma para los dos modelos es, Koop (2003):
) , , , ( ~ | ,
2
) (
j j j
j
j j j
v s V NG M h

| | (4.28)
para 2 , 1 = j . La posterior toma la forma
) , , , ( ~ | ,
2
) (
j j j
j j j j
v s V NG M h

| | (4.29)
Donde
1 1
( ' )
j
j j j

= + V V X X (4.30)
1

( ' )
j
j j j j j
j

= + V V X X (4.31)
N v v
j j + = (4.32)
y
2
j s esta definido implcitamente por
1
2
2 2 1

( )' ( ' ) ( )
j j
j j j j j j j j j
j j
v s v s v s

(
= + + +

X X V (4.33)
2

,
j j
s y
j
v son las cantidades de mnimos cuadrados ordinarios.

La verosimilitud marginal es, Poirier (1995) o Zellner (1971) proporcionan detalles de este
clculo.
1
2
2
2
( | ) ( )
j v
j
j j
j j j
j
p M c v s

| |
|
=
|
|
\ .
V
y
V
(4.34)
para 2 , 1 = j , donde
2
2
2
2
) (
2
N
j
v
j j
j
j
v
s v
v
c
j
t |
.
|

\
|
I
|
.
|

\
|
I
=

(4.35)
25

Comparando la relacin odds posterior
1
M para
2
M es, Koop (2003)
1
1
1
2
1
2
2
1 1
1 1
1
12
1
2
2
2
2
2 2
2 2
2
( ) ( )
( ) ( )
v
v
c v s p M
PO
c v s p M
| |
|
|
\ .
=
| |
|
|
\ .
V
V
V
V
(4.36)
El uso de los previos no informativos para los
( ) j
causan mayores problemas los cuales ocurren
principalmente cuando
2 1
k k = .Cuando
2 1
k k = , la a priori no informativa produce una relacin
de desigualdad posterior:
1
2
2 2
1 1 1 1 1
12
1
2
2 2
2 2 2 2 2
( ' ) ( ) ( )
( ' ) ( ) ( )
N
N
v s p M
PO
v s p M

=
X X
X X

Esta expresin depende de las unidades de medida.

Intervalos de densidad posterior ms altos.

Las tcnicas de comparacin de Bayes estn basadas en la idea de que ) | ( y M p
j
resume todo lo
que se conoce y la incertidumbre acerca
j
M despus de ver los datos.

Se definen estos conceptos en el contexto del vector | de parmetro en el modelo de regresin
lineal normal. Se supone que los elementos del vector de coeficientes de regresin | , puedan
estar en cualquier parte en el intervalo ) , ( , la cual se denota por
k
R e | . Sea ) (| g w=
cierto vector m de funciones de | que est definido sobre una regin O , donde k ms . Sea C
una regin dentro O , denotado por O _ C , Koop (2003).

Definicin 4.1: Conjuntos crebles
El conjunto O _ C es un conjunto creble 100(1-)% con respecto a ) | ( y w p si:
o = = e
}
1 ) | ( ) | (
C
dw y w p y C w p
26
Entonces un intervalo creble del 95% para
j
| es cualquier intervalo | | b a, , tal que:
}
= = s s
b
a
j j j
d y p y b a p 95 . 0 ) | ( ) | ( | | |

Definicin 4.2: Intervalos de densidad posteriores ms altos (HPDI)
Un intervalo 100(1-)% de densidad posterior ms alto para w es un 100(1-)% intervalo creble
para w con la propiedad de que tiene un rea ms pequea que cualquier otro 100(1-)% intervalo
creble para w.

Es comn presentar intervalos de densidad posteriores ms altos adems de los puntos estimacin
al hacer la estimacin Bayesiana. HPDI tambin puede ser usado en una manera ad hoc para hacer
comparacin de modelos. Si se consideran dos modelos de regresin lineal normal como en (4.2),
y el inters se centra en decidir si la j-sima variable explicativa debe incluirse. As, los dos
modelos en consideracin son, Koop (2003)
0 : =
j j
M |
y
0 : =
j j
M |
Un HPDI puede ser calculado para
j
| usando las propiedades de la distribucin t. Si este HPDI
no incluye el cero, entonces est es la evidencia contra
1
M . Un hallazgo que el HPDI incluye el
cero se toma como la evidencia en favor de
1
M .

Prediccin.

Se supone que se tiene un modelo de regresin lineal normal como en (4.2), con verosimilitud y a
priori dado como en (4.3) y (4.8). La inferencia posterior puede ser llevada a cabo usando (4.9).
Se quiere llevar a cabo la inferencia predictiva sobre T valores que no son observados de la
variable dependiente, que denotamos por
* * *
1
( ,..., )'
T
y y = y , que se genera segn
* * *
= + y X (4.38)
donde
*
es independiente de y es
1
(0, )
T
N h

I y
*
X es una matriz Txk anloga a X,
conteniendo k variables explicativas para cada uno de los T datos de la muestra.

27

La prediccin Bayesiana esta basado en, Koop (2003)
* *
( | ) ( | , , ) ( , | ) p p h p h d dh | =
}}
y y y y y (4.39)
El hecho de que
*
c es independiente de implica que y y
*
y son independientes y, por lo tanto
* *
( | , , ) ( | , ) p h p h = y y y . Este ltimo trmino puede ser escrito como
( ) ( )
2
* * * * *
2
( | , ) exp '
2
(2 )
S
S
h h
p h
t
(
=
(

y y X y X (4.40)
Multiplicando (4.38) por la posterior dado en (4.9), e integrando, produce una densidad predictiva
multivariado t de la forma
{ }
2
* * * *
| ~ , ' ,
T
t s v
| |
+
|
\ .
y y X I X VX (4.41)
Este resultado puede ser utilizado para llevar a cabo la inferencia predictiva en el modelo de
regresin lineal normal con a priori conjugada natural.


















28
Captulo V.

Modelo de regresin lineal normal con a priori independiente normal-gama.

El previo conjugado natural no puede reflejar la informacin a priori con precisin en una
aplicacin particular. Es deseable tener mtodos Bayesianos disponibles que usen a otros previos,
en este caso se tiene el modelo de la regresin lineal Normal con una a priori independiente
Normal-gamma.

La funcin de verosimilitud que ser usada es la misma que se ha utilizado anteriormente.

A priori

La a priori es similar, a la utilizada como en la seccin anterior, pero se supone la independencia
a priori entre | y h. En particular, se supone que ( , ) ( ) ( ) p h p p h | | = con ) (| p siendo Normal
y ) (h p siendo Gama, Koop (2003):
(

=

) ( )' (
2
1
exp
) 2 (
1
) (
1
2
1
2
| | | |
t
| V V p
k
(5.1)
y
|
|
.
|

\
|
=

2
2
2
1
2
exp ) (
s
v h
h c h p
v
G
(5.2)
donde
G
c es la constante de integracin para la f.d.p. Gamma. ) | ( y E | | = es la media a priori
de | y los grados de libertad de h son
2
s y v respectivamente. Sin embargo V es ahora
simplemente la matriz de covarianzas a priori de | .







29
Posterior

La posterior es, Koop (2003):
{ }
(

)
`

2
2
2
1
2
exp
) ( ) ( ) ( )' (
2
1
exp ) | , (
s
v h
h
V x y x y h y h p
v N
| | | | | | |
(5.3)
Esta densidad posterior conjunta para | y h no toma la forma de una densidad bien conocida y
entendida.

Las condicionales de la posterior son simples, es decir, ) , | ( h y p | puede obtenerse tratando
(5.3) como una funcin de | para un valor fijo de h. Si se hacen las manipulaciones matriciales
similares aquellos usados en la derivacin de la posterior para la a priori conjugada natural, Koop
(2003):
Q V
V x y x y h
+ =
+

) ( )' (
) ( ) ( ) ( )' (
1
1
| | | |
| | | | | |

donde
1 1
) ' (

+ = X hX V V (5.4)
) ' (
1
y hX V V + =

| | (5.5)
y
| | | |
1
1
' ' '

+ = V V y hy Q
Ignorando los trminos que no involucran a | , se puede escribir
(

) ( )' (
2
1
exp ) , | (
1
| | | | | V h y p
La cual es el ncleo de una densidad Normal, multivariada. En otros palabras,
) , ( ~ , | V N h y | |
) , | ( | y h p se obtiene tratando (5.3) como una funcin de h . Puede verse que

{ }
(

+
+
2
2
2
) ( )' (
2
exp ) , | ( vs X y X y
h
h y h p
v N
| | |
30
Comparando con la definicin de la densidad Gamma puede verificarse que
) , ( ~ , |
2
v s G y h

| (5.8)
Donde

v N v + = (5.9)
y
v
vs X y X y
s
2
2 ) ( )' ( +
=
| |
(5.10)
Densidad Proporcin SavageDickey

As como la inferencia posterior no puede hacerse analticamente, no existe ninguna forma
analtica para la verosimilitud marginal para el modelo de regresin lineal Normal con a priori
independiente Normal-gamma. Es decir, la verosimilitud marginal est dada por
}}
= dh d h p h y p y p | | | ) , ( ) , | ( ) (
Donde ) , ( h p | esta dado en (5.1) y (5.2) y ) , | ( h y p | es la verosimilitud dada en (4.3). Si se
multiplica la a priori y la verosimilitud y se intenta trabajar con las integrales en la ecuacin
anterior, no es posible resolverlo analticamente.

Si se toma la versin sin restriccin del modelo
2
M (tal como ese vio anteriormente), tiene un
vector de parmetros )' ' , ' ( e u = . La verosimilitud y la a priori para este modelo est dada por
) , , | (
2
M y p e y ) | , (
2
M p e . La versin restringida del modelo
1
M (tal como se vio
anteriormente), tiene
0
e e = donde
0
e es un vector de constantes. Los parmetros en son
irrestrictos en cada modelo. La verosimilitud y la a priori para este modelo estn dados por
) , | (
1
M y p y ) | (
1
M p . De aqu, e es igual a
0
e bajo
1
M , no se necesita especificar una a
priori para este, Koop (2003).

Teorema 4.1: La Densidad proporcin SavageDickey.
Se supone que los previos en los dos modelos satisfacen:
) | ( ) , | (
1 2 0
M p M p e e = = (5.21)
entonces, comparando el factor de Bayes
1
M y
2
M , tiene la forma
31
) | (
) , | (
2 0
2 0
12
M p
M y p
BF
e e
e e
=
=
= (5.22)
donde ) , | (
2 0
M y p e e = y ) | (
2 0
M p e e = son posteriores irrestrictas y la a priori para e
evaluanda en el punto
0
e .

La densidad proporcin SavageDickey puede ser de gran ayuda para calcular el factor de Bayes.
En primer lugar, la densidad proporcin SavageDickey involucra slo a
2
M . En (5.22)
involucra slo las densidades de la a priori y las posteriores y esto es a menudo fcil de
manipular. No es requerido el clculo directo de la probabilidad marginal.

Regresando al modelo de regresin lineal normal con previo Normal-gamma. Se considera el caso
dnde el modelo restringido,
1
M impone
0
| | = . El caso de otras restricciones de igualdad tal
como r R = | es una extensin simple. El modelo sin restriccin
2
M , con verosimilitud dada
por (4.3) y una a prior dado por (5.1) y (5.2). El factor Bayes que compara a estos dos modelos
esta dada por, Koop (2003)
) | (
) , | (
2 0
2 0
12
M p
M y p
BF
| |
| |
=
=
= (5.23)
El denominador de esta expresin puede calcularse fcilmente, la a priori marginal para | es
Normal. Usando (5.1), el denominador es
(

= =

) ( )' (
2
1
exp
) 2 (
1
) | (
0
1
0
2
1
2
2 0
| | | |
t
| | V V M p
k
(5.24)
El numerador de (5.23) es ligeramente ms difcil de evaluar, aunque se conoce ) , , | (
2
M h y p |
que es Normal, no se conoce a ) , | (
2
M y p | . Usando las reglas de probabilidad y los resultados
del muestreo de Gibbs, ) , | (
2 0
M y p | | = puede estimarse. El muestreo de Gibbs proporciona los
resultados
) (s
| y
) (s
h para S S s ,..., 1
0
+ = , y resulta, simplemente promediando
) , , | (
2
) (
0
M h y p
s
| | = por la extraccin de
) (s
h producir una estimacin de
) , | (
2 0
M y p | | = . Es preciso
) , | ( ) , , | (
1
2 0
1
2
) (
0
1
0
M y p M h y p
S
S
S s
s
| | | | = =

+ =
(5.25)
32
cuando
1
S tiende a infinito.
0 1
S S S = es el nmero de extracciones retenidos despus de
desechar los primeros
0
S extracciones. Ya que
(

= =

) ( )' (
2
1
exp
) 2 (
1
) , , | (
0
1
0
2
1
2
2
) (
0
| | | |
t
| | V V M h y p
k
s
(5.26)


Prediccin

La inferencia predictiva sobre T valores no observados de la variable dependiente que se denota
por *)' *,..., ( *
1 T
y y y = , que se genera segn:
* * * c | + = X y (5.27)
donde * c es independiente de c y es ) , 0 (
1
T
I h N

y X* es una matriz Txk anlogo a X,
conteniendo el k las variables explicativas para cada uno de los T.

La densidad predictiva es calculada como, Koop (2003)
}}
= dh d y h p h y y p y y p | | | ) | , ( ) , , | * ( ) | * ( (5.28)
El hecho de que * c es independiente de c implica que y y y* son independientes entre si y, aqu,
) , | * ( ) , , | * ( h y p h y y p | | = la cual puede escribirse como
(

= ) * * ( )' * * (
2
exp
) 2 (
) , | * (
2
2
| |
t
| X y X y
h h
h y p
T
T
(5.29)
Con la a priori conjugada natural, la integral en (5.28) podra resolverse analticamente y la
densidad predictiva es una densidad t multivariada. Con un previo Normal-gamma independiente
este integral no puede resolverse analticamente. No obstante, los mtodos de la simulacin
permiten hacer la inferencia predictiva.

Cualquier predictiva de caractersticas de inters puede escribirse en la forma | | y y g E | *) ( para
alguna funcin (.) g . As el inters se centra en calcular:
| |
}
= * ) | * ( *) ( | *) ( dy y y p y g y y g E (5.30)

33
El vector de parmetro u y tendr la forma
| |
}
= u u u u d y p g y g E ) | ( ) ( | ) ( (5.31)
para algn ) (u g . Salvo el reemplazo de u por * y (5.30) es idntico a (5.31). Adems, las
discusiones de la integracin Monte Carlo y muestreo de Gibbs mostraron que, si
) (s
u para
S s ,..., 2 , 1 = son extracciones de la posterior, entonces

=
=
S
s
s
g
S
S g
1
) (
) (
1

u
converger a | | y g E | ) (u cuando S incrementa, Raftery, Lewis (1996). Esto sugiere que, se puede
encontrar
) (
*
s
y para S s ,..., 2 , 1 = la cual son extracciones de ) | * ( y y p , entonces

=
=
S
s
s
y g
S
Y g
1
) (
) * (
1

(5.32)
Converger a | | y y g E | *) ( .


































34
Captulo VI


Modelo de Regresin Lineal con Matriz de Covarianzas de Errores
Generales

Volvemos al modelo de la regresin lineal.
= + y X (6.1)
en la seccin anterior se supuso que
1
( , )
N N
N h

0 I . Esta afirmacin es la combinacin de

muchas suposiciones. El supuesto de que los errores tienen media cero es inocuo. Si un modelo
tiene los errores con media diferente de cero, ste se incorpora en el intercepto. Es un nuevo
modelo, que es idntico al anterior salvo por el intercepto, la cual puede ser creado y tiene media
cero en los errores. Sin embargo, el supuesto de que la matriz de covarianzas de los errores es
N
I h
1
no podra ser inocuo en muchas aplicaciones.

Modelo con Matriz de Varianzas y Covarianzas general

Todos los modelos en este captulo estn basados en (6.1) y los siguientes supuestos:
1. c tiene una distribucin normal multivariada con media
N
0 y matriz de covarianzas
1
h

donde es una matriz positiva definida NxN.
2. Todos los elementos de X son fijos o, si son variables aleatorias son independientes de todos
los elementos de c con una funcin de densidad de probabilidad, ) | ( X p donde es un
vector de parmetros que no incluyen | y h.

Si O es una matriz definida positiva de orden N x N, entonces, existe una matriz P de orden N x
N tal que
N
I P P = O ' . De forma que si se multiplica ambos lados de (6.1) por P, se obtiene el
modelo transformado
* * * c | + = X y (6.2)
donde Py y = * , PX X = * y c c P = * . Donde
* 1
(0 , )
N N
N h I c

. Ahora, el modelo
transformado dado en (6.2) es idntico al modelo de regresin lineal Normal. Esto tiene dos
implicaciones importantes. Primero, si O es conocido, el anlisis Bayesiano del modelo de
regresin lineal Normal con matriz de covarianzas del error no escalar es simple. Segundo, si O
35
es desconocido, (6.2) sugiere mtodos para el cmputo Bayesiano. Es decir, condicionando en O ,
(6.2) implica que las posteriores de | y h sern de la misma forma que se han manejado en los
captulos anteriores y, ahora, estos resultados pueden usarse para derivaciones que relacionan a |
y h.

Funcin de Verosimilitud

Utilizando las propiedades de la distribucin Normal multivariada, la funcin de probabilidad
para y est dada por:
)
`

O O = O

) ( )' (
2
exp
) 2 (
) , , | (
1
2
1
2
2
| |
t
| X y X y
h h
h y p
N
N
(6.3)
o, en trminos de los datos transformados,
)
`

= O ) * * ( )' * * (
2
exp
) 2 (
) , , | * (
2
2
| |
t
| X y X y
h h
h y p
N
N
(6.4)
Aqu una derivacin idntica usando los resultados del modelo transformados produce una
funcin de verosimilitud escrita en trminos de las cantidades de mnimos cuadrados
generalizados (MCG) Gujarati (1995), esto es, como
k N v = (6.5)
y X X X y X X X
1 1 1 1
' ) ' ( * *' *) *' ( ) (

O O = = O | (6.6)
y
v
X y X y
v
X y X y
s
)) (

( ))' (

(
)) (

* * ( ))' (

* * (
) (
1
2
O O O
=
O O
= O

| |
| |
(6.7)

entonces

2
1
( | , , )
(2 )
N
p y h |
t
O =
36

1
1
2
exp ( ( )) ' ' ( ( ))
2
h
h X | | | |

(
O O O
`
(

)
(6.8)

2
2
exp
2 ( )
v
hv
h
s

(

`
(
O
)

A Priori

Usando a un previo Normal-gama independiente para | y h, y la notacin general ) (O p , para
indicar el previo para O . Entonces, el previo usado en esta seccin es
) ( ) ( ) ( ) , , ( O = O p h p p h p | |
donde
) , | ( ) ( V f p
N
| | | = (6.9)
y
) , | ( ) (
2
= s v h f h p
G
(6.10)

Posterior


La posterior es de la forma
{ }
(

)
`

+
O O

2
2
2
1
2
exp
)' ( )' ( ) * * ( )' * * (
2
1
exp
) ( ) , , (
s
v h
h
V X y X y
p h p
v N
| | | | | |
|
(6.11)
Esta posterior est escrita basada en la funcin de verosimilitud expresada como en (6.4).
Tambien pueden escribirse las expresiones basadas en (6.3) o (6.8), sin embargo, no se hace esto,
ya que esta densidad posterior conjunta para | , h y O no toma la forma de cualquier densidad
conocida y no puede usarse directamente en una manera simple para la inferencia posterior. La
posterior de | , condicional en los otros parmetros del modelo es normal multivariada.
37
) , ( ~ , , | V N h y | | O (6.12)
donde
1 1 1
) ' (

O + = X hX V V (6.13)
y
)) (

' (
1 1
O O + =

| | | X hX V V (6.14)
La posterior para h condicionada en los otros parmetros es el modelo Gama:
) , ( ~ , , |
2
v s G y h

O | (6.15)
donde
v N v + = (6.16)
y
v
vs X y X y
s
2 1
2
) ( )' ( + O
=

| |
(6.17)
La posterior para O condicionada en | y h tiene un ncleo de la forma
)
`

O O O O

) ( )' (
2
exp ) ( ) , , | (
1
2
1
| | | X y X y
h
p h y p (6.18)
En general, esta posterior condicional no toma, fcilmente, alguna forma conocida.


Heteroscedasticidad

La Heteroscedasticidad ocurre cuando las variaciones del error difieren a travs de las
observaciones. Todos los modelos en los captulos anteriores tenan variaciones de los errores que
eran idnticos a travs de las observaciones, a este hecho se le conoce como homoscedasticidad.
Por lo que se refiere al modelo de regresin, la heteroscedasticidad ocurre si
38
(
(
(
(
(
(

= O
N
e
e
e
0 . 0 . 0
.
.
0 . . 0
0 . . 0
2
1
(6.19)
El modelo de la regresin lineal Normal con errores heteroscedasticos es idntico al estudiado en
los temas anteriores, slo que ahora se supone que la
i i
h e c
1
) var(

= para N i ,..., 2 , 1 = .
Se asume que
) , ( o e
i i
z h = (6.20)
donde ) ( h es una funcin positiva la cual depende de los parmetros o y un p-vector de datos
i
z .
i
z pueden incluir algunas o todas las variables explicativas
i
x . Una eleccin comn para
) ( h , la cual asegura que las variaciones del error sean positivas es:
2
2 2 1 1
) ... 1 ( ) , (
ip p i i i
z z z z h o o o o + + + + = (6.21)
El previo, la verosimilitud y la posterior para este modelo son aquellos de la Seccin 6.2 con la
expresin O dada en (6.19).

Para llevar a cabo la inferencia Bayesiana en el modelo de heteroscedasticidad, se requiere la
simulacin posterior.

Heteroscedasticidad de forma desconocida: Con errores t-student

La pregunta surge acerca de cmo proceder si se sospecha que la heteroscedasticidad est
presente, pero de forma desconocida. En otras palabras, uno est deseando asumir (6.19), pero es
inapropiado suponer una forma funcional como en (6.20). Con N observaciones y N + k + 1
parmetros a estimar (es decir | , h y )' ,..., (
1 N
e e e = ).
El mtodo desarrollado para este caso es importante por dos razones. Primero, el mtodo
involucra el uso de un previo jerrquico. Los previos jerrquicos han jugado un papel importante
en muchos desarrollos recientes de la teora estadstica Bayesiana y cada vez se vuelven ms
39
populares en la econometra. Segundo, este modelo tambin permite introducir conceptos que
relacionan al modelado economtrico flexible y, en particular, permite la libre suposicin de
errores Normales.

Se empieza tomando ) (e p , el previo para el vector N-dimensional e. Es conveniente trabajar
con las precisiones del error en lugar de las variaciones y, aqu, se define
)' ,..., , ( )' ,..., , (
1 1
2
1
1 2 1


N N
e e e . Si se considera el previo para , como:
[
=
=
N
i
i G
v f p
1
) , 1 | ( ) (

(6.22)
El previo para depende sobre los hiperparametros

v , que es seleccionado por el investigador

y supone que cada
i
viene de la misma distribucin. En otras palabras, (6.22) implica que los
i

son extracciones independientes e idnticamente distribuidos (i.i.d.) de la distribucin Gamma.
Este supuesto es necesario con los problemas causados por la alta dimensin de . Si se trata
N
,...,
1
con N parmetros completamente independientes y sin restriccin, no se tendrn
bastantes observaciones para estimar cada uno de ellos. La ecuacin (6.22) pone alguna estructura
que permite la estimacin. Esto permite que todas las variaciones del error sean entre si diferentes,
pero todos ellos son extracciones de la misma distribucin.

Este modelo, con verosimilitud dada por (6.3) y previo dado por (6.9), (6.10) y (6.22) es
exactamente el mismo como el modelo de la regresin lineal con errores independientes e
idnticamente distribuidos (i.i.d.) t student con

v grados de libertad. En otras palabras, se

empieza suponiendo
) , , 0 | ( ) (
1
1
c c v h f p
i i

= (6.23)
para N i ,.., 1 = , al derivar la verosimilitud y al usar (6.9) y (6.10) como previos para | , h
respectivamente.

La distribucin t-student es similar a la Normal, pero tiene ms probabilidad en los extremos y es
ms flexible. De hecho, la distribucin Normal es un caso especial de la distribucin t de student
40
la cual ocurre cuando

v . As, se tiene un modelo que permite una distribucin del error

ms flexible.

La discusin anterior supuso que

v era conocido. En la prctica, sto no sera normalmente un

supuesto razonable, y es deseable tratarlo como un parmetro desconocido. En el marco
Bayesiano, cada parmetro requiere una distribucin previa y, se usar la notacin general
) (

v p . Note que, si se hace esto, el previo para se especifica en dos pasos, el primer es (6.22),
el otro es ) (

v p . El previo puede escribirse como ) ( ) | (

v p v p . Los previos escritos en
dos (o ms) pasos, de esta manera, son llamado previos jerrquicos. Escribir el previo como un
previo jerrquico es a menudo una manera conveniente de expresar la informacin anterior. Sin
embargo, se enfatiza el aspecto de conveniencia de los previos jerrquicos. No es necesario usar a
un previo jerrquico, puesto que las leyes de probabilidad implican que cada previo jerrquico
puede escribe en un modo no jerrquico. En el caso presente, el resultado

dv v p v p p ) ( ) | ( ) (
}
= podra usarse para derivar la versin no jerrquica del previo para
.

La media y la desviacin estndar no existen para todas las funciones de densidad de probabilidad
vlidas. En particular, Geweke (1993) muestra que si se utiliza a un previo no informativo comn
para | (es decir 1 ) ( | p en el intervalo ) , ( ), entonces la media posterior no existe, a
menos que ) (

v p sea cero en el intervalo ( | 2 , 0 . La desviacin estndar posterior no existe a
menos que ) (

v p sea cero en el intervalo ( | 4 , 0 .













41
Capitulo VII

Calculo Bayesiano

Integracin Monte Carlo.

El algoritmo ms simple para hacer la simulacin posterior se llama integracin Monte Carlo. En
el contexto del modelo de regresin lineal normal, el teorema bsico de la integracin de Monte
Carlo, puede escribirse como, Raftery, Lewis (1996):

Teorema 7.1: Integracin Monte Carlo.
Sea
) (s
u para S s ,..., 1 = una muestra aleatoria de ) | ( y p u , y se define

=
=
S
s
s
g
S
s g
1
) (
) (
1
u (7.1)
entonces s g
converge a | | y g E | ) (u cuando S tiende a infinito.

La integracin Monte Carlo puede ser utilizada para aproximar | | y g E | ) (u , pero slo si la S
tiende a infinito el error de aproximacin tiende a cero.

Teorema 7.2: Error estndar numrico
Usando la definiciones de teorema 7.1,
| | { }
2
( ) | (0, )
g
S gs E g y N cuando S u o
donde | | y g
g
| ) ( var
2
u o = .

El Teorema 7.2, es usado para obtener una estimacin del error de aproximacin. Utilizando las
propiedades de la distribucin normal el resultado aproximado es:
| | 95 . 0 96 . 1 | ) ( 96 . 1 Pr =
(

s s
S
y g E s g
S
g g
o
u
o

El trmino
S
g
o
es conocido como el error estndar numrico, y es una medida del error de
aproximacin.
42
Pasos para la integracin Monte Carlo:
- Paso 1: Tome una muestra aleatoria,
) (s
| de la posterior para | dado en (3.14) usando
un generador de nmero aleatorio para la distribucin t multivariada.
- Paso 2: Calcule ) (
) ( s
g | y mantenga este resultado.
- Paso 3: Repita los pasos 1 y 2, S veces.
- Paso 4: Tome el promedio de las S muestras ) ( ),... (
) ( ) 1 ( S
g g | | .

La integracin Monte Carlo produce slo una aproximacin para | | y g E | ) (| . Sin embargo,
escogiendo S, se puede controlar el grado del error de aproximacin. Adems, podemos obtener
una medida numrica del error de aproximacin usando el Teorema Central del Lmite. En
particular, se obtiene, Raftery, Lewis (1996)
| | { }
2
( ) | (0, )
g
S gs E g y n | o (7.2)
cuando S tiende a infinito, donde | | y g
g
| ) ( var
2
| o = . Usando esta estimacin, (7.2) y las
propiedades de la densidad normal se puede escribir:
| | | | 95 . 0

96 . 1 | ) ( (

96 . 1 | ) ( ( Pr ~
)
`

+ s s
S
y y g E s g
S
y y g E
g g
o o
(7.3)
Arreglando (7.3) se encuentra un intervalo de confianza aproximado del 95% para | | y y g E | ) ( (
de la forma 1.96 , 1.96
g g
gs S gs S o o
(
+

. Se puede presentar ste como una medida
de exactitud de la estimacin de | | y y g E | ) ( ( o para usarlo como una gua para escoger S.
Alternativa, el error estndar numrico
g
S o , puede ser reportado como conteniendo la misma
informacin en una forma ms compacta.


Muestreo de Gibbs

El muestreo de Gibbs es una herramienta poderosa para la simulacin posterior la cual es usada en
muchos modelos economtricos. Temporalmente, se adopta la notacin general, dnde u es un p-
vector de parmetros y ) | ( u y p , ) (u p y ) | ( y p u son la verosimilitud, la a priori y la posterior,
respectivamente. En el modelo de regresin lineal, 1 + = k p y )' , ' ( h | u = . Adems, u se divide
43
en varios bloques como ) ,..., (
'
) (
'
) 1 ( B
u u u = dnde
) ( j
u es un escalar o vector, B j ,..., 2 , 1 = . En el
modelo de la regresin lineal, es conveniente poner B=2 con | u =
) 1 (
y h =
) 2 (
u .

En muchos modelos no es fcil extraer directamente de ) | ( y p u . Sin embargo, es a menudo mas
fcil extraer aleatoriamente de
(1) (2) ( )
( | , ,..., )
B
p y u u u ,
(2) (1) (3) ( )
( | , , ..., )
B
p y u u u u ,...,
( ) (1)
( | ,
B
p y u u ...
( 1)
)
B
u

. Las distribuciones precedentes son llamadas las distribuciones posteriores condicionales
completas, puesto que ellas definen una posterior para cada bloque condicional en todos los otros
bloques. En el modelo de regresin normal con previo independiente Normal-Gamma, ) , | ( h y p |
es normal y ) , | ( | y h p es gamma. El resultado de extraer de la condicional completa producir
una sucesin
) ( ) 2 ( ) 1 (
,..., ,
S
u u u la cual puede promediarse para producir estimaciones de
| | y g E | ) (u de la misma manera que con la integracin Monte Carlo, Raftery, Lewis (1996).

El muestreo de Gibbs ser escrito para el caso de dos bloques. Formalmente, el muestreo de Gibbs
involucra los siguientes pasos:

- Paso 0. Seleccionar un valor inicial
) 0 (
u . Para S s ,..., 2 , 1 = :
- Paso 1. Tomar una extraccin aleatoria,
) (
) 1 (
s
u de ( )
) 1 (
) (
) 1 (
) 3 (
) 1 (
) 2 ( ) 1 (
,..., , , |
s
B
s s
y p u u u u .
- Paso 2. Tomar una extraccin aleatoria,
) (
) 2 (
s
u de ( )
) 1 (
) (
) 1 (
) 3 (
) (
) 1 ( ) 2 (
,..., , , |
s
B
s s
y p u u u u .
- .
- .
- .
- Paso B. Tomar una extraccin aleatoria,
) (
) (
s
B
u de ( )
) (
) 1 (
) (
) 2 (
) (
) 1 ( ) (
,..., , , |
s
B
s s
B
y p

u u u u .

Siguiendo estos pasos producirn un conjunto de S extracciones,
) ( s
u para S s ,..., 2 , 1 = . Despus
de dejar los primeros
0
S eliminando el efecto
) 0 (
u , las restantes extracciones
1
S pueden
promediarse para crear estimaciones de caractersticas posteriores de inters. Esto es, la
integracin Monte Carlo, la ley dbil de los grandes nmeros puede ser invocada para decir que,
si ( ) g es una funcin de inters y
) (
1

1
) (
1
1
0

+ =
=
S
S s
s
g
S
s g u (7.4)
44
Entonces
1
s g converge a | | y g E | ) (u cuando
1
S tiende a infinito, Zellner, Min (1995).

En el modelo de regresin normal lineal con a priori independiente Normal-gamma, ) , | ( h y p |
es Normal y ) , | ( | y h p es Gamma. Esto sugiere que el bloque mencionado previamente, con
| u =
) 1 (
y h =
) 2 (
u es natural. El muestreo de Gibbs involucra extracciones secuencialmente
obtenidas de las distribuciones, normales y gamas usando (5.7) y (5.8).

Cualquier acercamiento de la simulacin posterior como el muestreo de Gibbs nos proporciona
1
s g que es una estimacin de | | y g E | ) (u . Escogiendo S suficientemente grande, el error de
aproximacin implcito en la estimacin puede hacerse tan pequeo como las necesidades del
investigador.


Diagnsticos Cadenas de Markov Monte Carlo

El hecho de que el estado del muestreo de Gibbs en s extracciones (
) ( s
u ) depende sobre su estado
anterior s -1 (
) 1 ( s
u ) significa que la sucesin es una cadena de Markov.

Hay muchos otros simuladores posteriores que tienen esta propiedad. Tales simuladores
posteriores tienen el nombre general de algoritmos Cadena de Markov Monte Carlo (MCMC),
Gilks (1996).

El primer diagnstico de MCMC es el error estndar numrico, que se deriva a travs del uso del
Teorema Central del Lmite. Brevemente, bajo las condiciones necesarias el muestreo de Gibbs
para converger a una sucesin de extracciones de ) | ( y p u , se obtiene un Teorema Central del
Lmite de la forma familiar:
| | { } ) , 0 ( | ) (
2
1 1 g
N y g E s g S o u (7.5)
cuando
1
S tiende a infinito. Sin embargo,
2
g
o tiene una forma ms complicada que en (7.3).
Intuitivamente,
2
g
o tiene que compensar el hecho de que
) (s
u para S s ,..., 2 , 1 = es una sucesin
correlacionada. Geweke (1992) usa esta intuicin para extraer las ideas de la literatura de series de
tiempo para desarrollar una estimacin
2
g
o de la forma
45
1
2
) 0 (

S
S
g
= o (7.6)
La justificacin para esta estimacin es informal, pero trabaja bien en la prctica. Es as posible
calcular un error estndar numrico
1

g
S o .

Geweke (1992) sugiere otro diagnostico basado en la intuicin que, si un numero suficientemente
grande de extracciones han sido tomados, el estimador de ) (u g basado en los primera mitad de
las extracciones, ser esencialmente el mismo que la estimacin sobre la ultima mitad. Si estas
dos estimaciones son muy diferentes, indica que muy pocas extracciones han sido tomadas o que
el efecto de la extraccin inicial
) 0 (
u no ha terminado y ha estado contaminando la estimacin que
usa las primeras extracciones. Ms generalmente, si se divide las S extracciones del muestreo de
Gibbs en un
0
S inicial las cuales son desechadas como repeticiones consumidas y las extracciones
restantes
1
S qu son incluidas. Estas ltimas extracciones estn divididas en un conjunto de
A
S
extracciones, un conjunto medio de
B
S extracciones y el ltimo conjunto de
C
S extracciones. Es
decir, se tiene
) (s
u para S s ,..., 2 , 1 = que esta dividido en los subconjuntos como
0 0
1,..., , 1,...,
A
s S S S S = + + ,
0 0
1,....,
A A B
S S S S S + + + + ,
0 0
1,...,
A B A B C
S S S S S S S + + + + + + . En la
prctica, se ha encontrado que colocando
1
1 . 0 S S
A
= ,
1
5 . 0 S S
B
= y
1
0.4
c
S S = trabajan bien en
muchas aplicaciones. Para los propsitos de calcular el diagnstico MCMC, caen afuera medio
conjunto de las
B
S y hace probable que la primera extraccin y la ltima sean independiente entre
si. Sea
A
S g
y
C
S g los estimadores de | | y g E | ) (u usando las primeras repeticiones de
A
S
despus del burn-in y las ultimas repeticiones de
C
S , respectivamente, usando (5.11). Se define

A A
S o y
C C
S o que son los errores estndares numricos de estas dos estimaciones.
Entonces el teorema central del limite anlogo a (5.12) puede ser invocado como
) 1 , 0 ( N CD
Donde CD es el diagnostico de convergencia dado por

C
C
A
A
C A
S S
S g S g
CD
o o

+

= (7.7)
46
En una aplicacin emprica que involucra el muestreo de Gibbs, este diagnstico de convergencia
puede calcularse y compararse con los valores de tablas de una normal estndar. Los valores
grandes de CD indican que
A
S g
y
C
S g son bastante diferentes entre si y, de, que no ha tomado
bastantes repeticiones. Si el diagnstico de convergencia indica que un nmero suficientemente
grande de extracciones ha sido tomado, entonces los resultados finales pueden ser calculados
basados sobre el conjunto completo de
1
S extracciones.

Es probable que los diagnsticos de MCMC anteriores sean bastante informativos evaluando, si el
muestreo de Gibbs est trabajando bien y si se ha tomado un nmero suficientemente grande de
repeticiones para lograr el grado deseado de exactitud. Sin embargo, no son seguros y, en algunos
modelos, raros, es posible que los diagnsticos de MCMC indiquen que todos estn bien cuando
ellos no lo estn. Los errores estndares numricos pueden parecer razonables, el diagnstico de
la convergencia en (5.14) puede indicar que la convergencia se ha alcanzado, pero en la realidad
todos los resultados estaran perdidos.

Un segundo caso es cuando el muestreo de Gibbs produce resultados engaosos y los diagnsticos
de MCMC no advierten del problema cuando las repeticiones iniciales
) 0 (
u , est sumamente lejos
de la regin del espacio del parmetro donde la mayora de las probabilidad posteriores estn. Si
el grado de correlacin en la extraccin de Gibbs es muy alto, se toma un nmero grande de
extracciones para el muestreo de Gibbs y as mover hacia la regin de probabilidad posterior ms
alta. En la mayora los casos, el diagnstico de convergencia CD tomar este problema, ya que
A
S g
y
C
S g tienden a ser diferente entre s cuando el muestreo de Gibbs se mueve gradualmente
lejos de
) 0 (
u , pero en algunos casos no se puede.

Sea
) , 0 ( i
u para m i ,..., 2 , 1 = , m denotan valores iniciales la cual son tomados de regiones muy
diferentes del espacio de parmetro. Sea
) , ( i s
u para S s ,..., 2 , 1 = , S la extraccin del muestreo de
Gibbs del i-simo valor inicial y sea
) (
1

i
S
g la correspondiente estimacin de | | y g E | ) (u usando
(5.11). Si el efecto del valor inicial ha estado alejado, cada una de estas m sucesiones debe ser la
mismo entre si. La variacin calculada por las sucesiones no debe ser relativamente grande a la
variacin dentro de una sucesin. Una estimacin comn de la varianza de una secuencia es, Gilks
(1996)
47
| |
2
1
) ( ) , (
1
2
0
1

) (
1
1

+ =

=
S
S s
i
S
i s
i
g g
S
s u (7.8)
qu es llamado la variacin dentro de la sucesin. Se define ahora

=
=
m
i
i
S
m
W
1
2
1
(7.9)
Similarmente, puede mostrarse que la variacin entre la sucesin puede estimarse por

=
m
i
i
S
g g
m
S
B
1
2 ) ( 1
)

(
1
1
(7.10)
donde

=
=
m
i
i
S
g
m
g
1
) (
1

(7.11)
W es una estimacin de | | var g(q) | y . Puede mostrarse que
| | B
S
W
S
S
y g
1 1
1
1 1
| ) ( var +

= u (7.12)
tambin es una estimacin de | | var g(q) | y . Sin embargo, si el muestreo de Gibbs no ha alcanzado
la convergencia entonces W subestimar | | var g(q) | y .

As, una convergencia de MCMC normalmente presenta el diagnstico:

| |
W
y g
R
| ) ( var

u
= (7.13)
tiende a ser mayor que uno, con valores cercanos a uno indica que el muestreo Gibbs ha
convergido con xito. R

es llamada la reduccin de escala potencial estimada.

48
Calculo Bayesiano para Heteroscedasticidad.

El desarrollo del muestreo de Gibbs para el anlisis posterior de | , , h y

v , requiere la
derivacin de las distribuciones posteriores condicionales completas de estos parmetros. Ya se
han derivado algunos de stos en (6.12) y (6.15), respectivamente. El inters se enfoca en
) , , , | (

| v h y p y ) , , , | ( |

h y v p . Se deriva el previo dado (6.22) en la forma general para

la posterior condicional dado en (6.18). Un reexamen de la densidad resultante muestra que los
i

son independientes entre si (condicional en los otros parmetros del modelo) y cada una de las
posteriores condicionales para
i
tiene la forma de una densidad Gamma. Formalmente Geweke
(1989), se tiene.
[
=
=
N
i
i
v h y p v h y p
1
) , , , | ( ) , , , | (

| | (7.14)
y
|
|
.
|

\
|
+
+
+
= 1 ,
1
| ) , , , | (
2

c
| v
v h
v
f v h y p
i
i G i
(7.15)
El previo para

v en su forma precisa no tiene ninguna relevancia para la posterior condicionada

para los otros parmetros. Sin embargo, la forma ) (

v p y el efecto ) , , , | ( |

h y v p aqu, se
deben especificar. Como se tiene 0 >

v , se usa una distribucin exponencial para el previo.

Como se nombra en el Apndice I, la densidad exponencial simplemente es la Gamma con dos
grados de libertad. Se escribe
) 2 , | ( ) (


v v f v p
G
= (7.16)
Otros previos pueden ocuparse con pequeos cambios en el algoritmo de simulacin posterior
siguiente. ) , , , | ( |

h y v p es relativamente fcil de derivar, dado que

v no entra en la
verosimilitud y puede confirmarse que ) | ( ) , , , | ( |

v p h y v p = . Siguiendose del teorema
de Bayes que
) ( ) | ( ) | (

v p v p v p
y as, el ncleo de la condicional posterior de

v simplemente es (6.22) veces (6.26). As, se

obtiene, Gilks (1996)
49
2
( | , , , ) exp( )
2 2
Nv
N
v v
p v y h v

| q

| | | |
I
| |
\ . \ .
(7.17)
donde
| |

+ + =
N
i
i i
In
v
1
1
) (
2
1 1
q

Siendo sta una densidad impropia.

Para muchas hiptesis (por ejemplo 0 =
j
| ) la densidad proporcin SavageDickey puede
usarse para la comparacin de modelos. Sin embargo, no todas las hiptesis son fcilmente
calculadas usando la proporcin SavageDickey.

Alternativamente, los valores p posteriores predictivos y HPDI pueden calcularse para el ajuste y
adecuacin del modelo. La inferencia Predictiva en este modelo puede llevarse a efecto usando la
estrategia utilizada en el Captulo 4.












50
Capitulo VIII.

Ejemplos y Discusin.

En este capitulo se llevar acabo el anlisis de dos conjuntos de datos, el primero de ellos
corresponde a un modelo con datos tomados del libro de Gujarati (1995). El segundo de ellos es
para el problema de heteroscedasticidad, tomado del libro de Salvatore (1982).

Para el mtodo clsico todos los problemas se resolvieron con SPSS (statistical packet for social
science) y para el enfoque Bayesiano se utilizo MATLAB versin 5.3, con la ayuda de las rutinas
de LeSage (1999) que se encuentran en la pgina: www.spatial-econometrics.com, de la cual se
tomaron algunas de estas para calcular los estimadores.

MATLAB es un programa muy utilizado por los Bayesianos, adems existen ya rutinas
programadas para resolver problemas especficos, los cuales se invocan desde el programa
principal.

Para ejecutar las rutinas de LeSage, es necesario primero descargar los archivos y crear una
carpeta para incluirlas ah. Despus se llaman de MATLAB por la siguiente instruccin:

cd C:\Matlab

Quiere decir que la carpeta esta en el disco C, con el nombre de Matlab. Ya estando cargada la
carpeta, entonces se ejecuta el programa que esta al final del documento.









51
Ejemplo 1

Desembolsos del presupuesto de defensa de los Estados Unidos, 1962-1981. Con el fin de
explicar el presupuesto de defensa de los Estados Unidos, se considera el siguiente modelo:
c | | | | + + + + =
4 4 3 3 2 2 1
X X X Y

Donde:
Y = Desembolsos del presupuesto de defensa, US$ miles de millones.
2
X = PNB, US$ miles de millones.
3
X = Ventas militares US$ miles de millones.
4
X = Ventas de la industria aeroespacial, US $ miles de millones.

Cuadro 1. Desembolsos del presupuesto de defensa de los EU.
Ao
Desembolsos del
presupuesto de Defensa. PNB
Ayudas militares de los
EU / ayuda
Ventas industriales
aeroespacial
1962 51.1 560.3 0.6 16
1963 52.3 590.5 0.9 16.4
1964 53.6 632.4 1.1 16.7
1965 49.6 684.9 1.4 17
1966 56.8 749.9 1.6 20.2
1967 70.1 793.9 1 23.4
1968 80.5 865 0.8 25.6
1969 81.2 931.4 1.5 24.6
1970 80.3 992.7 1 24.8
1971 77.7 1077.6 1.5 21.7
1972 78.3 1185.9 2.95 21.5
1973 74.5 1326.4 4.8 24.3
1974 77.8 1434.2 10.3 26.8
1975 85.6 1549.2 16 29.5
1976 89.4 1718 14.7 30.4
1977 97.5 1918.3 8.3 33.3
1978 105.2 2163.9 11 38
1979 117.7 2417.8 13 46.2
1980 135.9 2633.1 15.3 57.6
1981 162.1 2937.7 18 68.9
Fuente: Los datos fueron colectados por Albert Lucchino a partir de diversas publicaciones
gubernamentales.








52
Mnimos cuadrados ordinarios

En los cuadros 2 y 3 se muestran los resultados de mnimos cuadrados ordinarios. En el Cuadro 2,
el modelo es estadsticamente significativo con un 05 . 0 = o . En el Cuadro 3, los coeficientes de
regresin son significativos a un nivel de 05 . 0 = o , excepto la variable: ayudas militares de los
EEUU. Con un coeficiente de determinacin de R
2
= 0.97.

Cuadro 2. Anlisis de Varianza
Suma de
cuadrados
Grados de
Libertad
Cuadrados
medios
F Valor
critico de F
Regresin 15493.17 3.00 5164.39 179.13 0.00
Residuos 461.28 16.00 28.83
Total 15954.45 19.00

Cuadro 3. Coeficientes de regresin.
Valor estimado Desv. Estndar t Valor Critico
Constante 22.775 3.312 6.877 0.000
PNB 0.017 0.007 2.380 0.030
Ayudas -0.696 0.454 -1.533 0.145
Ventas 1.468 0.278 5.287 0.000


En la Figura 1, se observa que existe un buen ajuste del modelo a los datos. En la Figura 2, los
residuales no siguen algn patrn caracterstico (no tienen alguna tendencia), entonces se dice que
son independientes.


Figura 1. Valores actuales contra los valores predichos y residuales.
Reales vs Ajustados
45
65
85
105
125
145
165
1962 1963 1964 1965 1966 1967 1968 1969 1970 1971 1972 1973 1974 1975 1976 1977 1978 1979 1980 1981
Ao
M
i
l
e
s

d
e

m
i
l
l
o
n
e
s

d
e

U
S
$
Reales Ajustados

53
Figura 2. Grfica de residuales.
Residuales
-10
-8
-6
-4
-2
0
2
4
6
8
10
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
Ao



Modelo de Regresin lineal normal con a priori no informativa y a priori informativa


Estos resultados posteriores basados en la a priori no informativa son calculados usando (3.19)-
(3.22). Los resultados son iguales para ambos enfoques debido a que para el enfoque Bayesiano
con a priori no informativa, produce resultados similares a los de mnimos cuadrados ordinarios
del enfoque clsico, como se muestra en el Cuadro 4.

Cuadro 4. Medias posteriores para | .



En el Cuadro 5, ) | 0 ( y p
j
> | usa (3.13) y las propiedades de la distribucin t-student para
calcular la probabilidad de que cada coeficiente sea positivo. Esta tabla indica que ) | 0 ( y p
j
> |
tiene probabilidad igual a uno para j=0,3, adems para
1
| su probabilidad es muy cercano a uno
y ninguno de los anteriores HPDI del 95 % contiene al cero. Sin embargo el parmetro
2
| tiene
una probabilidad muy baja, quiere decir que su HPDI contiene al cero adems, en el parmetro
1
| con un HPDI del 99 % si contiene al cero. Los HPDI pueden ser usados para realizar pruebas
de restricciones de igualdad.


Posterior DS
0
|

22.7751 3.1223
1
|

0.0167 0.0066
2
|

-0.6962 0.428
3
|

1.4677 0.2617
54
Cuadro 5. Comparacin de modelos envolviendo | .

) | 0 ( y p
j
> | 95 % HPDI 99 % HPDI
0
|

1 16.5964 28.9539 14.347 31.2032
1
|

0.9925 0.0036 0.0298 -0.0012 0.0346
2
|

0.0509 -1.5432 0.1508 -1.8515 0.4592
3
|

1 0.9498 1.9857 0.7612 2.1742

Si ahora consideramos que los valores para los hiperparametros previos 4 = v y 30 / 1
2
= s y
0
3
1
4
(
(
(
=
(
(


Con la a priori conjugada natural, se tiene
var( ) = V
entonces,
100 0 0 0
0 2.25 0 0
0 0 .25 0
0 0 0 4
(
(
(
=
(
(

V
En Cuadro 6, se presentan los resultados posteriores con a priori informativa, estos son
calculados usando (3.9)-(3.12). Se observa en este caso, que las desviaciones estndar para cada
parmetro son menores que en el caso del uso de una distribucin no informativa. Adems indica
que ( 0| )
j
p y | > es uno para j=0,3 y sus HPDI no contienen al cero.

La relacin odds posterior compar
1 2
: 0 : 0
j j
M y M | | = = para j=0,3, donde son muy
pequeos, indican que el modelo sin restricciones recibe mas probabilidad que el modelo
restringido. Para j=2, la incertidumbre es reflejada en la relacin odds posterior la cual indica que
el modelo restringido es 1.1795 veces el modelo sin restriccin.

Cuadro 6. Resultado posteriores con a priori informativa
Posterior DS Probpos HPDI 95 % HPDI 99 % Postodds
0
|

22.6533 2.8426 1 17.0362 28.2705 15.0412 30.2655 0
1
|

0.0168 0.006 0.9962 0.0049 0.0287 0.0007 0.0329 32.6758
2
|

-0.7099 0.3862 0.0334 -1.473 0.0531 -1.744 0.3241 1.1795
3
|

1.4699 0.2393 1 0.9969 1.9428 0.829 2.1108 0

55
El Cuadro 7, presenta las a priori y los resultados posteriores para las a priori informativas y no
informativas, adems se incluyen los resultados producidos por el acercamiento clsico, confirmo
que la a priori es relativamente no informativa dado que los resultados posteriores basados en la
a priori informativa son un similares a los resultados producidos con la a priori no informativa.
Debido a que se utilizo un v
0
=4 (los grados de libertad a priori) y con esto le damos poco peso a
la distribucin a priori, sin embargo se gana mas precisin al tener las desviaciones estndar ms
pequeos.


Cuadro 7. Coeficientes de | y desviaciones estndar.
A priori Posterior

Informativa Est. Clasicos A priori no informativa A priori informativa
0
|

0 22.775 22.775 22.653

10 3.312 3.122 2.843
1
|

3 0.017 0.017 0.017

1.5 0.007 0.007 0.006
2
|

-1 -0.696 -0.696 -0.710

5 0.454 0.428 0.386
3
|
4 1.468 1.468 1.470

2 0.278 0.262 0.239

En el Cuadro 8, se muestran las precisiones h posteriores y la varianza estimada del acercamiento
clsico donde se encuentra una ligera ganancia en los estimadores Bayesianos, debido a que se
tomo una a priori relativamente informativa. Los estimadores Bayesianos son ms eficientes, de
ah su justificacin, de por que sus desviaciones estndar son menores que los clsicos.

Cuadro 8. Propiedades posteriores de h y de o
a priori
informativa
a priori no
informativa
Clsico
Media 0.0508 0.0434
28.83 o =
Des.
Estandar
0.0651 0.0658










56
Modelo de Regresin lineal normal con a priori independiente normal-gamma

Si ahora consideramos que los valores para los hiperparametros previos normal-gamma
independiente son 4 = v y 30 / 1
2
= s y
0
3
1
4
(
(
(
=
(
(



Con la a priori independiente normal-gamma, se tiene
var( ) = V
entonces,
100 0 0 0
0 2.25 0 0
0 0 .25 0
0 0 0 4
(
(
(
=
(
(

V

La inferencia Bayesiana en este modelo se hizo usando el muestreo de Gibbs. La estructura de
este programa es muy similar a la integracin Monte Carlo, si bien son extracciones secuenciales
de ) , | ( h y p | y ) , | ( | y h p en lugar de extraer simplemente de ) | ( y p | . La Tabla 9, contiene
resultados para | , incluyendo diagnsticos de convergencia MCMC para el modelo de regresin
lineal normal con previo independiente normal-gamma.

Los valores iniciales para el error de precisin es igual a la inversa de la estimacin de MCO de
2
o es decir
2 ) 0 (
1 s h = . Se descartan S
0
=1000 repeticiones, burn-in y se incluyen S
1
=15000
repeticiones.

La columna NSE contiene el error estndar numrico para las aproximaciones de ) | ( y p
j
|
para j = 1, 2, 3,4, se calcul usando (5.13). Si se desea un grado de ocurrencia ms alto, se puede
incrementar
1
S . La columna llamada CD de Geweke, que es un diagnostico de convergencia,
descrito en (5.14), compara las estimaciones de los ) | ( y p
j
| basados en las primeras 1000
57
repeticiones (despus de las repeticiones burn-in) basados en las 4000 repeticiones. CD es
asintoticamente normal estndar, una regla comn es concluir que la convergencia de los
algoritmos de MCMC ha ocurrido si CD es menor que 1.96 en valor absoluto para todos los
parmetros. El Cuadro 9, indica que la convergencia de los algoritmos MCMC ha sido alcanzada.

En la Cuadro 9, contiene tambin la relacin de odds posterior que compara los dos modelos:
0 :
0 :
2
1
=
=
j
j
M
M
|
|

En este caso no hay evidencia para que
0
| y
3
| sean iguales a cero.

Cuadro 9. Resultados previos y posteriores para | (desviaciones estndar)

a priori Posterior NSE Cd de Geweke
Post. Odd para
i
| =0
HPDI 95 %
0
|
0 20.4088 0.0236 0.5104 0 15.5181 24.9672

10 2.8951
1
|
3 0.0177 0 0.2854 26.6113 0.008 0.0276

1.5 0.006
2
|
-1 -0.8925 0.0026 -0.1129 0.2283 -1.4238 -0.3655

5 0.3223
3
|
4 1.5361 0.0021 -0.487 0.0002 1.1194 1.9639

2 0.0137
h
0.033 0.0431 0.0001 -0.9703

0.0137













58
Ejemplo II

Ejemplo 2. En el cuadro 10 se presentan: el nivel de inventarios I, las ventas S, ambos en
millones de dlares y las tasas de endeudamiento de 35 firmas en una industria. Se espera que I
este directamente relacionada con S pero inversamente relacionada con R.

Cuadro 10. Inversiones para 35 firmas en una industria.
I S R
10 100 17
10 101 17
10 103 17
11 105 16
11 106 16
11 106 16
12 108 15
12 109 15
12 111 14
12 111 14
12 112 14
13 113 14
13 114 13
13 114 13
14 116 12
14 117 12
14 118 12
15 120 11
15 122 11
15 123 11
15 125 11
16 128 10
16 128 10
16 131 10
17 133 10
17 134 9
17 135 9
17 136 9
18 139 8
18 143 8
19 147 8
19 151 8
19 157 8
20 163 7



Heteroscedasticidad para el acercamiento clsico

En el caso del acercamiento clsico, se resolvi con el paquete estadstico SPSS (Statistical
Packet for social science). Los resultados se muestran a continuacin.

Para el modelo completo sin tomar en cuenta la heteroscedasticidad, se relaciono I con S y R para
la muestra completa, y los resultados se muestran en los cuadros 11 y 12. El Cuadro 11, muestra
que el modelo es significativo con un = 0.05. Adems en el Cuadro 12, los coeficientes son
significativos con un = 0.05. Con un coeficiente de determinacin R
2
= .99.

59
Cuadro 11. Anlisis de Varianza.
Suma de
cuadrados
Grados de
Libertad
Cuadrados
medios
F Valor
critico de F
Regresin 311.246 2.000 155.623 1886.210 0.000
Residual 2.640 32.000 0.083
Total 313.886 34.000


Cuadro 12. Coeficientes de regresin.
Valor estimado Desv. Estndar Beta t Valor critico
Constante 14.421 1.446 9.971 0.000
S 0.061 0.008 0.365 8.021 0.000
R -0.626 0.044 -0.646 -14.176 0.000


Para corregir el problema de heteroscedasticidad, se supone que la varianza del error es
proporcional a S
2
y entonces se dividi cada trmino de la regresin por S
i
. Reestimando la
regresin usando la variable transformada, los resultados son los siguientes: En el Cuadro 13, se
muestra que el modelo es significativo con un = 0.05. Adems en el cuadro 14, los coeficientes
son significativos con un = 0.05. Con un coeficiente de determinacin R
2
= .94.

Cuadro 13. Anlisis de Varianza para los datos transformados.
Suma de
cuadrados
Grados de
libertad
Cuadrados
medios
F Valor
critico de F
Regresin 0.0029 2.0 0.0014 273.1106 0.0000
Residual 0.0002 32.0 5.27E-06
Total 0.0030 34.0

Cuadro 14. Coeficientes de regresin con los datos transformados.
Valor estimado Desv. estandar t Valor Critico
Constante 0.066 0.009 7.599 0.000
S 13.469 1.599 8.423 0.000
R -0.599 0.046 -13.062 0.000

Por el supuesto I, de Gujarati pag. 205. Ahora b
1
= 0.0663 es la pendiente asociada con la
variable S, mientras b
2
= -0.5987 es la pendiente asociada con la variable R, el intercepto es
13.4687.




60
Heteroscedasticidad en el enfoque Bayesiano

El modelo de regresin que se implemento se muestra a continuacin.

2
1 2
2
~ ( , ) ( , ,..., )
~ ( , )
~ (1/ )
/ ~ ( ) /
~ ( , )
n
i
N diag v v v
N c T
r v ID r r
r m k
o
o o
_
= +
=
I
y X
0 V V

Donde y es un vector n x 1 de observaciones de la variable dependiente y Xes una matriz n x k
de variables independientes, los previos para | y o son difusos. Los parmetros estimados son
| , o y la varianza relativa
1 2
( , ,... )
n
v v v , se asumi como fijos pero desconocidos. La idea de
estimar n parmetros
1 2
( , ,... )
n
v v v y adems a los k+1 parmetros | y o usando n datos puedes
ser problemtico. Sin embargo, el acercamiento Bayesiano asigna una distribucin a priori
independiente
2
( ) / r r _ a los trminos
i
v que dependen del hiperparametro r. Esto permite
estimar n parmetros adicionales del modelo agregando el r-esimo parmetro al modelo de
estimacin. Al especificar con respecto a la asignacin de los trminos
i
v puede motivar a
considerar que la media a priori, la cual se asigno que es igual a la unidad, esto es: (1/ ) 1
ij
E v = y
la varianza a priori es: var(1/ ) 2/
ij
v r = . Esto implica que como r llega a ser muy grande, la a
priori refleja el caso especial donde
2
~ (0, )
i n
N I c o .

Se seleccion el valor del hiperparametro r asignando una distribucin a priori ( , ) m k I para este
parmetro. Esta distribucin tiene una media / m k y varianza
2
/ m k , as se tomo m=8, k=2,
asignando una a priori r centrada sobre un pequeo r=4 con varianza de r igual a dos. Valores
pequeos del hiperparametro r permite a
ij
v tomar una forma de asimetra donde la media y la
moda son diferentes.

En el Cuadro 15, se tiene el valor de la R
2
=.99, adems tenemos el valor de
2
o =0.0508 que es
menor al que se obtuvo con el mtodo anterior, as como tambin el numero de datos y de
variables que fueron utilizados. Se tomaron 10000 extracciones y se desecharon 1000 datos.
61
Cuadro 15.Modelo lineal Heteroscedastico Bayesiano con estimaciones de Gibbs.
R2 0.9914
sigma2 0.0508
Nobs, Nvar 35, 3
ndraw, nomit 10000, 1000
r-value 4

El Cuadro 16, muestra los valores tomados para las a priori, que en este caso son difusas.
Cuadro 16. Valores a priori
Variable Media a priori Desv. Estndar
0
|

20 31.62
1
|

10 10
2
|

-10 10


El Cuadro 17, muestra las estimaciones posterior, que son poco diferentes a los que se obtuvieron
por el mtodo clsico debido, tambin a que se tomaron previos difusos.

Cuadro 17. Estimaciones posteriores
Variable Coeficiente Desv. Estndar Valor critico
0
|

13.877 1.386 0
1
|

0.064 0.008 0
2
|

-0.061 0.039 0

En el Cuadro 18, se tiene las estimaciones por ambos acercamientos en el cual se observa que se
obtienen valor un poco diferentes a los de la estadstica clsica, adems que se tiene las
desviaciones estndar mas pequeos y adems
2
o =0.0508, esto quiere decir que los estimadores
Bayesianos que se obtuvieron son mas eficiente que los estimadores Clsicos.

Cuadro 18. Parmetros para ambos acercamientos y desviacin Estndar.
Medias Posteriores Transformados Sin Transformar
0
|

13.877 13.4687 14.421
1.386 1.599 1.446
1
|

0.064 0.0663 0.061
0.008 0.009 0.008
2
|

-0.061 -0.5987 -0.626
0.039 0.046 0.044






62
CONCLUCIONES

I. El enfoque Bayesiano justifica el uso del conocimiento subjetivo del investigador. As, esta
metodologa aprovecha todas las fuentes de informacin: informacin a priori
(investigaciones anteriores, conocimiento subjetivo) y muestral.

II. Cuando no se cuenta con informacin a priori, la metodologa Bayesiana y Clsica
proponen resultados similares. En este caso, la diferencia substancial entre ambos mtodos
esta en el anlisis y el enfoque del problema.

III. Cuando se usa una distribucin a priori, los resultados Bayesianos diferirn de los obtenidos
por la metodologa clsica. Por cuanto que se debe ser cuidadoso en la seleccin de estos.

IV. Al contar con ms informacin (a priori, muestral) los estimadores obtenidos con la
metodologa Bayesiana sern mas precisas.

V. El peso de la informacin a priori y muestral en la distribucin posterior es directamente
proporcional a la cantidad de informacin (informacin) con que se cuente en cada caso.
As, si se cuanta con informacin muestral intensa, la funcin de verosimilitud dominara a
la distribucin a priori.

VI. La inferencia Bayesiana se basa exclusivamente en trminos de las probabilidades
posteriores.

VII. El Enfoque Bayesiano es mas complicado que el mtodo clsico a la ahora de calcular los
estimadores.







63

Bibliografa


Bayes, T. (1764) An essay toward solving a problem in the doctrine of changes, Philosophical
transactions of the Royal Society of London 53, 370-418.

Geweke, J. (1989) Bayesian Inference in Econometric Models using Monte Carlo Integration,
Econometrica, 57, 13171340.

Geweke, J. (1992) Evaluating the Accuracy of Sampling-Based Approaches to the Calculation of
Posterior Moments, in Bernardo, J., Berger, J., Dawid, A. and Smith, A. (eds.), Bayesian
Statistics 4, pp. 641649. Oxford: Clarendon Press.

Geweke, J. (1993) Bayesian Treatment of the Independent Student-t Linear Model, Journal of
Applied Econometrics, 8, S19S40.

Gilks, W., Richardson, S. and Speigelhalter, D. (1996) Markov Chain Monte Carlo in Practice.
New York: Chapman & Hall.

Greene, W. (2000) Econometric Analysis, fourth edition. New Jersey: Prentice-Hall.

Gujarati, D (1995), Econometra. McGraw Hill

Judge, G., Griffiths, W., Hill, R., Lutkepohl, H. and Lee, T. (1985) The Theory and Practice of
Econometrics. New York: John Wiley & Sons.

Koop, G. (2003) Bayesian Econometrics. New York: John Wiley & Sons.

Koop, G. (2000) Analysis of Economic Data. New York: John Wiley & Sons.

LeSage, J. (1999) Applied Econometrics Using MATLAB. Available at
http://www.spatialeconometrics.com/.
64

Poirier, D. (1995) Intermediate Statistics and Econometrics: A Comparative Approach.
Cambridge: The MIT Press.

Poirier, D. (1995) Intermediate Statistics and Econometrics: A Comparative Approach.
Cambridge: The MIT Press.

Press, S. J. (1989) Bayesian Statistics: Principles, Models and Applications. New York: Wiley.

Raftery, A. and Lewis, S. (1996) Implementing MCMC, in Gilks, Richardson and Speigelhalter.

Salvatore, D. (1982) Econometria. Schaum-McGraw-Hill.

Zellner, A. (1971) An Introduction to Bayesian Inference in Econometrics. New York: John
Wiley & Sons.

Zellner, A. and Min, C. (1995) Gibbs Sampler Convergence Criteria, Journal of the American
Statistical Association, 90, 921927.





63
APNDICE I

Distribuciones de Probabilidad
Definicin: Distribucin Gama
Una variable aleatoria contina Y tiene una distribucin Gamma con media 0 > y grados de
libertad 0 > v , denotado por ) , ( ~ v G Y si su f.d.p. es:

=
< <

manera otra de
y c v y f
y si
yv v
G G
0
) , | (
0 )
2
exp(
2
2
1

Donde la constante de integracin esta dado por
|
.
|

\
|
I
|
.
|

\
|
=

2
2
2 1
v
v
c
v
G

donde ) (a I es la funcin
Gama

Teorema: Media y Varianza de la distribucin Gamma
Si ) , ( ~ v G Y entonces = ) (Y E y
v
Y
2
2
) var(

= .

Definicin: La Distribucin Normal Multivariada
Un vector aleatorio continuo de k dimensiones )' ,..., (
1 k
Y Y Y = tiene una distribucin Normal con
media (un k vector) y matriz de covarianzas E (una matriz positiva definida k x k) de notado
por ) , ( ~ E N Y , si su f.d.p. esta dado por
(

E E = E

) ( ' ) (
2
1
exp
2
1
) , | (
1
2 1
2

t
y y y f
k
N


Definicin: Distribucin t Multivariada
Un vector aleatorio contino k dimensional )' ,..., (
1 k
Y Y Y = , tiene una distribucin t con
parmetros (un k vector), E (una matriz positiva definida k x k) y v (un escalar positivo
referido como un parmetro de sus grados de libertad) denotado ) , , ( ~ v t Y E , si su f.d.p. esta
dado por
| |
2
1
2
1
) ( ' ) (
1
) , , | (
k v
t
t
y y v
c
v y f
+

E + E = E
64
Donde
|
.
|

\
| +
I
|
.
|

\
|
I
=
2
2
2
2
k v
v
v
c
v
k
t
t

Teorema: Media y Varianza de la distribucin t
Si ) , , ( ~ v t Y E entonces = ) (Y E si 1 > v y E

=
2
) var(
v
v
Y si 2 > v .

Definicin: Distribucin Normal-Gamma
Sea Y un vector aleatorio k dimensional y H una variable aleatoria escalar. Si la distribucin
condicional de Y dado H es normal y la distribucin marginal para H es Gamma entonces (Y,H)
se dice que tiene una distribucin normal-gamma. Formalmente, si ) , ( ~ | E N H Y y
) , ( ~ v m G H entonces ) , ( ' ' = H Y u tiene una distribucin normal-gamma denotado por
) , , , ( ~ v m NG E u . El correspondiente f.d.p. se denota por ) , , , , ( v m f
NG
E u .

Algunos conceptos
Teorema central del lmite
Sea } {
T
Y una secuencia de variables a aleatorias, Y es una variable aleatoria y denota la media
muestral basado en la muestra de tamao T como,
1
T
i
t
T
t
Y
T
=
=

entonces
T
Y satisface el teorema central del limite si } {
T
Y converge en probabilidad a una
constante Y denotado por lim
T
p Y Y = o Y Y
d
T
. Si
lim Pr( ) 0
T
T
Y Y c

> =

Algoritmo Cadena Metropolis-Hasting Caminata Aleatoria
Genera extracciones candidato de acuerdo a

* ( 1) s
z u u

= + (1)
Donde z es llamado la variable aleatoria incremento. La media de la probabilidad de aceptacin
65
( )
*
( 1) *
( 1)
( | )
, min ,1
( | )
s
s
p y
p y
u u
o u u
u u

(
=
= (
= (


La cadena caminata aleatoria tiende a moverse hacia las regiones de la probabilidad posterior ms
alto.
La seleccin de la densidad para z determina la forma precisa de las densidades candidatos
generados. Una seleccin comn y conveniente es la normal multivariada. En este caso (1)
determina la media de la normal y se selecciona la matriz de covarianzas, la cual se denota por E.
La notacin para la densidad normal.

( 1) ( 1)
( ; ) ( | , )
s s
N
q f u u u u

= E

Definicin: Ley Dbil de los Grandes Nmeros.
Sea { }
T
Y una secuencia de variables aleatorias con correspondiente secuencia de medias finitas
{ }
T
, y denota la media muestral basado en una muestra de tamao T como
1
T
t
t
T
Y
Y
T
=
=

Y define
1
T
t
t
T
T

=
=

Entonces
T
Y satisface una Ley Dbil de los Grandes Nmeros, si
p
T
T
Y .

Teorema: Ley Debil de los Grandes Numeros para una Variable Aleatoria.
Sea { }
T
Y una secuencia de extracciones de variables aleatorias i.i.d. de alguna distribucin con
media y varianza
2
o entonces
p
T
Y .


66
ANEXO

Modelo de Regresin Lineal Normal con a priori no informativo y a priori informativo

load defens.txt;
n=size(defens,1);
y=defens(:,1);
x=defens(:,2:4);
x=[ones(n,1) x];
k=4;

%Hyperparametros para la a priori normal conjugada
v0=4;
b0=0*ones(k,1);
b0(2,1)=3;
b0(3,1)=-1;
b0(4,1)=4;
s02=1/30;
capv0=10^2*eye(k);
capv0(2,2)=1.5^2;
capv0(3,3)=.5^2;
capv0(4,4)=2^2;
capv0inv=inv(capv0);



%Cuadrados mnimos ordinarios
bols = inv(x'*x)*x'*y;
s2 = (y-x*bols)'*(y-x*bols)/(n-k);
bolscov = s2*inv(x'*x);
bolssd=zeros(k,1);
for i = 1:k
bolssd(i,1)=sqrt(bolscov(i,i));
end
v=n-k;

%Hyperparametros normal gamma posteriors
xsquare=x'*x;
v1=v0+n;
capv1inv = capv0inv+ xsquare;
capv1=inv(capv1inv);
b1 = capv1*(capv0inv*b0 + xsquare*bols);
if det(capv0inv)>0
v1s12 = v0*s02 + v*s2 + (bols-b0)'*inv(capv0 +
inv(xsquare))*(bols-b0);
else
v1s12 = v0*s02 + v*s2;
end
s12 = v1s12/v1;

bcov = capv1*v1s12/(v1-2);
bsd=zeros(k,1);
for i = 1:k
bsd(i,1)=sqrt(bcov(i,i));
end

%Probabilidades posteriores para cada elemento de beta sea
positivo
%HPDIs para cada elemento de beta

probpos=zeros(k,1);
bhpdi95=zeros(k,2);
bhpdi99=zeros(k,2);

%%Cantidades de t para calcular los HPDIs
invcdf95=tdis_inv(.975,v1);
invcdf99=tdis_inv(.995,v1);

for i = 1:k
tnorm = -b1(i,1)/sqrt(s12*capv1(i,i));
probpos(i,1) = 1 - tdis_cdf(tnorm,v1);
bhpdi95(i,1) = b1(i,1)-invcdf95*sqrt(s12*capv1(i,i));
bhpdi95(i,2) = b1(i,1)+invcdf95*sqrt(s12*capv1(i,i));
bhpdi99(i,1) = b1(i,1)-invcdf99*sqrt(s12*capv1(i,i));
bhpdi99(i,2) = b1(i,1)+invcdf99*sqrt(s12*capv1(i,i));
end



%media y varianza posterior del error de precision.
hmean = 1/s12;
hvar=2/(v1s12);
hsd=sqrt(hvar);

%log de la verosimilitud marginal para el modelo si la a
priori es informativa
if det(capv0inv)>0;
intcon=gammaln(.5*v1) + .5*v0*log(v0*s02)-
gammaln(.5*v0) -.5*n*log(pi);
lmarglik=intcon + .5*log(det(capv1)/det(capv0)) -
.5*v1*log(v1s12);
end


%Salvar el log de la verosimilitud marginal
lmargun=lmarglik;




%implimir lo que uno desea
'Hyperparametros para la a priori conjugada natural'
b0
capv0
v0
s02

'Resultados posteriors basados en la a priori informativa'
b1
bsd
probpos
bhpdi95
bhpdi99
hmean
hsd
lmarglik
ystarm
ystarsd
ystarcapv



%Hyperparametros para la a priori no informativa
v0=0;
67
capv0inv=0*eye(k);


%llamar post para hacer el analisis posterior
post;

%Imprimir lo que uno desea
'Resultados posteriors basados en la a priori no
imformativa'
b1
bsd
probpos
bhpdi95
bhpdi99
hmean
hsd
ystarm
ystarsd
ystarcapv

%relacion odds posterior
%evaluar la verosimilitud marginal para el modelo
restringuido con beta(j)=0
%analizar aqui cada uno de los modelos a la ves
postodds=zeros(k,1);
x=defens(:,2:4);
k=3;


%Hyperparametros para la a priori natural conjugada
v0=4;
b0=0*ones(k,1);
b0(1,1)=3;
b0(2,1)=-1;
b0(3,1)=4;
s02=1/30;
capv0=10^2*eye(k);
capv0(1,1)=1.5^2;
capv0(2,2)=.5^2;
capv0(3,3)=2^2;
capv0inv=inv(capv0);

ch3post;

postodds(1,1)=exp(lmarglik-lmargun);

x=defens(:,3:4);
x=[ones(n,1) x];
k=3;


% Hyperparametros para la a priori natural conjugada
v0=4;
b0=0*ones(k,1);
b0(2,1)=-1;
b0(3,1)=4;
s02=1/30;
capv0=10^2*eye(k);
capv0(2,2)=.5^2;
capv0(3,3)=2^2;
capv0inv=inv(capv0);

ch3post;

postodds(2,1)=exp(lmarglik-lmargun);

x1=defens(:,2);
x2=defens(:,4);
x=[ones(n,1) x1 x2];
k=3;

% Hyperparametros para la a priori natural conjugada
v0=4;
b0=0*ones(k,1);
b0(2,1)=3;
b0(3,1)=4;
s02=1/30;
capv0=10^2*eye(k);
capv0(2,2)=1.5^2;
capv0(3,3)=2^2;
capv0inv=inv(capv0);


ch3post;


postodds(3,1)=exp(lmarglik-lmargun);

x=defens(:,2:3);
x=[ones(n,1) x];
k=3;

% Hyperparametros para la a priori natural conjugada
v0=5;
b0=0*ones(k,1);
b0(2,1)=3;
b0(3,1)=-1;
s02=1/30;
capv0=10^2*eye(k);
capv0(2,2)=1.5^2;
capv0(3,3)=.5^2;
capv0inv=inv(capv0);

ch3post;

postodds(4,1)=exp(lmarglik-lmargun);

postodds



Modelo de Regresin Lineal Normal con a priori independiente norma gamma

%programa para el ejemplo impirico
%Gibbs sampling para la a priori independiente Normal-
Gammma
%El modelo de comparacion de componente usa la
proporcion de densidad de Savage Dickey
%calcular el Factor de Bayes para beta(i)=0 para i=1,...,k

68
load defens.txt;
n=size(defens,1);
y=defens(:,1);
x=defens(:,2:4);
x=[ones(n,1) x];
k=4;

%Hyperparametros para los a prioris independientes
Normal-Gamma
v0=4;
b0=0*ones(k,1);
b0(2,1)=3;
b0(3,1)=-1;
b0(4,1)=4;
s02=1/30;
capv0=(10^2)*eye(k);
capv0(2,2)=1.5^2;
capv0(3,3)=.5^2;
capv0(4,4)=2^2;
capv0inv=inv(capv0);

%Valor para la prediccion
xstar = [1 3000 20 70];

%Cantidades de Minimos Cuadrados Ordinarios
bols = inv(x'*x)*x'*y;
s2 = (y-x*bols)'*(y-x*bols)/(n-k);
v=n-k;

%Calcule unas cantidades para usarlos ms tarde
xsquare=x'*x;
v1=v0+n;
v0s02=v0*s02;
post = zeros(k,1);
%para la proporcin de densidad de Savage-Dickey las
cantidades a priori se evalan
prior = zeros(k,1);
for j = 1:k
prior(j,1) = norm_pdf(0,b0(j,1),capv0(j,j));
end

%Ahora inicia Gibbs loop
%La condicinal de beta en h es normal
%h condicional en beta es Normal

%guarda todos las extraccioes en la siguiente matriz
%inicialzar aqu
b_=[];
h_=[];
bf_=[];
ystar_=[];

%Especificar el nmero de repeticiones
%nmero de repeticiones del burnin
s0=1000;
%nmero de repeticiones retenidas
s1=15000;
s=s0+s1;

%seleccionar un valor de arranque para h
hdraw=1/s2;

for i = 1:s
%extracciones de beta condicional en h
capv1inv = capv0inv+ hdraw*xsquare;
capv1=inv(capv1inv);
b1 = capv1*(capv0inv*b0 + hdraw*xsquare*bols);
bdraw=b1 + norm_rnd(capv1);

%extracciones de h condicional en beta
s12 = ((y-x*bdraw)'*(y-x*bdraw)+v0s02)/v1;
hdraw=gamm_rnd(1,1,.5*v1,.5*v1*s12);
if i>s0
%despus de desechar el burnin, guarde todas las
extracciones
b_ = [b_ bdraw];
h_ = [h_ hdraw];
%para la proporcin de densidad Savage-Dickey las
cantidades posteriores se evalan
for j = 1:k
post(j,1) = norm_pdf(0,b1(j,1),capv1(j,j));
end
bfdraw = post./prior;
bf_ = [bf_ bfdraw];
%extracciones de la predictiva, condicional en beta y
h.
ystdraw = xstar*bdraw + norm_rnd(1/hdraw);
ystar_ = [ystar_ ystdraw];

end
end


alldraws = [b_' h_'];
%La funcion momentg es tomado de toolbox de LeSage
%entran todas las extracciones de Gibbs y produce la
posterior
%media, desviacion estandar, nse y rne
%calcula S(0) de varias maneras
%ver momentg.m para mas detalles
result = momentg(alldraws);
means=[result.pmean]';
stdevs=[result.pstd]';
nse=[result.nse]';
nse1=[result.nse1]';
nse2=[result.nse2]';
nse3=[result.nse3]';
%calcule el diagnostico de convergencia de Geweke basado
basado primero .1
%y ltimo .4 de extracciones
idraw1= round(.1*s1);
result = momentg(alldraws(1:idraw1,:));
meansa=[result.pmean]';
nsea=[result.nse1]';

idraw2= round(.6*s1)+1;
result = momentg(alldraws(idraw2:s1,:));
meansb=[result.pmean]';
nseb=[result.nse1]';

cd = (meansa - meansb)./(nsea+nseb);

%imprimir lo que uno desea
'Hyperparametros para la a priori Normal-Gamma
independiente'
b0
capv0
v0
s02

69
'Resultados Posteriores basados en la a priori Informativa'
'numero de repeticiones de burnin'
s0
'numero de repeticiones incluidas'
s1

'media posterior, desviacion estandar and diagnostico de
convergencia, CD'
'beta seguido por h'
[means stdevs cd]

'nse asumiendo no, .04, .08 and .15 autocovarianzas
estimadas'
'beta seguido de h'
[nse nse1 nse2 nse3]

'factor de Bayes para la prueba de beta(i)=0 for i=1,..,k'
bfmean = mean(bf_')';
bfmean


'media predictiva y desviacion estandar'
predmean=mean(ystar_')';
predsd = std(ystar_')';
[predmean predsd]

hist(ystar_',25)
title('Figure 4.1: Densidad predictiva')
xlabel('Desembolsos del presupuesto de Defensa')
%ylabel('Factor de Bayes')

'95% HPDIs'
'beta seguido por h seguido por alpha'
hpdis=zeros(k+1);
for ii=1:k+1
hpdis(ii,1:2) = hpdi(alldraws(:,ii),.95);
end
hpdis
avar1=means(k+2:k+1,1)*means(k+2:k+1,1)';
save postvar.out avar1 -ASCII;


Modelo lineal Heteroscedastico Bayesiano con estimaciones de Gibbs.

load invers.txt;
n =size(invers,1);
y=invers(:,1);
x=invers(:,2:3);
x=[ones(n,1) x];
ndraw = 10000; nomit = 1000; % numero de extracciones y extracciones desechados
bmean = zeros(k,1); % Media a priori difusa de b
T = eye(k)*100; % varianza a priori difusa de b
rval = 4; % a priori heteroscedastico
mm=6; % a priori informativa para el valor de r
kk=2;
prior.beta = bmean;
prior.bcov = T;
prior.rval = rval; % usa una a priori impropio de el valor de r
result = ols_g(y,x,ndraw,nomit,prior);
prt(result);