6.

6 Estimacin Bayesiana
En las secciones 6.3, 6.4, y 6.5 construimos 2 estadsticos, digamos U y V, con U < V, preasignando
una probabilidad p que el intervalo aleatorio (U, V) contiene un valor fijo pero desconocido
(parmetro). Adoptamos entonces este principio: Usando los resultados experimentales para calcular
los valores de U y V, digamos u y v; entonces llamaremos al intervalo (u, v) un intervalo de confianza
de 100p por ciento para el parmetro. La opcin de este principio nos provee de un mtodo de
estimacin de intervalos. Este mtodo de estimacin es ampliamente usado en literatura estadstica
y sus aplicaciones. Pero es importante para nosotros comprender que otros principios pueden ser
adoptados. El estudiantes debe constantemente tener en mente que a mientras est trabajando con
probabilidades, l est en el campo de las matemticas, pero una vez que empieza a hacer
inferencias o trazar conclusiones sobre el experimento aleatorio, cuyas inferencias estn basadas en
la informacin experimental, l est en el campo de las estadsticas.
Podramos describir ahora otro enfoque al problema de estimacin intervlica. Este enfoque
toma en cuenta una informacin a priori del experimento que el estadstico tiene y esto es una
aplicacin del principio de inferencia estadstica que puede ser denominada Estadstica Bayesiana.
Considerando una variable aleatoria (v.a) X que tiene una distribucin de probabilidad que depende
del smbolo u, donde u es un elemento bien definido en el espacio parametral O. Por ejemplo, si el
smbolo u es la media de una distribucin Normal, O puede ser la Recta Real. Previamente hemos
observado a u como una constante, y adems de valor desconocido. Nos permite ahora introducir
una v.a O que tiene una distribucin de probabilidad sobre O; y, as como vemos a x como un posible
valor de la v.a X, ahora vemos a u como un posible valor de la v.a O. La distribucin de X depende de
u, una asignacin aleatoria de O. Podemos denotar la funcin de densidad de probabilidad (fdp) de O
por h(u) y tomar h(u) = 0 cuando u no es un elemento de O. Luego, dado X
1
, , X
n
, que representa
una muestra aleatoria de la distribucin de X, y sea Y un estadstico que representa una funcin de
X
1
, , X
n
, podemos hallar la fdp de Y para cualquier valor de u dado; esto es, podemos hallar una fdp
condicional de Y dado O = u, la cual representamos mediante g(y|u). As, la fdp conjunta de Y y O
esta dada por:
( ) ()()
Si O es una v.a continua, la fdp marginal de Y esta dada por:

() ()()

Si O es una v.a discreta, la integracin se remplaza con sumatoria. En cualquiera de los casos, la fdp
condicional de O dado Y = y es:
()
( )

()

()()

()

()
Esta relacin es una forma de la frmula de Bayes (Vase Ejercicio 2.7 seccin 2.1).
En estadstica bayesiana, la fdp h(u) es llamada la fdp a priori de O, y la fdp condicional k(u|y)
es llamada la fdp a posteriori de O. Esto es porque h(u) es la fdp de O a priori a la observacin de Y,
mientras k(u|y) es la fdp de O despus de que fue hecha la observacin de Y. En muchos casos, h(u)
no es conocido; an as la eleccin de h(u) afecta la fdp de k(u|y) . En este caso, el estadstico toma
en cuenta todo conocimiento a priori del experimento y asigna la fdp a priori h(u). Esto, por
supuesto, introduce el problema de la probabilidad subjetiva (Vase el comentario de la seccin 1.1).
Supongamos que queremos un estimacin puntual de u. Desde el punto de vista bayesiano,
esto en realidad equivale a seleccionar una funcin de decisin w, de modo que w(y) es un valor
predictivo de u (un valor experimental de la v.a O) cuando tanto el valor calculado como la fdp
condicional k(u|y) son conocidos. Ahora, en general, cmo podramos predecir un valor
experimental de alguna v.a, digamos W, si queremos que nuestra prediccin sea razonablemente
cercana al valor observado? Muchos estadsticos podran predecir la media, E(W), de la distribucin
de W; otros, una mediana (quizs nica) de la distribucin de W; algunos, una moda (quizs nica), y
otros podran tener otras predicciones. Sin embargo, parece deseable que la eleccin de una funcin
de decisin dependa de una funcin de perdida L[u, w(y)]. Una manera en la cual esta dependencia
sobre la funcin de prdida pueda ser representada es seleccionar la funcin de decisin w de tal
manera que la esperanza condicional de la prdida es mnima. Una solucin de Bayes es una funcin
de decisin w que minimiza:
(, ()- ) , ()-()

,
si u es una v.a de tipo continua. En el miembro de la derecha se aplica la modificacin usual si se
trata de una v.a discreta. Si, por ejemplo, la funcin de prdida esta dada por , ()-
, ()-

, la solucin de Bayes est dada por w(y) = E(O|y),la media de la distribucin condicional
de O dado Y = y. Esto proviene del hecho (Ejercicio 1.91) que ,()

-, si sta existe, es mnima

cuando b = E(W). Si la funcin de prdida est dada por , ()- , entonces una
mediana de la distribucin condicional de O dado Y = y es la solucin de Bayes. Esto proviene del
hecho (Ejercicio 1.81) que (), si sta existe, es mnima cuando b es igual a una mediana de
la distribucin de W.
La esperanza condicional de la prdida, dado Y = y, define un v.a que es una funcin de Y. El
valor esperado de esta funcin de Y, en la notacin de esta seccin, esta dada por:
{ , ()-()

() { , ()-()

()
en el caso continuo. La integral entre llaves en la ltima expresin es, para todo u e O, la funcin de
riesgo R(u,w); en consecuencia, la ltima expresin es el valor de la media del riesgo, o el riesgo
esperado. Porque una solucin de Bayes minimiza:
, ()-()

para todo y para el cual k
1
(y) > 0, esto muestra que la solucin de Bayes w(y) minimiza ese valor de la
media del riesgo. Ahora daremos un ejemplo ilustrativo.
Ejemplo 1: Sea X
1
, , X
n
una muestra aleatoria de distribucin Bin(u,1), con 0 < u < 1. Buscamos una
funcin de decisin w que sea una solucin de Bayes. Si

, entonces Y ~ Bin(n,u). Esto es,

la fdp condicional de Y dado O = u es:
() .

( )

Tomamos como fdp a priori de O:
()
()
()()

( )

,
donde o y | son constantes positivas. De igual forma, la fdp conjunta de Y y O est dada por
g(y|u)h(u), y la fdp marginal de Y es:

() ()()

)
( )( )( )
()()( )

Finalmente, la fdp de O dado Y = y es en los puntos de densidad de probabilidad positiva:
()
()()

()

( )
( )( )

( )

Tomamos como la funcin de prdida a , ()- , ()-

. Dado que Y es una v.a discreta,

mientras que O es continua, tenemos para el riesgo esperado:
{ , ()-

( )

() { , ()-

()

()

La solucin de Bayes w(y) es la media de la distribucin condicional de O dado Y = y. As:
() ()

Esta funcin de decisin minimiza
, ()-

()

para y = 0, , n y, en consecuencia,
minimiza el riesgo esperado. Es muy til notar que esta solucin de Bayes puede ser escrita como:
() (

(


)

el cual es un promedio ponderado del estimador de mxima verosimilitud (EMV) y/n de u y la media
o/(o+|) de la fdp a priori del parmetro. Adems, sus respectivos pesos son n/(o+|+n) y
(o+|)/(o+|+n). As vemos que o y | deben ser seleccionados de manera que no slo sea
(o+|)/(o+|+n) la media a priori deseada, pero la suma o + | indica el valor de la opinin a priori,
relativa a una muestra de tamao n. Esto es, si queremos que nuestra opinin a priori tenga tanto
peso como de una muestra de tamao 20, debemos tomar o + | = 20, por lo que si nuestra media a
priori es , tenemos que los valores ms convenientes seran o = 15 y | = 5. -
En el ejemplo 1 es extremadamente conveniente notar que no es realmente necesario
determinar k
1
(y) para hallar k(u|y). Si dividimos g(y|u)h(u) por k
1
(y) debemos conseguir el producto
de un factor, el cual depende de y, pero no depende de u, digamos un c(y), y:

( )

Esto es: () ()

( )

. No obstante, c(y) deber ser

esa constante necesaria para hacer k(u|y) una fdp, es decir:
()
( )
( )( )

Acorde a esto, los estadsticos bayesianos frecuentemente escriben que k(u|y) es proporcional a
g(y|u)h(u), esto es:
() ()()
Luego, para darle la forma de fdp a k(u|y), simplemente se halla una constate, la cual es alguna
funcin de y, de tal forma que la expresin integrada de 1. Esto se ver en el siguiente ejemplo.
Ejemplo 2: Supongamos que

es la media de una muestra aleatoria de tamao n originada de

una distribucin Normal(u,o), donde o es conocido. Adems, g(y|u) es N(u,o/n). Adicionalmente,
supongamos que somos capaces de asignar un conocimiento previo a u mediante una fdp a priori
h(u) que es N(u
0
,o
0
2
). Luego, tenemos que:
()

*
( )

+
Si eliminamos todos los factores constantes (incluso en los que participa slo y) tenemos:
() [
(

)
(

]
Esto puede simplificarse, completar cuadrados, para leer (despus de eliminar los factores que no
dependan de u):
()
[

)
]

Esto es, la fdp a posteriori del parmetro, que es obviamente Normal con media:

) (

y varianza
(

)
. Si la funcin de prdida cuadrtica es usada, esta media a posteriori es la solucin
de Bayes. Nuevamente, ntese que es un promedio ponderado del EMV y la media a priori u
0
.
Observe que aqu y en el ejemplo 1 que la solucin de Bayes se centra en el EMV a medida que n
aumenta. As, los procedimientos bayesianos permiten al tomador de decisiones ingresar su opinin
a priori en la solucin de manera muy formal de tal forma que la influencia de las nociones previas
sea menor a medida que aumenta n.-
En estadstica bayesiana toda la informacin est contenida en la fdp a posteriori k(u|y). En
los ejemplos 1 y 2 encontramos estimaciones bayesianas puntuales usando la funcin de error
cuadrtica. Cabe sealar que si , ()- (), la solucin de Bayes sera la mediana de la
distribucin a posteriori del parmetro, la cual est dada por k(u|y). Por eso la solucin de Bayes
cambia, tal como lo hara con una funcin de prdida distinta.
Si se desea hallar un intervalo de estimacin de u, ahora podemos encontrar dos funciones
u(y) y v(y) de tal forma que la probabilidad condicional
,() () - ()
()
()
,
es amplio, digamos 0.95. Los valores experimentales de X
1
, , X
n
, digamos x
1
, , x
n
, nos proveen con
un valor experimental de Y, digamos y. Entonces, el intervalo de u(y) a v(y) es un intervalo de
estimacin de u en el sentido que la probabilidad condicional de O que pertenezca a ese intervalo es
0.95. A modo de ilustracin, en el ejemplo 2 donde la fdp a posteriori del parmetro fue normal, el
intervalo, cuyos extremos se encuentran tomando la media de la distribucin y sumando y restando
1.96 por su desviacin estndar,

sirve como un intervalo de estimacin para u con probabilidad a posteriori de 0.95.
Finalmente, puede notarse que en estadstica bayesiana es mejor empezar con una muestra
X
1
, , X
n
que con algn estadstico Y. Usamos la ltima aproximacin por ser una notacin ms
conveniente. Si X
1
, , X
n
son empleados, en nuestro caso remplazaremos g(y|u) por f(x
1
|u)f(x
n
|u) y
k(u|y) por k(u|x
1
, ,x
n
). De este modo, encontramos que:
(

) ()(

) (

)
Si el estadstico Y es elegido correctamente (esto es, un estadstico suficiente), hallaremos que
(

) ()
Esto es mostrado en el ejercicio 6.44. Por supuesto, este procedimiento bayesiano puede extenderse
fcilmente al caso de varios parmetros, como se demuestra en el ejercicio 6.45.
EJERCICIOS
6.41 Sea X
1
, , X
n
una muestra aleatoria de una distribucin (

) y o
2
es positivo
y conocido. Sea adems

, la media de la muestra aleatoria. Considere la funcin de prdida

, ()- (). Si u es un valor observado de la v.a O, que es (

), con t
2
> 0 y
conocidos, halle la solucin de Bayes w(y) para una estimacin puntual de u.
6.42 Sea X
1
, , X
n
una muestra aleatoria de una distribucin Poisson con media u (0 < u < ). Sea

y considere como funcin de prdida , ()- , ()-

. Sea u el valor observado

de una v.a O. Si O tiene una fdp ()

()

, donde o, | > 0 y son conocidos, halle la

solucin de Bayes w(y) para una estimacin puntual de u.
6.43 Sea Y
n
el n-simo estadstico de orden de una muestra aleatoria de tamao n de una
distribucin con fdp ()

. Considere la funcin de prdida cuadrtica. Sea u el

valor observado de una v.a O, cuya fdp es ()

, con o, | > 0. Halle la solucin de

Bayes w(y) para una estimacin puntual de u.
6.44 Sea X
1
, , X
n
una muestra aleatoria de una distribucin ( ). Sea la distribucin a priori de
O una Beta(o, |). Demuestre que la fdp a posteriori k(u|x
1
, , x
n
) es exactamente igual a k(u|y) dado
en el Ejemplo 1. Esto demuestra que obtendremos el mismo resultado si empezamos con el
estadstico Y o con los datos muestrales. Pista: Ntese que k(u|x
1
, , x
n
) es proporcional al producto
de la fdp conjunta de X
1
, ,X
n
y la fdp a priori de u.
6.45 Sean Y
1
y Y
2
estadsticos con distribucin Trinomial de parmetros n, u
1
y u
2
. Aqu, u
1
y u
2
son
valores observados de las v.a O
1
y O
2
, las cuales tienen distribucin Dirichlet con parmetros
conocidos o
1
, o
2
y o
3
. Muestre que la distribucin condicional de O
1
y O
2
se distribuye como Dirichlet
y determine las medias condicionales E(O
1
|y
1
,y
2
) y E(O
2
|y
1
,y
2
).
6.46 Sea (

). Asuma que u es un valor desconocido de la v.a O, la cual tiene una distribucin

(

), donde r es un entero positivo. Muestre que X tiene una distribucin marginal t con r
grados de libertad. Este procedimiento es conocido como Composicin, y puede usarse en estadstica
bayesiana como una primera forma de presentar la distribucin t, as como otras distribuciones.
6.47 Supngase que X tiene una distribucin Poisson con parmetro u. Asuma que u es desconocido
y es el valor de una v.a O que se distribuye como (

), donde r es un entero positivo y 0 <

p < 1. Demuestre, usando el procedimiento de la composicin, que X tiene una distribucin marginal
Binomial negativa.
6.48 En el Ejemplo 1 considere n = 30, o = 10 y | = 5, de modo que ()

es la estimacin de
Bayes de u.
(a) Si Y tiene distribucin ( ), calcule el riesgo de *, ()-

+.
(b) Determine aquellos valores de u para los cuales el riesgo calculado en (a) es menor que
()

, el
riesgo asociado al EMV Y/n de u.