Modelos uniparamtricos

Distribucin a priori

Estadstica Bayesiana
Modelos uniparamtricos

Ms Carlos Lpez de Castilla Vsquez

Universidad Nacional Agraria La Molina

2017-1

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Distribucin binomial

Se tiene una secuencia de ensayos independientes de Bernoulli

y1 , , yn . Sea y el nmero total de xitos en los n ensayos.
El modelo binomial queda denido por:
f (y |) = yn y (1 )ny

Si la distribucin a priori es U (0, 1) entonces:

|y BE (y + 1, n y + 1)

La distribucin predictiva posterior para un nuevo ensayo es:

y|y BB (1, y + 1, n y + 1)

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Distribuciones a priori no informativas

Cmo se puede justicar la eleccin de una distribucin a

priori uniforme para ?
La distribucin a priori debe incluir todos los valores posibles
de , pero no tiene que estar necesariamente concentrada en
torno al verdadero valor ya que la informacin en los datos
modicar y dominar cualquier especicacin probabilstica
inicial.
El razonamiento de Laplace para la densidad a priori uniforme
es llamado principio de la razn insuciente, el cual indica que
si nada es conocido acerca de , entonces no hay ninguna
razn para asignar probabilidades diferentes a algunos de sus
valores.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Relaciones entre la media a priori y posterior

Es natural esperar que existan algunas relaciones entre la

distribucin a priori y la distribucin posterior.
Se podra esperar que la distribucin posterior, que incorpora
la informacin de los datos, sea menos variable que la
distribucin a priori.
La media posterior se encuentra entre la media a priori y el
EMV de si:

E (|y ) = w E () + (1 w ) 0<w <1

En el ejemplo binomial anterior la media posterior se encuentra

entre la media a priori y la proporcin muestral de xitos.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Familias conjugadas
La funcin de verosimilitud binomial es de la forma:

f (y |) y (1 )ny

Si la distribucin a priori es BE (, ) entonces la

distribucin posterior es:

|y BE (y + , n y + )

Se dice que la distribucin beta es una familia conjugada con

la verosimilitud binomial.
La distribucin predictiva posterior para m nuevos ensayos es:

y|y BB (m, y + , n y + )

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Ejemplo: Tratamiento para cncer

Un mdico sugiere un nuevo tratamiento para una forma de

cncer. Sea la probabilidad de que un paciente con el nuevo
tratamiento sobreviva ms de seis meses. Se sabe que E () =
0.30 y Var () = 0.019.
Suponga que el mdico decide representar sus creencias
usando la distribucin beta cules seran los parmetros?
Una muestra de 15 pacientes recibio el tratamiento y 9 de ellos
sobrevivieron ms de seis meses. Hallar la distribucin posterior
para .
Cul es la probabilidad que en una nueva muestra de 5
pacientes solo 2 de ellos sobrevivan ms de seis meses?

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Distribucin normal con varianza conocida

Se tiene una muestra y = (y1 , , yn ) obtenida a partir de la

distribucin normal:
1 1
 
2
f (y |) = exp 2 (y )
2 2

La funcin de verosimilitud es:

n
( )
1 X
L (|y) exp 2 (yi )2
2
i=1
n n
exp 2 2 2y

o
2

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Distribucin normal con varianza conocida

La distribucin a priori conjugada es:

N 0 , 02

La distribucin posterior es:

1

+ n2 y
02 0 1
|y N n = 1 n
, n2 = 1 n

02 + 2 02
+ 2

La distribucin predictiva posterior para y es:

y|y N n , n2 + 2

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Ejemplo: Presin sangunea

Un pequeo estudio piloto evalu la efectividad de una droga

experimental en el control de la presin sangunea de pacientes
con moderada hipertensin.
El cambio en la presin sangunea de los pacientes (en mmHg)
despus de tomar la droga tiene una distribucin normal con
media desconocida y variancia 25.
El experimento fue llevado a cabo con una muestra de 8
pacientes obtenindose los siguientes resultados (valores
negativos signican que la droga disminuy la presin
sangunea, valores positivos que la increment): 3.7, 6.7,
10.5, 6.1, 17.6, 2.3, 7.9 y 8.9.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Ejemplo: Presin sangunea

Calcule la distribucin posterior para la media a partir de una

distribucin a priori:

N (0, 100)

La droga ser aceptable si la probabilidad de que le disminuya

la presin sangunea a un paciente es mayor al 90 %. Cul es
el valor de esta probabilidad usando la distribucion posterior?
Hallar la distribucin predictiva posterior para el cambio en la
presin sangunea de un nuevo paciente.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Distribucin normal con media conocida

La funcin de verosimilitud para y = (y1 , , yn ) es:

n
( )
2 2 n/2 1 X 2
L |y



exp 2 (yi )
2
i=1

La distribucin a priori conjugada es:

2 2 inversa de escala 0 , 02

La distribucin posterior es:

2
0 02 +
Pn !
i=1 (yi )
2 |y 2 inversa de escala 0 + n,
0 + n

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Ejemplo: Mquina empaquetadora

Una mquina empaqueta un determinado producto de tal

manera que el peso de los paquetes se distribuye normalmente
con una media igual a 500 gramos.
Ultimamente se ha recibido un nmero importante de quejas
relacionadas al peso de los paquetes por lo que se considera la
posibilidad que el proceso no se encuentre funcionando de
forma correcta.
El proceso de control de calidad toma en cuenta la variabilidad
que es un indicador de conabilidad del producto.
Se considera que el proceso se encuentra bajo control cuando
la varianza no supera los 0.05 gramos2 .

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Ejemplo: Mquina empaquetadora

Se elige al azar una muestra de 14 paquetes cuyos pesos (en

gramos) se muestran a continuacin:

499.75 500.42 500.20 500.16 500.26 500.18 500.06

500.10 500.28 499.85 500.27 499.75 499.81 499.95

Suponga que la distribucin a priori es:

2 2 inversa de escala 0 = 4, 02 = 0,025

Hallar la distribucin posterior y luego calcular la probabilidad

que el proceso se encuentre fuera de control.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Ejemplo: Mquina empaquetadora

Usando nmeros aleatorios

> vn <- 18 ; sigma2n <- 0.04405556; library(geoR); set.seed(200)
> sigma2 <- rinvchisq(n=10000,df=vn,scale=sigma2n)
> prob <- length(sigma2[sigma2>0.05])/10000
> prob
[1] 0.3987

Usando la funcin de densidad

> prob <- 1-integrate(f=dinvchisq,lower=0,upper=0.05,df=vn,
scale=sigma2n)$value
> prob
[1] 0.3976827

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Distribucin de Poisson

Se tiene una muestra y = (y1 , , yn ) obtenida de la

distribucin de Poisson con parmetro :

y exp {}
f (y |) = y = 0, 1,
y!

La distribucin a priori conjugada es :

G (, )

La distribucin posterior es:

|y G ( + ny , + n)

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Ejemplo: Incendios forestales

Suponga que el nmero de incendios semanales ocurridos en

una ciudad tiene distribucin de Poisson con parmetro .
Se decide utilizar una distribucin a priori conjugada:

G ( = 2, = 1)

Hallar la distribucin posterior si el nmero total de incendios

observados en una muestra de 10 semanas fue 4.
Calcular la probabilidad que para una semana futura el nmero
de incendios ocurridos en la ciudad sea menor que dos.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Distribucin exponencial

La distribucin exponencial es usada para modelar tiempos de

espera. Su funcin de densidad es:

f (y |) = exp {y } y >0

y el parmetro es llamado la tasa.

La distribucin a priori conjugada es:

G (, )

La correspondiente distribucin posterior es:

|y G ( + n, + ny )

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Distribucin binomial
Modelos uniparamtricos Distribucin normal
Distribucin a priori Distribucin de Poisson
Distribucin exponencial

Ejemplo: Tiempo de vida

Suponga que el tiempo de vida de un componente elctrico

tiene distribucin exponencial con parmetro y que su
distribucin a priori es G ( = 45, = 5).
En una muestra de 10 componentes se encontraron las
siguientes medidas de resumen (en miles de horas):

0.052 0.105 0.234 0.031 0.061

0.243 0.118 0.173 0.042 0.007

Hallar la distribucin posterior para y luego la probabilidad

que el tiempo medio de vida sea mayor de 100 horas.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Modelos uniparamtricos Distribucin a priori no informativa
Distribucin a priori Principio de invariancia de Jereys
Mixtura de distribuciones a priori

Distribuciones no informativas

Muchas veces se desea contar con distribuciones a priori que

puedan garantizar una mnima inuencia en la distribucin
posterior.
Tales distribuciones son algunas veces llamadas distribuciones
a priori de referencia y la densidad a priori es descrita como
vaga, plana, difusa o no informativa.
La razn para utilizar distribuciones a priori no informativas es
dejar que los datos hablen por s mismos de modo que el
proceso de inferencia no se encuentre afectado por informacin
externa a ellos.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Modelos uniparamtricos Distribucin a priori no informativa
Distribucin a priori Principio de invariancia de Jereys
Mixtura de distribuciones a priori

Distribuciones a priori propias e impropias

Sea y | N , 2 con 2 conocida. Si la distribucin a

priori es f () 1 entonces:

2
 
|y N y ,
n

La distribucin a priori no es tcnicamente posible ya que su

integral es diferente de uno.
Se llamar a una densidad a priori propia si no depende de los
datos y su integral es igual a uno.
A pesar de que la distribucin a priori del ejemplo es impropia
la distribucin posterior resultante es propia.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Modelos uniparamtricos Distribucin a priori no informativa
Distribucin a priori Principio de invariancia de Jereys
Mixtura de distribuciones a priori

Principio de invariancia de Jereys

Una aproximacin usada para denir distribuciones a priori no

informativas fue desarrollada por Jereys, quien se bas en
transformaciones uno a uno del parmetro = h ().
Por transformacin de variables la densidad a priori es
equivalente a la siguiente densidad a priori para :
 
 d 
f () = f ()  
d

El principio de Jereys considera que cualquier regla para

determinar f () debe conducir a un resultado equivalente si se
aplica al parmetro transformado.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Modelos uniparamtricos Distribucin a priori no informativa
Distribucin a priori Principio de invariancia de Jereys
Mixtura de distribuciones a priori

Principio de invariancia de Jereys

La distribucin a priori no informativa de Jereys es:

f () [J ()]1/2

donde J () es la informacin de Fisher:

d log f (y |) 2 
  #  #
d 2 log f (y |) 
" "
J () = E  = E 
d  d2 

Los resultados anteriores pueden ser extendidos a modelos

multiparamtricos pero los resultados son controvertidos.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Modelos uniparamtricos Distribucin a priori no informativa
Distribucin a priori Principio de invariancia de Jereys
Mixtura de distribuciones a priori

Ejemplos

Sea la distribucin fundamental:

y | BI (n, )

Hallar la distribucin a priori no informativa de Jereys para .

Sea la distribucin fundamental:

y |, 2 N , 2

con 2 conocida. Hallar la distribucin a priori no informativa

de Jereys para .
Hallar la distribucin a priori no informativa de Jereys para
2 considerando que es conocida.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Modelos uniparamtricos Distribucin a priori no informativa
Distribucin a priori Principio de invariancia de Jereys
Mixtura de distribuciones a priori

Mixtura de distribuciones a priori

Suponga que f1 () , , fk () son distribuciones a priori

conjugadas para que conducen a las distribuciones
posteriores:
f1 (|y ) , , fk (|y )
respectivamente.
Considere la siguiente mixtura de distribuciones:
k
X
f () = wi fi ()
i=1

donde wi es el peso o ponderacin de la distribucin a priori

fi () en f ().

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Modelos uniparamtricos Distribucin a priori no informativa
Distribucin a priori Principio de invariancia de Jereys
Mixtura de distribuciones a priori

Mixtura de distribuciones a priori

La distribucin posterior es:

k
X
f (|y ) f (y |) wi fi ()
i=1
k
X k
X
wi f (y |) fi () = wi fi (|y )
i=1 i=1

First Bayes permite usar mixturas a priori para los cuatro

modelos conjugados mencionados en esta presentacin.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

 Modelos uniparamtricos Distribucin a priori no informativa
Distribucin a priori Principio de invariancia de Jereys
Mixtura de distribuciones a priori

Ejemplo: Moneda

Suponga que una moneda se hace girar sobre una mesa y sea
la probabilidad de que aparezca cara.
Dadas las posibles imperfecciones en el borde de la moneda, se
podra pensar que es aproximadamente 0.3 o 0.7.
Como la distribucin beta es una familia conjugada para la
verosimilitud binomial podra usarse la distribucin a priori:
1 1
f () = BE (6, 14) + BE (14, 6)
2 2
Hallar la distribucin posterior asumiendo que en diez
lanzamientos de la moneda se observaron 4 caras y 6 sellos.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana