Familias Exponenciales

Ricaul Castellon Sanchez; Jose Alfonso Urbina Morales

October 28, 2014

Sorprendentemente muchas de las distribuciones que a menudo utilizamos

(casi
N0 pero algunas veces Rn , Z o algn otro espacio), indexadas por
parmetro proveniente de algn otro conjunto de parmetros , pueden

para variables aleatorias X las cuales toman un valor en un espacio

siempre
un

ser escritas en forma de familia exponencial con pdf o pmf

f (x/) = exp [ () t (x) B ()] h (x)

t : R,
Ru . La

para algn estadstico tal como

y funciones B :

muestra aleatoria de tamao

con parmetro natural

funcin de verosimilitud para una

de una familia exponencial es dada por

fn (x/) = exp ()

n
X

t (xj ) nB ()

h (xi ) ,

j=1

(),
Bn () = nB () y

la cual es de hecho de la misma forma con el mismo parmetro natural

pero ahora con estadstico

hn (x ) =

Tn (x ) =

t (xj )

y funciones:

h (xj ).
Por ejemplo la pmf para la distribucin binomial

Ejemplos:

Bi (m, p)

puede

ser escrita como

m
x

p (1 p)

mx


= exp

en forma de familia exponencial con

natural

con

t (x ) = x

= log

p
log
1p


x mlog (1 p)

p
(p) = log 1p

m
x

y un estadstico suciente

y de forma de Poisson como

x
1
e = exp [(log ) x ]
x!
x!
nuevamente t (x ) = x . La distribucin Beta Be (, )

con cual-

quiera de sus dos parmetros desconocidos puede ser escrita como una familia
exponencial tambin





( + ) 1
(1 x)
()
1
x
(1 x)
= exp log x log
() ()
( + )
x (1 x) ()


= exp log (1 x) log
con

t (x) = log x

()
( + )

log (1 x)cuando =



x
x (1 x) ()

son desconocidos respec-

tivamente. Con ambos parmetros desconocidos la distribucin beta puede ser

escrita como una familia exponencial bivariada con parametro

f (x | ) = exp [ () t (x) B ()] h (x)

(1)

t (x ) = (log x , log (1 x )) y
B () = log () + log () log ( + )
sucede muy a menudo, dejaremos que y T

= (, )

y con vector de parmetro

= (, ) R2+ :

y estadstico

escalar (unidimensional) con funciones

y

h (x ) = 1 / (1 x ).

Como esto

sean a-dimensional.

Familias exponenciales naturales.

A menudo es conveniente reparametrizar familias exponenciales a el parametro

natural

= () Rq ,

llevando

(con A ( ()) = B ())

f (x | ) = et(x) h (x)

a lo siguiente,

(2)

como todo pdf integra a la unidad tenemos que,


e

A()

et(x) h (x)

y por consiguiente se puede calcular la funcin generadora de momento para el

t (x ) = {t1 (x ) , . . . , tq (x )}
h
i
Mt (x) = E est(x)

estadstico suciente natural

como


est(x) et(x)A() h (x) dx

=e

A()

e(+s)t(x) h (x) dx

= eA(+s)A(),
de manera que

Mt (s) = A( + s) A()

y podemos encontrar los momentos

para el estadstico natural suciente dado por

E(t) = logM (0) = A()

V (t) = 2 logMt (0) = 2 A()

dado que

es un punto interior del espacio del parmetro natural

R : 0<

t(x)


h(x)dx <

y que

A() es diferenciable dos veces cerca de . Para muestras de tamao n N

el estadstico suciente

Tn (X ) =

t(xj )

es una suma de variables aleatorias independientes, entonces por el Teorema del

Limite Central tenemos aproximadamente

N o(nA(), n2 A().
Note que

2 A() = 2 log f (x | ) es ambos la informacin (matriz) observada

y la informacin Fisher (esperada) para familias exponenciales naturales, y que

el valor del estadsticos es

Z := log f (x | ) = [Tn (X) nA()].

Anteriores Conjugadas

,Para hyper-parametros

Rq

tal que

e ()B() d < ,

C, :=

podemos denir la densidad anterior para

por


1
( | , ) = C,

Con esta anterior y con los datos

en()B() d.

iid

{Xi } f (x | )

de la familia exponencial la

posterior es

( | x) e()() e()Tn (X)nB()

( | ? = + Tn (X), ? = + n),
otra vez dentro de la misma familia pero ahora con parmetros

? = + n.

? = Tn

Por ejemplo, en el ejemplo binomial arriba esta familia anterior

conjugada es


( |, ) exp log


p
log(1 p) = p (1 p) ,
1p

la familia Beta, mientras que para el ejemplo de Poisson esta es

( |, ) exp { log } = e ,
la familia Gamma. Las familias conjugada para cada familia exponencial son
obtenibles de la misma manera. Note que no toda distribucin que consideramos
proviene de una familia exponencial. De la funcin (2), por ejemplo, esta claro
que en el conjunto de puntos donde la pdf o pmf es diferente de cero, los valores
posibles que una variable aleatoria

puede tomar, es solamente

{x : f (x | ) > 0} = {x : h(x) > 0}

la cual no depende del parmetro; como consecuencia cualquier familia de distribucin donde el soporte depende del parmetro (las distribuciones uniformes
son ejemplos importantes) no pueden venir de una familia exponencial. Las
paginas siguientes muestran varias distribuciones familiares (algunas no tan familiares,tales como la distribucin Gaussiana Inversa
Pareto

Pa(, ))

IG(, )

y la distribucin

en forma de familia exponencial. Algunas funciones envuelven

(z) = logT (z) y su primera y segunda deri0

(z) = (d/dz)(z) y trigamma (z) = (d2 /dz 2 )(z) las

la funcin de gamma logartmica

vada, la digamma

cuales se encuentran en los programas R, Mathematica, Maple, la librera gsl ,

pero no en calculadoras de bolsillo o en hojas de trabajo (tales como excel, entre
otras). En cada caso
natural, e

I ()

2 A()

es la matriz de informacin en la parametrizacion

en la parametrizacion usual.