Академический Документы
Профессиональный Документы
Культура Документы
continuo caso el en
discreto caso el en
-
) (
) (
) (
dx x f x
x p x
X E
X
k
x
X
k
k
si esas esperanzas existen.
Como ya hemos visto cuando estudiamos funcin generadora de momentos de una
variable aleatoria, los momentos estn relacionados con los parmetros de la distribucin
asociada.
Dada una muestra aleatoria
n
X X X ,..., ,
2 1
, el momento muestral de orden k es
n
X
n
i
k
i
=1
Definicin: Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin con funcin de probabilidad
puntual o funcin de densidad que depende de m parmetros
m
,...., ,
2 1
. Los
estimadores de momentos de
m
,...., ,
2 1
son los valores
m
,....,
2 1
que se obtienen
igualando m momentos poblacionales con los correspondientes momentos muestrales. En
general, se obtienen resolviendo el siguiente sistema de ecuaciones
( ) m k X E
n
X
k
n
i
k
i
,..., 2 , 1
1
= =
=
Ejemplos: 1) Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin exponencial de parmetro .
Como hay un solo parmetro a estimar, basta plantear una ecuacin basada en el primer
momento.
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
162
( )
1
1
1
1 1
X
X
n
n
X
X E
n
X
n
i
i
n
i
i
n
i
i
= = = =
=
= =
2) Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin (, ). Como hay dos parmetros a
estimar, planteamos un sistema de ecuaciones basadas en el primer y en el segundo
momento.
Usando que si X ~ (, ),
= ) ( X E y
2
) (
= X V y la relacin:
( )
2 2
) ( ) ( ) ( X E X E X V = ,
|
.
|
\
|
+ =
=
=
=
=
=
=
=
2
2
1
2
1
2 1
2
1
) (
) (
n
X
n
X
X E
n
X
X E
n
X
n
i
i
n
i
i
n
i
i
n
i
i
Reemplazando X =
y, despejando :
2 1
2
2 1
2
X
n
X
X
X
n
X
X
n
i
i
n
i
i
= =
=
=
X
n
X
X
n
i
i
3) Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin U(0,). Como hay un nico parmetro
a estimar, planteamos una ecuacin basada en el primer momento.
X X E
n
X
n
i
i
2
2
) (
1
= = =
4) Veamos por ltimo un ejemplo que nos muestra que no siempre podemos utilizar los
momentos en el orden natural. Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin U(-,).
Como hay un nico parmetro a estimar, parece natural plantear una ecuacin basada en
el primer momento. Sin embargo, si lo hacemos,
0 ) (
1
= =
=
X E
n
X
n
i
i
Observamos que el primer momento poblacional no depende de y por lo tanto no
podemos despejar a partir de esta ecuacin el estimador del parmetro. En este caso, es
necesario plantear una ecuacin basada en el segundo momento:
( )
n
X
X E
n
X
n
i
i
n
i
i
= =
= = = =
1
2
2 2
2 1
2
3
3 12
2
) (
Mtodo de mxima verosimilitud: Este mtodo fue introducido por Fisher en la dcada
de 1920. Se basa en la idea de, dada una muestra, hallar los valores de los parmetros
que hacen que la probabilidad de obtener dicha muestra sea mxima.
Ejemplo: Se realiza una encuesta de opinin a una m.a. de 20 personas. Se les formula
una nica pregunta que ser respondida por Si o por NO. Sean
20 2 1
,..., , X X X las v.a.
correspondientes a la respuesta, tales que
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
164
=
NO responde persona la si
SI responde persona la si
i
i
X
i
0
1
para i =1, 2, ..., 20 y sea ) 1 ( = =
i
X P p .
Observemos que las v.a.
i
X son independientes y cada una de ellas tiene distribucin
Bi(1,p). Entonces, la funcin de probabilidad conjunta del vector ( )
20 2 1
,..., , X X X es
20 20 2 2 1 1
20 2 1
1
) 1 ( ...
1
) 1 (
1
) 1 ( ) ,..., , (
x
p
x
p
x
p
x
p
x
p
x
p x x x p
=
Si en la muestra obtenida se observan 7 NOs (0) y 13 SIs (1), sera
7 13
20 2 1
) 1 ( ) ,..., , ( p p x x x p =
La pregunta es: qu valor de p hace que los valores muestrales obtenidos sean los ms
probables?
Es decir, buscamos el valor de p que hace mxima ) ,..., , (
20 2 1
x x x p o equivalentemente
) ,..., , ( ln
20 2 1
x x x p ya que ln es una funcin montona creciente. Debemos maximizar la
siguiente funcin de p
) 1 ln( 7 ) ln( 13 ) ,..., , ( ln ) (
20 2 1
p p x x x p p g + = =
Para ello, como esta funcin es derivable respecto de p, buscamos los posibles puntos
crticos, igualando a 0 la derivada primera.
20
13
0 20 13
) 1 (
20 13
) 1 (
7 ) 1 ( 13
1
7 13 ) (
0 = =
= p p -
p p
p
p p
p p
p p p
p g
Este valor es en efecto el que maximiza g(p) pues
0
) 1 (
7 13 ) (
20 / 13
2 2
20 / 13
2
2
<
= = p p
p p p
p g
Definicin: Sean
n
X X X ,..., ,
2 1
v.a. con funcin de probabilidad conjunta
) ,..., , (
2 1 n
x x x p
X
r
o funcin de densidad conjunta ) ,..., , (
2 1 n
x x x f
X
r
que depende de k
parmetros
m
,..., ,
2 1
. Cuando ) ,..., , (
2 1 n
x x x son los valores observados y la funcin
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
165
de probabilidad o de densidad conjunta se considera funcin de los parmetros
m
,..., ,
2 1
, se denomina funcin de verosimilitud y se denota ) ,..., , (
2 1 m
L .
Los estimadores de mxima verosimilitud (EMV) de
m
,..., ,
2 1
son los valores
m
,...,
2 1
que maximizan la funcin de verosimilitud, o sea los valores tales que
m m m
L L
~
,...,
~
,
~
)
~
,...,
~
,
~
( )
,...,
(
2 1 2 1 2 1
La forma general de los EMV se obtiene reemplazando los valores observados x
i
por las
v.a. X
i
.
Ejemplos: 1) Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin exponencial de parmetro .
= =
=
= = =
n
i
n
i
n x
i X n
n
i
i
x
e e x f x x x f
i
i
1 1
2 1
1
) ( ) ,..., , (
por lo tanto, la funcin de verosimilitud es
=
n
i
i
x
e L
n
1
) (
Observemos que no incluimos los indicadores porque, dado que el rango de la v.a. no
depende del parmetro a estimar, podemos suponer que todas las observaciones son no
negativas.
=
=
n
i
i
x n L
1
) ln( ) ( ln
X
X
n
x
n L
n
i
i
n
i
i
1
0
) ( ln
1
1
= = = =
=
=
Verificar que el punto crtico obtenido es en efecto un mximo.
Observemos que en este caso el EMV coincide con el de momentos.
2) Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin N(,
2
).
( )
2
2
2
1 1
2 1
2
1
) ( ) ,..., , (
= =
= =
i
x
e x f x x x f
n
i
n
i
i X n
i
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
166
=
|
|
.
|
\
|
=
n
i
i
x
e
n
n
1
2
) (
2
2
1
1
2
1
Por lo tanto la funcin de verosimilitud es
y maximizarla equivale a maximizar su logaritmo
( )
=
=
n
i
i
x n n L
1
2
2
) (
2
1
) ln( 2 ln ) , ( ln
( )
( )
( )
( )
= +
=
= + =
= =
=
=
=
=
0
0
0
1 ) , ( ln
0
1 ) , ( ln
1
2 2
1
1
2
3
1
2
n
i
i
n
i
i
n
i
i
n
i
i
x n
x
x
n L
x
L
( )
=
=
=
=
n
x
n
x
n
i
i
n
i
i
1
2
1
=
|
|
.
|
\
|
=
n
i
i
x
e L
n
n
1
2
) (
2
2
1
1
2
1
) , (
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
167
= = =
= = =
n
i
n
i
n
i
i
n
i i n
x I x I x f x x x f
1 1 1
2 1
) (
1
) (
1
) ( ) ,..., , (
) , 0 ( ) , 0 (
y la funcin de verosimilitud es
=
=
n
i
i
n
x I L
1
) (
1
) (
) , 0 (
<
=
< <
=
contrario caso en
si
contrario caso en
si
0
) ( max
1
0
0
1
) ( n i 1
i
n
i
n
x i x
L
>
=
) ( max 0
) ( max
1
1
1
i
n i
i
n i
n
x
x
si
si
Grafiquemos ) ( L como funcin de .
Como se puede observar, el mximo de la funcin de verosimilitud se alcanza en
) ( max
2 1
i
n
x
= y por lo tanto el EMV del parmetro es
) ( max
1
i
X
n i
=
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
168
Propiedad de Invarianza de los EMV: Sea
,...,
1
los EMV de
m
,...,
1
y sea una funcin
k
h: , bajo qu
condiciones el EMV de ) ,..., (
1 m
h es )
,...,
(
1 m
h ? Esta propiedad, denominada
propiedad de invarianza de los EMV, se cumple si la funcin h puede ser completada a
una funcin inyectiva.
Propiedades de los estimadores y criterios de seleccin
Observemos que, dada una muestra
n i
X X X ,..., ,
2
, un estimador puntual del parmetro
, obtenido en base a ella, es una v.a.
. La diferencia
es el error de estimacin y una estimacin ser ms precisa cuanto menor sea este error.
Este error es tambin una v.a. dado que depende de la muestra obtenida. Para algunas
muestra ser positivo, para otras negativo. Una propiedad deseable es que la esperanza
del error sea 0, es decir que en promedio el error obtenido al estimar a partir de
diferentes muestras sea cero.
Definicin: Un estimador puntual
( = E
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
169
Si
a = )
( )
( E b .
Por lo tanto, un estimador es insesgado si su distribucin tiene como valor esperado al
parmetro que se desea estimar.
Definicin: Un estimador puntual
(
n
E
Ejemplos: 1) Sea X: nmero de xitos en n repeticiones de un experimento binomial con
probabilidad de xito igual a p. Entonces X ~ Bi(n,p) y hemos visto que el EMV de p es
n X p / = , o sea la frecuencia relativa de xitos. Verifiquemos que este estimador es
insesgado.
p p
n
np
n
X E
n
X
E p E
) (
) ( = = =
|
.
|
\
|
=
y, por lo tanto, es insesgado.
2) Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin N(,
2
). Los EMV de y
2
son
( )
n
X X
X
n
i
i
=
= =
1
2
2
Como ) ( = E , este estimador es insesgado.
Verifiquemos que el estimador de la varianza no lo es.
( )
( )|
.
|
\
|
+ =
|
|
|
|
.
|
\
|
=
=
=
n
i
i i
n
i
i
X X X X E
n n
X X
E E
1
2 2 1
2
2
2
1
) (
|
.
|
\
|
+ = |
.
|
\
|
+ =
= = =
n
i
i
n
i
n
i
i i
X n X n X E
n
X n X X X E
n
1
2 2 2
1 1
2 2
2
1
2
1
) ( ) ( ) (
1 1
2 2
1
2
1
2
1
2 2
X E X E
n
n
X E X E
n
X n X E
n
n
i
i
n
i
i
= |
.
|
\
|
= |
.
|
\
|
=
= =
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
170
( ) | | ( ) | |
2 2
2
2 2
2
2
1 1
1
) ( ) ( ) ( ) (
n
n
n
X E X V X E X V
= + = + + =
Por lo tanto el EMV de la varianza no es insesgado, pero es asintticamente insesgado ya
que su esperanza tiende a
2
cuando el tamao de la muestra tiende a infinito.
Ejercicio: Verificar que la varianza muestral
( )
1
1
2
2
=
n
X X
S
n
i
i
es un estimador
insesgado de la varianza poblacional cualquiera sea la distribucin.
3) Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin U(0,). El estimador de momentos de
es X 2
= y el EMV es ) ( max
1
i
X
n i
= .
El estimador de momentos es insesgado. En efecto,
2
2 ) ( 2 )
( = = = X E E
Verificaremos que el EMV no lo es. Para ello, necesitamos obtener la densidad de la v.a.
) ( max
1
i
X U
n i
= .
Recordemos que, si
n
X X X ,..., ,
2 1
es una m.a. de una distribucin U(0,), entonces
( )
< <
|
.
|
\
|
= =
u
u
u
u
u F u F
n
n
X U
si 1
0 si
0 si 0
) ( ) (
entonces
) (
1
) (
) , 0 (
1
u I
u
n u f
n
U
|
.
|
\
|
= .
Calculemos la esperanza del EMV.
( )
1 1
1
) ( ) ( max
0
1
0 0
1
+
=
+
= = |
.
|
\
|
= =
+
n
n
n
u n
du u
n
du
u
n u U E X E
n
n
n
n
n
i
Entonces, el EMV no es insesgado pero es asintticamente insesgado.
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
171
Cuando hay ms de un estimador insesgado para un mismo parmetro, cmo decidimos
cul conviene usar? Por ejemplo, sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin N(,
2
).
Es inmediato verificar que los siguientes son todos estimadores insesgados de :
1 3
2 1
2
1
X
X X
X
=
+
=
=
=
=
=
V
V
n
V
y parece natural elegir el estimador ms preciso, es decir el de menor varianza.
Principio de estimacin insesgada de mnima varianza: Entre todos los estimadores
insesgados de , elegir el de menor varianza. El estimador resultante se denomina IMVU
(insesgado de mnima varianza uniformemente). Existe una metodologa que permite
hallar estimadores IMVU en muchas situaciones.
Teorema: Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin N(,
2
). Entonces X es
estimador IMVU de .
A partir de este resultado deducimos que, si se tiene evidencia de que la m.a. proviene de
una distribucin Normal, parece conveniente usar X como estimador de . Sin embargo,
si los datos no son Normales este estimador podra llegar a ser una psima eleccin.
Ejemplo: Sean las siguientes distribuciones simtricas alrededor del parmetro
a) N(,
2
) :
2
2
1
2
1
) (
|
|
.
|
\
|
x
e x f
b) Cauchy de parmetro :
( )
2
) ( 1
1
) (
+
=
x
x f
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
172
c) U( -1, +1) : ) (
2
1
) (
) 1 , 1 (
x I x f
+
=
La distribucin de Cauchy tiene forma de campana como la distribucin Normal, pero
tiene colas ms pesadas que sta. La distribucin Uniforme no tiene colas, por lo tanto
podramos decir que tiene colas ms livianas que la Normal.
Consideremos los siguientes estimadores de :
2
) ( min ) ( max
~
3 2 1
i i
X X
X X
+
= = =
En el caso a),
1
es IMVU y por lo tanto, es la eleccin correcta.
En el caso b),
1
y
3
son malos porque ambos son muy sensibles a la presencia de
observaciones atpicas y la distribucin Cauchy produce una importante proporcin de
ellas. Por lo tanto la mejor eleccin entre estos tres estimadores sera
2
. Tambin
podramos utilizar una media podada.
En el caso c) el mejor estimador es
3
porque la distribucin no tiene colas.
Error standard de un estimador: Al informar el resultado de una estimacin puntual es
necesario brindar informacin sobre la precisin de la estimacin.
Definicin: El error standard de un estimador
V =
Si el error standard depende de parmetros desconocidos, stos se reemplazan por un
estimador y se obtiene el error standard estimado.
Ejemplo: Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin N(,
2
). Entonces X es el
EMV de y su error standard es
n
X V
X
2
) (
= =
Como depende del parmetro , podemos reemplazarlo por la varianza muestral y
obtenemos el error standard estimado
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
173
( )
) 1 (
1
2
2
= =
=
n n
X X
n
S
n
i
i
X
X
Definicin: Sea
=
2
( E ECM
Si el estimador
( )
( )
( b V ECM + = , siendo = )
( )
+ =
(
=
2 2
)
( )
(
)
( E E E E ECM
( ) ( ) ( )( )
(
+ + = )
( )
2 )
( )
2 2
E E E E E
( ) ( ) ( )( ) | | +
(
+
(
= )
( )
2 )
( )
2 2
E E E E E E E
Usando que la esperanza de una v.a. es una constante y la esperanza de una constante
es igual a sta, se obtiene
( ) ( )
( )
( )( )
4 43 4 42 1 43 42 1
4 4 3 4 4 2 1
0 2
)
(
)
(
)
( )
( )
( 2 )
( )
(
2 2
E E E E E E ECM
b
V
+ +
(
=
y, por lo tanto, | |
2
)
( )
( )
es una
sucesin consistente (o ms brevemente que
n
es un estimador consistente de ) si
p
n
es decir, si ( ) 0
, 0 > >
n n
P .
Ejemplo: Sea
n
X X X ,..., ,
2 1
una m.a de una distribucin con = ) (
i
X E y
< =
2
) (
i
X V , entonces X es un estimador consistente de . En efecto, aplicando la
desigualdad de Chebyshev,
( ) 0 0
) (
2
2
2
> = >
n
n
X V
X P
Ejercicio: Verificar que, en este ejemplo,
2
2 1
X X +
= no es consistente de .
Proposicin: Sea
n
X X X ,..., ,
2 1
una m.a de una distribucin que depende de un
parmetro y sea
n
(
n n
V
entonces,
n
es consistente de .
Dem: La demostracin es inmediata, a partir de la desigualdad de Chebyshev, si el
estimador es insesgado. No daremos la demostracin en el caso general.
Ejemplos: 1) Sea
n
X X X ,..., ,
2 1
una m.a de una distribucin con = ) (
i
X E y
< =
2
) (
i
X V , entonces X es un estimador consistente de . En efecto, = ) ( X E y
n
X V
2
) (
= . Por lo tanto, se satisfacen las dos condiciones de la Proposicin.
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
175
2) Sea
n
X X X ,..., ,
2 1
una m.a. de una distribucin U(0,). Hemos demostrado antes que
el EMV de , ) ( max
1
i
X
n i
= es asintticamente insesgado pues
1
)
(
+
=
n
n
E . Para
probar que es consistente, verificaremos que su varianza tiende a cero cuando el tamao
de la muestra tiende a infinito. Pero
| |
2
2
2
2
1
)
( )
( )
( )
(
(
+
= =
n
n
E E E V
entonces, debemos calcular la esperanza del cuadrado de la v.a. ) ( max
1
i
X U
n i
= ,
recordando que su densidad est dada por
) (
1
) (
) , 0 (
1
u I
u
n u f
n
U
|
.
|
\
|
=
2
0 0
2
1
0
1
2 2
2 2
1
) (
+
=
+
= = |
.
|
\
|
=
+
+
n
n
n
u n
du u
n
du
u
n u U E
n
n
n
n
n
Entonces,
( )
0
) 1 )( 2 ( 1
2 1 2
)
(
2
2
2
2
2
2
2
2
+ +
=
|
|
.
|
\
|
+
+
= |
.
|
\
|
+
+
=
n
n n
n
n
n
n
n
n
n
n
n
V
Por lo tanto, el EMV es consistente.
3) Este ltimo ejemplo ilustra como demostrar la consistencia de un estimador a partir de
la Ley de los Grandes Nmeros y de las propiedades de la convergencia en probabilidad.
En primer lugar recordemos que si ,.... ,..., ,
2 1 n
X X X e ,... ,..., ,
2 1 n
Y Y Y son sucesiones de
v.a. tales que a X
p
n
e b Y
p
n
, entonces:
a) b a Y X
p
n n
b) ab Y X
p
n n
c) 0 b
b
a
Y
X
p
n
n
si
d) continua funcin una es si ) ( ) ( g a g X g
p
n
en a .
e) si
n
c es una sucesin numrica tal que c c
n
, entonces ca X c
p
n n
??
Probabilidades y Estadstica (Computacin)
Facultad de Ciencias Exactas y Naturales Universidad de Buenos Aires
Ana M. Bianco y Elena J. Martnez 2004
176
Sea
n
X X X ,..., ,
2 1
una m.a de una distribucin con = ) (
i
X E y < =
2
) (
i
X V ,
demostraremos que la varianza muestral
2
X
S es un estimador consistente de la varianza
poblacional.
( )
|
|
|
|
.
|
\
|
= |
.
|
\
|
=
=
= 2 1
2
1
2 2 1
2
2
1 1
1
1
X
n
X
n
n
X n X
n n
X X
S
n
i
i
n
i
i
n
i
i
X
Por la Ley de los Grandes Nmeros
p
X , entonces por la propiedad d)
2 2
p
X .
Por otra parte, aplicando nuevamente la Ley de los Grandes Nmeros
| |
2 2 2 2 1
2
) ( ) ( ) ( + = + =
=
X E X V X E
n
X
p
n
i
i
Como adems 1
1
n
n
, se obtiene
2 2 2 2 2 1
2
2
1
= +
|
|
|
|
.
|
\
|
=
= p
n
i
i
X
X
n
X
n
n
S
y por lo tanto la varianza muestral es un estimador consistente de
2
.