Chap 2 : Vraisemblance, Estimation ponctuelle et

Intervalle de Confiance

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance 1 / 45

Sommaire

Vraisemblance et Estimation
Vraisemblance, exhaustivit, libert, compltude
Information de Fisher
Lestimateur du maximum de vraisemblance
Comportement asymptotique des estimateurs

Intervalle de Confiance
Construction pratique dun Intervalle de Confiance
Intervalle de Confiance Asymptotique

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance 2 / 45

Vraisemblance et Estimation Ponctuelle

Vraisemblance, exhaustivit, libert, compltude

Vraisemblance dun chantillon

Soit sn = (x1 , . . . , xn ) ralisation dun chantillon (i.i.d) de loi de
densit f (x; ), dans un modle statistique M , la vraisemblance de
lchantillon sn est la fonction L ( , x1 , . . . , xn ) :
L :
R+

7 f (x1 , . . . , xn ; ) = ni=1 f (xi ; )

La log-vraisemblance est
L ( , x1 , . . . , xn ) = log L ( , x1 , . . . , xn )
n

log (f (xi ; ))

i=1

Exemple :

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance 6 / 45

Exhaustivit
Dfinition
Soit M = {f (x, ), x X , }un modle paramtrique domin et
S : X Y une statistique. La statistique S est dite exhaustive si la loi
de X sachant S = s est indpendante de .
Caractrisation via le thorme de factorisation : Une statistique
S(x1 , . . . , xn ) est exhaustive du modle paramtrique (domin par )
ssi la densit scrit
f (x1 , . . . , xn ; ) = g (S(x1 , . . . , xn ); ) h(x)
Interprtation : S(x1 , . . . , xn ) contient toute linformation de
lchantillon sur , cest un rsum qui prserve linformation.
Proprit : Si S1 , S2 sont des statistiques telles que S1 = h(S2 ). Alors
si S1 est exhaustive pour , alors S2 est exhaustive pour .
Dfinition : Une statistique S est exhaustive minimale si tout autre
statistique exhaustive T scrit S = h(T ).
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance 7 / 45

Exemples

Lchantillon lui-mme
Le cas multinomial
Le cas gaussien
Le cas uniforme

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance 8 / 45

Libert, Compltude
Dans un modle paramtrique M , une statistique S est libre en si
sa loi ne dpend pas de .
Une statistique S est complte ssi
, E [h(S)] = 0 = h = 0, P ps
Thorme : Une statistique exhaustive complte est minimale.
Thorme de Basu : Si S est une statistique exhaustive complte pour
le modle M , alors toute statistique libre T est indpendante de S
pour toute loi P de M .
I

Interprtation : Les statistiques exhaustives compltes sont des rsums

qui compressent et spare lchantillon de manire optimale, en deux
parties indpendantes.

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance 9 / 45

Estimation et exhaustivit
Thorme de Rao-Blackwell : Soit T une statistique
exhaustive, et

2 
un estimateur de tel que R(, ) = E
< , alors
h
i
= E |T est lamlior de Rao-Blackwell :
lestimateur
, ) < R(, )
R(
Thorme de Lehmann-Scheff : Soit S une statistique exhaustive
complte pour un modle
Si est un estimateur sans
h paramtrique.
i
= E |T est un estimateur sans biais
biais de , alors
uniformment de variance minimale.
Conclusion et interprtation : de bons rsums optimaux de
lchantillon permettent daugmenter la prcision. .

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance10 / 45

Le modle exponentiel
Dfinition
Un modle statistique {f (x; )| } sur X = Rd est une famille
exponentielle si les densits f (x; ) scrivent
!
s

f (x; ) = exp

i ( )Ti (x) B( )

h(x)

i=1

avec h, B, i , Ti , i = 1, . . . , s valeurs rels, et h(x) 0.

T = (T1 . . . Ts ) est la statistique privilgie du modle (les Ti sont
linairement libres = de rang plein)
Il est plus commode dutiliser directement les i comme paramtre : la
densit scrit alors sous forme canonique
!
s

f (x; ) = exp

i Ti (x) A()

h(x)

i=1

et = (1 , . . . , s ) est appel paramtre naturel.

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance11 / 45

Exemple : La loi Gamma

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance12 / 45

Proprits
C () = exp(A()) est la constante de normalisation.
Lensemble H = { Rs |

exp (si=1 i Ti (x)) < } est un convexe.

La fonction 7 A() est indfiniment drivable et

1
2

E [T (X )] = A()
2
cov (Ti , Tj ) = A()
i

7 ( ) est le plus souvent un diffomorphisme.

Pour une famille exponentielle, le modle dchantillonnage est encore
une famille exponentielle avec la statistique privilgie :
n

T (x1 , . . . , xn ) =

T (xi ).

i=1

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance13 / 45

Exhaustivit dans les familles exponentielles

Dans une famille exponentielle, si le modle est de rang plein (gale

s), la statistique privilgie est exhaustive minimale.
Rciproquement,
Thorme de Pitman-Koopman : Si le modle est homogne (le
support ne dpend pas du paramtre) et est tel que pour une taille
dchantillon n assez grand, il existe une statistique exhaustive de
taille fixe s, alors la famille est exponentielle.

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance14 / 45

Information de Fisher

Score et Information de Fisher

On suppose que M = {f (x; ), } est rgulier. Le score est le
vecteur alatoire
S(X ; ) = log f (X ; )
Dans ce cas, ,
E [ log f (X ; )] = 0
Attention au support !
La matrice dinformation de Fisher I ( ), ou information apporte
par X sur :
I (X ; ) = cov ( log f (X ; ))
Additivit de lInformation de Fisher pour un chantillon i.i.d :
I (X1 , . . . , Xn ; ) , In ( ) = nI1 ( )
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance17 / 45

Calcul de lInformation de Fisher

2

Thorme : Si i j f (x; ) existe pour tout x et tout , et si on peut

R
driver 2 fois sous le signe intgral f (x; )(dx) alors
 

2
I (X ; ) = E
log f (X ; )
i j
1i,jp
Pour une famille exponentielle, si on utilise la paramtrisation
canonique :

S(X ; ) = T (X ) A()
I (X ; ) = 2 A() = cov (T (X ))

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance18 / 45

Ingalit dinformation de Cramr-Rao

Thorme
Soit M modle statistique rgulier, g fonction drivable et
Tn = T (X1 , . . . , Xn ) un estimateur sans biais de g ( ).
Cas scalaire : la borne de Cramer-Rao est dfinie par BCR( ) =
V (Tn ) BCR( ) =

g 0 ( )
In ( )

et

g 0 ( )2
In ( )

Cas vectoriel :
V (Tn ) J(g )( )> In ( )1 J(g )( )
avec J(g )( )= Jacobien de g valu au point .

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance19 / 45

Efficacit dun estimateur

La comparaison entre les matrices de covariances est au sens de lordre

(partiel) matrices s.d.p : A, B s.d.p. A B B A s.d.p
Ingalit dinformation = BCR( ) est la meilleure variance possible
pour un estimateur sans biais.
Un estimateur Tn sans biais de g ( ) est un estimateur efficace si
V (g ( )) = BCR( ) :

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance20 / 45

Estimateur du maximum de vraisemblance

Estimateur du Maximum de Vraisemblance

Soit M un modle paramtrique et x1 , . . . , xn un chantillon de
vraisemblance L( ; x1 , . . . , xn ) = ni=1 f (xi ; ). Lorsquil existe,
lestimateur du maximum de vraisemblance est dfinie par
nEMV

= arg min L( ; x1 , . . . , xn )

= arg min L ( ; x1 , . . . , xn )

Remarque
Les conditions suffisantes doptimalit pour dterminer nEMV sont :

(x, )| =EMV = 0

n
2L
EMV
(x, n
)0

EMV
L (x, n
) L (x, ), .
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance23 / 45

Exemples destimateurs dEMV

Le cas Bernoulli
Le cas Poisson

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance24 / 45

Proprits de lEMV
Sous les hypothses du thorme de factorisation, nEMV est fonction
de toute statistique exhaustive.
Pour lEMV, il y a des problmes :
I
I
I

Existence dune solution au problme de maximisation

Existence de plusieurs solutions et de minima locaux
Numrique (pour loptimisation)

Pour un modle exponentiel de plein rang (avec la paramtrisation

naturelle) et I () > 0 pour tout , L ( ; x1 , . . . , xn ) est strictement
concave et lEMV est lunique solution de
1 n
T (xj ) = A( EMV )
n j=1

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance25 / 45

Comportement asymptotique des estimateurs

Convergence de lEMV

Si le modle paramtrique M est rgulier et si est le vrai

paramtre alors
nEMV
en probabilit P .

Remarque
La rgularit suppose que linformation de Fisher I ( ) existe et est dfinie
positive. Une consquence de I ( ) > 0 est que le modle est identifiable,
i.e f (; ) = f (, 0 ) = = 0 , for all , 0 .

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance28 / 45

Normalit asymptotique de lEMV

Si le modle paramtrique M est rgulier et si est le vrai

paramtre alors

 EMV
n n

N (0, I1 ( ))

Remarque

n est la vitesse de convergence de lestimateur. De manire gnrale,

la convergence des estimateurs paramtriques est "en 1n ".

Un estimateur consistent n est dit asymptotiquement normal si il

existe rn > 0 tel que


rn n
N (0, J ( )) .
J ( ) est la variance asymptotique.
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance29 / 45

Delta-Method

Soit
 n , unestimateur asymptotiquement normal
rn n
N (0, J ( )), et une fonction diffrentiable autour
de , alors (n ) est asymptotiquement normal et
  

rn n ( )
Lemme de Slutsky : Si Yn



N 0, 0 ( )> J ( ) 0 ( )
Proba

Proba

Y et An A et Bn B, alors

An + Bn Yn

A + BY

Ces rsultats sont utilises pour obtenir la normalit asymptotique de

statistique complexe (mais rgulire) de lchantillon.

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance30 / 45

Intervalle de confiance

Intervalle de Confiance
On considre un modle dchantillonnage paramtrique X1 , ..., Xn de taille
n. Les variables alatoires X1 , ..., Xn sont indpendantes et de mme loi
inconnue P, et elles sont valeurs dans X (R ou Rd ).
On suppose que la loi P appartient une famille de probabilit
P = {P , }.

Dfinition 3.1 (Rgion de Confiance)

Soit x 7 (x) une application de X n valeurs dans lensemble des borliens de
g () telle que pour tout , on a
P (g ( ) (X1 , ..., Xn )) = 1 .
On dit que lensemble alatoire est une rgion de confiance de niveau (1 ).
Dans le cas o g () R et est un intervalle, on parle dun intervalle de
confiance.
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance32 / 45

Intervalle de Confiance
Dfinition 3.4 (Statistique asymptoptiquement libre)
On appelle statistique asymptotiquement libre pour , toute statistique dont sa
loi asymptotique ne dpend pas de .

n =
ple 3.1 Soit X1 , ..., Xn un chantillon de loi N (, 2 ). Notons X
1
n1

Xi

et

i=1

Sn2 =

n
1
n

(Xi Xn )2 .

i=1

- Si est connu,

n )
n(X

est une statistique libre pour , de loi N (0, 1).

- Si est inconnu

n )
n(X
Sn

- Si est connu ni=1

Xi

est une statistique libre pour , de loi Tn1 .

2

est une statistique libre pour , de loi n2 .

- Si est inconnu (n 1) Sn2 est une statistique libre pour , de loi n21 .
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance33 / 45

Construction pratique dun IC

ple 3.2 X1 , ..., Xn un chantillon de loi P( 1 ). Tn = n(Xn ) est une statistique

asymptotiquement libre pour . En effet, par le thorme central-limite
loi N (0, 1).
Tn
n

Construction pratique dun IC

Soit Tn un estimateur du paramtre . On cherche 1 (Tn ) et 2 (Tn ) de

sorte que leurs lois ne dpendent pas de et
P(1 (Tn ) 2 (Tn )) = 1

marque Le choix dune statistique libre revient viter davoir les bornes de lIC
dpendantes de

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance35 / 45

IC - Esprance dune variable normale : connu

connu Soit X1 , ..., Xn un chantillon de loi N (, 2 ).
n =
- Prenons X

n
1
n

Xi

comme estimateur de .

i=1

- On utilise le fait que

N (0, 1).

n )
n(X

est une statistique libre pour , de loi

n 1 est :
- Lintervalle de probabilit de X

u 2

u 2
n

n )
n(X

n
X

u 2

+ u 2
n

o u 2 est telle que (u 2 ) = P(N(0, 1) u 2 ) = 1 2 .

do lintervalle de confiance :

xn u 2
xn + u 2
n
n
- Application numrique : si (1 ) = 0, 95, on a u 2 = 1, 96. Lintervalle de
confiance
de niveau 95%
est Estimation ponctuelle et Intervalle de Confiance36 / 45
()
Chap 2pour
: Vraisemblance,

IC - Esprance dune variable normale : inconnu

On utilise le fait que Tn1 =

degrs de libert.

n )
n(X
Sn

suit une loi de Student (n 1)

Lintervalle de probabilit pour Tn1 :

n(Xn )
t(n1) , 2
t(n1) , 2
Sn
do lintervalle de confiance :
s
s
xn t(n1) , 2 xn + t(n1) , 2
n
n

n )2 alors lintervalle de confiance

marque Si la dfinition Sn2 = n1 ni=1 (Xi X
devient :
s
s
xn + t(n1) , 2
xn t(n1) , 2
n1
n1
ple 3.3 On prend, par exemple = 0, 05, et n = 25, on a t(n1) , 2 = 2, 064 et
lintervalle de confiance de niveau de confiance 95% pour est :


2, 064
2, 064
xn s25 , xn + s25
25
25

Chap 2 : Vraisemblance,
Estimation ponctuelle
et Intervalle
Confiance37 / 45
marque Le TCL() a pour consquence
que les intervalles
prcdents
sontdevalables

IC - Variance dune variable normale

2

n2 = 1 n (Xi )2 . on utilise le fait que nU2n suit une loi de n2

connu soit U
n i=1

comme somme de n carrs de N (0, 1) indpendantes.

Soit k1 et k2 , les bornes de lintervalle de probabilit dun n2 :
P(k1

n2
nU
k2 ) = 1
2

do lintervalle de confiance :
n
u2
n
un2
2 n
k2
k1
n

nconnu On utilise Sn2 =

1
n1

(Xi Xn )2 , et on sait que

(n1)Sn2

i=1

suit une loi n21 ,

soit b1 et b2 les bornes de lintervalle de probabilit :

P(b1

(n 1)Sn2
b2 ) = 1
2

do lintervalle de confiance :
(n 1)sn2
(n 1)sn2
2
b2
b1
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance38 / 45

Intervalle de Confiance : Exemple

ple 3.4 Soit X1 , ..., Xn un chantillon de loi uniforme U ([0, ]).

La vraisemblance associ lchantillon est dfinie par
1
Ln (x, ) = ni=1 1[0, ] (xi )

Dterminons lEMV : Ln (x, ) est maximum en ssi ni=1 1[0, [ (xi ) = 1.

Autrement dit i = 1, ..., n xi , donc, sup xi . Do lEMV :
1i n

n = sup Xi
1i n

Cherchons une statistique libre pour ( partir de n ). Dabord calculons la

loi de n , x [0, ],
F (x) = P(n x)
n

=
Vrifions que Tn =
on a
()

x
( )n

est une statistique libre pour . En effet, x [0, 1],

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance39 / 45

Intervalle de Confiance : Exemple

IC Mthode 1 : Dterminons un 1 (n ) et 2 (n ) telle que


P 1 (n ) 2 (n ) = 1

(1)

A partir de (1), il faut construire autour de , lestimateur Tn



1
1
1
P
= 1

2 (n )
1 (n )
!
n
n
P
Tn
= 1
2 (n )
1 (n )
Comme on connait la loi de la statistique libre Tn , on cherche donc un

a := (n ) et b := (n ) tels que
2

P(a Tn b)

FTn (b) FTn (a)

b a

Il y a une infinit de a et b possibles. On choisit a et b tels que lintervalle

1
[a, b] soit le plus court possible. Soit b = 1 et donc a = n .
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance40 / 45

Intervalle de Confiance : Exemple

1

Soit 1 (n ) = n et 1 (n ) = n n Nous avons donc obtenu un intervalle

de confiance :

h
i
1
n ; n n

IC Mthode 2 : On peut partir directement de Tn , et lon cherche un a et b tel

que
P(a Tn b)

FTn (b) FTn (a)

b a

On choisit les a et b tels que [a, b] soit lintervalle le plus court possible.
Puis on remonte le raisonnement pour arriver un intervalle de confiance
(voir exemple sur les esprances/variances normales).

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance41 / 45

Intervalle de Confiance Asymptotique

thode Modle rgulier, cest--dire lexistence de linformation de Fisher.

- On construit lintervalle asymptotique en utilisant lestimateur du maximum
de vraisemblance n de .
- On sait que n est asymtotiquement normal, i.e. :

loi N (0, 1 ).
n(n )
I ( )
n
- Autrement dit :
p
loi N (0, 1).
n I ( )(n )
n



q
P u 2 n I (n )(n ) u 2 = 1
do lintervalle de confiance asympttique :

u 2
u 2
n q
.
, n + q

n I (n )
n I (n )
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance43 / 45

Intervalle de Confiance Asymptotique : Exemple

marque On a mentionn lEMV car il est asympttiquement normal, donc il

converge en loi vers une loi connue (ici la loi normale).

ple 3.5 Soit X1 , ..., Xn un chantillon de loi uniforme U([0, ]).

LEstimateur de Maximum de Vraisemblance : n = sup Xi .
1i n




Soit Tn := n 1 n , Tn est une statistique asympttiquement libre pour

, en effet ;
FTn (x)

=
=
=

P(Tn x)

x n
P n (1 )
n
x n
1 (1 )
n

et lim FTn (x) = 1 e x . Donc, Tn T , o T suit une loi exponentielle

n

E xp(1).
()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance44 / 45

Intervalle de Confiance Asymptotique : Exemple

On cherche un intervalle de la forme [n ; b] tel que pour un donn on ait
P(n b) = 1 .

P(n b)

=
n

do b =

1 F 1 (1 )
1 n
T

1 log
1 n

"

!!
n
P 0 Tn n 1
b
!
n
FT n(1 ) = 1
b

On a donc

n
IC = n ;
1
1 n log

()

Chap 2 : Vraisemblance, Estimation ponctuelle et Intervalle de Confiance45 / 45