Correction Td2&Td3 ECM Proba 2A

Correction TD2 & TD3

TD2 & TD3 Exercice 1
loi exponentielle translatee de densite f

(x) = exp((x ))I

{x}
Estimateur du Maximum de Vraisemblance (EMV)
La vraisemblance sexprime ainsi:
V (x
1
, x
2
, , x
n
, ) =
n

i=1
exp((x
i
))I
{x
i
}
= e
n
e

i=1
x
i
I
{min(x
i
)}
lhypoth`ese (H) - [cf transparent 71/132] nest pas veriee ici (le support de la densite f

depend du param`etre , donc le mod`ele nest pas homog`ene, et la vraisemblance nest pas partout
derivable par rapport `a ). Cependant la variation de la vraisemblance vis `a vis de est simple:
pour min(x
i
) cest une fonction positive et croissante, pour > min(x
i
) elle est constante
nulle. Son maximum est donc atteint pour = min(x
i
) et nalement l EMV est

n
= min(X
i
)
Information de Fisher
-[cf transparent 72/132]
Ici, puisque lhypoth`ese (H) est en defaut, linformation de Fisher peut toujours etre denie
comme I
X
() = E

_
_
log V (;X)

_
2
_
(le calcul eectif donne I
X
() = 1), mais les egalites avec
les autres expressions ne sont plus valides, ni la relation dadditivite I
n
() = nI
X
().
Intervalle de conance
Toujours `a cause de la faillite de lhypoth`ese (H), la normalite asymptotique de lEMV nest
pas garantie. Les calculs qui suivent montrent dailleurs quici

n(

n
) E(

n)
loi

0
.
Mais il est possible ici de trouver un pivot exact: posons Y
i
= X
i
. La loi de Y
i
est la loi
exponentielle E(1) de param`etre 1, et facilement M = min(Y
i
) = min(X
i
) =

n
.
Il est possible de calculer la loi de M = min(Y
i
): pour tout y R
P[M > y] = P[(Y
i
> y)] =
n

i=1
P[Y
i
> y] =
_
_
_
1 si y 0
e
ny
si y > 0
(par lindependance des Y
i
)
On voit que M =

n
suit la loi exponentielle E(n) de param`etre n, cest donc un pivot exact.
Etant donne on trouve un intervalle [a
n
, b
n
] tel que P[a
n
E(n) b
n
] = 1 (il y a clairement
une innite de choix possibles, on peut imposer des contraintes supplementaires).
Alors un intervalle de conance exact pour au niveau de conance 1 est
_

n
b
n
;

n
a
n
_
1
Correction Td2&Td3 ECM Proba 2A
loi geometrique de param`etre ]0, 1[
Estimateur du MV
La vraisemblance sexprime ainsi:
V (x
1
, x
2
, , x
n
, ) =
n

i=1
(1 )
x
i
=
n
(1 )
n

i=1
x
i
et la vraisemblance logarithmique est denie et derivable pour ]0, 1[
log V = nlog +
n

i=1
x
i
log(1 )
log V

=
n

i=1
x
i
1

2
log V

2
=
n

2

n

i=1
x
i
(1 )
2
< 0
Donc le maximum de vraisemblance est atteint pour solution de lequation
log V

= 0, soit
n

=
n

i=1
x
i
1
et donc =
n
n+
n

i=1
x
i
. Finalement lestimateur du MV est

n
=
n
n +
n

i=1
X
i
=
1
1 + X
n
Information de Fisher
I
X
() = E

2
log V (, X)

2
) =
1

2
+
E

(X)
(1 )
2
Or E

(X) =
1

1 =
1

, do` u I
X
() =
1

2
+
1
(1 )
=
1

2
(1 )
Intervalle de conance
La loi de lEMV nest ici pas evidente. Le plus simple est de construire un intervalle de conance
asymptotique en partant de la normalite asymptotique de lEMV qui est garantie par lhypoth`ese
(H) - [cf transparent 71/132]:

n
_

_
loi
N(0, I
1
X
())
autrement dit

n
_

1
loi
N(0, 1)
et par le theor`eme de Slutsky

n
_

n
_
1

n
loi
N(0, 1)
2
Correction Td2&Td3 ECM Proba 2A
Z
n
=

n
_

n
_
1

n
est donc un pivot asymptotique , et si P[z

2
N(0, 1) z

2
] = 1 , alors
un intervalle de conance asymptotique pour au niveau de conance 1 est
_

n
z

n
_
1

n
;

n
+ z

n
_
1

n
_
loi de Pareto de param`etre > 1, de densite f

(x) = ( 1)x

I
{x>1}
Estimateur du Maximum de Vraisemblance (EMV)
La vraisemblance sexprime ainsi:
V (x
1
, x
2
, , x
n
, ) =
n

i=1
( 1)x

i
I
{x
i
>1}
= ( 1)
n
(

x
i
)

I
{min(x
i
)>1}
et la vraisemblance logarithmique est denie et derivable pour > 1 et min(x
i
) > 1
ln V = nln( 1)
n

i=1
ln(x
i
)
ln V

=
n
1

n

i=1
ln(x
i
)

2
ln V

2
=
n
( 1)
2
< 0
Donc le maximum de vraisemblance est atteint pour solution de lequation
ln V

= 0, soit
n
1
=
n

i=1
ln(x
i
) et donc = 1 +
n
n

i=1
ln(x
i
)
.
Finalement lestimateur du MV est

n
= 1 +
n
n

i=1
ln(X
i
)
Information de Fisher
I
X
() = E

2
ln V (,X)

2
) =
1
( 1)
2
Intervalle de conance
La loi de lEMV nest ici pas evidente. Le plus simple est de construire un intervalle de conance
asymptotique en partant de la normalite asymptotique de lEMV qui est garantie par lhypoth`ese
(H) - [cf transparent 71/132]:

n(
n
)
loi
N(0, I
1
X
())
autrement dit

n(
n
)
1
loi
N(0, 1)
3
Correction Td2&Td3 ECM Proba 2A
et par le theor`eme de Slutsky

n(
n
)

n
1
loi
N(0, 1)
Z
n
=

n(
n
)

n
1
est donc un pivot asymptotique , et si P[z

2
N(0, 1) z

2
] = 1 , alors
un intervalle de conance asymptotique pour au niveau de conance 1 est
_

n
z

2
(
n
1)

n
;
n
+ z

2
(
n
1)

n
_
4
Correction Td2&Td3 ECM Proba 2A
TD2 Exercice 2
1. Calcul de E(X
r
)
E(X
r
) =
_
x
r
f
X
(x)dx
=
_
1
0
(p + q)
(p)(q)
x
r+p1
(1 x)
q1
dx
On rappelle(Maths Fond 1A) que la fonction Gamma dEuler est denie par
() =
_
+
0
x
1
e
x
dx pour > 0
et la fonction Beta dEuler par
B(, ) =
_
1
0
x
1
(1 x)
1
dx pour > 0, > 0
et que ( + 1) = () et B(, ) =
()()
( + )
.
Donc
E(X
r
) =
(p + q)
(p)(q)
B(p + r, q)
=
(p + q)
(p)(q)

(p + r)(q)
(p + r + q)
=
(p +r)
(p)

(p +q)
(p +q +r)
Calcul de E(X) (r=1)
E(X) =
(p + 1)
(p)

(p + q)
(p + q + 1)
=
p
p +q
Calcul de V ar(X) = E(X
2
) E(X)
2
On a (r = 2)
E(X
2
) =
(p + 2)
(p)

(p + q)
(p + q + 2)
=
p(p +1)
(p +q)(p +q +1)
Donc
V ar(X) =
p(p + 1)
(p + q)(p + q + 1)

p
2
(p + q)
2
=
p(p + 1)(p + q) p
2
(p + q + 1)
(p + q)
2
(p + q + 1)
=
pq
(p +q)
2
(p +q +1)
5
Correction Td2&Td3 ECM Proba 2A
2. Calcul destimateurs de p et q
Les param`etres p et q sont lies aux moments dordre 1 et 2 par le syst`eme
_
m
1
= E(X) =
p
p+q
m
2
= E(X
2
) =
p(p+1)
(p+q)(p+q+1)
On inverse ce syst`eme pour exprimer p et q en fonction de E(X) et E(X
2
), que lon sait estimer.
On trouve _
_
_
p =
m
2
1
m
1
m
2
m
2
m
2
1
q =
(1m
1
)(m
1
m
2
)
m
2
m
2
1
Or, par la methode des moments,
un estimateur de E(X) est m
1
= X
n
=
1
n

n
i=1
X
i
un estimateur de E(X
2
) est m
2
=
1
n

n
i=1
X
2
i
Donc, des estimateurs de p et q sont
p
n
=
m
1
2
m
1
m
2
m
2
m
1
2
q
n
=
(1 m
1
)( m
1
m
2
)
m
2
m
1
2
Consistance (convergence en proba)
Par la LGN,
m
1
=

X
n
proba

E(X)
m
2
=
1
n

n
i=1
X
2
i
proba

E(X
2
).
Donc, par le theor`eme de Slutsky, p
n
proba

p et q
n
proba

q.
6
Correction Td2&Td3 ECM Proba 2A
TD2 Exercice 3
1. Estimateur de par la methode des moments
On a E(X) =

2
cest-`a-dire 2E(X) = .
Donc un estimateur des moments de est

n
= 2

X
n
=
2
n

n
i=1
X
i
.
Estimateur sans biais
E(

n
) = E(

n
)
=
2
n
n

i=1
E(X
i
) linearite
= 2E(X) (X
i
) id
= 0
Variance
V ar(

n
) = V ar(
2
n
n

i=1
X
i
)
=
4
n
2
V ar(
n

i=1
X
i
)
=
4
n
2
n

i=1
V ar(X
i
) independance
=
4
n
V ar(X) (X
i
) id
Or V ar(X) =

2
12
donc
Var(

n
) =

2
3n
2. Estimateur de maximum de vraisemblance de
On a
V (x
1
, x
2
, . . . , x
n
, ) =
n

i=1
f

(x
i
)
=
1

n
1
[0,]
n(x
1
, . . . , x
n
)
V (x
1
, . . . , x
n
, ) nest pas continue donc pas derivable
calcul du maximum directement.
7
Correction Td2&Td3 ECM Proba 2A
On a
V (x
1
, x
2
, . . . , x
n
, ) =
_
1

n
si pour tout i, 0 x
i

0 sinon
cest-`a-dire
V (x
1
, x
2
, . . . , x
n
, ) =
_
1

n
si max(x
i
) et min(x
i
) 0
0 sinon
On remarque que pour max(x
i
) ,
1

n

1
max
(
x
i
)
n
.
Donc, max

V (x
1
, . . . , x
n
, ) =
1
max
(
x
i
)
n
et est atteint pour = max(x
i
).
Donc, lestimateur de maximum de vraisemblance de est

n
= max(X
i
).
Loi de

n
= max(X
i
)
On cherche la fonction de repartition de

n
.
P(max(X
i
) x) = P(X
1
x, X
2
x, . . . , X
n
x)
=
n

i=1
P(X
i
x) independance
=
_

_
0 si x 0
1

n
x
n
si 0 < x <
1 si x
Donc la densite de

n
= max(x
i
) est f

n
(x) =
nx
n1

n
1
[0,]
(x).
A partir de cette loi de

n
, on peut voir que le defaut dhypoth`ese (H) fait `a nouveau perdre la
normalite asymptotique de lEMV: si on cherche la fonction caracteristique de T
n
=

n(

n
),
il vient

Tn
(t) = E(e
it

n(

n)
)
=

_
0
e
it

n(x)
nx
n1

n
dx
=
n
_
0
e
it
y

n
(1
y
n
)
n1
dy
en posant
x

= 1
y
n
. Et par convergence dominee, pour tout t R
lim
n+

Tn
(t) =
+
_
0
e
y
dy = 1
donc T
n
loi

0
et non pas vers N(0, 1).
8
Correction Td2&Td3 ECM Proba 2A
Consistance de lestimateur
On veut montrer que

n
proba

cest-`a-dire > 0 lim

n+
P(|

n
| > ) = 0
Puisque 0

n
presque s urement, cest evidemment vrai si , et si < on a
P(|

n
| > ) = P(

n
> )
= P(

n
< )
=
( )
n

n 0
Calcul du biais
E(

n
) =
_
xf

n
(x)dx
=
n

n
_

0
x
n
dx
= (
n
n + 1
1)
=
1
n +1

n
est asymptotiquement sans biais.
Variance
Var(

n
) =
_
x
2
f

n
(x)dx E(

n
)
2
=
n

n
_

0
x
n+1
dx
n
2
(n + 1)
2

2
=
n
n + 2

n
2
(n + 1)
2

2
=
n
(n +2)(n +1)
2

2
3. Pour comparer les deux estimateurs, on regarde lerreur quadratique:
E((

n
)
2
) = V ar(

n
) + (biais)
2
Pour lestimateur des moments:
E((

n
)
2
) =

2
3n
9
Correction Td2&Td3 ECM Proba 2A
Pour lestimateur de maximum de vraisemblance:
E((

n
)
2
) =
n
(n + 2)(n + 1)
2

2
+
1
(n + 1)
2

2
=
2
(n + 2)(n + 1)

2
(Ceci prouve dailleurs que

n
MQ

et donc a fortiori redemontre la consistance de

n
)
Lestimateur de maximum de vraisemblance a une erreur quadratique en
1
n
2
quand n + et
lestimateur des moments a une erreur quadratique en
1
n
quand n +.
Donc lestimateur de maximum de vraisemblance a une meilleure erreur quadratique.
10
Correction Td2&Td3 ECM Proba 2A
TD3 Exercice 2
Dans cet exercice on va raisonner sur des echantillons de lois gaussiennes, pour lesquels il est utile
de connatre le theor`eme suivant (theor`eme de FISHER) qui generalise le theor`eme du transparent
31/132:
Soit X
1
, X
2
, , X
n
i.i.d. de loi normale N(m,
2
). Si on pose
X
n
=
1
n
n

i=1
X
i
S
2
n
=
1
n
n

i=1
(X
i
X
n
)
2
et S

2
n
=
1
n 1
n

i=1
(X
i
X
n
)
2

2
n
=
1
n
n

i=1
(X
i
)
2
alors on a les proprietes suivantes:
1.

n
X
n

N(0, 1) ce qui equivaut `a X

n
N(,

2
n
)
2.
nS
2
n

2
=
(n 1)S

2
n

2

2
n1
3.
n
2
n

2

2
n
4. X
n
et S
2
n
sont des v.a.r. independantes: X
n
S
2
n
5.

n 1
X
n

S
n
ST
n1
, loi de Student `a n 1 degres de liberte
Le point 5. resulte des points 1., 2. et 4. et du resultat de lexercice 5 de la feuille 1 de travaux diriges.
On en vient maintenant `a lexercice proprement dit.
Il sagit destimer par intervalle de conance la variance dune loi gaussienne dont on connait lesperance.
On voit que le point 3. du theor`eme ci-dessus fournit un pivot permettant de constuire un tel intervalle de
conance. Si 1 est le niveau de conance requis, on determine a

= F
1

2
n
(/2) et b

= F
1

2
n
(1/2).
Alors P[a

2
n
b

] = 1 et le risque est symetrique.

a

n
2
n

2
b

n
2
n
b

n
2
n
a

par consequent
_
n
2
n
b

;
n
2
n
a

_
est un intervalle de conance bilateral symetrique pour
2
au niveau de
conance 1 .
Application numerique
Ici n = 15 et = 0.02, do` u, par la table des quantiles de la loi de
2
, a

= F
1

2
15
(0.01) = 5.23
et b

= F
1

2
15
(0.99) = 30.58. Enn 15
2
15
= 15 2500 = 37500. Finalement I
c
= [1226; 7171] est
lintervalle de conance bilateral symetrique pour
2
au niveau de conance 0.98 obtenu `a partir de
lechantillon considere.
11
Correction Td2&Td3 ECM Proba 2A
TD3 Exercice 3
Dans cet exercice on va raisonner encore sur des echantillons de lois gaussiennes et utiliser le (theor`eme
de FISHER).
1) Dans cette premi`ere partie les ecarts-type
A
et
B
sont connus.
Les X
i
sont i.i.d. N(
A
,
2
A
) donc X
n
N(
A
,

2
A
n
)
Les Y
j
sont i.i.d. N(
B
,
2
B
) donc Y
p
N(
B
,

2
B
p
)
De plus les X
i
sont independantes des Y
j
, donc X
n
sera independante de Y
p
, et donc
X
n
Y
p
N(
A

B
,

2
A
n
+

2
B
p
)
Par consequent
Z =
X
n
Y
p
(
A

B
)

2
A
n
+

2
B
p
N(0, 1)
est un pivot exact pour
A

B
.
Donc si P[z

2
N(0, 1) z

2
] = 1 , alors un intervalle de conance exact pour
A

B
au niveau
de conance 1 est
_
_
X
n
Y
p
z

2
A
n
+

2
B
p
; X
n
Y
p
+ z

2
A
n
+

2
B
p
_
_
Application numerique:
n = 9, x
9
= 20000, p = 21, y
21
= 25000,
A
= 2000 et
B
= 5000.
Pour = 0.05 on sait que z

2
= 1.96, lintervalle de conance `a 95% est donc
_
5000 1.96
_
4.10
6
9
+
25.10
6
21
; 5000 + 1.96
_
4.10
6
9
+
25.10
6
21
_
soit
[ 7500 ; 2500 ]
2) Dans cette deuxi`eme partie les ecarts-type
A
et
B
sont inconnus, mais
A
=
B
= .
Par consequent
Z =
X
n
Y
p
(
A

B
)

_
1
n
+
1
p
N(0, 1)
mais est inconnu.
On doit d`es lors estimer . Un estimateur sans biais de
2
prenant en compte toute linformation
contenue dans les deux echantillons est
S

2
=
(n 1)S

2
An
+ (p 1)S

2
Bp
n + p 2
12
Correction Td2&Td3 ECM Proba 2A
avec S

2
An
=
1
n 1
n

i=1
(X
i
X
n
)
2
et S

2
Bp
=
1
p 1
p

j=1
(Y
j
Y
p
)
2
.
S

2
An
et S

2
Bp
sont egalement des estimateurs sans biais de
2
(mais S

2
est meilleur) qui sont indepen-
dants, et le theor`eme de Fisher assure que
(n 1)S

2
An

2

2
n1
et
(p 1)S

2
Bp

2

2
p1
. On en deduit
immediatement que
W =
(n + p 2)S

2
=
(n 1)S

2
An

2
+
(p 1)S

2
Bp

2

2
n+p2
Le theor`eme de Fisher assure aussi que Z et W sont des v.a.r. independantes, et par consequent
T =
Z
_
W
n+p2
ST
n+p2
(cf exercice 5 de la feuille 1 de travaux diriges) .
T =
Z
_
W
n+p2
=
Z
S

=
X
n
Y
p
(
A

B
)
S

_
1
n
+
1
p
ST
n+p2
est un pivot exact pour le param`etre
A

B
.
Donc si P[t

2
ST
n+p2
t

2
] = 1, alors un intervalle de conance exact pour
A

B
au niveau
de conance 1 est
_
X
n
Y
p
t

2
S

_
1
n
+
1
p
; X
n
Y
p
+ t

2
S

_
1
n
+
1
p
_
Application numerique:
n = 9, x
9
= 20000, p = 21, y
21
= 25000, s

2
A
= 2560000 et s

2
B
= 2500000.
On calcule s

=
_
8s

2
A
+ 20s

2
B
28
=
_
520480000
28
=

18588571 4311.
Pour = 0.05 on lit dans la table des quantiles de la loi de Student `a 28 degres de liberte que t

2
= 2.048,
lintervalle de conance `a 95% est donc
_
5000 2.048 4311
_
1
9
+
1
21
; 5000 + 2.048 4311
_
1
9
+
1
21
_
soit puisque
_
1
9
+
1
21
0.3984
[ 8517 ; 1483 ]
Remarque: comparaison des estimateurs S

2
, S

2
An
et S

2
Bp
On sait que si X
2
n
= (
n
2
,
1
2
) on a E(X) = n et var(X) = 2n. Or

(n 1)S

2
An

2

2
n1

(p 1)S

2
Bp

2

2
p1

(n + p 2)S

2

2
n+p2
On en deduit facilement que S

2
, S

2
An
et S

2
Bp
sont des estimateurs sans biais de
2
, par suite comparer
leurs risques quadratiques revient `a comparer leurs variances:
13
Correction Td2&Td3 ECM Proba 2A
var(S

2
) =
2
4
n + p 2
var(S

2
An
) =
2
4
n 1
var(S

2
Bp
) =
2
4
p 1
S

2
est bien meilleur de ce point de vue.
14