Estimation dans un mod`ele de regression

semi-parametrique
Bernard Bercu, Philippe Fraysse
Universite Bordeaux 1
INRIA Bordeaux Sud-Ouest
Gammarth, 25 Mai 2011
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 1 / 22
Presentation du probl`eme
1
Presentation du probl`eme
2
Estimation de
Robbins-Monro
Estimateur pour notre probl`eme
Resultats obtenus
3
Estimation de f
Nadaraya-Watson
Estimateur pour notre probl`eme
Resultats obtenus
4
Simulations
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 2 / 22
Presentation du probl`eme
On sinteresse au mod`ele de regression fonctionnel
Y
n
= f(X
n
) +
n
o` u (
n
)
n0
est une suite i.i.d. telle que E[
n
] = 0 et E
_

2
n

=
2
< +.
Inconnues : et f.
Hypoth`eses :
(H
1
) f est paire, 1-periodique, bornee.
(H
2
) (X
n
)
n0
iid de densite g symetrique ` a support compact
sur [
1
2
,
1
2
], deux fois derivable `a derivees bornees.
(H
3
) f est lipschitzienne.
Objectif : estimer et f.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 3 / 22
Presentation du probl`eme
On sinteresse au mod`ele de regression fonctionnel
Y
n
= f(X
n
) +
n
o` u (
n
)
n0
est une suite i.i.d. telle que E[
n
] = 0 et E
_

2
n

=
2
< +.
Inconnues : et f.
Hypoth`eses :
(H
1
) f est paire, 1-periodique, bornee.
(H
2
) (X
n
)
n0
iid de densite g symetrique ` a support compact
sur [
1
2
,
1
2
], deux fois derivable `a derivees bornees.
(H
3
) f est lipschitzienne.
Objectif : estimer et f.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 3 / 22
Presentation du probl`eme
On sinteresse au mod`ele de regression fonctionnel
Y
n
= f(X
n
) +
n
o` u (
n
)
n0
est une suite i.i.d. telle que E[
n
] = 0 et E
_

2
n

=
2
< +.
Inconnues : et f.
Hypoth`eses :
(H
1
) f est paire, 1-periodique, bornee.
(H
2
) (X
n
)
n0
iid de densite g symetrique ` a support compact
sur [
1
2
,
1
2
], deux fois derivable `a derivees bornees.
(H
3
) f est lipschitzienne.
Objectif : estimer et f.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 3 / 22
Presentation du probl`eme
On sinteresse au mod`ele de regression fonctionnel
Y
n
= f(X
n
) +
n
o` u (
n
)
n0
est une suite i.i.d. telle que E[
n
] = 0 et E
_

2
n

=
2
< +.
Inconnues : et f.
Hypoth`eses :
(H
1
) f est paire, 1-periodique, bornee.
(H
2
) (X
n
)
n0
iid de densite g symetrique ` a support compact
sur [
1
2
,
1
2
], deux fois derivable `a derivees bornees.
(H
3
) f est lipschitzienne.
Objectif : estimer et f.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 3 / 22
Presentation du probl`eme
On sinteresse au mod`ele de regression fonctionnel
Y
n
= f(X
n
) +
n
o` u (
n
)
n0
est une suite i.i.d. telle que E[
n
] = 0 et E
_

2
n

=
2
< +.
Inconnues : et f.
Hypoth`eses :
(H
1
) f est paire, 1-periodique, bornee.
(H
2
) (X
n
)
n0
iid de densite g symetrique ` a support compact
sur [
1
2
,
1
2
], deux fois derivable `a derivees bornees.
(H
3
) f est lipschitzienne.
Objectif : estimer et f.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 3 / 22
Presentation du probl`eme
Y
n
= f(X
n
) +
n
.
Commentaires :

n
nest pas necessairement gaussien.
On peut se passer de lhypoth`ese de parite sur f.
Le fait de prendre f periodique nest pas tr`es restrictif : de nombreux
phenom`enes reels donnent lieu `a des signaux periodiques (astronomie,
econometrie, medecine, . . .)
est un param`etre de translation.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 4 / 22
Presentation du probl`eme
Y
n
= f(X
n
) +
n
.
Commentaires :

n
nest pas necessairement gaussien.
On peut se passer de lhypoth`ese de parite sur f.
Le fait de prendre f periodique nest pas tr`es restrictif : de nombreux
phenom`enes reels donnent lieu `a des signaux periodiques (astronomie,
econometrie, medecine, . . .)
est un param`etre de translation.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 4 / 22
Presentation du probl`eme
Y
n
= f(X
n
) +
n
.
Commentaires :

n
nest pas necessairement gaussien.
On peut se passer de lhypoth`ese de parite sur f.
Le fait de prendre f periodique nest pas tr`es restrictif : de nombreux
phenom`enes reels donnent lieu `a des signaux periodiques (astronomie,
econometrie, medecine, . . .)
est un param`etre de translation.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 4 / 22
Presentation du probl`eme
Y
n
= f(X
n
) +
n
.
Commentaires :

n
nest pas necessairement gaussien.
On peut se passer de lhypoth`ese de parite sur f.
Le fait de prendre f periodique nest pas tr`es restrictif : de nombreux
phenom`enes reels donnent lieu `a des signaux periodiques (astronomie,
econometrie, medecine, . . .)
est un param`etre de translation.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 4 / 22
Presentation du probl`eme
Y
n
= f(X
n
) +
n
.
Commentaires :

n
nest pas necessairement gaussien.
On peut se passer de lhypoth`ese de parite sur f.
Le fait de prendre f periodique nest pas tr`es restrictif : de nombreux
phenom`enes reels donnent lieu `a des signaux periodiques (astronomie,
econometrie, medecine, . . .)
est un param`etre de translation.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 4 / 22
Estimation de
1
Presentation du probl`eme
2
Estimation de
Robbins-Monro
Estimateur pour notre probl`eme
Resultats obtenus
3
Estimation de f
Nadaraya-Watson
Estimateur pour notre probl`eme
Resultats obtenus
4
Simulations
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 5 / 22
Estimation de Robbins-Monro
Soit une fonction inconnue telle quil existe x

tel que (x

) = 0.
Hypoth`eses :
est continue.
x R, avec x = x

, (x x

)(x) < 0 (en particulier, ceci est vrai si

g est strictement decroissante).
Objectif : trouver x

.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 6 / 22
Estimation de Robbins-Monro
Soit une fonction inconnue telle quil existe x

tel que (x

) = 0.
Hypoth`eses :
est continue.
x R, avec x = x

, (x x

)(x) < 0 (en particulier, ceci est vrai si

g est strictement decroissante).
Objectif : trouver x

.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 6 / 22
Estimation de Robbins-Monro
Soit une fonction inconnue telle quil existe x

tel que (x

) = 0.
Hypoth`eses :
est continue.
x R, avec x = x

, (x x

)(x) < 0 (en particulier, ceci est vrai si

g est strictement decroissante).
Objectif : trouver x

.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 6 / 22
Estimation de Robbins-Monro
Soit une fonction inconnue telle quil existe x

tel que (x

) = 0.
Hypoth`eses :
est continue.
x R, avec x = x

, (x x

)(x) < 0 (en particulier, ceci est vrai si

g est strictement decroissante).
Objectif : trouver x

.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 6 / 22
Estimation de Robbins-Monro
X
0
R.
X
n+1
= X
n
+
n
T
n+1
.
E[T
n+1
|F
n
] = (X
n
) p.s.
E[T
2
n+1
|F
n
] C(1 +X
2
n
) p.s.

n1

n
= + et

n1

2
n
< +.
lim
n+
X
n
= x

p.s.
(Robbins H. et Monro S. (1951), Duo M. (1997), Kushner H.J et Yin G.
(2003))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 7 / 22
Estimation de Robbins-Monro
X
0
R.
X
n+1
= X
n
+
n
T
n+1
.
E[T
n+1
|F
n
] = (X
n
) p.s.
E[T
2
n+1
|F
n
] C(1 +X
2
n
) p.s.

n1

n
= + et

n1

2
n
< +.
lim
n+
X
n
= x

p.s.
(Robbins H. et Monro S. (1951), Duo M. (1997), Kushner H.J et Yin G.
(2003))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 7 / 22
Estimation de Robbins-Monro
X
0
R.
X
n+1
= X
n
+
n
T
n+1
.
E[T
n+1
|F
n
] = (X
n
) p.s.
E[T
2
n+1
|F
n
] C(1 +X
2
n
) p.s.

n1

n
= + et

n1

2
n
< +.
lim
n+
X
n
= x

p.s.
(Robbins H. et Monro S. (1951), Duo M. (1997), Kushner H.J et Yin G.
(2003))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 7 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
On cherche continue telle que () = 0 et (t )(t) < 0.
t R, (t) = E
_
sin
_
2(X
1
t)
_
f(X
1
)
g(X
1
)
_
.
(t) = sin(2( t))f
1
, o` u f
1
=
_
1/2
1/2
cos(2u)f(u)du.
() = 0.
Si |t | < 1/2 et f
1
> 0, alors (t )(t) < 0.
Si || < 1/4 et |t| < 1/4, alors (t )(t) < 0.
Diculte : on na pas (t )(t) < 0 sur R tout entier.
projection sur K = [1/4, 1/4].
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 8 / 22
Estimation de Resultats obtenus
Y
n
= f(X
n
) +
n
.

0
[1/4, 1/4].

n+1
=
K
(

n
+
n+1
T
n+1
).
T
n+1
=
sin(2(X
n+1

n
))Y
n+1
g(X
n+1
)
.
E[T
n+1
|F
n
] = (

n
) p.s. et E[T
2
n+1
|F
n
] C p.s.

n1

n
= + et

n1

2
n
< +.
Theor`eme
Sous (H
1
) et (H
2
) et si || < 1/4,
lim
n+

n
= p.s.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 9 / 22
Estimation de Resultats obtenus
Y
n
= f(X
n
) +
n
.

0
[1/4, 1/4].

n+1
=
K
(

n
+
n+1
T
n+1
).
T
n+1
=
sin(2(X
n+1

n
))Y
n+1
g(X
n+1
)
.
E[T
n+1
|F
n
] = (

n
) p.s. et E[T
2
n+1
|F
n
] C p.s.

n1

n
= + et

n1

2
n
< +.
Theor`eme
Sous (H
1
) et (H
2
) et si || < 1/4,
lim
n+

n
= p.s.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 9 / 22
Estimation de Resultats obtenus
Y
n
= f(X
n
) +
n
.

0
[1/4, 1/4].

n+1
=
K
(

n
+
n+1
T
n+1
).
T
n+1
=
sin(2(X
n+1

n
))Y
n+1
g(X
n+1
)
.
E[T
n+1
|F
n
] = (

n
) p.s. et E[T
2
n+1
|F
n
] C p.s.

n1

n
= + et

n1

2
n
< +.
Theor`eme
Sous (H
1
) et (H
2
) et si || < 1/4,
lim
n+

n
= p.s.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 9 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Corollaire
Le nombre de fois que

n
+
n+1
T
n+1
sort de K est ni p.s.
Consequence : Le comportement asymptotique p.s. est le meme que pour
un algorithme de Robbins-Monro classique.
(Mokkadem A. et Pelletier M. (2007), Pelletier M. (1998))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 10 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Corollaire
Le nombre de fois que

n
+
n+1
T
n+1
sort de K est ni p.s.
Consequence : Le comportement asymptotique p.s. est le meme que pour
un algorithme de Robbins-Monro classique.
(Mokkadem A. et Pelletier M. (2007), Pelletier M. (1998))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 10 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Corollaire
Le nombre de fois que

n
+
n+1
T
n+1
sort de K est ni p.s.
Consequence : Le comportement asymptotique p.s. est le meme que pour
un algorithme de Robbins-Monro classique.
(Mokkadem A. et Pelletier M. (2007), Pelletier M. (1998))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 10 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Corollaire
Le nombre de fois que

n
+
n+1
T
n+1
sort de K est ni p.s.
Consequence : Le comportement asymptotique p.s. est le meme que pour
un algorithme de Robbins-Monro classique.
(Mokkadem A. et Pelletier M. (2007), Pelletier M. (1998))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 10 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Corollaire
On suppose (H
1
), (H
2
) et || < 1/4. Si de plus, (
n
) a un moment ni
dordre > 2 et que 4f
1
> 1, alors on a la loi du log-itere
limsup
n+
_
n
2 log log n
_
1/2
(

n
) = liminf
n+
_
n
2 log log n
_
1/2
(

n
)
= () p.s.
De plus, on a la loi forte quadratique
lim
n+
1
log n
n

k=1
_

_
2
=
2
() p.s.
o` u
2
() =
()
4f
1
1
et (t) =
_
1/2
1/2
sin
2
(2(xt))
g(x)
(f
2
(x ) +
2
) dx.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 11 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Corollaire
On suppose (H
1
), (H
2
) et || < 1/4. Si de plus, (
n
) a un moment ni
dordre > 2 et que 4f
1
> 1, alors on a la loi du log-itere
limsup
n+
_
n
2 log log n
_
1/2
(

n
) = liminf
n+
_
n
2 log log n
_
1/2
(

n
)
= () p.s.
De plus, on a la loi forte quadratique
lim
n+
1
log n
n

k=1
_

_
2
=
2
() p.s.
o` u
2
() =
()
4f
1
1
et (t) =
_
1/2
1/2
sin
2
(2(xt))
g(x)
(f
2
(x ) +
2
) dx.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 11 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Corollaire
On suppose (H
1
), (H
2
) et || < 1/4. Si de plus, (
n
) a un moment ni
dordre > 2 et que 4f
1
> 1, alors on a la loi du log-itere
limsup
n+
_
n
2 log log n
_
1/2
(

n
) = liminf
n+
_
n
2 log log n
_
1/2
(

n
)
= () p.s.
De plus, on a la loi forte quadratique
lim
n+
1
log n
n

k=1
_

_
2
=
2
() p.s.
o` u
2
() =
()
4f
1
1
et (t) =
_
1/2
1/2
sin
2
(2(xt))
g(x)
(f
2
(x ) +
2
) dx.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 11 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Corollaire
On suppose (H
1
), (H
2
) et || < 1/4. Si de plus, (
n
) a un moment ni
dordre > 2 et que 4f
1
> 1, alors on a la loi du log-itere
limsup
n+
_
n
2 log log n
_
1/2
(

n
) = liminf
n+
_
n
2 log log n
_
1/2
(

n
)
= () p.s.
De plus, on a la loi forte quadratique
lim
n+
1
log n
n

k=1
_

_
2
=
2
() p.s.
o` u
2
() =
()
4f
1
1
et (t) =
_
1/2
1/2
sin
2
(2(xt))
g(x)
(f
2
(x ) +
2
) dx.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 11 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Theor`eme
On suppose (H
1
), (H
2
) et || < 1/4. Si de plus, (
n
) a un moment ni
dordre > 2 et que 4f
1
> 1, alors on a la normalite asymptotique

n(

n
)
L
N(0,
2
()).
(Kushner H.J, Yin G. (2003))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 12 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Theor`eme
On suppose (H
1
), (H
2
) et || < 1/4. Si de plus, (
n
) a un moment ni
dordre > 2 et que 4f
1
> 1, alors on a la normalite asymptotique

n(

n
)
L
N(0,
2
()).
(Kushner H.J, Yin G. (2003))
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 12 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Pour resumer, lorsque || < 1/4, on a la convergence p.s. de

n
vers , une
vitesse de convergence p.s. (loi du log itere et loi forte quadratique) et la
normalite asymptotique.
- 1.0
- 0.5
0.0
0.5
500 1000 1500 2000 2500 3000 3500 4000 4500 5000
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
- 2.0 - 1.5 - 1.0 - 0.5 0.0 0.5 1.0 1.5 2.0
Figure:
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 13 / 22
Estimation de Resultats obtenus

n+1
=
K
(

n
+
n+1
T
n+1
).
Pour resumer, lorsque || < 1/4, on a la convergence p.s. de

n
vers , une
vitesse de convergence p.s. (loi du log itere et loi forte quadratique) et la
normalite asymptotique.
- 1.0
- 0.5
0.0
0.5
500 1000 1500 2000 2500 3000 3500 4000 4500 5000
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
- 2.0 - 1.5 - 1.0 - 0.5 0.0 0.5 1.0 1.5 2.0
Figure:
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 13 / 22
Estimation de f
1
Presentation du probl`eme
2
Estimation de
Robbins-Monro
Estimateur pour notre probl`eme
Resultats obtenus
3
Estimation de f
Nadaraya-Watson
Estimateur pour notre probl`eme
Resultats obtenus
4
Simulations
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 14 / 22
Estimation de f Nadaraya-Watson
On consid`ere le mod`ele Y
n
= f(X
n
) +
n
.
Si K est une fonction noyau, lestimateur de Nadaraya-Watson
recursif (1964) est donne par
x R,

f
n
(x) =

n
i=1
1
h
i
K(
X
i
x
h
i
)Y
i

n
i=1
1
h
i
K(
X
i
x
h
i
)
o` u h
i
= i

.
Theor`eme (Noda 1976)
0 < < 1, x R,

f
n
(x)
n+
f(x) p.s.
Theor`eme (Schuster 1972)

1
5
< < 1, x R,
_
nh
n
_

f
n
(x) f(x)
_
L
N
_
0,

2
f(x)
1 +
_
o` u
2
=
_
R
K(x)
2
dx.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 15 / 22
Estimation de f Nadaraya-Watson
On consid`ere le mod`ele Y
n
= f(X
n
) +
n
.
Si K est une fonction noyau, lestimateur de Nadaraya-Watson
recursif (1964) est donne par
x R,

f
n
(x) =

n
i=1
1
h
i
K(
X
i
x
h
i
)Y
i

n
i=1
1
h
i
K(
X
i
x
h
i
)
o` u h
i
= i

.
Theor`eme (Noda 1976)
0 < < 1, x R,

f
n
(x)
n+
f(x) p.s.
Theor`eme (Schuster 1972)

1
5
< < 1, x R,
_
nh
n
_

f
n
(x) f(x)
_
L
N
_
0,

2
f(x)
1 +
_
o` u
2
=
_
R
K(x)
2
dx.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 15 / 22
Estimation de f Nadaraya-Watson
On consid`ere le mod`ele Y
n
= f(X
n
) +
n
.
Si K est une fonction noyau, lestimateur de Nadaraya-Watson
recursif (1964) est donne par
x R,

f
n
(x) =

n
i=1
1
h
i
K(
X
i
x
h
i
)Y
i

n
i=1
1
h
i
K(
X
i
x
h
i
)
o` u h
i
= i

.
Theor`eme (Noda 1976)
0 < < 1, x R,

f
n
(x)
n+
f(x) p.s.
Theor`eme (Schuster 1972)

1
5
< < 1, x R,
_
nh
n
_

f
n
(x) f(x)
_
L
N
_
0,

2
f(x)
1 +
_
o` u
2
=
_
R
K(x)
2
dx.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 15 / 22
Estimation de f Nadaraya-Watson
On consid`ere le mod`ele Y
n
= f(X
n
) +
n
.
Si K est une fonction noyau, lestimateur de Nadaraya-Watson
recursif (1964) est donne par
x R,

f
n
(x) =

n
i=1
1
h
i
K(
X
i
x
h
i
)Y
i

n
i=1
1
h
i
K(
X
i
x
h
i
)
o` u h
i
= i

.
Theor`eme (Noda 1976)
0 < < 1, x R,

f
n
(x)
n+
f(x) p.s.
Theor`eme (Schuster 1972)

1
5
< < 1, x R,
_
nh
n
_

f
n
(x) f(x)
_
L
N
_
0,

2
f(x)
1 +
_
o` u
2
=
_
R
K(x)
2
dx.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 15 / 22
Estimation de f Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
o` u (
n
)
n0
est une suite i.i.d. telle que E[
n
] = 0 et E
_

2
n

=
2
< +.
Hypoth`eses :
(H
1
) f est paire, 1-periodique, bornee.
(H
2
) (X
n
)
n0
iid de densite g symetrique ` a support compact
sur [
1
2
,
1
2
], deux fois derivable `a derivees bornees.
(H
3
) f est lipschitzienne.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 16 / 22
Estimation de f Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
o` u (
n
)
n0
est une suite i.i.d. telle que E[
n
] = 0 et E
_

2
n

=
2
< +.
Hypoth`eses :
(H
1
) f est paire, 1-periodique, bornee.
(H
2
) (X
n
)
n0
iid de densite g symetrique ` a support compact
sur [
1
2
,
1
2
], deux fois derivable `a derivees bornees.
(H
3
) f est lipschitzienne.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 16 / 22
Estimation de f Estimateur pour notre probl`eme
Y
n
= f(X
n
) +
n
.
o` u (
n
)
n0
est une suite i.i.d. telle que E[
n
] = 0 et E
_

2
n

=
2
< +.
Hypoth`eses :
(H
1
) f est paire, 1-periodique, bornee.
(H
2
) (X
n
)
n0
iid de densite g symetrique ` a support compact
sur [
1
2
,
1
2
], deux fois derivable `a derivees bornees.
(H
3
) f est lipschitzienne.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 16 / 22
Estimation de f Resultats obtenus
Y
n
= f(X
n
) +
n
.
Soit K un noyau symetrique `a support compact et

f
n
(x) =

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))Y
k

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))
,
o` u K
h
k
(z) =
1
h
k
K
_
z
h
k
_
.
Theor`eme
Soit 0 < < 1. On suppose (H
1
), (H
2
) et (H
3
). Si de plus, (
n
) a un
moment ni dordre > 2, alors pour tout x R,
lim
n+

f
n
(x) = f(x) p.s.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 17 / 22
Estimation de f Resultats obtenus
Y
n
= f(X
n
) +
n
.
Soit K un noyau symetrique `a support compact et

f
n
(x) =

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))Y
k

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))
,
o` u K
h
k
(z) =
1
h
k
K
_
z
h
k
_
.
Theor`eme
Soit 0 < < 1. On suppose (H
1
), (H
2
) et (H
3
). Si de plus, (
n
) a un
moment ni dordre > 2, alors pour tout x R,
lim
n+

f
n
(x) = f(x) p.s.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 17 / 22
Estimation de f Resultats obtenus
Y
n
= f(X
n
) +
n
.
Soit K un noyau symetrique `a support compact et

f
n
(x) =

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))Y
k

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))
,
o` u K
h
k
(z) =
1
h
k
K
_
z
h
k
_
.
Theor`eme
Soit 0 < < 1. On suppose (H
1
), (H
2
) et (H
3
). Si de plus, (
n
) a un
moment ni dordre > 2, alors pour tout x R,
lim
n+

f
n
(x) = f(x) p.s.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 17 / 22
Estimation de f Resultats obtenus
Y
n
= f(X
n
) +
n
.
Soit K un noyau symetrique `a support compact et

f
n
(x) =

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))Y
k

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))
.
Theor`eme
Soit
1
3
< < 1. On suppose (H
1
), (H
2
) et (H
3
). Si de plus, (
n
) a un
moment ni dordre > 2, on a pour tout x R avec x = 0,
_
nh
n
(

f
n
(x) f(x))
L
N
_
0,

2

2
(1 +)(g( +x) +g( x))
_
.
De plus, si x = 0,
_
nh
n
(

f
n
(0) f(0))
L
N
_
0,

2

2
(1 +)g()
_
.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 18 / 22
Estimation de f Resultats obtenus
Y
n
= f(X
n
) +
n
.
Soit K un noyau symetrique `a support compact et

f
n
(x) =

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))Y
k

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))
.
Theor`eme
Soit
1
3
< < 1. On suppose (H
1
), (H
2
) et (H
3
). Si de plus, (
n
) a un
moment ni dordre > 2, on a pour tout x R avec x = 0,
_
nh
n
(

f
n
(x) f(x))
L
N
_
0,

2

2
(1 +)(g( +x) +g( x))
_
.
De plus, si x = 0,
_
nh
n
(

f
n
(0) f(0))
L
N
_
0,

2

2
(1 +)g()
_
.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 18 / 22
Estimation de f Resultats obtenus
Y
n
= f(X
n
) +
n
.
Soit K un noyau symetrique `a support compact et

f
n
(x) =

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))Y
k

n
k=1
(K
h
k
(X
k
+

k1
+x) +K
h
k
(X
k
+

k1
x))
.
Theor`eme
Soit
1
3
< < 1. On suppose (H
1
), (H
2
) et (H
3
). Si de plus, (
n
) a un
moment ni dordre > 2, on a pour tout x R avec x = 0,
_
nh
n
(

f
n
(x) f(x))
L
N
_
0,

2

2
(1 +)(g( +x) +g( x))
_
.
De plus, si x = 0,
_
nh
n
(

f
n
(0) f(0))
L
N
_
0,

2

2
(1 +)g()
_
.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 18 / 22
Simulations
1
Presentation du probl`eme
2
Estimation de
Robbins-Monro
Estimateur pour notre probl`eme
Resultats obtenus
3
Estimation de f
Nadaraya-Watson
Estimateur pour notre probl`eme
Resultats obtenus
4
Simulations
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 19 / 22
Simulations
- 6
- 4
- 2
0
2
4
6
8
10
12
- 0.5 - 0.4 - 0.3 - 0.2 - 0.1 0.0 0.1 0.2 0.3 0.4 0.5
Figure: Donnees simulees
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 20 / 22
Simulations
- 4
- 2
0
2
4
6
8
10
- 0.5 - 0.4 - 0.3 - 0.2 - 0.1 0.0 0.1 0.2 0.3 0.4 0.5
Figure: Convergence p.s. de

f
n
(x) vers f(x),

n
= 0, 103.
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 21 / 22
Simulations
Merci de votre attention.
Pour plus dinformations :
B. Bercu, P. Fraysse, A Robbins-Monro procedure for estimation in
semiparametric regression models
http ://arxiv.org/pdf/1101.0736
P. Fraysse (Bordeaux 1) Regression semi-parametrique Gammarth, 25 Mai 2011 22 / 22